著录项信息
专利名称 | 一种基于声源定位和人脸检测的人体定位方法和系统 |
申请号 | CN201510428479.3 | 申请日期 | 2015-07-20 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2015-12-23 | 公开/公告号 | CN105184214A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06K9/00 | IPC分类号 | G;0;6;K;9;/;0;0;;;G;0;1;S;5;/;2;2查看分类表>
|
申请人 | 北京进化者机器人科技有限公司 | 申请人地址 | 北京市海淀区信息路22号B座2层02-A426
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 北京进化者机器人科技有限公司 | 当前权利人 | 北京进化者机器人科技有限公司 |
发明人 | 薛林;王玉亮;王巍;王晓刚 |
代理机构 | 北京正鼎专利代理事务所(普通合伙) | 代理人 | 岳亚 |
摘要
本发明公开了一种基于声源定位和人脸检测的人体定位方法和系统,该方法包括获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β;当彩色摄像头的广角α与夹角β满足β<(α/2‑θ),其中θ为声源完全位于彩色摄像头视野内的阈值,定位系统的云台保持不动;当彩色摄像头的广角α与夹角β满足β>(α/2‑θ),定位系统的云台转动夹角β,使得声源位于彩色摄像头的视野中心;彩色摄像头采集图片;分析所采集的图片是否有人脸,如果有人脸,则确定声源为人为声源,并根据人为声源确定人体的位置信息。本发明技术方案实现了快速准确地得到被定位人的位置信息,而且操作方便简单。
1.一种基于声源定位和人脸检测的人体定位方法,其特征在于,包括以下步骤:
获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,其中夹角β范围为正负180度,顺时针为正,逆时针为负;
当彩色摄像头的广角α与夹角β满足β<(α/2-θ),其中θ为声源完全位于彩色摄像头视野内的阈值,定位系统的云台保持不动;
当彩色摄像头的广角α与夹角β满足β>(α/2-θ),定位系统的云台转动夹角β,使得声源位于彩色摄像头的视野中心;
彩色摄像头采集图片;
分析所采集的图片是否有人脸,如果有人脸,则确定声源为人为声源,并根据人为声源确定人体的位置信息。
2.根据权利要求1所述的一种基于声源定位和人脸检测的人体定位方法,其特征在于,所述获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,进一步包括以下步骤:
均布式声音传感器阵列中的各个声音传感器检测声源,并将每个声音传感器采集的声音强度信号和声音到每个声音传感器位置的时间发给中央控制器;
中央控制器对声音强度信号进行处理,并根据声音到每个声音传感器位置的时间差,计算出声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β。
3.根据权利要求1所述的一种基于声源定位和人脸检测的人体定位方法,其特征在于,所述根据人为声源确定人体的位置信息,进一步包括:
人体位置信息包括距离信息和角度信息,所述声源与定位系统之间的距离是人体的距离信息,定位系统转动后的正方向是人体的角度信息。
4.根据权利要求1所述的一种基于声源定位和人脸检测的人体定位方法,其特征在于,如果没有人脸,则确定声源为非人为声源,并重复上述步骤。
5.一种基于声源定位和人脸检测的人体定位系统,其特征在于,包括均布式声音传感器阵列、彩色摄像头、云台和中央控制器,彩色摄像头位于云台上,均布式声音传感器阵列中的声音传感器均匀分布在云台的中央和周边,其中,
均布式声音传感器阵列用于检测声源,并将每个声音传感器采集的声音强度信号和声音到每个声音传感器位置的时间发给中央控制器;
彩色摄像头用于采集图片,发送给中央控制器;
云台用于调整彩色摄像头的角度;
中央控制器用于获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,并当彩色摄像头的广角α与夹角β满足β<(α/2-θ),其中θ为声源完全位于彩色摄像头视野内的阈值,控制云台保持不动,当彩色摄像头的广角α与夹角β满足β>(α/2-θ),控制云台转动夹角β,使得声源位于彩色摄像头的视野中心,还用于分析图片是否有人脸,如果有人脸,则确定声源为人为声源,并根据人为声源确定人体的位置信息。
6.根据权利要求5所述的一种基于声源定位和人脸检测的人体定位系统,其特征在于,均布式声音传感器阵列包括5个声音传感器,其中1个声音传感器位于云台中央,另外4个声音传感器均匀分布在云台的周边。
7.根据权利要求5所述的一种基于声源定位和人脸检测的人体定位系统,其特征在于,中央控制器进一步用于对均布式声音传感器阵列发来的声音强度信号进行处理,并根据声音到每个声音传感器位置的时间差,计算出声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β。
8.根据权利要求5所述的一种基于声源定位和人脸检测的人体定位系统,其特征在于,中央控制器位于云台上。
9.根据权利要求5所述的一种基于声源定位和人脸检测的人体定位系统,其特征在于,中央控制器还用于分析如果没有人脸,则确定声源为非人为声源。
一种基于声源定位和人脸检测的人体定位方法和系统\n技术领域\n[0001] 本发明涉及智能家居机器人技术领域,特别涉及一种基于声源定位和人脸检测的人体定位方法和系统。\n背景技术\n[0002] 近年来,随着智能家居技术和机器人技术的发展,智能家居机器人应运而生。其中家居环境中人体位置等信息的检测,作为智能家居机器人领域中一项重要信息处理技术日益受到重视。\n[0003] 目前,国内外都有智能家居中人体目标定位相关技术的研发尝试和应用。尽管如此,但其定位的控制方法、编程软件以及技术性能仍有待进一步提高和验证。广义上,人体定位技术可大致分为主动式和被动式两大类:主动式定位是通过定位系统主动发射各类探测信号,根据接收的人体反馈信号特征来对目标进行定位的技术;而被动式定位则定位系统不必发射探测信号,仅依据人体目标本身发出的某种信号特征来定位目标。\n[0004] 但上述人体定位方式均存在着技术问题,比如无线射频定位法需要被检测人体目标携带电子标签,并且必须保证电子标签内部数据与被检测者一一对应,在实际应用中不够方便;被动式红外定位法易受非人体红外源的影响,使得探测人体的错误率较高,且红外探测设备价格较贵;阵列式声音定位技术虽然定位效果较为准确,但是易受非人声源的影响,即无法分辨出声源是否由家居环境中的人产生的;基于人脸检测双目视觉定位法能够较好的识别人体的距离和角度信息,但是由于摄像头视角较小且无法预先知道被定位人所处位置,所以需要旋转寻找人脸位置,即盲目性较大。\n发明内容\n[0005] 本发明提供一种基于声源定位和人脸检测的人体定位方法和系统,能够解决上述问题,实现快速准确地得到被定位人的位置信息,而且操作方便简单。\n[0006] 本发明提供了一种基于声源定位和人脸检测的人体定位方法,包括以下步骤:\n[0007] 获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,其中夹角β范围为正负180度,顺时针为正,逆时针为负;\n[0008] 当彩色摄像头的广角α与夹角β满足β<(α/2-θ),其中θ为声源完全位于彩色摄像头视野内的阈值,定位系统的云台保持不动;\n[0009] 当彩色摄像头的广角α与夹角β满足β>(α/2-θ),定位系统的云台转动夹角β,使得声源位于彩色摄像头的视野中心;\n[0010] 彩色摄像头采集图片;\n[0011] 分析所采集的图片是否有人脸,如果有人脸,则确定声源为人为声源,并根据人为声源确定人体的位置信息。\n[0012] 所述获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,进一步包括以下步骤:\n[0013] 均布式声音传感器阵列中的各个声音传感器检测声源,并将每个声音传感器采集的声音强度信号和声音到每个声音传感器位置的时间发给中央控制器;\n[0014] 中央控制器对声音强度信号进行处理,并根据声音到每个声音传感器位置的时间差,计算出声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β。\n[0015] 所述根据人为声源确定人体的位置信息,进一步包括:\n[0016] 人体位置信息包括距离信息和角度信息,所述声源与定位系统之间的距离是人体的距离信息,定位系统转动后的正方向是人体的角度信息。\n[0017] 进一步地,如果没有人脸,则确定声源为非人为声源,并重复上述步骤。\n[0018] 本发明还提供了一种基于声源定位和人脸检测的人体定位系统,包括均布式声音传感器阵列、彩色摄像头、云台和中央控制器,彩色摄像头位于云台上,均布式声音传感器阵列中的声音传感器均匀分布在云台的中央和周边,其中,\n[0019] 均布式声音传感器阵列用于检测声源,并将每个声音传感器采集的声音强度信号和声音到每个声音传感器位置的时间发给中央控制器;\n[0020] 彩色摄像头用于采集图片,发送给中央控制器;\n[0021] 云台用于调整彩色摄像头的角度;\n[0022] 中央控制器用于获取声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,并当彩色摄像头的广角α与夹角β满足β<(α/2-θ),其中θ为声源完全位于彩色摄像头视野内的阈值,控制云台保持不动,当彩色摄像头的广角α与夹角β满足β>(α/2-θ),控制云台转动夹角β,使得声源位于彩色摄像头的视野中心,还用于分析图片是否有人脸,如果有人脸,则确定声源为人为声源,并根据人为声源确定人体的位置信息。\n[0023] 进一步地,均布式声音传感器阵列包括5个声音传感器,其中1个声音传感器位于云台中央,另外4个声音传感器均匀分布在云台的周边。\n[0024] 进一步地,中央控制器进一步用于对均布式声音传感器阵列发来的声音强度信号进行处理,并根据声音到每个声音传感器位置的时间差,计算出声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β。\n[0025] 进一步地,中央控制器位于云台上。\n[0026] 进一步地,中央控制器还用于分析如果没有人脸,则确定声源为非人为声源。\n[0027] 本发明技术方案由于先确定声源的位置信息,再判断声源是否为人为声源,从而解决了现有技术存在的问题,实现快速准确地得到被定位人的位置信息,而且操作方便简单。\n[0028] 本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。\n[0029] 下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。\n附图说明\n[0030] 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:\n[0031] 图1是本发明实施例中人体定位的流程图;\n[0032] 图2是本发明实施例中人体定位的操作示意图一;\n[0033] 图3是本发明实施例中人体定位的操作示意图二;\n[0034] 图4是本发明实施例中人体定位系统的结构示意图。\n具体实施方式\n[0035] 以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。\n[0036] 本发明技术方案的主要思想是在家居环境中,先确定声源的位置信息,再判断声源是否为人为声源,从而获取人体的位置信息。\n[0037] 图1是本发明实施例中人体定位的流程图。如图1所示,该基于声源定位和人脸检测的人体定位的流程包括以下步骤:\n[0038] 步骤101、均布式声音传感器阵列中的5个声音传感器检测家居环境中的声源。\n[0039] 步骤102、均布式声音传感器阵列将每个声音传感器采集的声音强度信号和声音到每个声音传感器位置的时间发给中央控制器。\n[0040] 步骤103、中央控制器对声音强度信号进行处理。\n[0041] 步骤104、中央控制器根据声音到每个声音传感器位置的时间差,计算出声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向(即彩色摄像头的正方向)之间的夹角β(夹角β范围为正负180度,顺时针为正,逆时针为负)。\n[0042] 步骤105、中央控制器对彩色摄像头的广角α与夹角β的关系进行判断,如图2所示,当彩色摄像头的广角α与夹角β满足β<(α/2-θ),其中θ为声源完全位于彩色摄像头视野内的阈值,定位系统的云台保持不动,并转至步骤107;当彩色摄像头的广角α与夹角β满足β>(α/\n2-θ),转到步骤106。\n[0043] 步骤106、定位系统的云台转动夹角β,使得声源位于彩色摄像头的视野中心,如图\n3所示。\n[0044] 步骤107、彩色摄像头采集图片。\n[0045] 步骤108、中央控制器分析所采集的图片是否有人脸,如果有人脸,则转至步骤\n109,如果没有人脸,则确定声源为非人为声源,并返回步骤101,重复上述步骤。\n[0046] 步骤109、确定声源为人为声源,并根据人为声源确定人体的位置信息。\n[0047] 人体位置信息包括距离信息和角度信息,该声源与定位系统之间的距离是人体的距离信息,定位系统转动后的正方向是人体的角度信息。\n[0048] 上述流程主要适用于两个场景,一个是用于唤醒设备,所以此时人应该是正对设备;另一个场景是用于人跟设备交流,所以此时也应该能保证人正面面向设备。\n[0049] 人脸检测可检测人脸的偏转角度为正负70度。\n[0050] 为了实现上述流程,本发明实施例还提供了人体定位的系统,图4是本发明实施例中人体定位系统的结构示意图。如图4所示,该基于声源定位和人脸检测的人体定位系统包括均布式声音传感器阵列401、彩色摄像头402、云台403和中央控制器404,其中云台是高精度云台,彩色摄像头是高分辨率的彩色摄像头,彩色摄像头和中央控制器位于云台上,可随云台360度自由旋转,均布式声音传感器阵列中的5个声音传感器均匀分布在云台之外的周边,不随云台运动而运行。\n[0051] 均布式声音传感器阵列中的5个声音传感器检测家居环境中的声源,并将每个声音传感器采集的声音强度信号和声音到每个声音传感器位置的时间发给中央控制器。\n[0052] 彩色摄像头采集图片,发送给中央控制器。\n[0053] 云台能够调整彩色摄像头的角度。\n[0054] 中央控制器对均布式声音传感器阵列发来的声音强度信号进行处理,并根据声音到每个声音传感器位置的时间差,计算出声源与定位系统之间的距离,以及声源与定位系统连接线和定位系统当前正方向之间的夹角β,并当彩色摄像头的广角α与夹角β满足β<(α/\n2-θ),其中θ为声源完全位于彩色摄像头视野内的阈值,控制云台保持不动,当彩色摄像头的广角α与夹角β满足β>(α/2-θ),控制云台转动夹角β,使得声源位于彩色摄像头的视野中心。\n[0055] 中央控制器还分析图片是否有人脸,如果有人脸,则确定声源为人为声源,并根据人为声源确定人体的位置信息,如果没有人脸,则确定声源为非人为声源。\n[0056] 本发明的上述实施例由于先确定声源的位置信息,再判断声源是否为人为声源,从而解决了现有技术存在的问题,实现快速准确地得到被定位人的位置信息,而且操作方便简单。\n[0057] 本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。\n[0058] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。\n[0059] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。\n[0060] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。\n[0061] 显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
法律信息
- 2022-12-20
专利权质押合同登记的生效
IPC(主分类): G06K 9/00
专利号: ZL 201510428479.3
申请日: 2015.07.20
授权公告日: 2019.02.01
登记号: Y2022980024401
登记生效日: 2022.12.01
出质人: 青岛进化者小胖机器人科技有限公司
质权人: 兴业银行股份有限公司青岛分行
发明名称: 一种基于声源定位和人脸检测的人体定位方法和系统
- 2022-08-26
专利权人的姓名或者名称、地址的变更
专利权人由北京进化者机器人科技有限公司变更为青岛进化者小胖机器人科技有限公司
地址由100029 北京市海淀区信息路22号B座2层02-A426变更为266200 山东省青岛市即墨区通济新经济区九江路17号65号楼
- 2019-02-01
- 2016-01-20
实质审查的生效
IPC(主分类): G06K 9/00
专利申请号: 201510428479.3
申请日: 2015.07.20
- 2015-12-23
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2010-07-28
|
2010-01-05
| | |
2
| |
2014-07-02
|
2012-12-28
| | |
3
| |
2014-04-09
|
2012-07-17
| | |
4
| |
2012-07-11
|
2012-01-06
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |