著录项信息
专利名称 | 实时鲁棒的人脸追踪显示方法及系统 |
申请号 | CN200610112484.4 | 申请日期 | 2006-08-21 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2007-02-07 | 公开/公告号 | CN1908962 |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | G06K9/00 | IPC分类号 | G;0;6;K;9;/;0;0查看分类表>
|
申请人 | 北京中星微电子有限公司 | 申请人地址 | 北京市海淀区学院路35号世宁大厦15层
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 北京中星微电子有限公司 | 当前权利人 | 北京中星微电子有限公司 |
发明人 | 邓亚峰;黄英;谢东海 |
代理机构 | 北京安信方达知识产权代理有限公司 | 代理人 | 许志勇;颜涛 |
摘要
本发明公开了一种实时鲁棒的人脸追踪显示方法及系统,首先输入视频图像,在人脸检测的基础上对视频中的人脸进行追踪,获得人脸信息;然后根据当前帧中的人脸大小与位置,在当前帧图像中确定需要显示的目标区域;再根据确定的目标区域,将输入图像中目标区域的图像放缩到输出图像的大小。本发明能够自动获取视频中人脸的位置,并根据人脸位置确定显示图像范围,将人脸周围的图像放缩后显示,无论人脸处于摄像头拍摄图像的任何位置,均显示以人脸为中心的一个区域,使得人脸成为显示焦点;本发明还能够模仿机械摄像头渐变拉伸镜头放缩的显示效果,逐渐将显示焦点集中在人脸区域范围,获得更美观的显示效果。
1.一种实时鲁棒的人脸追踪显示方法,其特征在于,包括如下步骤:
(1)输入视频图像,在人脸检测的基础上对视频中的人脸进行追踪, 获得人脸信息;将当前帧的人脸位置信息与前帧人脸位置信息进行比较,根 据比较结果,平滑当前帧的人脸位置信息;
(2)根据当前帧中的人脸大小与位置,在当前帧图像中确定需要显示 的目标区域;
(3)根据确定的目标区域,将输入图像中目标区域的图像放缩到输出 图像的大小。
2.如权利要求1所述的方法,其特征在于,所述步骤(2)进一步包括: 根据前帧人脸信息,判断当前帧的人脸信息的变化,并根据变化幅度更新所 述需要显示的目标区域。
3.如权利要求2所述的方法,其特征在于,所述判断步骤,如果判断 到变化幅度属于微小变化,则不更新所述需要显示的目标区域;
所述微小变化的判断步骤,包括:
设前帧人脸信息参数为(x′center,y′center,width′,height′),当前帧人脸信息参数 为(xcenter,ycenter,width,height),则归一化后的中心差别为:
归一化后的大小差别为:
difs=(width-width′)/width,如果difc≤Th1且difs≤Th2,则确定前后两帧属于 微小变化,其中,Th1和Th2是阈值。
4.如权利要求1所述的方法,其特征在于,所述步骤(1)包括:
(11)由摄像头实时输入视频图像;
(12)在未获取跟踪目标前,逐帧搜索图像,检测人脸的存在;
(13)如果在某帧图像检测到一个或多个人脸,则在接下来的后续帧中 跟踪这些人脸,并对跟踪到的人脸进行检测和验证,判断前面的检测结果是 否是真的人脸;
(14)如果在某个位置连续多帧都检测到人脸后,确定该位置存在人脸, 如果场景中存在有多个人脸,则挑选出最大的人脸开始跟踪;
(15)在后续帧中持续跟踪该人脸,如果相邻帧中后一帧与前一帧的跟 踪结果的相似度过低,则停止跟踪;如果某个跟踪目标所在区域长时间未检 测到正面直立人脸,则停止跟踪该目标;前一个跟踪目标停止跟踪后,在后 续图像中回到步骤(12)重新进行人脸检测,直到找到新的人脸,跟踪新的 人脸。
5.如权利要求1所述的方法,其特征在于,所述平滑当前帧的人脸位 置信息的步骤,包括:
建立一个人脸信息队列;
如果队列中没有储存人脸信息,则将当前输入信息作为输出;
如果队列中储存了人脸信息,则获取当前输入信息与队列中储存的人脸 信息均值的平方差,并将归一化后的平方差与预设阈值比较,如果大于阈值, 则自动将队列清空,并将输入作为输出位置;如果不大于阈值,则采用平均 后的结果作为输出。
6.如权利要求1所述的方法,其特征在于,步骤(2)所述确定需要显 示的目标区域,包括确定目标区域的长和宽,其中长和宽成比例,宽度取为: min(wfα,βws n-1,rs/outputWoutput)
其中,wf为人脸大小,α为目标区域的最终大小与人脸大小的比例系数, ws n-1为前帧显示区域宽度,β为放缩因子,Woutput为输出显示图像, rs/output=ws/Woutput
7.如权利要求1所述的方法,其特征在于,步骤(2)所述确定需要显 示的目标区域,包括自动平移目标区域,使得其范围位于输入图像范围内。
8.如权利要求1所述的方法,其特征在于,所述步骤(3)包括:通过 预设缩放因子,根据图像放缩算法,将输入图像中目标区域的图像逐渐放缩 到输出图像的大小。
9.一种实时鲁棒的人脸追踪显示系统,其特征在于,包括人脸信息获 取模块、处理显示模块,其中:
所述人脸信息获取模块,包括:
人脸追踪单元,用于输入视频图像,在人脸检测的基础上对视频中的人 脸进行追踪,获得人脸信息;
所述处理显示模块,包括:
目标区域确定单元,用于根据当前帧中的人脸大小与位置,在当前帧图 像中确定需要显示的目标区域;
图像缩放单元,用于根据确定的目标区域,将输入图像中目标区域的图 像放缩到输出图像的大小;
所述人脸信息获取模块,进一步包括:
人脸平滑单元,用于将当前帧的人脸位置信息与前帧人脸位置信息进行 比较,根据比较结果,平滑当前帧的人脸位置信息。
10.如权利要求9所述的系统,其特征在于,所述目标区域确定单元, 进一步用于根据前帧人脸信息,判断当前帧的人脸信息的变化是否属于微小 变化,如果是,则不更新所述需要显示的目标区域;
判断所述微小变化,包括:
设前帧人脸信息参数为(x′center,y′center,width′,height),当前帧人脸信息参数 为(xcenter,ycenter,width,height),则归一化后的中心差别为:
归一化后的大小差别为:
difs=(width-width′)/width,如果difc≤Th1且difs≤Th2,则确定前后两帧属于 微小变化,其中,Th1和Th2是阈值。
11.如权利要求9所述的系统,其特征在于,所述目标区域确定单元, 在确定需要显示的目标区域的大小时,包括确定目标区域的长和宽,其中长 和宽成比例,宽度取为:min(wfα,βws n-1,rs/outputWoutput),
其中,wf为人脸大小,α为目标区域的最终大小与人脸大小的比例系数, ws n-1为前帧显示区域宽度,β为放缩因子,Woutput为输出显示图像, rs/output=ws/Woutput;
所述目标区域确定单元,在确定需要显示的目标区域的范围时,包括自 动平移目标区域,使得其范围位于输入图像范围内。
12.如权利要求9所述的系统,其特征在于,所述图像缩放单元,通过 预设缩放因子,根据图像放缩算法,将输入图像中目标区域的图像逐渐放缩 到输出图像的大小。
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
1999-08-18
|
1997-07-22
| | |
2
| | 暂无 |
2001-08-17
| | |
3
| |
2006-06-28
|
2005-12-31
| | |
4
| | 暂无 |
1997-10-10
| | |
5
| |
2003-04-16
|
2002-09-27
| | |
6
| |
2006-05-17
|
2005-11-09
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |