著录项信息
专利名称 | 摄像装置和摄像装置中的脸区域决定方法 |
申请号 | CN200810168019.1 | 申请日期 | 2008-09-25 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2009-04-01 | 公开/公告号 | CN101399915 |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N5/232 | IPC分类号 | H;0;4;N;5;/;2;3;2;;;G;0;6;K;9;/;0;0查看分类表>
|
申请人 | 奥林巴斯映像株式会社 | 申请人地址 | 日本东京都
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 奥林巴斯株式会社 | 当前权利人 | 奥林巴斯株式会社 |
发明人 | 松原浩辅 |
代理机构 | 北京三友知识产权代理有限公司 | 代理人 | 黄纶伟 |
摘要
本发明提供摄像装置和摄像装置中的脸区域决定方法。本发明在被摄体的脸从正向变为横向、后向的状况时,也能适当地继续估计脸位置。从摄像部所获得的图像数据中通过模板匹配来检测脸区域(S200),在检测出脸区域的情况下(S201;是),根据该检测结果来决定脸区域的位置(S202),检测与脸区域等效地运动的躯体区域(S203~S205),通过图形匹配来检测已检测出的脸区域和躯体区域各自在帧间的时间序列运动(S207,S209),即使未检测出脸区域(S201;否),通过使用脸区域自身的运动检测结果(S211;是,S221;是)或躯体区域的运动检测结果(S210;是,S211;否),也能适当地继续估计脸区域的位置。
1.一种摄像装置,其决定有运动的被摄体的脸区域,其特征在于,该摄像装置具有:
摄像部,其接收被摄体光并进行光电转换,以帧为单位获得图像数据;
脸检测部,其从所述已获得的图像数据中检测脸存在的区域;
脸周边检测部,其从所述已获得的图像数据中检测所述检测出的脸区域的周边区域;
运动检测部,其检测所述检测出的脸区域和周边区域各自在所述图像帧间的时间序列运动;以及
脸位置决定部,其根据所述脸检测部的检测结果和所述运动检测部的检测结果来决定当前的图像帧的脸区域。
2.根据权利要求1所述的摄像装置,其特征在于,该摄像装置具有摄像条件设定部,其根据所述决定的脸区域的图像数据来设定摄像条件。
3.根据权利要求1所述的摄像装置,其特征在于,所述脸周边检测部检测被预测为与所述检测出的脸区域的运动等效地运动的躯体区域作为所述周边区域。
4.根据权利要求1所述的摄像装置,其特征在于,所述脸周边检测部检测被设定为与所述检测出的脸区域的运动等效地运动的周边区域作为所述周边区域。
5.根据权利要求1所述的摄像装置,其特征在于,由所述脸周边检测部进行检测的所述周边区域是根据摄像画面内的所述脸区域的位置或所述脸区域的大小来设定的。
6.根据权利要求1所述的摄像装置,其特征在于,所述运动检测部将所述脸区域和所述周边区域的各个区域分别分割为多个区域,并检测基于该分割后的各区域中有位置变化的多个分割区域的变化的位置变化量,作为时间序列运动。
7.根据权利要求1所述的摄像装置,其特征在于,在当前的图像帧中由所述脸检测部检测出脸区域的情况下,所述脸位置决定部根据该脸检测部的检测结果来决定当前的图像帧中的脸区域,在当前的图像帧中所述脸检测部未检测出脸区域、且由所述运动检测部检测出图像帧间的脸区域和周边区域的运动的情况下,所述脸位置决定部至少根据该运动检测部对脸区域运动的检测结果,将当前的图像帧中的脸区域决定为脸位置。
8.根据权利要求7所述的摄像装置,其特征在于,该摄像装置具有可靠性判定部,其判定所述运动检测部对脸区域运动的检测结果和周边区域运动的检测结果之间的相对运动的可靠性,
在判定为相对运动的可靠性不在规定水平以上的情况下,重新设定当前的图像帧中的周边区域。
9.根据权利要求1所述的摄像装置,其特征在于,在当前的图像帧中由所述脸检测部检测出脸区域的情况下,所述脸位置决定部根据该脸检测部的检测结果来决定当前的图像帧中的脸区域,在当前的图像帧中所述脸检测部未检测出脸区域、且所述运动检测部未检测出图像帧间的脸区域的运动、且由该运动检测部检测出图像帧间的周边区域的运动的情况下,所述脸位置决定部根据该运动检测部对周边区域运动的检测结果来估计当前的图像帧中的脸区域,并将其决定为脸位置。
10.一种脸区域决定方法,其决定所拍摄的有运动的被摄体的脸区域,其特征在于,该脸区域决定方法具有:
摄像步骤,其通过摄像部接收被摄体光,并进行光电转换,以帧为单位获得图像数据;
脸检测步骤,其从所述已获得的图像数据中检测脸存在的区域;
脸周边检测步骤,其从所述已获得的图像数据中检测所述检测出的脸区域的周边区域;
运动检测步骤,其检测所述检测出的脸区域和周边区域各自在所述图像帧间的时间序列运动;以及
脸位置决定步骤,其根据所述脸检测步骤的检测结果和所述运动检测步骤的检测结果来决定当前的图像帧的脸区域。
摄像装置和摄像装置中的脸区域决定方法\n技术领域\n[0001] 本发明涉及小型数字照相机等摄像装置和摄像装置中的脸区域决定方法。\n背景技术\n[0002] 以往,作为根据所拍摄的输入图像来检测脸的技术,以下技术是公知的,即:使用模板匹配法来检测脸位置,从检测出的脸位置中检测脸的特征点位置,从而检测脸的大小、位置及方向。还公知的是,通过进行自动焦点控制(AF控制)等使焦点对准采用这种脸检测技术所检测出的脸位置的范围,可提高针对被摄体的脸的对焦精度(例如,参照专利文献1)。\n[0003] 【专利文献1】日本特开2006—227080号公报\n[0004] 然而,专利文献1等所示的脸检测技术是以眼、鼻、口等脸的特征点为基础通过模板匹配来检测脸的。因此,脸处于正向时可以,而在脸面朝横向或面朝后向的情况下,脸检测率下降。因此,虽然脸存在于摄影图像中,但只要在脸从正面变为横向或后向的情况下,就无法检测出脸,从而具有在脸以外的位置上进行对焦的问题。\n发明内容\n[0005] 本发明是鉴于上述情况而作成的,本发明的目的是提供一种即使在被摄体的脸从正向变为横向、后向的情况下,也能适当地继续估计脸位置的摄像装置和摄像装置中的脸区域决定方法。\n[0006] 为了解决上述课题并实现目的,本发明提供一种决定有运动的被摄体的脸区域的摄像装置,其特征是具有:摄像部,其接收被摄体光并进行光电转换,以帧为单位获得图像数据;脸检测部,其从所述已获得的图像数据中检测脸存在的区域;脸周边检测部,其从所述已获得的图像数据中检测所述检测出的脸区域的周边区域;运动检测部,其检测所述检测出的脸区域和周边区域各自在所述图像帧间的时间序列运动;以及脸位置决定部,其根据所述脸检测部的检测结果和所述运动检测部的检测结果来决定当前的图像帧的脸区域。\n[0007] 另外,涉及本发明的摄像装置的特征是该摄像装置具有摄像条件设定部,其根据所述决定的脸区域的图像数据来设定摄像条件。\n[0008] 此外,涉及本发明的摄像装置的特征是所述脸周边检测部检测被预测为与所述检测出的脸区域的运动等效地运动的躯体区域作为所述周边区域。\n[0009] 并且,涉及本发明的摄像装置的特征是所述脸周边检测部检测被设定为与所述检测出的脸区域的运动等效地运动的周边区域作为所述周边区域。\n[0010] 另外,涉及本发明的摄像装置的其特征是由所述脸周边检测部进行检测的所述周边区域是根据摄像画面内的所述脸区域的位置或所述脸区域的大小来设定的。\n[0011] 此外,涉及本发明的摄像装置的特征是所述运动检测部将所述脸区域和所述周边区域的各个区域分别分割为多个区域,并检测基于该分割后的各区域中有位置变化的多个分割区域的变化的位置变化量,作为时间序列运动。\n[0012] 并且,涉及本发明的摄像装置的特征是在当前的图像帧中由所述脸检测部检测出脸区域的情况下,所述脸位置决定部根据该脸检测部的检测结果来决定当前的图像帧中的脸区域,在当前的图像帧中所述脸检测部未检测出脸区域、且由所述运动检测部检测出图像帧间的脸区域和周边区域的运动的情况下,所述脸位置决定部至少根据该运动检测部对脸区域运动的检测结果,将当前的图像帧中的脸区域决定为脸位置。\n[0013] 另外,涉及本发明的摄像装置的特征是该摄像装置具有可靠性判定部,其判定所述运动检测部对脸区域运动的检测结果和周边区域运动的检测结果之间的相对运动的可靠性,在判定为相对运动的可靠性不在规定水平以上的情况下,重新设定当前的图像帧中的周边区域。\n[0014] 还有,涉及本发明的摄像装置的特征是在当前的图像帧中由所述脸检测部检测出脸区域的情况下,所述脸位置决定部根据该脸检测部的检测结果来决定当前的图像帧中的脸区域,在当前的图像帧中所述脸检测部未检测出脸区域、且所述运动检测部未检测出图像帧间的脸区域的运动、且由该运动检测部检测出图像帧间的周边区域的运动的情况下,所述脸位置决定部根据该运动检测部对周边区域运动的检测结果来估计当前的图像帧中的脸区域,并将其决定为脸位置。\n[0015] 此外,本发明提供一种决定所拍摄的有运动的被摄体脸区域的脸区域决定方法,其特征是该脸区域决定方法具有:摄像步骤,其通过摄像部接收被摄体光,并进行光电转换,以帧为单位获得图像数据;脸检测步骤,其从所述已获得的图像数据中检测脸存在的区域;脸周边检测步骤,其从所述已获得的图像数据中检测所述检测出的脸区域的周边区域;\n运动检测步骤,其检测所述检测出的脸区域和周边区域各自在所述图像帧间的时间序列运动;以及脸位置决定步骤,其根据所述脸检测步骤的检测结果和所述运动检测步骤的检测结果来决定当前的图像帧的脸区域。\n[0016] 本发明的摄像装置和摄像装置中的脸区域决定方法从由摄像部所获得的图像数据中检测脸区域,并且检测已检测出的脸区域的周边区域,检测已检测出的脸区域和周边区域各自在帧间的时间序列运动,根据脸检测部或脸检测步骤的检测结果、和运动检测部或运动检测步骤的检测结果来决定当前帧中的脸区域。由此取得这样的效果,即:通过使用脸区域自身的运动检测及脸区域的周边区域的运动检测的结果,可适当地继续估计脸区域的位置。\n附图说明\n[0017] 图1是示出本发明实施方式1的摄像装置的电装系统结构例的概略框图。\n[0018] 图2是示出摄影时的图1中的主要部分的动作例的概略时序图。\n[0019] 图3—1是示出N帧的帧图像例的说明图。\n[0020] 图3—2是示出(N+1)帧的帧图像例的说明图。\n[0021] 图3—3是示出(N+2)帧的帧图像例的说明图。\n[0022] 图3—4是示出(N+3)帧的帧图像例的说明图。\n[0023] 图4是示出伴随电子照相机的电源接通/断开的基本动作控制例的概略流程图。\n[0024] 图5是示出实施方式1中的脸检测处理例的概略流程图。\n[0025] 图6是示出躯体区域预测处理例的概略流程图。\n[0026] 图7—1是示出躯体区域预测处理的帧图像例的说明图。\n[0027] 图7—2是示出躯体区域预测处理的另一帧图像例的说明图。\n[0028] 图7—3是示出躯体区域预测处理的又一帧图像例的说明图。\n[0029] 图8—1是示出脸区域和躯体区域各自的宏块的分割例的示意图。\n[0030] 图8—2是示出脸区域和躯体区域各自的宏块的另一分割例的示意图。\n[0031] 图9是示出脸区域图形匹配处理例的概略流程图。\n[0032] 图10是示出躯体区域图形匹配处理例的概略流程图。\n[0033] 图11是示出相对躯体区域矢量可靠性判定处理例的概略流程图。\n[0034] 图12是示出本发明实施方式2的摄像装置的电装系统结构例的概略框图。\n[0035] 图13—1是示出N帧的帧图像例的说明图。\n[0036] 图13—2是示出(N+1)帧的帧图像例的说明图。\n[0037] 图13—3是示出(N+2)帧的帧图像例的说明图。\n[0038] 图14是示出实施方式2中的脸检测处理例的概略流程图。\n[0039] 图15是示出周边区域预测设定处理例的概略流程图。\n[0040] 图16—1是示出周边区域预测设定的帧图像例的说明图。\n[0041] 图16—2是示出周边区域预测设定的另一帧图像例的说明图。\n[0042] 图16—3是示出周边区域预测设定的又一帧图像例的说明图。\n[0043] 图16—4是示出周边区域预测设定的其他帧图像例的说明图。\n[0044] 图17—1是示出脸区域和周边区域各自的宏块的分割例的示意图。\n[0045] 图17—2是示出脸区域和周边区域各自的宏块的另一分割例的示意图。\n[0046] 图18是示出周边区域图形匹配处理例的概略流程图。\n[0047] 图19是示出相对周边区域矢量可靠性判定处理例的概略流程图。\n[0048] 标号说明\n[0049] 12:摄像元件;15:运动检测部;18:脸检测部;19:躯体区域预测部;27:系统控制器;32:周边区域设定部。\n具体实施方式\n[0050] 以下,参照附图说明用于实施本发明的优选方式的摄像装置和摄像装置中的脸区域决定方法。本发明不限于各实施方式,只要是在不脱离本发明主旨的范围内,就能进行各种变形。\n[0051] (实施方式1)\n[0052] 图1是示出本发明实施方式1的摄像装置的电装系统结构例的概略框图。本实施方式1的摄像装置1是小型数字照相机等电子照相机,如图1所示,具有:摄像光学系统11、摄像元件12、AFE(Analog Front End:模拟前端)、帧存储器14、运动检测部15、RAM16、图像处理部17、脸检测部18、躯体区域预测部19、记录介质接口20、记录介质保持部21、记录介质22、视频编码器23、视频信号输出端子23a、LCD驱动器24、LCD25、ROM26以及系统控制器27等。\n[0053] 摄像光学系统11包含摄影镜头等,并将入射的被摄体像成像在摄像元件12上。\n作为摄像部的摄像元件12由CCD、CMOS传感器等固体摄像元件构成,通过摄像光学系统11接收来自被摄体的光束,经由进行光电转换来获得帧单位的图像数据。AFE13读出从摄像元件12获得的图像数据(模拟电信号),实施AGC(Automatic Gain Control:自动增益控制)处理和A/D转换处理等,并输出基于数字数据的图像数据。由AFE13进行了数字化的图像数据被输入到帧存储器14、运动检测部15以及RAM16的各部。\n[0054] 图像处理部17读出暂时存储在RAM16内的图像数据,实施色校正、失真校正等各种图像处理,并且转换成适合于记录用、显示用和脸检测用的图像数据,将其分别输出到记录介质接口20、视频编码器23以及脸检测部18。记录介质接口20将适合于记录用的图像数据记录在存储卡等记录介质22内,该记录介质22可利用记录介质保持部21来自由拆装地保持。视频编码器23将适合于显示用的图像数据送出至LCD驱动器24,从而作为浏览图像显示在设置于摄像装置1的背面侧的LCD25上。视频编码器23根据需要,将显示用的图像数据输出到与视频信号输出端子23a连接的外部设备。\n[0055] 脸检测部18由模板匹配模块构成,该模板匹配模块针对由摄像元件12所获得的图像数据应用了使用轮廓模板、网眼模板(目テンプレ—ト)等公知的模板匹配法(例如,参照日本特开平8—63597号公报)来判断在图像数据中是否存在脸图像,当存在脸图像时检测该脸区域。脸检测部18将检测出的脸区域的坐标、脸的方向、脸构成部分(眼、鼻、口等)等的信息保存在RAM16内。\n[0056] 躯体区域预测部19根据由脸检测部18检测出的脸区域的坐标、脸的方向、脸构成部分等的信息,预测并计算躯体区域的位置和大小。计算出的躯体区域的位置和大小作为与脸检测部18检测出的脸区域构成一体进行等效运动的周边区域的信息被保存在RAM16内。\n[0057] 运动检测部15利用图形匹配(pattern matching)法来对所检测出的脸区域和躯体区域各自在帧间的时间序列运动进行检测。即,运动检测部15使用存储在帧存储器14内的前一个帧的图像数据和从AFE13所输入的当前帧的图像数据,通过图形匹配求出运动矢量。此时,求出的运动矢量的范围是根据前一个帧的图像数据由脸检测部18和躯体区域预测部19所求出的脸区域和躯体区域(脸周边区域)。由运动检测部15检测出的脸区域和躯体区域各自的运动矢量的信息被存储在RAM16内。\n[0058] 系统控制器27进行摄像装置1内的各部的控制处理和存储器控制,并且执行脸位置决定部和摄像条件设定部的功能。即,根据存储在RAM16内的运动矢量的信息计算当前帧中的脸区域的位置,与由脸检测部18求出的脸区域的坐标对照着决定当前帧中的脸区域的位置。并且,根据所决定的脸区域的图像数据来进行用于设定摄像条件的AF(自动对焦)、AE(自动曝光)、AWB(自动白平衡)处理。\n[0059] ROM26除了预先存储由系统控制器27执行的控制程序以外,还存储由脸检测部18在模板匹配中使用的模板数据等。\n[0060] 图2是示出图1中的主要部分在摄影时的动作例的概略时序图。图2中,“A”~“F”表示伴随曝光动作由摄像元件12依次拍摄的帧图像。所拍摄的帧图像由AFE13进行数字化,之后通过DMA(直接存储器存取)控制而存储到RAM16或帧存储器14。存储在RAM16的帧图像由图像处理部17依次进行图像处理,并成为脸检测部18的脸检测处理对象。在运动检测部15中,通过代表点匹配来求出运动矢量。即,根据存储在帧存储器14内的前一个帧图像和从AFE13所取得的当前帧的图像数据,通过图形匹配法中的代表点匹配来求出从脸检测部18和躯体区域预测部19所输入的脸区域和躯体区域的运动矢量。然后,在系统控制器27的脸位置决定中,根据通过代表点匹配检测出的脸区域和由脸检测部18检测出的脸区域的检测结果,来决定当前帧中的最终的脸区域位置。然后,根据所决定的最终的脸区域位置进行AE、AF、AWB动作,并设定摄像条件。LCD显示将在LCD25上显示的帧图像显示为浏览图像。\n[0061] 下面,参照图3—1~图3—4说明本实施方式1的特征性的脸区域决定方法的概要。图3—1~图3—4是示出从N帧到(N+3)帧的时间序列的帧图像例的说明图。各图的(a)和(b)示出相同帧图像例,各图的(a)示出模板匹配模块(脸检测部18)的脸检测例,各图的(b)示出运动检测模块(躯体区域预测部19和运动检测部15)的脸检测例。\n[0062] 首先,如图3—1(a)所示,关于N帧的帧图像是以通过脸检测部18中的模板匹配从图像数据中检测脸区域为前提的。在由脸检测部18检测出脸区域的情况下,将检测出的脸区域作为对象来进行N帧图像的AE动作等。然后,如图3—1(b)所示,将检测出的脸区域的信息通知给躯体区域预测部19。如图3—1(b)中的方形框所示,躯体区域预测部19根据所通知的脸区域来预测躯体区域。\n[0063] 然后,关于图3—2(a)所示的(N+1)帧的帧图像,假定由于脸的方向等原因而无法通过脸检测部18中的模板匹配检测出脸区域。在此情况下,如图3—2(b)所示,在N帧、(N+1)帧间、通过运动检测部15中的图形匹配可检测出脸区域的运动的情况下,把由该运动检测部15检测出的脸区域作为对象来进行(N+1)帧图像的AE动作等。此时,不管是否能通过运动检测部15中的图形匹配来检测躯体区域的运动。\n[0064] 此外,关于图3—3(a)所示的(N+2)帧的帧图像,假定由于脸的方向等原因而无法通过脸检测部18中的模板匹配检测出脸区域。此时,如图3—2(b)所示,在(N+1)帧、(N+2)帧间,通过运动检测部15中的图形匹配也不能检测出脸区域的运动,不过能检测躯体区域的运动。于是,根据该躯体区域的运动来估计脸区域的位置,把所估计的脸区域作为对象来进行(N+2)帧图像的AE动作等。\n[0065] 另一方面,关于图3—4(a)所示的(N+3)帧的帧图像,假定通过脸检测部18中的模板匹配再次检测出脸区域。在由脸检测部18检测出脸区域的情况下,把检测出的脸区域作为对象来进行(N+3)帧图像的AE动作等。然后,如图3—4(b)所示,将检测出的脸区域的信息通知给躯体区域预测部19。如图3—4(b)中的方形框所示,躯体区域预测部19根据所通知的脸区域重新预测躯体区域。\n[0066] 这样,在本实施方式1中,利用脸检测部18来检测脸区域,并根据检测出的脸区域的大小、脸的方向、脸构成部分的信息,由躯体区域预测部19预测躯体的位置和大小。然后,在运动检测部15中通过图形匹配检测由脸检测部18检测出的脸区域和所预测的躯体区域在帧间的时间序列运动。检测中的脸图像收敛于帧图像内,而在根据脸的方向通过脸检测部18的模板匹配不能检测出脸的情况下,当通过运动检测部15中的图形匹配可检测出脸区域的运动时,根据检测出的脸区域的运动来更新作为对象的当前帧图像中的脸区域的位置。此外,当根据脸朝向后面等运动,通过运动检测部15中的图形匹配不能检测出脸区域的运动、通过运动检测部15中的图形匹配能检测出躯体区域的运动时,根据检测出的躯体区域的运动来预测当前帧图像中的脸区域的运动,并更新脸区域的位置。即,由于脸的运动与身体的运动大致一致,因而着眼于根据躯体的运动也能估计脸的运动这一点,在不能检测出脸区域自身或脸区域的运动时,可有效利用检测出的躯体区域的运动。由此,即使在如体育场景或到处活动的孩子的摄影时那样、脸的方向发生变化的状况下,也能准确地追踪设定脸的位置。\n[0067] 以下,参照图4~图11来详细说明本实施方式1中的动作控制例。图4是示出伴随电子照相机的电源接通/断开的基本动作控制例的概略流程图。首先,当电子照相机的电源接通时,判断是否是摄影模式(步骤S100)。当设定为摄影模式时(步骤S100;是;摄像步骤),开始脸检测处理(步骤S101)。该脸检测处理的详情在后面描述。判断脸检测处理的结果,即是否从当前帧图像中检测出脸区域(步骤S102)。在未检测出脸区域的情况下(步骤S102;否),将当前帧图像中的通常范围作为对象来进行AF/AE/AWB动作,并设定摄像条件(步骤S103)。另一方面,在检测出脸区域的情况下(步骤S102;是),将当前帧图像中的脸检测范围(脸区域)的图像数据作为对象来进行AF/AE/AWB动作,并设定摄像条件(步骤S104;摄像条件设定部)。然后,关于释放按钮,判断第1释放按钮是否接通(步骤S105),在未接通的情况下(步骤S105;否),重复步骤S101~S104的处理。\n[0068] 在已接通的情况下(步骤S105;是),开始脸检测处理(步骤S106)。该脸检测处理的详情在后面描述。判断脸检测处理的结果,即是否从当前帧图像中检测出脸区域(步骤S107)。在未检测出脸区域的情况下(步骤S107;否),将当前帧图像中的通常范围作为对象来进行AF/AE/AWB动作,并设定摄像条件(步骤S108)。另一方面,在检测出脸区域的情况下(步骤S107;是),将当前帧图像中的脸检测范围(脸区域)的图像数据作为对象来进行AF/AE/AWB动作,设定摄像条件(步骤S109;摄像条件设定部)。然后,关于释放按钮,判断第2释放按钮是否接通(步骤S110),在未接通的情况下(步骤S110;否),重复步骤S106~S109的处理。\n[0069] 在第2释放按钮已接通的情况下(步骤S110;是),按照所设定的摄像条件来执行摄影处理(步骤S111;摄像步骤)。然后,判断摄影模式是否结束(步骤S112),在未结束的情况下(步骤S112;否),返回步骤S101。另一方面,在摄影模式结束的情况下(步骤S112;是),判断是否选择了再现模式(步骤S113)。在未选择再现模式的情况下(步骤S113;否),照相机电源断开,结束处理。\n[0070] 另外,在步骤S100中不是摄影模式的情况下,或者在步骤S113中选择了再现模式的情况下,按照用户操作来选择再现图像(步骤S114),将所选择的完成摄影的静态图像/动态图像再现显示到LCD25的画面上(步骤S115)。之后,判断再现模式是否结束(步骤S116),在未结束的情况下(步骤S116;否),返回步骤S114。另一方面,在再现模式结束的情况下(步骤S116;是),判断照相机电源是否断开(步骤S117),在照相机电源没断开的情况下(步骤S117;否),为摄影模式,返回步骤S101。在照相机电源断开的情况下(步骤S117;是),结束处理。\n[0071] 下面,参照图5来说明步骤S101或步骤S106的脸检测处理。图5是示出脸检测处理例的概略流程图。首先,系统控制器27使用脸检测部18来执行基于公知的模板匹配法等的脸检测处理(步骤S200)。在脸检测部18的脸检测处理中,在检测出脸的情况下(步骤S201;是),将检测出的脸区域作为当前帧中的脸区域保存在RAM16内(步骤S202;脸位置决定部,脸位置决定步骤)。这相当于图3—1(a)、图3—4(a)所示的例子。继这种脸检测之后,系统控制器27使用躯体区域预测部19来执行躯体区域预测处理(步骤S203)。这相当于图3—1(b)、图3—4(b)所示的例子。该躯体区域预测处理在后面描述。\n[0072] 在躯体区域预测处理之后,继续判断在当前帧中是否检测出(可预测出)该躯体区域(步骤S204)。在检测出的情况下(步骤S204;是),将检测出的躯体区域作为当前帧中的躯体区域保存在RAM16内(步骤S205),结束本次的脸检测处理。在未检测出的情况下(在不能预测的情况下),直接结束本次的脸检测处理。在脸检测部18的脸检测处理中,对于后续的帧图像,只要继续检测出脸,就同样地重复这些步骤S201;是~步骤S205的处理。\n因此,将脸检测部18检测出的脸区域的信息决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。\n[0073] 另一方面,在脸检测部18的脸检测处理中不能检测出脸区域的情况下(步骤S201;否),系统控制器27执行使用运动检测部15的图形匹配的脸区域检测处理,并决定脸区域的位置。首先,关于前一帧图像判断脸区域是否被存储在RAM16内(步骤S206)。这是因为,运动检测部15的处理是以至少在先行的帧图像中由脸检测部18临时检测出脸区域、并将脸区域临时存储在RAM16内为前提来执行的。在脸区域未被存储在RAM16内的情况下(步骤S206;否),由于没有进行运动检测部15的处理,因此结束本次的脸检测处理。\n[0074] 如果前一帧图像存在脸区域(步骤S206;是),则在运动检测部15中执行与脸区域相关的图形匹配处理,检测前一帧与当前帧之间的脸区域的时间序列运动(步骤S207)。\n该脸区域的图形匹配处理在后面描述。接下来,针对前一帧图像判断躯体区域是否被存储在RAM16内(步骤S208)。在前一帧图像存在躯体区域的情况下(步骤S208;是),在运动检测部15中执行与躯体区域相关的图形匹配处理,检测前一帧与当前帧之间的躯体区域的时间序列运动(步骤S209)。该躯体区域的图形匹配处理在后面描述。在躯体区域未被存储在RAM16内的情况下(步骤S208;否),跳过步骤S209的处理。\n[0075] 然后,关于运动检测部15的躯体区域的图形匹配结果,判断是否检测出与躯体区域相关的运动矢量(步骤S210)。在检测出躯体区域的运动矢量的情况下(步骤S210;是),关于运动检测部15的脸区域的图形匹配结果,判断是否检测出与脸区域相关的运动矢量(步骤S211)。在检测出脸区域的运动矢量的情况下(步骤S211;是),根据检测出的脸区域的运动来计算当前帧中的脸区域并将其保存在RAM16内(步骤S212;脸位置决定部,脸位置决定步骤)。这相当于图3—2(b)所示的例子。因此,在脸检测部18未检测出脸区域、运动检测部15检测出脸区域的运动的情况下,将根据脸区域的运动所算出的脸区域的信息决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。\n[0076] 接着,根据同时检测出的躯体区域的运动检测结果,进行与相对躯体区域矢量可靠性相关的判定处理(步骤S213;可靠性判定部)。该相对躯体区域矢量可靠性判定处理在后面描述。关于该判定处理的结果,判断相对躯体区域矢量的可靠性是否是规定水平以上(步骤S214),在有规定水平以上的可靠性的情况下(步骤S214;是),根据检测出的躯体区域的运动来计算当前帧中的躯体区域并将其保存在RAM16内(步骤S217)。在没有规定水平以上的可靠性的情况下(步骤S216;否),系统控制器27使用躯体区域预测部19来执行躯体区域预测处理(步骤S215),再次设定躯体区域。该躯体区域预测处理在后面描述。在继躯体区域预测处理之后,判断在当前帧中是否检测出(可预测)该躯体区域(步骤S216)。在检测出的情况下(步骤S216;是),将检测出的躯体区域作为当前帧中的躯体区域保存在RAM16内(步骤S217),结束本次的脸检测处理。在未检测出的情况下(在不能预测的情况下),直接结束本次的脸检测处理。\n[0077] 另一方面,在步骤S211中未检测出脸区域的运动矢量的情况下,将检测出的躯体区域的运动矢量视为脸区域的运动矢量(步骤S218),根据脸区域的运动矢量(躯体区域的运动矢量)来计算当前帧中的脸区域并将其保存在RAM16内(步骤S219;脸位置决定部,脸位置决定步骤)。这相当于图3—3(b)所示的例子。因此,在脸检测部18未检测出脸区域、运动检测部15未检测出脸区域的运动、但检测出躯体区域的运动的情况下,将根据躯体区域的运动而估计并算出的脸区域的信息决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。而且,根据检测出的躯体区域的运动来计算当前帧中的躯体区域并将其保存在RAM16内(步骤S220)。\n[0078] 此外,当在步骤S210中未检测出躯体区域的运动矢量的情况下(步骤S210;否),关于运动检测部15的脸区域的图形匹配结果,判断是否检测出与脸区域相关的运动矢量(步骤S221)。在检测出脸区域的运动矢量的情况下(步骤S221;是),根据检测出的脸区域的运动来计算当前帧中的脸区域并将其保存在RAM16内(步骤S222;脸位置决定部,脸位置决定步骤)。因此,在利用脸检测部18未检测出脸区域、利用运动检测部15检测出脸区域的运动的情况下,将根据脸区域的运动所算出的脸区域的信息决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。\n[0079] 接下来,系统控制器27使用躯体区域预测部19来执行躯体区域预测处理(步骤S223)。该躯体区域预测处理在后面描述。在躯体区域预测处理之后,继续判断在当前帧中是否检测出(是否能预测)该躯体区域(步骤S224)。在检测出的情况下(步骤S224;\n是),将检测出的躯体区域作为当前帧中的躯体区域保存在RAM16内(步骤S225),结束本次的脸检测处理。在未检测出的情况下(在不能预测的情况下),直接结束本次的脸检测处理。\n[0080] 下面,说明步骤S203、S215、S223的躯体区域预测处理。图6是示出在系统控制器\n27的控制下由躯体区域预测部19执行的躯体区域预测处理例的概略流程图。首先,根据脸区域信息,将躯体宽度计算为脸宽度×脸角度系数(步骤S300)。然后,根据脸区域信息,将躯体高度计算为脸高度×躯体高度系数(步骤S301)。根据这些计算结果来算出躯体区域(步骤S302)。然后,判断计算出的全部躯体区域是否收于摄影视场角的范围内(步骤S303)。在收于摄影视场角的范围内的情况下(步骤S303;是),结束躯体区域预测处理。\n[0081] 另一方面,在未收于摄影视场角的范围内的情况下(步骤S303;否),判断躯体的规定阈值%是否收于摄影视场角的范围内(步骤S304)。在收于摄影视场角的范围内的情况下(步骤S304;是),再次计算收于摄影视场角范围内的躯体区域(步骤S305),结束躯体区域预测处理。\n[0082] 然后,在未收于摄影视场角的范围内的情况下(步骤S304;否),清除计算出的躯体区域(步骤S306),结束躯体区域预测处理。在该情况下,成为躯体区域未检测出,在下一躯体区域检测判定(步骤S204、S216、S224)中,判定结果为否。\n[0083] 这里,参照图7—1~图7—3来说明图6所示的躯体区域预测处理例。图7—1示出脸是横向且全部躯体收于摄影视场角的范围内的帧图像例。在该情况下,由于躯体也是横向的可能性高,所以脸宽度和躯体宽度考虑为相同程度。即,设脸角度系数=1,计算躯体宽度。并且,设躯体高度为脸高度的5倍。即,设躯体高度系数=5来计算躯体高度。另外,躯体位置考虑为沿脸的方向存在于脸的下面。根据以上,预测并计算躯体区域的位置。\n在该例中,因为全部躯体收于摄影视场角的范围内,所以将求出的躯体区域的位置用作躯体区域。\n[0084] 图7—2示出脸朝正向且大半躯体收于摄影视场角的范围内的帧图像例。在该情况下,由于躯体也是正向的可能性高,因而躯体宽度考虑为脸宽度的1.5倍左右。即,设脸角度系数=1.5,计算躯体宽度。并且,设躯体高度是脸高度的5倍。即,设躯体高度系数=5来计算躯体高度。并且,躯体位置考虑为沿脸的方向存在于脸的下面。根据以上,预测并计算躯体区域的位置。在该例中,收于摄影视场角的范围内的躯体区域的比例是规定阈值%、例如30%以上,因此判断作为躯体区域是适合的。此时,再次计算收于摄影视场角范围内的躯体区域。\n[0085] 图7—3示出脸朝正向且大半躯体未收于摄影视场角的范围内的帧图像例。在该情况下,由于躯体也是正向的可能性高,因此躯体宽度考虑为脸宽度的1.5倍程度。即,设脸角度系数=1.5,计算躯体宽度。并且,设躯体高度是脸高度的5倍。即,设躯体高度系数=5来计算躯体高度。并且,躯体位置考虑为沿脸的方向存在于脸的下面。根据以上,预测并计算躯体区域的位置。在该例中,收于摄影视场角的范围内的躯体区域的比例不是规定阈值%、例如30%以上,因此判断为作为躯体区域是不适合的。因此,清除求出的躯体区域。\n[0086] 下面,说明前一帧与当前帧之间的步骤S207的脸区域图形匹配处理和步骤S209的躯体区域图形匹配处理。这里,为了提高匹配处理的精度,而分别将脸区域和躯体区域分割为多个宏块(分割区域)来进行图形匹配处理。图8—1是示出在脸区域较小时的脸区域和躯体区域各自的宏块的分割例的示意图。图8—1示出将脸区域等分割为4个宏块并将躯体区域等分割为20个宏块的例子。图8—2是示出在脸区域较大时的脸区域和躯体区域各自的宏块的分割例的示意图。图8—2示出将脸区域等分割为30个宏块并将躯体区域等分割为54个宏块的例子。另外,对于各个脸区域和躯体区域,宏块的尺寸无需一律相同,也可以不同,可以设定适当的分割数(个数)。\n[0087] 图9是示出在系统控制器27的控制下由运动检测部15执行的脸区域图形匹配处理例的概略流程图,图10是示出在系统控制器27的控制下由运动检测部15执行的躯体区域图形匹配处理例的概略流程图。在这些图形匹配处理中,将以下情况作为基本,即:作为脸区域和躯体区域的时间序列运动,根据各区域内的有位置变化的多个宏块的变化来检测位置变化量。\n[0088] 首先,当开始脸区域图形匹配处理时,对脸区域决定宏块的尺寸/个数(步骤S310)。然后,按各宏块进行相关运算(步骤S311),通过综合判断相关结果,来计算各宏块的运动矢量(步骤S312)。在进行各宏块的相关运算时,在当前帧中设定相对于前一帧大一圈的范围,并通过判断每一像素运动到哪里来进行。然后,针对计算出的运动矢量,按各宏块判定可靠性(步骤S313)。可靠性的判定例如是根据计算出的运动矢量的方向是否一致等的相关值的大小来进行的。然后,根据有可靠性的宏块计算脸区域的运动矢量(步骤S314)。该情况下的运动矢量可以通过例如采用运动矢量的平均值或频度高的运动矢量等的方法来求出。然后,针对计算出的运动矢量,判定脸区域整体的可靠性(步骤S315),在有脸区域整体可靠性的情况下(步骤S316;是),将在步骤S314中求出的脸区域的运动矢量视为有效,结束脸区域图形匹配处理。在脸区域整体没有可靠性的情况下(步骤S316;否),清除在步骤S314中求出的脸区域的运动矢量(步骤S317),结束脸区域图形匹配处理。\n[0089] 躯体区域图形匹配处理也与脸区域图形匹配处理相同。首先,当开始躯体区域图形匹配处理时,对躯体区域决定宏块的尺寸/个数(步骤S320)。然后,按各宏块进行相关运算(步骤S321),通过综合判断相关结果,来计算各宏块的运动矢量(步骤S322)。在进行各宏块的相关运算时,在当前帧中设定相对于前一帧大一圈的范围,并通过判断每一像素运动到哪里来进行。然后,针对计算出的运动矢量,按各宏块判定可靠性(步骤S323)。\n可靠性的判定例如是根据计算出的运动矢量的方向是否一致等的相关值大小来进行的。然后,根据有可靠性的宏块来计算躯体区域的运动矢量(步骤S324)。该情况下的运动矢量可以通过例如采用运动矢量的平均值或频度高的运动矢量等的方法来求出。然后,针对计算出的运动矢量,判定躯体区域整体的可靠性(步骤S325),在躯体区域整体有可靠性的情况下(步骤S326;是),将在步骤S324中求出的躯体区域的运动矢量视为有效,结束躯体区域图形匹配处理。在躯体区域整体没有可靠性的情况下(步骤S326;否),清除在步骤S324中求出的躯体区域的运动矢量(步骤S327),结束躯体区域图形匹配处理。\n[0090] 另外,说明步骤S213中的相对躯体区域矢量可靠性判定处理。图11是示出由系统控制器27执行的相对躯体区域矢量可靠性判定处理例的概略流程图。该处理是如下的处理,即:在求出脸区域的运动矢量和躯体区域的运动矢量时,分割为纵横的运动,根据各个方向上的运动是否有同一性来判定检测出的躯体区域的运动矢量的可靠性。\n[0091] 首先,根据|水平躯体区域矢量—水平脸区域矢量|来计算水平差矢量(步骤S330),并根据|垂直躯体区域矢量—垂直脸区域矢量|来计算垂直差矢量(步骤S331)。\n然后,判定水平差矢量是否小于预先设定的规定的水平矢量阈值(步骤S332),且判定垂直差矢量是否小于预先设定的规定的垂直矢量阈值(步骤S333)。在水平差矢量小于水平矢量阈值(步骤S332;是)、且垂直差矢量小于垂直矢量阈值的情况下(步骤S333;是),判定为相对躯体区域矢量有可靠性(步骤S334),结束相对躯体区域矢量可靠性判定处理。另一方面,在水平差矢量是水平矢量阈值以上(步骤S332;否)、或者垂直差矢量是垂直矢量阈值以上的情况下(步骤S333;否),判定为相对躯体区域矢量没有可靠性(步骤S335),结束相对躯体区域矢量可靠性判定处理。\n[0092] 这样,根据本实施方式1,利用脸检测部18从由摄像元件12所获得的图像数据中检测脸区域,并且在躯体区域预测部19的预测下检测与脸区域作等效运动的躯体区域,利用运动检测部15来检测已检测出的脸区域和躯体区域各自在帧间的时间序列运动,根据脸检测部18的检测结果和运动检测部15的检测结果来决定当前帧中的脸区域。因此,即使在被摄体的脸从正向变为横向、后向等、而导致脸检测部18不能检测出脸区域的情况下,也能通过使用脸区域自身的运动检测和躯体区域的运动检测的结果,来适当地继续估计脸区域的位置。\n[0093] (实施方式2)\n[0094] 下面,参照图12~图19说明本发明的实施方式2。与实施方式1中所说明的部分相同的部分使用相同标号来表示,并省略说明。图12是示出本实施方式2的摄像装置的电装系统结构例的概略框图。本实施方式2的摄像装置31利用周边区域来取代躯体区域作为与脸区域作等效运动的周边区域,并具有周边区域设定部32来取代躯体区域预测部19。\n[0095] 周边区域设定部32针对由脸检测部18检测出的脸区域来设定周边区域。所设定的周边区域的位置和大小作为与脸检测部18所检测出的脸区域构成一体作等效运动的周边区域的信息被保存在RAM16内。\n[0096] 另外,本实施方式2中的运动检测部15用于通过图形匹配法来检测已检测出的脸区域和周边区域各自在帧间的时间序列运动。即,运动检测部15使用存储在帧存储器14内的前一个帧的图像数据和从AFE13所输入的当前帧的图像数据,通过图形匹配来求出运动矢量。此时,求出的运动矢量的范围是根据前一个帧的图像数据由脸检测部18所求出的脸区域和由周边区域设定部32所设定的周边区域(脸周边区域)。由运动检测部15检测出的脸区域和周边区域各自的运动矢量的信息被存储在RAM16内。\n[0097] 下面,参照图13—1~图13—3说明本实施方式2的特征性的脸区域决定方法的概要。图13—1~图13—3是示出从N帧到(N+2)帧的时间序列的帧图像例的说明图。各图的(a)和(b)示出相同帧图像例,各图的(a)示出模板匹配模块(脸检测部18)的脸检测例,各图的(b)示出运动检测模块(周边区域设定部32和运动检测部15)的脸检测例。\n[0098] 首先,如图13—1(a)所示,关于N帧的帧图像是以通过脸检测部18中的模板匹配从图像数据中检测脸区域为前提的。在由脸检测部18检测出脸区域的情况下,将检测出的脸区域作为对象来进行N帧图像的AE动作等。然后,如图13—1(b)所示,将检测出的脸区域的信息通知给周边区域设定部32。如图13—1(b)中的方形框所示,周边区域设定部32根据所通知的脸区域,在脸区域的周围虚拟设定多个周边区域。这里,例如在脸区域的周围设定与检测出的脸区域相同尺寸的8个周边区域。然后,利用运动检测部15,开始对脸区域和其周边的周边区域进行的图形匹配处理。此时,帧图像整体的运动也通过图形匹配来进行追踪。\n[0099] 图13—2(a)示出关于(N+1)帧的帧图像由脸检测部18检测出脸区域的情况,将检测出的脸区域作为对象来进行N帧图像的AE动作等。然后,在图13—2(b)中,根据由运动检测部15进行的与从前N帧到当前帧的脸区域、周边区域以及图像整体的运动相关的图形匹配的结果,从临时设定的周边区域中提取与脸区域作等效运动的一部分周边区域来设定为脸附属区域。即,在检测出的各个运动量中、如图13—2(b)中的箭头所示脸区域与一部分周边区域的运动一致、且画面整体的运动与脸区域不同的情况下,将与脸区域的运动一致的一部分周边区域设定为脸附属区域。在图13—2(b)中所示的例子中,示出被摄体人物与车一起移动的例子,脸区域下排的3个区域和脸区域右侧的一个区域合计4个周边区域进行与脸区域相同的运动,并被设定为与脸区域作等效运动的脸附属区域(脸周边区域),剩余的4个周边区域被判定为画面上的背景区域,并从运动检测部15的运动检测对象中被排除。\n[0100] 此外,关于图13—3(a)所示的(N+2)帧的帧图像,由于脸的方向等原因,通过脸检测部18中的模板匹配不能检测出脸区域。此时,运动检测部15利用图形匹配法来检测已检测出的脸区域和周边区域中的脸附属区域的运动,如图13—3(b)所示,在脸区域和脸附属区域的运动都能检测出的情况下,根据检测出的脸区域的运动来计算(N+2)帧的脸区域的位置。然后,把检测出的脸区域作为对象来进行N帧图像的AE动作等。\n[0101] 此时,在运动检测部15不能检测出脸区域的运动而只能检测出脸附属区域的的运动的情况下,根据脸附属区域的运动来预测脸区域的位置,并计算(N+2)帧的脸区域的位置。然后,将计算出的脸区域作为对象来进行N帧图像的AE动作等。\n[0102] 这样,在本实施方式2中,利用脸检测部18检测脸区域,并针对检测出的脸区域来虚拟设定周边区域,从周边区域中提取并设定表示与脸区域作等效运动的脸附属区域。然后,在运动检测部15中通过图形匹配来检测脸检测部18所检测出的脸区域和周边区域中的脸附属区域在帧间的时间序列运动。虽然检测中的脸图像收于帧图像内,但在由于脸的方向变化、通过脸检测部18的模板匹配不能检测出脸的情况下,当通过运动检测部15中的图形匹配可检测出脸区域的运动时,根据检测出的脸区域的运动来更新作为对象的当前帧图像中的脸区域的位置。然后,当由于脸向后等运动而致使通过运动检测部15中的图形匹配也不能检测出脸区域的运动、但通过运动检测部15中的图形匹配可检测出脸附属区域的运动时,根据检测出的脸附属区域的运动,预测当前帧图像中的脸区域的运动,并更新脸区域的位置。即,从周边区域中提取并设定表示与脸区域作等效运动的脸附属区域,着眼于通过追踪脸附属区域的运动可估计脸区域的运动这一点,在不能检测出脸区域自身或脸区域的运动的情况下,可有效利用已检测出的脸附属区域的运动。\n[0103] 以下,参照图14~图19来详细说明本实施方式2中的动作控制例。另外,由于伴随电子照相机的电源接通/断开的基本动作控制例与图4的情况相同,因而省略图示和说明。\n[0104] 下面,参照图14来说明图4中的步骤S101或步骤S106的本实施方式2的脸检测处理。图14是示出实施方式2中的脸检测处理例的概略流程图。首先,系统控制器27使用脸检测部18来执行利用公知的模板匹配法等进行的脸检测处理(步骤S400)。在利用脸检测部18的脸检测处理来检测出脸的情况下(步骤S401;是),将检测出的脸区域作为当前帧中的脸区域而保存在RAM16内(步骤S402;脸位置决定部,脸位置决定步骤)。这相当于图13—1(a)、图13—2(a)所示的例子。在继这样的脸检测之后,系统控制器27使用周边区域设定部32来执行周边区域设定处理(步骤S403)。这相当于图13—1(b)、图13—\n2(b)所示的例子。该周边区域设定处理在后面描述。\n[0105] 在继周边区域设定处理之后,判断在当前帧中是否检测出(可设定)该周边区域(步骤S404)。在检测出的情况下(步骤S404;是),将检测出的周边区域作为当前帧中的周边区域而保存在RAM16内(步骤S405),结束本次的脸检测处理。在未检测出的情况下(在不能设定的情况下),直接结束本次的脸检测处理。脸检测部18的脸检测处理中,对于后续的帧图像,只要继续检测出脸,就同样地重复这些步骤S401;是~步骤S405的处理。因此,由脸检测部18检测出的脸区域的信息被决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。\n[0106] 另一方面,在通过脸检测部18的脸检测处理不能检测出脸区域的情况下(步骤S401;否),系统控制器27执行使用了运动检测部15的图形匹配的脸区域检测处理,并决定脸区域的位置。首先,针对前一帧图像判断脸区域是否被存储在RAM16内(步骤S406)。\n这是因为,运动检测部15的处理是以至少在先行的帧图像中由脸检测部18临时检测出脸区域、且脸区域被临时存储在RAM16内为前提来执行的。在脸区域未被存储在RAM16内的情况下(步骤S406;否),由于不能进行运动检测部15的处理,因而结束本次的脸检测处理。\n[0107] 在前一帧图像有脸区域的情况下(步骤S406;是),在运动检测部15中执行与脸区域相关的图形匹配处理,并检测前一帧与当前帧之间的脸区域的时间序列运动(步骤S407)。接下来,关于前一帧图像判断周边区域是否被存储在RAM16内(步骤S408)。在前一帧图像有周边区域的情况下(步骤S408;是),在运动检测部15中执行与周边区域相关的图形匹配处理,并检测前一帧与当前帧之间的周边区域的时间序列运动(步骤S409)。该周边区域的图形匹配处理在后面描述。在周边区域未被存储在RAM16内的情况下(步骤S408;否),跳过步骤S409的处理。\n[0108] 然后,关于运动检测部15的周边区域的图形匹配结果,判断是否检测出与周边区域相关的运动矢量(步骤S410)。在检测出周边区域的运动矢量的情况下(步骤S410;\n是),关于运动检测部15的脸区域的图形匹配结果,判断是否检测出与脸区域相关的运动矢量(步骤S411)。在检测出脸区域的运动矢量的情况下(步骤S411;是),根据同时检测出的周边区域的运动检测结果,进行与相对周边区域矢量的可靠性相关的判定处理(步骤S412;可靠性判定部)。该相对周边区域矢量可靠性判定处理在后面描述。然后,根据检测出的脸区域的运动来计算当前帧中的脸区域并将其保存在RAM16内(步骤S413;脸位置决定部,脸位置决定步骤)。这相当于图13—2(b)。因此,在脸检测部18未检测出脸区域、运动检测部15检测出脸区域的运动的情况下,根据脸区域的运动而算出的脸区域的信息被决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。\n[0109] 另一方面,在步骤S411中未检测出脸区域的运动矢量的情况下,将检测出的周边区域的运动矢量视为脸区域的运动矢量(步骤S413),根据脸区域的运动矢量来计算当前帧中的脸区域并将其保存在RAM16内(步骤S214;脸位置决定部,脸位置决定步骤)。因此,在脸检测部18未检测出脸区域、运动检测部15未检测出脸区域的运动、但运动检测部\n15检测出周边区域的运动的情况下,将根据周边区域的运动而估计并计算出的脸区域的信息决定为当前帧中的脸区域。这样所决定的脸区域的信息被保存在RAM16内,用作摄像条件设定的对象区域。\n[0110] 之后,关于相对周边区域矢量可靠性判定处理的判定处理结果,判断相对周边区域矢量的可靠性是否是规定水平以上(步骤S415),在有规定水平以上的可靠性的情况下(步骤S415;是),根据检测出的周边区域的运动来计算当前帧中的周边区域并将其保存在RAM16内(步骤S416)。在没有规定水平以上的可靠性的情况下(步骤S415;否),系统控制器27使用周边区域设定部32来执行周边区域设定处理(步骤S417),再次设定周边区域。该周边区域设定处理在后面描述。在周边区域设定处理之后,继续判断在当前帧中是否检测出(可设定)该周边区域(步骤S418)。在检测出的情况下(步骤S418;是),将检测出的周边区域作为当前帧中的周边区域保存在RAM16内(步骤S416),结束本次的脸检测处理。在未检测出的情况下(在不能设定的情况下),直接结束本次的脸检测处理。\n[0111] 而且,在步骤S410中未检测出周边区域的运动矢量的情况下,关于运动检测部15的脸区域的图形匹配结果,判断是否检测出与脸区域相关的运动矢量(步骤S419)。在检测出脸区域的运动矢量的情况下(步骤S419;是),根据检测出的脸区域的运动来计算当前帧中的脸区域并将其保存在RAM16内(步骤S420;脸位置决定部,脸位置决定步骤)。因此,在脸检测部18未检测出脸区域、运动检测部15检测出脸区域的运动的情况下,将根据脸区域的运动而算出的脸区域的信息决定为当前帧中的脸区域,并保存在RAM16内,用作摄像条件设定的对象区域。\n[0112] 下面,说明步骤S403、S417的周边区域设定处理。图15是示出在系统控制器27的控制下由周边区域设定部32执行的周边区域预测设定处理例的概略流程图。首先,根据脸区域信息,将周边宽度计算为脸宽度×周边宽度系数(步骤S500)。在该情况下,当脸宽度是规定尺寸以下时,设周边宽度系数为1,而当大于规定尺寸时,周边宽度系数被设定成脸宽度越大则越小。然后,根据脸区域信息,将周边高度计算为脸高度×周边高度系数(步骤S501)。根据这些计算结果来计算周边区域(步骤S502)。然后,判断计算出的全部周边区域是否收于摄影视场角的范围内(步骤S503)。在收于摄影视场角的范围内的情况下(步骤S503;是),结束周边区域预测设定处理。\n[0113] 另一方面,在未收于摄影视场角的范围内的情况下(步骤S503;否),判断周边的规定阈值%是否收在摄影视场角的范围内(步骤S304)。在收于摄影视场角的范围内的情况下(步骤S504;是),更新计算出的周边区域(步骤S505),结束周边区域预测设定处理。\n[0114] 并且,在未收于摄影视场角的范围内的情况下(步骤S504;否),清除未收于摄影视场角的范围内的周边区域(步骤S506),结束周边区域预测设定处理。在该情况下,如果全部区域未收于摄影视场角的范围内,则成为周边区域未检测出,在下一周边区域检测判定(步骤S404、S418)中,判定结果为否。\n[0115] 这里,参照图16—1~图16—4来说明图15所示的周边区域预测设定例。图16—\n1示出8个周边区域全部收于摄影视场角的范围内的帧图像例。在该情况下,针对所有8个周边区域和脸区域利用运动检测部15来进行图形匹配。即,将所有8个周边区域设定为有效的周边区域。\n[0116] 图16—2示出8个周边区域中的一部分未收于摄影视场角的范围内的帧图像例。\n即,在图示例的情况下,下排的3个周边区域未收于摄影视场角的范围内,不过例如50%以上都收于摄影视场角的范围内,因而将下排的3个周边区域的尺寸变更成收于摄影视场角的范围内。然后,将所有8个周边区域设定为有效的周边区域,并针对所有8个周边区域和脸区域利用运动检测部15来进行图形匹配。\n[0117] 图16—3示出8个周边区域中的一部分未收于摄影视场角的范围内的帧图像例。\n即,在图示例的情况下,下排的3个周边区域未收于摄影视场角的范围内,且例如50%以上都未收于摄影视场角的范围内,因此将下排的3个周边区域从周边区域中排除。然后,将剩余的所有5个周边区域设定为有效的周边区域,针对5个周边区域和脸区域利用运动检测部15来进行图形匹配。\n[0118] 图16—4示出脸区域大于规定尺寸的帧图像例。在该情况下,将周边区域的尺寸设定为小于脸区域的尺寸(例如1/4),并设定成使收于摄影视场角的范围内的周边区域数增加。在图示例中,示出周边区域数从标准的8个增加到12个的例子。\n[0119] 下面,说明前一帧与当前帧之间的步骤S407的脸区域图形匹配处理和步骤S409的周边区域图形匹配处理。这里,图形匹配处理为了提高匹配处理的精度,而将脸区域和周边区域分别分割为多个宏块(分割区域)来进行。图17—1是示出在脸区域较小时的脸区域和周边区域各自的宏块的分割例的示意图。图17—1示出将脸区域等分割为4个宏块并将各周边区域也等分割为4个宏块的例子。图17—2是示出在脸区域较大时的脸区域和周边区域各自的宏块的分割例的示意图。图17—2示出将脸区域等分割为20个宏块并将各周边区域也等分割为20个宏块的例子。另外,各个脸区域和周边区域的宏块的尺寸无需一律相同,也可以不同,可以设定适当的分割数(个数)。并且,步骤S407的脸区域图形匹配处理由于与图9的情况相同,因而省略图示和说明。\n[0120] 图18是示出在系统控制器27的控制下由运动检测部15执行的周边区域图形匹配处理例的概略流程图。在该图形匹配处理中,将以下情况作为基本,即:作为周边区域的时间序列运动,根据各区域内的有位置变化的多个宏块的变化来检测位置变化量。\n[0121] 首先,开始周边区域图形匹配处理,针对周边区域决定宏块的尺寸/个数(步骤S520)。然后,按各宏块进行相关运算(步骤S521),通过综合判断相关结果,来计算各宏块的运动矢量(步骤S522)。在进行各宏块的相关运算时,在当前帧中设定比前一帧大一圈的范围,并通过判断每一像素运动到哪里来进行。然后,针对计算出的运动矢量,按各宏块判定可靠性(步骤S523)。可靠性的判定例如是根据计算出的运动矢量的方向是否一致等的相关值的大小来进行的。然后,根据有可靠性的宏块来计算各个周边区域的运动矢量(步骤S524)。该情况下的运动矢量可以通过例如采用运动矢量的平均值或频度高的运动矢量等的方法来求出。然后,关于计算出的运动矢量,判定周边区域整体的可靠性(步骤S525),在周边区域整体有可靠性的情况下(步骤S526;是),将在步骤S524中求出的周边区域的运动矢量视为有效,结束周边区域图形匹配处理。在周边区域整体没有可靠性的情况下(步骤S526;否),清除在步骤S524中求出的周边区域的运动矢量(步骤S527),结束周边区域图形匹配处理。\n[0122] 并且,说明步骤S412中的相对周边区域矢量可靠性判定处理。图19是示出由系统控制器27执行的相对周边区域矢量可靠性判定处理例的概略流程图。该处理是这样的处理,即:在求出脸区域的运动矢量和周边区域的运动矢量的情况下,分割为纵横的运动,根据各个方向上的运动是否有同一性来判定可靠性。\n[0123] 首先,根据|水平周边区域矢量—水平脸区域矢量|来计算水平差矢量(步骤S530),并根据|垂直周边区域矢量—垂直脸区域矢量|来计算垂直差矢量(步骤S531)。\n然后,判定水平差矢量是否小于预先设定的规定的水平矢量阈值(步骤S532),且判定垂直差矢量是否小于预先设定的规定的垂直矢量阈值(步骤S533)。当水平差矢量小于水平矢量阈值(步骤S532;是)、而且垂直差矢量小于垂直矢量阈值时(步骤S533;是),判定为相对周边区域矢量有可靠性(步骤S534),结束相对周边区域矢量可靠性判定处理。另一方面,当水平差矢量是水平矢量阈值以上(步骤S532;否)、或者垂直差矢量是垂直矢量阈值以上时(步骤S533;否),判定为相对周边区域矢量没有可靠性(步骤S535),结束相对周边区域矢量可靠性判定处理。\n[0124] 这样,根据本实施方式2,利用脸检测部18从由摄像元件12所获得的图像数据中检测脸区域,并且在周边区域设定部23的设定下检测与脸区域作等效运动的周边区域,利用运动检测部15来检测已检测出的脸区域和周边区域各自在帧间的时间序列运动,根据脸检测部18的检测结果和运动检测部15的检测结果来决定当前帧中的脸区域。因此,即使在被摄体的脸从正向变为横向、后向等而由脸检测部18不能检测出脸区域的情况下,也能通过使用脸区域自身的运动检测和周边区域的运动检测的结果,来适当地继续估计脸区域的位置。
法律信息
- 2021-09-03
未缴年费专利权终止
IPC(主分类): H04N 5/232
专利号: ZL 200810168019.1
申请日: 2008.09.25
授权公告日: 2011.06.29
- 2015-12-09
专利权的转移
登记生效日: 2015.11.18
专利权人由奥林巴斯映像株式会社变更为奥林巴斯株式会社
地址由日本东京变更为日本东京都
- 2011-06-29
- 2009-05-27
- 2009-04-01
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |