具有用于拍摄摇摄图像的摇摄模式的摄像装置

暂无

具有用于拍摄摇摄图像的摇摄模式的摄像装置
[0001] 本申请基于2008年2月29日在日本提出的专利申请No.2008-049168，并主张其优先权，在本申请中引用上述基础申请的全部内容。
技术领域
[0002] 本发明涉及例如数字照相机等摄像装置，特别涉及适于以移动体作为被摄体进行摇摄(panning)等时使用的摄像装置，以及该摄像装置等中使用的图像处理程序。
背景技术
[0003] 以往，作为在所谓的摇摄拍摄时、即使不使照相机精密地配合主要被摄体的运动地进行追踪，也能够获得使该被摄体静止且使其背景流动的摇摄图像(panned image)的技术，例如在下述专利文献1中记载了以下技术。
[0004] 即，在摇摄拍摄时，在根据摄影指示进行了连续摄影之后，将通过连续摄影获得的多个图像数据在以主要的被摄体重叠于相同位置的方式进行了位置对准的状态下进行合成。在该合成时，首先比较多个图像数据，在图像整个区域内提取像素值和其配置图案在预定面积以上的范围内连续地类似的区域部分。然后，对提取出的区域部分一次取得运动矢量，将运动矢量互不相同的区域部分作为不同的被摄体部分进行识别。然后，将识别出的被摄体部分的某一部分作为相当于主要被摄体的区域，将该区域作为基准区域以主要被摄体重叠于相同位置的方式合成多个图像数据。
[0005] 专利文献1：特开2006-339903号公报
[0006] 但是，在上述技术中，在多个图像数据的合成时，为了确定多个图像数据的位置对准所需要的基准区域，必须进行这样的处理：比较多个图像数据，在图像整个区域内提取像素值和其配置图案在预定面积以上的范围内连续地类似的区域部分，因此，存在在将多个图像位置对准并合成时的处理效率低下，合成处理需要相当长的时间的问题。
[0007] 发明内容
[0008] 本发明是鉴于上述现有的问题而提出的发明，其目的在于提供一种能够高效且迅速地进行由时间上连续地多张图像生成摇摄图像时的多个图像的合成处理的摄像装置、以及该摄像装置等中使用的图像处理程序。
[0009] 根据本发明的第一方式，提供一种摄像装置，其特征在于，该摄像装置包括：摄影单元，其通过摄像元件来获取在时间上连续的多张图像；基准区域设定单元，其将通过该摄影单元获取的多张图像中的某一张图像设定为基准图像，并将该基准图像中的具有高频成分的区域设定为基准区域；以及图像处理单元，其以通过该基准区域设定单元设定的基准区域的被摄体部分重叠的方式将所述基准图像与其它图像位置对准并进行合成。
[0010] 根据本发明的第二方式，提供一种计算机可读取的记录介质，该记录介质中包含可由计算机系统执行的、可使该计算机系统按照一连串的处理过程进行动作的程序，所述处理过程包括以下过程：获取在时间上连续地拍摄的多张图像，将所获得的多张图像中的某一张图像设定为基准图像，将该基准图像中的具有高频成分的区域设定为基准区域，以所设定的基准区域的被摄体部分重叠的方式将所述基准图像与其它图像位置对准并进行合成。
[0011] 根据本发明的第三方式，提供一种摄像装置，其特征在于，该摄像装置包括：摄影单元，其通过摄像元件来获取在时间上连续的多张图像；脸部检测单元，其从通过该摄影单元获取的图像中检测出人物的脸部部分；基准区域设定单元，其将通过所述摄影单元获取的在时间上连续的多张图像中的某一张图像设定为基准图像，并将该基准图像中的与通过所述脸部检测单元检测到的脸部部分对应的区域设定为基准区域；以及图像处理单元，其以通过该基准区域设定单元设定的基准区域的被摄体部分重叠的方式将所述基准图像与其它图像位置对准并进行合成。
[0012] 根据本发明的第四方式，提供一种摄像装置，其特征在于，该摄像装置包括：摄影单元，其通过摄像元件来获取在时间上连续的多张图像；追踪单元，其在通过该摄影单元在时间上连续地获取的各张图像中追踪注视被摄体；基准区域设定单元，其将通过所述摄影单元获取的在时间上连续的多张图像中的某一张图像设定为基准图像，并将该基准图像中的与通过所述追踪单元追踪到的注视被摄体对应的区域设定为基准区域；以及图像处理单元，其以通过该基准区域设定单元设定的基准区域的被摄体部分重叠的方式将所述基准图像与其它图像位置对准并进行合成。
[0013] 根据本发明的第五方式，提供一种摄像装置，其特征在于，该摄像装置包括：摄影单元，其通过摄像元件来获取在时间上连续的多张图像；偏移量获取单元，其取得通过该摄影单元获取的多张图像的不同图像之间的被摄体部分的偏移量；基准区域设定单元，其将通过所述摄影单元获取的多张图像中的某一张图像设定为基准图像，并在该基准图像中根据通过所述偏移量获取单元得到的偏移量来设定与主要被摄体相当的基准区域；以及图像处理单元，其以通过该基准区域设定单元设定的基准区域的被摄体部分重叠的方式将所述基准图像与其它图像位置对准并进行合成。
附图说明
[0014] 参照附图来描述实现本发明的各种特征的总体结构，附图以及与其相关的描述只是举例说明本发明的实施方式，其并不限定本发明。
[0015] 图1是表示本发明的数字照相机的电气结构的方框图。
[0016] 图2是表示第一实施方式中的摇摄模式下的CPU的处理顺序。
[0017] 图3是表示与直通图像(through image)重叠地显示网格的图。
[0018] 图4A是表示设定于基准图像的窗口的图，图4B是表示将窗口内划分开来而得的块的图。
[0019] 图5是表示第二实施方式中的摇摄模式下的CPU的处理顺序的流程图。
[0020] 图6是简单地表示以一张图像为基准图像时的其它图像中的主要被摄体与背景被摄体的位置关系的不同的图。
[0021] 图7是简单地表示窗口内的外周区域中的被摄体部分的运动矢量与其以外的被摄体部分的运动矢量的不同的图。
[0022] 图8是表示窗口内的各个块的运动矢量的值的偏差的一例的图。
具体实施方式
[0023] 参照附图详细说明基于本发明的实施方式。基于附图举例说明的实施例并不限定本发明的权利保护范围。
[0024] 实施方式1
[0025] 图1是表示作为本发明的摄像装置的实施方式的数字照相机的电气结构的方框图。关于该数字照相机，作为基本动作模式，具有进行摄影的记录模式和用于再现所拍摄到的图像的再现模式，作为记录模式的下位模式，设有摇摄模式。另外，摇摄模式是用于通过一边配合主要被摄体的运动使照相机进行追踪一边进行摄影，来获得使主要被摄体静止且使背景流动的摇摄图像的摄影模式。
[0026] 如图1所示，本实施方式的数字照相机包括：摄影镜头1；作为摄像元件的CMOS传感器3，其通过快门2来接收通过摄影镜头1收敛的摄影光，并且对在受光面上成像的被摄体的光学像进行光电转换然后作为图像信号输出；A/D转换器4，其将CMOS传感器3的输出信号转换成数字图像数据；以及DRAM5，其逐次存储转换后的图像数据。另外，在DRAM5中，在摇摄模式下的摄影时保存多张图像数据。
[0027] 所述快门2的动作按照CPU9的命令由快门控制部8控制，所述CMOS传感器3以及A/D转换器4的动作按照CPU9的命令由受光控制部10控制。存储在所述DRAM5中的一张图像的数据、即RAW数据通过去马赛克(Demosaic)部11按照每个像素插入颜色信息转换为YUV数据之后，通过液晶显示控制器6作为直通图像(实时取景图像：live-view image)显示在液晶显示器7上。
[0028] 另外，所述去马赛克部11在摇摄模式下的摄影时将RAW数据不但转换为YUV数据(摄影图像)，还根据需要转换成仅由亮度信息构成的亮度图像数据(亮度图像)。另外，转换得到的YUV数据和亮度图像数据临时存储在DRAM5中。
[0029] 在记录模式下的摄影时通过去马赛克部11转换成YUV数据的图像数据，被CPU9按照JPEG等预定压缩方式压缩之后，作为静止图像文件记录在外部存储器12中。在外部存储器12中作为静止图像文件存储的图像数据，在再现模式下根据需要由CPU9读出并解压缩，然后，通过通过液晶显示控制器6显示在液晶显示器7上。另外，外部存储器12例如由相对于照相机主体装拆自如的存储卡或内置于照相机主体的闪速存储器(flash memory)等构成。
[0030] 另外，在CPU9上连接有用户接口13、程序存储器14，频率特性运算部15，块匹配部
16以及图像处理部17。用户接口13由用于使用者对数字照相机进行操作的、包括电源键快门键以及模式切换键等的多个开关类构成。程序存储器14是存储CPU9进行动作所必需的各种程序、以及程序执行时使用的各种数据的存储器。
[0031] CPU9按照存储在程序存储器14中的程序，根据用户接口13中的某个键的操作来控制数字照相机的各部的动作，并且进行所述图像数据的压缩和解压缩处理。另外，在摇摄模式下，CPU9作为本发明的摄影单元、基准区域设定单元以及处理对象区域设定单元发挥作用。
[0032] 频率特性运算部15是在摇摄模式下的摄影时，对利用CMOS传感器3拍摄到的图像中的特定的局部区域(块)进行频率特性运算并输出到CPU9的本发明的评价值获取单元。
[0033] 块匹配部16是本发明的运动矢量获取单元，其在摇摄模式下的摄影时，使用SRAM18作为作业存储器，在通过CMOS传感器3拍摄到的基准图像与其它图像之间进行块匹配(block matching)，获取运动矢量并输出到CPU9，该运动矢量表示基准图像的特定局部区域(块)中的被摄体部分的相对偏移量的绝对值和偏移方向。
[0034] 图像处理部17是在摇摄模式下的摄影时根据CPU9的指示将通过CMOS传感器3拍摄到的多张图像位置对准并进行合成的本发明的图像处理单元。
[0035] 下面，在由以上部分构成的数字照相机中，对设定了作为记录模式的下位模式的摇摄模式的时候的动作进行说明。图2是表示在设定了记录模式的时候由使用者设定了摇摄模式的情况下的CPU9的处理顺序的流程图。
[0036] CPU9在液晶显示器7上利用公知的OSD(On Screen Display)技术与摇摄模式的设定一起显示与直通图像(through image)重叠的如图3所示的网格(grid)100(步骤SA1)。该网格100用于在摄影者使照相机的方向跟随主要被摄体的运动时将主要被摄体导向框架内的特定位置，在本实施方式中，上述特定位置是框架内的中央部分。因此，在摇摄时，摄影者尽量使主要被摄体位于框架内的中央部分地在希望的快门时机按下快门键。
[0037] 然后，在按下快门键后(在步骤SA2中为是)，在该时刻实施12次的连拍摄影(步骤SA3)。具体来说，在将各次的摄影条件设定成使曝光无缝(seamless)的状态下，以快门时间1/60秒，连拍速度60fps利用CMOS传感器3获取在时间上连续的12张图像的RAW数据，并存储在DRAM5中(步骤SA3)。这期间(连拍摄影过程中)，以主要被摄体位于摄影框架内的中央部分(特定位置)的方式配合主要被摄体的运动使照相机进行追踪，但是通常照相机(摄影框架)相对于主要被摄体会产生偏移，在各张图像中主要被摄体的位置会产生偏移。
[0038] 接下来，将存储在DRAM5中的各个RAW数据通过去马赛克部11转换成YUV数据以及仅由亮度成分构成的亮度图像数据，将转换后的图像数据存储在DRAM5中(步骤SA4)。
这里，YUV数据是合成用的图像数据，亮度图像数据是尺寸满足后述的多张图像(YUV数据)的合成时的位置对准作业的缩小图像数据。
[0039] 接着，将转换后的亮度图像数据中的第一张图像作为基准图像，在该基准图像中，将预先确定的预定尺寸的窗口设定在摄影框架内的中央部分，并且将窗口内划分成以纵向
16像素×横向16像素为单位的多个块，利用频率特性运算部15运算每个块的频率特性(步骤SA5)。
[0040] 图4(a)是表示在基准图像101中设定的窗口102的图，图4(b)是表示窗口102和块103的图。窗口102是本发明的对象处理区域，在本实施方式中，如图所示是纵向和横向的尺寸分别为基准图像101的1/2的矩形区域。
[0041] 另外，在频率特性运算部15中，块内的空间频率越高，即该部分的图像因焦点偏移(defocusing)或被摄体运动导致的模糊越少(图像越清晰)，作为频率特性越可运算出高值的预定评价值。另外，在本实施方式中，作为评价值，计算哈利斯的角部(Harris corner)检测评价值。
[0042] 然后，CPU9根据针对每个块算出的上述评价值选出高频块(步骤SA6)。在该处理中，对各块103根据评价值按照评价值从高到低的顺序进行排位，在排位处于预先确定的预定排位以内的块103中，将评价值在预定值以上的一个或多个块103判断为高频成分多的区域，然后选出所述各个块103作为高频块。图4(b)表示在该选出的高频块103a(利用斜线表示的各个块)的一例，该多个高频块是本发明的基准区域。
[0043] 另外，高频块的选出基准是任意的，例如也可以将评价值在预定值(预定的阈值)以上的所有块103或者是评价值顺序在一定排位以内的所有块103作为高频块选出。另外，根据评价值排出的各块103的排位也可以按照评价值从低到高的顺序来进行，在除了排位处于预先确定的预定排位以内的块103之外的剩余的块103中，将评价值在预定值以上的块103作为高频块选出。另外，也可以按照评价值从低到高的顺序进行排位，将除了预定排位以内的块103之外的剩余所有的块103作为高频块选出。
[0044] 接下来，在块匹配部16中，在所述转换后的亮度图像数据中，将基准图像以外的其它图像作为对象图像(起初为第二张图像)，在基准图像和各个对象图像之间进行仅以高频块103a的被摄体部分为追踪对象的块匹配，获得表示两者之间的被摄体部分的相对偏移量的绝对值和偏移方向的运动矢量(步骤SA7)。更具体地说，在本实施方式中，在以对象图像侧的同一坐标块为中心的预定的检索范围内进行被摄体部分的追踪，求出每个坐标的差值的平方和，从该差值的平和最小的位置求出每个高频块的运动矢量。
[0045] 另外，在上述块匹配时，将在对象图像中检索高频块103的被摄体部分时候的检索范围，设定为比与该被摄体部分容许的预定偏移量、即主要被摄体部分容许的偏移量(像素数量)对应的设想追踪范围更大的范围(例如与为容许偏移量的2倍的偏移量对应的范围)后，检索被摄体部分。由此，还能拾取背景被摄体部分的运动矢量，另外，排除了主要被摄体部分和背景被摄体部分的原理上无法求出正确的运动矢量的块，获取了更加正确的运动矢量。
[0046] 这是因为：如果将高频块103a的被摄体部分的检索范围设定成和与主要被摄体所容许的偏移量对应的设想追踪范围相等，则在块匹配中获得的运动矢量中，主要被摄体部分的运动矢量、与背景被摄体部分的运动矢量或追踪失败时的运动矢量无法区分。另外，块匹配中的具体的运动矢量计算方法是任意的。
[0047] 接下来，CPU9在通过上述块匹配获取的各个高频块的运动矢量数据中，使用表示预定距离以下的偏移量的特定的运动矢量，求出表示对象图像的被摄体相对于基准图像的被摄体的各部分的位置关系的投影转换矩阵(步骤SA8)。即，仅根据排除了本来不应得到那样的(明显错误地获取的)运动矢量后的正确的运动矢量，来求出投影转换矩阵。另外，在本实施方式中，利用RANSAC法来排除异常值(outlier)(被摄体移动等导致的不规则的
1 1
运动矢量 ( ：由于“块”应该是不移动的，因此稍微调整了描述))后求出投影转换矩阵。更具体地说，如果通过RANSAC法求出的投影转换矩阵支持率(相对于所有样本数的有效值(inlier)(转换矩阵有效的样本)的比例)在一定值以上，则将RANSAC法求出的投影转换矩阵的生成视为成功，判断为转换矩阵有效。
[0048] 接着，按顺序变更对象图像(亮度图像数据)，同时返回上述步骤SA7、步骤SA8的处理(在步骤SA9中为否)。此时，在步骤SA7的块匹配时，将所述的检索范围的中心移动相当于前一张对象图像(对象图像若为第三张图像的话，则是第二张图像)的平均运动矢量的量地进行设定，由此来高效地获得运动矢量。
[0049] 然后，在对所有的对象图像(亮度图像数据)获取所述投影转换矩阵之后，即在掌握了所有图像间的主要被摄体(认为是主要被摄体的部分)的位置关系之后(在步骤SA9中为是)，根据在步骤SA8中获取的投影转换矩阵，计算出各个相邻帧之间的平行移动成分，按照基于所计算出的平行移动成分的预定选择基准，选择能够判断为主要被摄体的抖动小的连续8张图像(步骤SA10)。在选择该8张图像时，以彼此相邻的8张图像为一组，将各图像的平行移动成分矢量的绝对值累计，选择所述累计值最小的一组的图像群。但是，在累计值相同(或者累计值的差在预定值以内)的图像群有多组的情况下，选择距快门按下时间近的一组的图像群。
[0050] 另外，在如上所选择的相邻的一组图像群中，将摄影顺序位于中间(摄影顺序为第四)的图像的亮度图像数据设定为新的基准图像，通过与步骤SA5～SA9相同的处理，针对其它各个图像(亮度图像数据)获取运动矢量，再次计算出投影转换矩阵(步骤SA11)。
另外，在再次计算该投影转换矩阵时，也可以不再次进行步骤SA5～SA7的处理，根据已经取得的各张图像的运动矢量进行换算来获得基准图像变更后的其它各张图像的运动矢量，由此来减轻获取新的运动矢量所需的处理负担。但是，在该情况下，运动矢量的精度不可避免地会降低。
[0051] 此后，利用计算出的投影转换矩阵由图像处理部17对基准图像以外的帧的各图像(YUV数据)进行投影转换，并且将各图像与基准图像(YUV数据)加总取平均(addition and averaging)来进行合成后(步骤SA12)，合成后的图像作为摄影图像存储在外部存储器12中(步骤SA1A3)。由此，获得了摇摄图像。
[0052] 如上所述，在本实施方式中，在将通过摇摄模式下的连续摄影获得的多个图像(YUV数据)位置对准并进行合成时，从将预定的基准图像101(亮度图像数据)的窗口102划分开来而得到的多个块中，选择空间频率比其它块103高的高频宽103a(参照图4)，在获取所选择的一个或多个高频块103a的运动矢量之后，仅根据所获取的高频块103a的运动矢量来将多张图像位置对准。
[0053] 即，在基准图像101(窗口102内)根据各块的频率特性来判断认为与主要被摄体对应的区域。因此，与以往相比，判断与主要被摄体对应的区域所需要的处理更加简单，生成摇摄图像时的多张图像的合成处理能够更高效且迅速地进行。
[0054] 另外，仅针对根据频率特性判断出高频成分多的高频块103a获取运动矢量，在多张图像的合成时，仅根据高频块的运动矢量来将多张图像位置对准。因此，能够将通过连续摄影所获取的多张图像(YUV数据)的位置对准所需要的运动矢量抑制为最小限度，能够更高效且迅速地进行生成摇摄图像时的多张图像的合成处理。
[0055] 另外，如果仅简化与主要被摄体对应的区域的判断所需要的处理，则与本实施方式不同，关于多张图像的位置对准所需要的运动矢量，可以不是仅为例如高频块103a的运动矢量，而是为与一个或多个高频块103a外接的矩形区域内的所有块103的运动矢量。
[0056] 另外，在基准图像101(亮度图像数据)中设定窗口102(处理对象区域)，在窗口
102内选出了高频块103a。因此，高频块103a的选出、即与主要被摄体对应的区域的判断所需要处理负担能够减轻，能够更加高效且迅速地进行生成摇摄图像时的多个图像的合成处理。
[0057] 另外，在本实施方式中，对在基准图像101中设定窗口102的情况进行了说明，但是并不仅限于此，可以对基准图像101整个区域按块进行划分，以基准图像101的整个区域为对象来选出高频块，并根据其运动矢量来进行各图像的位置对准。即使在该情况下，与以往相比，与主要被摄体对应的区域的判断所需的处理更加简单，能够高效且迅速地进行生成摇摄图像时的多个图像的合成处理。
[0058] 另外，关于在基准图像101中设定的窗口102，在本实施方式中使其设定位置固定(中央部分)，但是窗口102的设定位置未必是中央部分，例如可以由摄影者事前选择设定位置，或者自由设定，也可以是选择或者设定的任意位置。另外，窗口102的尺寸也是固定的，但是其也可以构成为能够变更。
[0059] 另外，也可以显示成使窗口102显示在直通图像(连拍图像)上。由此，摄影者容易将主要被摄体收纳在窗口102内。
[0060] 另外，在上述效果的基础上，在本实施方式中，如上所述，在步骤SA7的块匹配中，将高频块103a的被摄体部分的检索范围设定为比与主要被摄体容许的偏移量对应的设想追踪范围要大的范围后，来检索被摄体部分，由此，作为高频块103a的运动矢量，获取了正确的运动矢量。因此，能够更正确地进行基于高频块103a的运动矢量的多个图像(YUV数据)的位置对准，作为摄影图像能够获得高品质的摇摄图像。
[0061] 另外在本实施方式中，将多个图像位置对准并进行合成时，将基准图像以外的图像(YUV数据)，按照根据高频块103a的运动矢量运算出的投影转换矩阵进行变形并合成到基准图像中，所以在各个图像中，即使在针对主要被摄体的摄影角度或摄影距离产生了变化的情况下，也能够对主要被摄体部分确保很高的同一性。因此，作为摄影图像，能够获得高品质的摇摄图像。
[0062] 另外，在本实施方式中，如前所述在步骤SA8中求出投影转换矩阵时，排除了本来不应得到那样的(明显错误地获得的)运动矢量，能够仅根据正确的运动矢量求出投影转换矩阵。因此，能够更加正确地进行利用所述投影转换的多个图像(YUV数据)的位置对准，同时能够可靠地确保所述各图像的被摄体部分中的同一性，由此，作为摄影图像也能够获得高品质的摇摄图像。
[0063] 另外，在本发明中，在将多个图像(YUV数据)位置对准并进行合成时，不必对基准图像101以外的图像群进行投影转换，例如在图2的流程图的步骤SA6中，也可以在选出了基准图像101的窗口102中的高频块103a之后，针对高频块103a在基准图像和其以外的各个图像之间获取运动矢量，按照该运动矢量来将多个图像(YUV数据)位置对准来进行合成。
[0064] 在该情况下，如果使将多个图像(YUV数据)位置对准所使用的运动矢量仅为表示预定距离以下的偏移量的特定的运动矢量，通过将本来不应得到那样的(明显错误地获得的)运动矢量排除来仅根据正确的运动矢量来将多个图像(YUV数据)位置对准，则作为摄影图像能够获得高品质的摇摄图像。
[0065] 另外，在通过连续摄影获得的12张图像中，按照所确定的选择基准来自动选择主要被摄体的抖动小的连续的8张图像，并且仅合成所选择的图像，因此能够防止连续摄影时由于照相机的抖动引起的图像内的主要被摄体部分和背景部分的画质降低。由此，作为摄影图像能够获得高品质的摇摄图像。
[0066] 另外，在本实施方式中，对以下内容进行了说明：在摇摄模式下，根据快门键发出的摄影指示进行连续摄影，从因此获得的多张(12)张图像中选择所确定的张数(8张)的图像并进行合成，但是也可以如下所述。例如可以将通过连续摄影获得的所有图像合成来获得摇摄图像。即，在图2的流程图中，在步骤SA7～SA9的处理中，在对基准图像101以外的所有对象图像(亮度图像数据)获取投影转换矩阵后(步骤SA9中为是)，直接进入步骤SA12，按照在步骤SA7、SA8的处理中取得的投影转换矩阵，对基准图像以外的图像群的YUV数据进行投影转换之后，与基准图像的YUV数据进行相加合成。
[0067] 另外，在合成通过连续摄影得到的所有图像的情况下，或者在如本实施方式那样从所获取的图像中选择预定的张数进行合成的情况下，在合成时作为基准的图像(在获取所述的运动矢量时将其亮度图像数据作为基准图像101的图像)中，并不限于距连拍开始时机最近的图像，例如也可以在合成的多张图像中，使用摄影时间位于中央的图像等。
[0068] 另外，也可以改变合成的图像的张数。例如可以构成为分阶段地设定摇摄图像中表示的背景部分的流动程度，由使用者在进行摇摄拍摄模式下的摄影之前选择背景部分的流动的强度，并且最终合成与该强度对应的张数的图像。此外，也可以根据摄影时的被摄体的明亮度来使合成的图像的张数自动地变化。例如也可以以被摄体的明亮度在能够判断出摄影图像的SN值变差的阈值以下为条件，将合成图像的张数自动增加到根据被摄体的明亮度决定的张数，或者根据被摄体的明亮度减少张数。由此，即使在暗的摄影环境下，也能够获得高品质的摇摄图像。另外，该情况下成为基准的被摄体的明亮度为例如视场角(angle-of-view)内整个区域的被摄体的明亮度或者所述窗口102(参照图4)那样的一部分区域的被摄体部分的明亮度即可。
[0069] 另外，在摇摄模式下，也可以从发出摄影指示以前开始连续摄影，在由此获取的图像中对一定张数的(例如12张)最新的图像进行存储保持，在摄影后，以发出摄影指示的时刻的前后获取的所有的图像(例如在摄影指示前获取的12张和摄影指示后获取的12张，共计24张)作为对象，来进行所述步骤SA4以后的处理。在该情况下，在步骤SA5的处理中，如果使用发出摄影指示后(刚发出摄影指示之后等)获取的图像作为基准图像101，则能够获得注重摄影者想要的摄影时机的主要被摄体的状态的摇摄图像。
[0070] 另外，在本实施方式中，在以摇摄模式显示的直通图像中，重叠网格100(图3)进行显示，但是在连续摄影过程中显示的直通图像中，也可以代替网格100而进行以下显示。
即，对在连续摄影过程中每获取新的图像时所获取的图像进行图2的流程图中的步骤SA5、SA6的处理，在直通图像的显示时，对由在之前刚获取的图像中选出的高频块103a构成的基准区域、或者包括与之前刚获取的图像中选出的一个或者多个高频块103a外接的矩形区域内的所有块103的特定区域的图像，进行像素间隔剔除(pixel decimation)等，以半透明的状态重叠在直通图像上进行显示，或者将表示上述特定区域的矩形框重叠在直通图像上进行显示。即，也可以以能够将成为主要被摄体的可能性高的区域和其它一般区域区分开的状态显示直通图像。另外，也可以在刚刚获取连续摄影过程中的一张图像之后对第一张图像进行图2的流程图的步骤SA5、SA6的处理，在直通图像的显示时，对由在第一张图像中选出的由高频块103a构成的基准区域、或者包括与第一张图像中选出的一个或多个高频块103a外接的矩形区域内的所有块103的特定区域的图像，进行像素间隔剔除等，以半透明的状态重叠在第二张以后的图像(直通图像)上进行显示，或者将表示上述特定区域的矩形框重叠在第二张以后的图像上进行显示。
[0071] 在该情况下，在连续摄影过程中(摇摄过程中)，作为主要被摄体的摄影位置(应该捕捉主要被摄体的视场角内的位置)能够对摄影者指导出更加适当的摄影位置，因此，在摄影者方面，配合主要被摄体的运动使照相机可靠地追踪变得容易。当然，在摇摄拍摄时的摄影时间越长，该效果越显著。
[0072] 另外，在进行摇摄拍摄时，从按下快门键以前的阶段就配合主要被摄体的运动使照相机进行追踪，因此无论是否用于摇摄图像的生成(合成)，在摄影待机状态下也进行连续的摄像动作，在摄影待机状态的直通图像上，可以以半透明的状态重叠显示刚刚之前拍到的图像中的所述基准区域或特定区域的图像，或者可以重叠表示上述特定区域的矩形框来进行显示。另外，对于在摄影待机状态下取得的直通图像，进行图2的流程图的步骤SA5、SA6的处理，可以将该摄影待机状态下取得的直通图像中的所述基准区域或者特定区域的图像重叠于在快门键按下以后获取的连拍图像(直通图像)上进行显示，或者重叠表示上述特定区域的矩形框进行显示。
[0073] 另一方面，在将本发明应用于具有检测图像内的人物的脸部部分的脸部检测功能的数字照相机等的情况下，也可以将在上述基准图像101中设定的窗口102(处理对象区域)作为与在摄影开始时机的刚刚之前等检测到的脸部部分对应的区域。另外，在将本发明应用于具有在显示直通图像的期间、或者在半按下快门键的期间，在逐次拍摄到的图像内持续地检测预先指定的任意的被摄体部分的注视被摄体(target subject)的自动追踪功能的数字照相机等的情况下，将设定在所述基准图像101中的窗口102(处理对象区域)作为与在摄影开始时机检测到的被摄体部分对应的区域。
[0074] 但是，在如上所述具有脸部检测功能或注视被摄体的自动追踪功能的数字照相机等中，与本实施方式不同，例如可以代替图2的流程图中的步骤SA5、SA6的处理，对各个连拍图像执行使用脸部检测功能来获取脸部区域的处理，并且在步骤SA7、SA11中，获取基准图像的脸部区域和各个对象图像的脸部区域之间的运动矢量，或者代替图2的流程图中的步骤SA5、SA6的处理，对基准图像执行使用脸部检测功能获取脸部区域的处理，并且在步骤SA7、SA11中，将基准图像的脸部区域作为追踪对象，对其它各个对象图像执行进行块匹配、获取运动矢量的处理。
[0075] 另外，也可以将与在连拍开始时机已经检测(追踪)到的被摄体部分对应的区域或与基准图像内的预定部分(例如视场角中央部分)对应的区域作为基准图像的基准区域(追踪对象)，对其它各个图像执行进行块匹配、获取运动矢量的处理。
[0076] 即，也可以将与利用脸部检测功能检测到的脸部部分对应的区域、或与在连拍开始时机检测(追踪)到的被摄体部分或基准图像内的预定部分(例如视场角中央部分)对应的区域，直接判断为与主要被摄体对应的区域。在该情况下，与以往相比，与主要被摄体对应的区域的判断所需要的处理更加简单，能够高效且迅速地进行生成摇摄图像时的多个图像的合成处理。
[0077] (实施方式2)
[0078] 接下来，对本发明的第二实施方式进行说明。本实施方式与第一实施方式一样涉及具有摇摄模式作为记录模式的下位模式的数字照相机。本实施方式的数字照相机中，废弃了图1所示的频率特性运算部15，并且在所述程序存储器14中存储有用于在摇摄模式下的摄影时使CPU9进行后述的处理的程序。
[0079] 以下，对本实施方式的数字照相机中的本发明的动作进行说明。图5是表示由使用者设定了摇摄模式的情况下的CPU9的处理顺序的流程图。
[0080] 步骤SB1～SB4的处理与所述的步骤SA1～SA4的处理相同，在本实施方式中，关于CPU9，当设定了摇摄模式时，与直通图像重叠地显示网格100，在按下了快门键的时刻实施12次的连续摄影，针对所获取的12张图像的每一张，生成YUV数据和亮度图像数据并进行存储。
[0081] 接着，在本实施方式中，以12张亮度图像数据中的第一张图像为基准图像，在基准图像的中央部分设定窗口102，将窗口内划分成多个块103，并且利用块匹配部16在基准图像与同其在时间上相距最远的第12张图像(亮度图像数据)之间进行块匹配，针对每个块103获取运动矢量(步骤SB5)。另外，上述窗口102和各块103的尺寸(位置)、运动矢量的具体获得方法与第一实施方式相同。
[0082] 这里，将第12张图像作为块匹配的对象是基于以下理由。即，图6(a)～(c)是简单地表示第一张、第二张、第n(3以上)张的各图像的窗口102内的主要被摄体A和背景被摄体B的位置关系的不同的图。另外，图6(b)、(c)所示的箭头，是以相对于作为基准图像的第一张图像的第二张、第n(3以上)张图像为对象获取运动矢量时的图像内的各部(这里仅为一部分)的运动矢量，它们各自的长度是运动矢量的大小。如图所示，与基准图像的时间间隔越远的图像，与主要被摄体部分相比背景部分的运动矢量的大小越大，这是因为运动矢量中的两者间的分离性变高。
[0083] 并且，CPU9在基准图像和第12张图像之间的块匹配中获取的每个块中，将运动矢量的大小在一定距离以下、即与该块对应的被摄体部分的偏移在基准值以下的一个或多个特定块作为与主要被摄体对应的块选出(步骤SB6)。这里选出的一个或多个特定块(以下称为选出块)是本发明的基准区域，例如，在图6(c)中，是位于椭圆C所示的区域内的彼此相邻或远离的块群。
[0084] 以后，CPU9使用各个选出块的运动矢量数据，将基准图像以外的所有图像(亮度图像数据)为对象图像，获取表示对象图像的被摄体相对于基准图像的被摄体的各部的位置关系的投影转换矩阵(步骤SB7～SB9)。以后，与第一实施方式一样，根据所获取的投影转换矩阵获取连续的8张图像(YUV数据)，从中确定新的基准图像再次计算投影转换矩阵，根据该投影转换矩阵使基准图像以外的图像(YUV数据)变形，将变形后的各图像合成，并将合成后的图像作为摄影图像存储起来(步骤SB10～SB13)。
[0085] 如上所述，在本实施方式中，根据在基准图像和与基准图像在时间上相距最远的图像之间获取的运动矢量的大小来判断在基准图像(窗口内)中认为是与主要被摄体对应的区域。因此，与第一实施方式一样，与以往相比与主要被摄体对应的区域的判断所需要的处理更加简单，能够更加高效且选速地进行生成摇摄图像时的多个图像的合成处理。
[0086] 另外，在多个图像的合成时，仅根据所述运动矢量的大小在预定距离以下的多个特定块的运动矢量来将多个图像位置对准。因此，能够将多个图像的位置对准所需要的运动矢量的个数抑制为最小限度，所以能够高效且迅速地进行生成摇摄图像时的多个图像的合成处理。
[0087] 另外，在本实施方式中，对将设定于基准图像的窗口划分成多个块，并从中确定所述一个或多个特定块进行了说明，但是并不限定于此，也可以从将基准图像的整个区域按照一定尺寸进行划分而得到的多个块中来确定所述一个或多个特定块。在该情况下，与主要被摄体对应的区域的判断所需的处理也很简单，能够高效且迅速地进行生成摇摄图像时的多个图像的合成处理。
[0088] 另外，设定于基准图像中的窗口(处理对象区域)如果是具备例如脸部检测功能的结构，则也可以是与摄影开始时机的刚刚之前等检测到的脸部部分对应的区域。另外，如果是具有自动追踪功能的结构，则也可以是与在摄影开始时机检测到的注视被摄体对应的区域。
[0089] 接下来，与上述第二实施方式一样，对下述情况下的变形例进行说明：根据在基准图像和与基准图像在时间上相距最远的图像之间获取的运动矢量，判断在基准图像中认为是与主要被摄体对应的区域(特定块)。
[0090] 即，如果以在进行连续摄影的期间背景被摄体不动为前提，则与背景被摄体对应的区域(块)的运动矢量的大小，和伴随从基准图像(第一张图像)的摄影时刻到与基准图像在时间上相距最远的图像的摄影时刻为止的期间内的照相机运动的视场角的移动量(框架内的被摄体的整体偏移量)大致一致。因此，也可以将获得了以下运动矢量的区域判断为与主要被摄体对应的区域，所述运动矢量表示与伴随从基准图像的摄影时刻到与基准图像在时间上相距最远的图像的摄影时刻为止的期间内的照相机运动的视场角的移动量不同的偏移量。
[0091] 具体来说，例如在基准图像的窗口102(也可以是基准图像的整个区域)中设定如图7所示的预定宽度的外周区域D，代替图5的步骤SB6的处理，首先，计算出基准图像的外周区域D内的所有块的利用运动矢量表示的各个块的被摄体部分的偏移量(移动距离)的平均值(运动矢量值)，来作为表示伴随照相机运动的视场角的移动量的视场角移动信息。
然后，进行以下处理即可：在基准图像的外周区域D外的块中，将其偏移量(运动矢量值)和算出的平均值的差在预定范围内的块作为与背景被摄体B对应的块，将除了这种块之外的其它块作为与主要被摄体A对应的块选出。此时，所述的偏移量(移动距离)例如可以仅为水平方向等特定方向的偏移量。另外，在根据所述的平均值选出与主要被摄体A对应的块时，也可以将该块中的被摄体部分的偏移量与所述平均值的差在预定范围外的块直接判断为与主要被摄体A对应的块并将其选出。
[0092] 另外，区别于上述内容，在具有检测主体的上下和/或左右方向的移动量的陀螺传感器等预定移动量检测单元的数字照相机等中，在通过图5的步骤SB3实施连续摄影时，获取从摄影开始时刻到摄影结束时刻的主体的移动量，代替SB6的处理，将上述主体的移动量根据摄影镜头1的焦点距离换算成图像内的被摄体的偏移量。这就是表示伴随照相机运动的视场角的移动量的视场角移动信息。然后执行以下处理即可：在基准图像中的窗口
102(也可以是基准图像的整个区域)内的块中，将其偏移量(运动矢量值)与换算所得的偏移量的差在预定范围内的块作为与背景被摄体B对应的块，将除了这种块之外的其它块作为与主要被摄体A对应的块选出。此时，所述的偏移量(移动距离)也可以仅是水平方向等特定方向的偏移量。另外，在根据如上所述从主体移动量换算得到的被摄体的偏移量(换算偏移量)选出与主要被摄体A对应的块的情况下，也是可以将块中的被摄体部分的偏移量与上述换算偏移量的差在预定范围外的块直接判断为与主要被摄体A对应的块并将其选出。
[0093] 如上所述，将获得了以下运动矢量的区域判断为与主要被摄体对应的块，所述运动矢量表示与伴随照相机运动的视场角的移动量超出一定范围的不同的偏移量，在该情况下，与主要被摄体对应的区域的判断所需的处理也很简单，因此，能够高效且选速地进行生成摇摄图像时的多个图像的合成处理。
[0094] 另外，也可以不是以伴随照相机运动的视场角的移动量为基准来判断与主要被摄体对应的块，而是根据在基准图像(亮度图像数据)和与基准图像在时间上相距最远的图像(亮度图像数据)之间获取的运动矢量，对与主要被摄体对应的块例如如下地进行判断。
[0095] 即，在基准图像(亮度图像数据)和与基准图像在时间上相距最远的图像(亮度图像数据)之间获取的所有的块的运动矢量的值在与主要被摄体对应的块群中近似，另外，在与背景被摄体对应的块群中也近似。同时，运动矢量的值被两极化成一方块群和另一方块群。即，所有的块的运动矢量的值总是会产生偏差。
[0096] 图8是表示该偏差的一例的图，是在由X轴和Y轴构成的正交坐标面上，图示了表示各个块的用运动矢量表示的X方向的偏移量和Y方向的偏移量的点的分布图，例如如果X方向的偏移量为n、Y方向的偏移量为m，则是在(n，m)的位置图示点的分布图。另外，该图是进行连续摄影期间在框架(视场角)内主要被摄体向斜右下方稍微移动、而且背景被摄体向左方移动时的示例。在该情况下，通过与主要被摄体对应的各块的点，形成了位于第四象限并且距离原点0近(偏移量小)的第一分布区域Pa，另外，通过与背景被摄体对应的各块的点，形成了穿越第二象限和第三象限并且距离原点0远(偏移量大)的第二分布区域Pb。
[0097] 因此，只要确认各个块的运动矢量包含在第一分布区域Pa和第二分布区域Pb中的哪一侧，并将其包含在第一分布区域Pa中的块判断为与主要被摄体对应的块即可。另外，该判断可以忽视由运动矢量表示的被摄体部分的偏移方向，而仅根据其偏移量的绝对值的分布来进行。由此，在具体的处理时，例如在图5的步骤SB6中，执行以下处理即可：根据所有的块的运动矢量，将每种偏移量(X方向和Y方向两者的偏移量，或者是其中一方的偏移量)的频数累计，在用其表示的直方图(histogram)中利用包含统计运算等的预定处理来判断偏移量小的一侧的第一分布区域和偏移量大的一侧的第二分布区域，并将与上述第一分布区域对应的块判断为与主要被摄体对应的块并将其选出。
[0098] 在如上所述根据所有块的运动矢量(被摄体部分的偏移量)的分布状态来判断与主要被摄体对应的块的情况下，与主要被摄体对应的区域的判断所需的处理简单。因此，能够高效且迅速地进行生成摇摄图像时的多个图像的合成处理。
[0099] 这里，在以上的变形例的说明中，是以将第一张图像作为基准图像、在该基准图像和与其在时间上相距最远的图像之间取得成为与主要被摄体对应的块的判断基准的运动矢量为前提，但是如果求运动矢量时的基准图像以外的对象图像是与基准图像相隔预定时间(预定张数)以上的图像，则也可以是其它图像。当然，在如前所述提高运动矢量的分离性的方面，优选是与基准图像在时间上相距最远的图像。另外，基准图像也可以不是第一张图像。
[0100] 另外，在以上各变形例中，对仅根据在基准图像和与基准图像在时间上相距最远的图像这两张图像之间获取的运动矢量(每个块的运动矢量)，来进行与主要被摄体对应的块的判断进行了说明，但是并不限定于此，以可以根据在连续摄影得到的多张图像的各图像之间分别获取的运动矢量(每个块的运动矢量)，来进行与主要被摄体对应的块的判断。
[0101] 例如，在通过连续摄影针对多张图像获取了YUV数据和亮度图像数据之后，使用亮度图像数据，在改变处理对象的图像的组的同时，反复进行在相邻的图像之间的块匹配，获取多组针对每个块的运动矢量。然后，按照每个块将由因此取得的多组运动矢量表示的被摄体部分的偏移量(移动距离)累计，将该累计值用作与主要被摄体对应的块的判断基准，在上述各个变形例的处理中，也可以代替每个块的运动矢量所表示的偏移量，而使用上述的累计值。
[0102] 另外，也可以区别上述内容地进行如下内容。即，在上述各个变形例中，使运动矢量(每个块的运动矢量)的获取对象不是在时间上相距最远的两张图像之间而是代之以相邻的一组图像来进行先前的处理，由此，来确定能够判断为与主要被摄体对应的块。另外，通过以第一张和第二张图像、第二张和第三张图像、第三张和第四张图像...这样以所有的组的图像为对象来多次(所有图像张数-1次)反复进行上述处理，来多次确定能够判断为与主要被摄体对应的块。然后，可以根据在多次处理中确定的各个块的信息，最终选出能够判断为与主要被摄体对应的块。
[0103] 例如，在通过多次处理确定的块中，可以仅将所有处理时确定的位置的块最终作为与主要被摄体对应的块选出，或者可以仅将确定了预定次数以上的位置的块最终作为与主要被摄体对应的块选出。但是，这在前述的各个变形例中，当应用于在与主要被摄体对应的块的判断时与运动矢量一起还使用通过陀螺传感器等检测到的主体的移动量的变形例的情况下，需要在所有的图像之间检测出主体的移动量。
[0104] 这里，在第一和第二实施方式中，对将本发明应用于摄像元件是CMOS传感器的数字照相机的情况进行了说明，但是CMOS传感器也可以替代成CCD等其它摄像元件。另外，所述的去马赛克部11、频率特性运算部15、块匹配部16、图像处理部17的功能的一部分或者全部也可以通过使CPU9按照预定的程序工作来实现。另外，本发明并不限定于数字照相机，例如也可以应用于带照相机的移动电话终端等具有静止图像摄影功能的其它摄像装置。
[0105] 另外，本发明并不仅限于摄像装置，也可以应用于具有从在时间上连续的多张图像生成摇摄图像的功能的任意的图像处理装置。另外，该图像处理装置还包括通过根据预定的程序进行动作来实现所述功能的个人计算机。
[0106] 应该明确的是本发明并不限于上述记载的具体实施方式，本发明可通过在不脱离本发明的主旨和范围内进行了变更的结构来实现。本发明可通过对上述实施方式中描述的结构进行适当的组合来实现。例如，可以从实施方式中的所有结构中删除某些结构。另外，不同实施方式中的结构可以适当组合。