图像处理装置、摄像装置及控制方法

1.一种图像处理装置，所述图像处理装置包括：
获得单元，其获得由摄像装置拍摄的原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于所述摄像装置的成像光学系统中具有光束通过的不同的光瞳区域的所述光束；
检测单元，其检测要聚焦的被摄体在所述原始运动图像数据的帧中的位置；
判定单元，其判定被摄体被聚焦在的再聚焦平面；以及
生成单元，其由所述原始运动图像数据生成按由所述判定单元判定的再聚焦平面聚焦帧的运动图像，
其中，所述判定单元由所述原始运动图像数据的各帧的图像信号生成分别对应于通过所述成像光学系统的不同的光瞳区域的光束的一对图像，并且基于根据所述一对图像计算的所述要聚焦的被摄体的位置的离焦量，判定所述要聚焦的被摄体被聚焦在的焦平面，并且
其中，在所述摄像装置的聚焦透镜位于与焦平面中的中间焦平面对应的位置的条件下，拍摄所述原始运动图像数据的帧，在各个焦平面处分别聚焦多个焦点检测区域的各个中包括的被摄体。
2.根据权利要求1所述的图像处理装置，其中，通过对帧的图像信号的像素之中的、与通过在预定方向上分割所述成像光学系统的光瞳区域而获得的各区域的光束相对应的像素的像素值进行积分，来生成所述一对图像。
3.根据权利要求1或2所述的图像处理装置，其中，所述检测单元检测被摄体在检测图像中的位置，使用帧的图像信号的像素中的、与通过所述成像光学系统的光瞳区域中的中心区域的光束相对应的像素来生成所述检测图像。
4.根据权利要求3所述的图像处理装置，所述图像处理装置还包括：
选择单元，其选择所述要聚焦的被摄体，
其中，在所述原始运动图像数据的帧中的、在由所述选择单元选择的所述要聚焦的被摄体被选择的帧之后的帧中，所述检测单元使用从所选择的帧的检测图像中提取的所述要聚焦的被摄体的模式图像，通过模式匹配检测所述要聚焦的被摄体在检测对象帧的检测图像中的位置。
5.根据权利要求1或2所述的图像处理装置，其中，拍摄所述原始运动图像数据的帧，使得与焦点检测区域中包括的被摄体当中最接近所述摄像装置的被摄体被聚焦在的焦平面对应的距离是与针对该帧能够选择的再聚焦平面对应的距离当中最短的距离。
6.一种摄像装置，所述摄像装置包括：
摄像单元，其输出原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于成像光学系统中具有光束通过的不同的光瞳区域的所述光束；
检测单元，其检测特定被摄体在从所述摄像单元输出的所述原始运动图像数据的一个帧中的位置；
判定单元，其判定由所述检测单元检测到的各特定被摄体被聚焦在的焦平面；以及驱动单元，其以使得与一个判定的焦平面对应的距离是与针对该一个帧能够选择的再聚焦平面对应的距离当中最短的距离的方式，判定聚焦透镜的驱动位置，并将所述聚焦透镜驱动到所述驱动位置，所述一个判定的焦平面是所述特定被摄体当中最接近所述摄像装置的被摄体被聚焦在的焦平面。
7.根据权利要求6所述的摄像装置，其中，所述检测单元通过使用检测图像来检测所述特定被摄体的位置，使用与通过所述成像光学系统的光瞳区域中的中心区域的光束相对应的像素来生成所述检测图像。
8.一种图像处理装置的控制方法，所述控制方法包括以下步骤：
获得步骤，所述图像处理装置的获得单元获得由摄像装置拍摄的原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于所述摄像装置的成像光学系统中具有光束通过的不同的光瞳区域的所述光束；
检测步骤，所述图像处理装置的检测单元检测要聚焦的被摄体在所述原始运动图像数据的帧中的位置；
判定步骤，所述图像处理装置的判定单元判定被摄体被聚焦在的再聚焦平面；以及生成步骤，所述图像处理装置的生成单元由所述原始运动图像数据生成按在所述判定步骤中判定的再聚焦平面聚焦帧的运动图像，
其中，在所述判定步骤中，所述判定单元由所述原始运动图像数据的各帧的图像信号生成分别对应于通过所述成像光学系统的不同的光瞳区域的光束的一对图像，并且基于根据所述一对图像计算的所述要聚焦的被摄体的位置的离焦量，判定所述要聚焦的被摄体被聚焦在的焦平面，并且
其中，在所述摄像装置的聚焦透镜位于与焦平面中的中间焦平面对应的位置的条件下，拍摄所述原始运动图像数据的帧，在各个焦平面处分别聚焦多个焦点检测区域的各个中包括的被摄体。
9.一种摄像装置的控制方法，所述摄像装置包括摄像单元，所述摄像单元输出原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于成像光学系统中具有光束通过的不同的光瞳区域的所述光束，所述控制方法包括以下步骤：
检测步骤，所述摄像装置的检测单元检测特定被摄体在从所述摄像单元输出的所述原始运动图像数据的一个帧中的位置；
判定步骤，所述摄像装置的判定单元判定在所述检测步骤中检测到的各特定被摄体被聚焦在的焦平面；以及
驱动步骤，所述摄像装置的驱动单元以使得与一个判定的焦平面对应的距离是与针对该一个帧能够选择的再聚焦平面对应的距离当中最短的距离的方式，来判定聚焦透镜的驱动位置，并将所述聚焦透镜驱动到所述驱动位置，所述一个判定的焦平面是所述特定被摄体当中最接近所述摄像装置的被摄体被聚焦在的焦平面。

图像处理装置、摄像装置及控制方法\n技术领域\n[0001] 本发明涉及图像处理装置、摄像装置及控制方法，具体地涉及由拍摄后的原始（raw）数据生成按任意焦距聚焦的图像的技术。\n背景技术\n[0002] 最近提出了如下技术：在诸如数码照相机的摄像装置中，记录拍摄时光的强度分布及行进方向作为原始数据，并且由所记录的原始数据生成按任意焦距聚焦的图像。\n[0003] "Light Field Photography with a Hand-Held Plenoptic Camera,StanfordUniversity Computer Science Tech Report CSTR 2005-02 by Ren Ng,et al."公开了如下方法（光场摄影）：经由微透镜阵列在图像传感器的各像素上由通过成像透镜的不同光瞳区域的光束形成图像，从而分离并记录从不同方向入射的光束。在所获得的原始数据中，相邻的像素记录从不同的方向入射的光束。通过从与各微透镜相对应的像素中提取同一方向上的光束，能够生成从该方向拍摄的图像。此外，设置任意焦距，并且加上记录通过该焦距的焦平面上的一个点的光束的像素的输出。这使得能够伪生成在拍摄后按特定焦距聚焦的图像的像素。\n[0004] "Light Field Photography with a Hand-Held Plenoptic Camera"中的方法还适用于记录运动图像。更具体地，能够由拍摄后的原始运动图像数据生成按任意焦距聚焦的运动图像。\n[0005] 在运动图像中，被摄体在拍摄期间移动。因此，在由一般摄像装置进行的运动图像拍摄中，根据要聚焦的被摄体的移动在拍摄期间改变光学系统的焦距。\n[0006] 然而，没有提出在由使用上述"Light Field Photography with aHand-Held Plenoptic Camera"中描述的方法记录的原始运动图像数据生成按任意焦距聚焦的运动图像的情况下，根据要聚焦的被摄体的移动改变焦距的方法。\n发明内容\n[0007] 为了解决上述问题作出了本发明。本发明提供用于追踪任意被摄体并由拍摄后的原始运动图像数据生成要聚焦的运动图像的图像处理装置、摄像装置及控制方法。\n[0008] 本发明的第一方面提供了一种图像处理装置，所述图像处理装置包括：获得单元，其获得由摄像装置拍摄的原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于所述摄像装置的成像光学系统中具有光束通过的光瞳区域及入射方向的不同组合的所述光束；检测单元，其检测要聚焦的被摄体在由所述获得单元获得的所述原始运动图像数据的各帧中的位置；判定单元，其判定对所述要聚焦的被摄体进行聚焦的焦距；以及生成单元，其由所述原始运动图像数据生成按由所述判定单元判定的焦距聚焦各帧的运动图像，其中，所述判定单元由所述原始图像数据的各帧的图像信号生成分别对应于通过所述成像光学系统的不同的光瞳区域的光束的一对图像，并且基于根据所述一对图像计算的所述要聚焦的被摄体的位置的离焦量，判定对所述要聚焦的被摄体进行聚焦的焦距。\n[0009] 本发明的第二方面提供了一种摄像装置，所述摄像装置包括：成像光学系统，其包括聚焦透镜；摄像单元，其输出原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于所述成像光学系统中具有光束通过的光瞳区域及入射方向的不同组合的所述光束；检测单元，其通过使用检测图像来检测特定被摄体在从所述摄像单元输出的所述原始运动图像数据的一个帧中的位置，使用与通过所述成像光学系统的光瞳区域中的中心区域的光束相对应的像素来生成所述检测图像；判定单元，其判定对由所述检测单元检测到的各特定被摄体进行聚焦的焦距；以及驱动单元，其基于由所述判定单元判定的对所述各特定被摄体进行聚焦的焦距来判定所述聚焦透镜的驱动位置，并将所述聚焦透镜驱动到所述驱动位置。\n[0010] 本发明的第三方面提供了一种图像处理装置的控制方法，所述控制方法包括以下步骤：获得步骤，所述图像处理装置的获得单元获得由摄像装置拍摄的原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于所述摄像装置的成像光学系统中具有光束通过的光瞳区域及入射方向的不同组合的所述光束；检测步骤，所述图像处理装置的检测单元检测要聚焦的被摄体在所述获得步骤中获得的所述原始运动图像数据的各帧中的位置；判定步骤，所述图像处理装置的判定单元判定对所述要聚焦的被摄体进行聚焦的焦距；以及生成步骤，所述图像处理装置的生成单元由所述原始运动图像数据生成按在所述判定步骤中判定的焦距聚焦各帧的运动图像，其中，在所述判定步骤中，所述判定单元由所述原始图像数据的各帧的图像信号生成分别对应于通过所述成像光学系统的不同的光瞳区域的光束的一对图像，并且基于根据所述一对图像计算的所述要聚焦的被摄体的位置的离焦量，判定对所述要聚焦的被摄体进行聚焦的焦距。\n[0011] 本发明的第四方面提供了一种摄像装置的控制方法，所述摄像装置包括成像光学系统及摄像单元，所述成像光学系统包括聚焦透镜，所述摄像单元输出原始运动图像数据，在所述原始运动图像数据中，各帧的图像信号的各像素对应于所述成像光学系统中具有光束通过的光瞳区域及入射方向的不同组合的所述光束，所述控制方法包括以下步骤：检测步骤，所述摄像装置的检测单元通过使用检测图像来检测特定被摄体在从所述摄像单元输出的所述原始运动图像数据的一个帧中的位置，使用与通过所述成像光学系统的光瞳区域中的中心区域的光束相对应的像素来生成所述检测图像；判定步骤，所述摄像装置的判定单元判定对在所述检测步骤中检测到的各特定被摄体进行聚焦的焦距；以及驱动步骤，所述摄像装置的驱动单元基于在所述判定步骤中判定的对所述各特定被摄体进行聚焦的焦距来判定所述聚焦透镜的驱动位置，并将所述聚焦透镜驱动到所述驱动位置。\n[0012] 通过以下对示例性实施例的描述（参照附图），本发明的其他特征将变得清楚。\n附图说明\n[0013] 图1是示出根据本发明的实施例的数码照相机100的功能结构的框图；\n[0014] 图2是用于说明根据本发明的实施例的微透镜阵列105与图像传感器的光电转换器之间的关系的图；\n[0015] 图3是用于说明根据本发明的实施例的微透镜阵列105与图像传感器的光电转换器之间的关系的另一图；\n[0016] 图4A和图4B是用于说明根据本发明的实施例的成像透镜的光瞳区域与对应于一个微透镜的光电转换器之间的关系的图；\n[0017] 图5是例示根据本发明的实施例的数码照相机100进行的运动图像拍摄处理的流程图；\n[0018] 图6是用于说明根据本发明的实施例的用于生成通过图像的像素的图；\n[0019] 图7是例示根据本发明的实施例的数码照相机100进行的焦点调整处理的流程图；\n[0020] 图8是用于说明根据本发明的实施例的用于计算离焦量的两个图像的图；\n[0021] 图9是用于说明根据本发明的实施例的聚焦透镜的目标驱动位置的图；\n[0022] 图10是例示根据本发明的实施例的数码照相机100进行的再聚焦运动图像生成处理的流程图；以及\n[0023] 图11是用于说明根据本发明的实施例的再聚焦图像生成方法的图。\n具体实施方式\n[0024] 现在将参照附图详细描述本发明的示例性实施例。所述实施例将说明本发明应用于能够生成在拍摄后改变焦距的运动图像的数码照相机的示例，所述数码照相机作为摄像装置和图像处理装置的示例。然而，本发明适用于能够生成在拍摄后可以生成按任意焦距聚焦的运动图像的原始运动图像数据、或由原始运动图像数据生成按任意焦距聚焦的运动图像的任意设备。\n[0025] 在本说明书中，“原始静止图像数据”或“原始运动图像数据”（在下文中两者将被称为原始数据）是指稍后将描述的、通过使用图像传感器的多个光电转换器被分配给各微透镜的微透镜阵列进行拍摄而获得的图像或运动图像。分配给一个微透镜的各光电转换器接收通过成像光学系统的出射光瞳的不同区域的光束。在原始数据中，相邻像素的图像在与从分配给一个微透镜的光电转换器的输出相对应的像素中不总是连续。为此，在本实施例中的原始数据经过拍摄后按预定焦距聚焦的图像的生成处理，从而将图像转换成相邻像素的图像连续的图像。在本说明书中，判定拍摄后焦距并且由原始数据生成按焦距聚焦的图像的处理将被表示为“再聚焦”。\n[0026] <数码照相机100的结构>\n[0027] 图1是示出根据本发明的实施例的数码照相机1 00的功能结构的框图。\n[0028] 控制单元101例如是CPU。控制单元101控制数码照相机100的各块的操作。更具体地，控制单元101通过读出在ROM 102中存储的（稍后描述的）拍摄处理或再聚焦运动图像生成处理的操作程序、将其在RAM 103中展开并执行该程序，来控制各块的操作。\n[0029] ROM 102是例如可重写的非易失性存储器。ROM 102存储数码照相机100的各块的操作程序、各块的操作所需的参数等。\n[0030] RAM 103是易失性存储器。RAM 103不仅用作数码照相机100的各块的操作程序的展开区域，还用作用于存储在各块的操作期间输出的中间数据等的存储区域。\n[0031] 摄像单元106是诸如CCD传感器或CMOS传感器的图像传感器。当根据来自控制单元\n101的指令接收从TG 107输出的定时信号时，摄像单元106通过成像光学系统104光电转换在图像传感器的光电转换器的表面上形成的光学图像，并输出模拟图像信号。成像光学系统104例如包括物镜、聚焦透镜和光圈。除了针对图像传感器的光电转换器设置的微透镜之外，根据该实施例的数码照相机100还包括介于光轴上的成像光学系统104与图像传感器之间的微透镜阵列105。\n[0032] （微透镜与光电转换器之间的关系）\n[0033] 将参照附图说明在根据该实施例的数码照相机100中介于光轴上的成像光学系统\n104与图像传感器之间的微透镜阵列105。\n[0034] 如图2所示，根据本实施例的微透镜阵列105由多个微透镜201构成。在图2中，成像光学系统104的光轴被设置为z轴，在数码照相机100的横向位置的水平方向被设置为x轴，垂直方向被设置为y轴。在图2的示例中，为简单起见，微透镜阵列105由5×5个微透镜201构成。然而，微透镜阵列105的结构不限于此。\n[0035] 在图2中，构成摄像单元106的图像传感器的光电转换器202由矩阵表示。预定数量的光电转换器202对应于各微透镜201。在图2的示例中，6×6=36个像素的光电转换器202对应于一个微透镜201。通过一个微透镜201的光束根据其入射方向被分离，分离后的光束在相应的光电转换器202上形成图像。\n[0036] 图3示出入射于与一个微透镜201相对应的光电转换器202p1至202p6的光束。图3例示在数码照相机100的横向位置从垂直方向观看时入射于各光电转换器202的光束的光路。\n如图3所示，穿过通过将成像光学系统104的出射光瞳301水平分割为六个而获得的区域a1到a6的光束，经由一个微透镜201入射于水平对准的光电转换器202p1至202p6。请注意，各区域的标号代表与接收通过该区域的光的光电转换器202的对应关系。\n[0037] 在图3的示例中，示出在从垂直方向观看时入射于各光电转换器202的光束的光路。然而，光束不仅在水平方向上被分离，还在垂直方向上被分离。也就是说，当成像光学系统104的出射光瞳被分割为从图像传感器侧观看的如图4A所示的区域时，通过各区域的光束入射于图4B所示的光电转换器202中的、具有与该区域相同的标识标号的光电转换器。假设成像光学系统104和微透镜阵列105的各微透镜具有几乎相同的f值。\n[0038] AFE 108和DFE 109针对由摄像单元106生成的图像信号进行校正处理等。更具体地，AFE 108针对从摄像单元106输出的模拟图像信号进行基准电平调整（钳位处理）和A/D转换处理，并将数字图像数据（原始静止图像数据或原始运动图像数据）输出到DFE 109。\nDFE 109校正所接收到的原始数据的基准电平的微小偏移等。\n[0039] 图像处理单元110针对经过DFE 109的校正处理的原始数据应用诸如颜色转换处理的各种图像处理。在该实施例中，图像处理单元110还进行由原始数据生成按任意焦距聚焦的图像（再聚焦图像）的处理。按任意焦距聚焦的图像的生成采用例如“Light Field Photography with aHand-Held Plenoptic Camera”中所述的“Light Field Photography（光场摄影）”法。\n[0040] 显示单元111是诸如紧凑型LCD的数码照相机100中的显示设备。显示单元111显示由图像处理单元110生成的、按任意焦距聚焦的图像。如上所述，在通过A/D转换从该实施例的摄像单元106输出的模拟图像信号而获得的图像数据中，相邻像素的图像并不总是耦合。\n因此，显示单元111不显示通过A/D转换获得的图像数据，而是显示由图像处理单元110生成的图像数据。\n[0041] 记录介质112是数码照相机100中内置的存储器，或诸如存储器卡或HDD的可拆卸地连接到数码照相机100的记录设备。记录介质112记录原始静止图像数据、原始运动图像数据以及由这些原始数据生成的按任意焦距聚焦的图像和运动图像。\n[0042] 操作输入单元113是诸如电源按钮或快门按钮的数码照相机100中的用户接口。当操作输入单元113检测到用户操作了用户接口时，将与该操作相对应的控制信号输出到控制单元101。\n[0043] <运动图像拍摄处理>\n[0044] 将参照图5的流程图详细描述根据该实施例的具有上述结构的数码照相机100的运动图像拍摄处理。能够通过例如由控制单元101读出在ROM 102中存储的相应的处理程序、将其在RAM 103中展开并且执行该程序，来实现与该流程图相对应的处理。在下面的描述中，例如在数码照相机100设置在运动图像拍摄模式中的状态下将其启动时，开始运动图像拍摄处理。\n[0045] 在步骤S501中，控制单元101获得关于从摄像单元106输出的图像信号的原始数据。更具体地，控制单元101获得已经由AFE 108进行A/D转换并经过DFE 109的校正处理的原始数据。控制单元101将所获得的原始数据存储在RAM 1 03中。\n[0046] 在步骤S502中，控制单元101控制图像处理单元110以生成要在显示单元111上显示的图像（通过图像）。更具体地，控制单元101将在RAM103中存储的原始数据发送到图像处理单元110，并控制图像处理单元110以生成通过图像。\n[0047] 在该实施例中，如上所述，相邻像素的图像在原始数据中是不连续的，因此如下生成通过图像。图6是示出在该实施例中用于生成通过图像的像素的图。当经由微透镜阵列\n105拍摄图像时，如在该实施例的数码照相机100中，从获得的原始数据转换的图像（例如，通过图像或按任意焦距聚焦的图像）的像素数是固定值。当向图像的转换没有伴随放大/缩小处理等时，所获得的图像的像素数等于微透镜阵列105的微透镜201的数量。也就是说，由与各微透镜201相对应的像素生成通过转换获得的图像的一个像素。\n[0048] 如图6所示，使用在与微透镜阵列105的各微透镜201相对应的像素之中的、位于中心的像素，生成在该实施例中生成的通过图像的各像素。也就是说，通过图像的各像素对应于通过成像光学系统104的出射光瞳的中心区域的光束。因此，在本实施例中生成的通过图像等价于在成像光学系统104被缩小光圈时获得的图像，并具有大的景深的优点。大景深使得在（稍后描述的）面部检测处理中在拍摄范围内容易在距离数码照相机100的不同距离检测到人物的面部。\n[0049] 图像处理单元110通过例如对与如图6所示的各微透镜201相对应的像素中的、位于中心的四个像素的像素值求平均值，来由所接收的原始数据生成通过图像的各像素。控制单元101将由图像处理单元110生成的通过图像存储在RAM 103中，将其发送到显示单元\n111，并且将其显示。\n[0050] 在步骤S503中，控制单元101进行面部检测处理以在被生成为通过图像的检测图像中搜索人物面部。更具体地，控制单元101通过使用预先存储的面部图案作为模板的模式匹配来搜索通过图像中包含的人物的面部图像（面部区域），并表示人物面部分布。\n[0051] 在步骤S504中，控制单元101确定通过图像是否包含面部区域。在步骤S503中的面部检测处理中，如果控制单元101确定通过图像包含面部区域，则处理进行到步骤S505；如果确定通过图像不包含面部区域，则处理进行到步骤S506。\n[0052] 在步骤S505中，控制单元101将数码照相机100的焦点调整模式设置为针对人物的面部区域调整焦距的“面部AF模式”。在步骤S506中，控制单元101将数码照相机100的焦点调整模式设置为“多点AF模式”。在多点AF模式中，拍摄区域被划分为例如3×5=15个区域，并且基于各划分区域中的焦点检测结果和被摄体亮度信息来判定聚焦透镜驱动位置，以调整焦点。\n[0053] 在步骤S507中，控制单元101设置焦点检测区域。更具体地，在焦点调整模式是面部AF模式时，控制单元101将检测到的面部区域设置为焦点检测区域，而在焦点调整模式是多点AF模式时，将多个划分区域设置为焦点检测区域。\n[0054] 在步骤S508中，控制单元101确定是否输入了用于准备运动图像拍摄的操作。更具体地，控制单元101确定是否接收到在用户半按下快门按钮时从操作输入单元113输出的控制信号SW1。如果控制单元101确定接收到信号SW1，则处理进行到步骤S509；如果确定尚未接收到信号SW1，则处理返回到步骤S501。\n[0055] 在步骤S509中，控制单元101基于在焦点检测区域中的被摄体的离焦量进行焦点调整处理。根据该实施例的数码照相机100能够由通过拍摄获得的原始运动数据，生成按拍摄后由（稍后所述的）再聚焦运动图像生成处理设置的焦距聚焦的运动图像。因此，数码照相机100不需要在拍摄阶段对特定被摄体聚焦。然而，由原始数据生成的按任意焦距聚焦的运动图像根据微透镜阵列105而具有可设置的焦距范围（能够再聚焦的焦点范围）。在该实施例中，控制单元101进行下面的焦点调整处理，并判定在拍摄中设置的焦距，使得在拍摄后要聚焦的被摄体的焦距落入可设置的焦点范围内。\n[0056] （焦点调整处理）\n[0057] 将参照图7的流程图详细描述在该步骤中进行的焦点调整处理。\n[0058] 在步骤S701中，控制单元101将RAM 103中存储的原始数据发送到图像处理单元\n110，并控制图像处理单元110以针对各焦点检测区域生成一对离焦量计算图像。在该实施例中，根据由一个原始数据生成的两个图像计算焦点检测区域中的被摄体的离焦量。更具体地，图像处理单元110将与一个微透镜201相对应的光电转换器202在水平方向上划分为两组801和802，如图8所示。关于原始数据中与焦点检测区域相对应的数据，图像处理单元\n110使用下面的公式对各划分组中与各微透镜201相对应的像素的像素值进行积分运算，从而生成一对离焦量计算图像的像素。\n[0059]\n[0060] 也就是说，图像处理单元110生成由通过成像光学系统104的出射光瞳的左半区域的光束获得的图像（A图像），以及由通过右半区域的光束获得的图像（B图像）。\n[0061] 在这种情况下，由在各组中对像素值进行积分运算而生成的两个图像，是在二分（光瞳分割）成像光学系统104的出射光瞳时由光束获得的图像。两束光具有与在各光束的重心之间的距离相对应的水平光路偏移。因此，这两个图像具有图像位置偏移。由于在各微透镜中两个光路相互交叉，所以在对焦被摄体的两个图像之间不发生图像位置偏移。\n[0062] 在该实施例中，由通过将与一个微透镜201相对应的多个光电转换器202在水平方向上划分为两组而获得的两组生成离焦量计算图像。然而，离焦量计算图像生成方法不限于此。例如，可以通过在诸如垂直方向的预定方向上将与一个微透镜201相对应的多个光电转换器202划分为两组，并且对各组中的像素值进行积分运算来生成离焦量计算图像。\n[0063] 在步骤S702中，控制单元101获得针对各焦点检测区域生成的一对离焦量计算图像之间的图像偏移量。更具体地，控制单元101使用针对各焦点检测区域的一对图像的图像信号进行相关计算，并获得图像偏移量（离焦量的倒数）和此时的相关度。\n[0064] 在步骤S703中，针对各焦点检测区域，控制单元101获得对被摄体进行聚焦的焦距。更具体地，控制单元101基于在相关计算中获得的相关度，确定在步骤S702中获得的图像偏移量的可靠度。如果图像偏移量的可靠度等于或高于预定的阈值，则控制单元101将图像偏移量乘以预定的转换系数，从而获得对焦点检测区域中的被摄体进行聚焦的焦距。在针对所有设置的焦点检测区域获得对焦点检测区域中的被摄体进行聚焦的焦距之后，控制单元101使处理进行到步骤S704。\n[0065] 在步骤S704中，控制单元101判定在运动图像拍摄时的聚焦透镜驱动位置。在该实施例中，控制单元101判定聚焦透镜驱动位置，使得对所设置的焦点检测区域中包含的被摄体之中的最近的被摄体进行聚焦的焦距，变为能够在拍摄后再聚焦的焦点范围中的最短焦距。\n[0066] 能够在拍摄后再聚焦的焦点范围被设置为以任意焦距D为中心的D±ΔD的范围。\n此时，FNO是微透镜阵列105的各微透镜的f值，N×N是与一个微透镜相对应的像素数，Δx是像素节距，ΔD根据下面的公式计算。\n[0067] ΔD＝FNO×N×(N×Δx)\n[0068] 也就是说，在该步骤中，控制单元101判定从对最近的被摄体（最接近的被摄体）进行聚焦的焦距向无限远方向移动ΔD的位置处的聚焦透镜的驱动位置（目标驱动位置），如图9所示。\n[0069] 在该实施例中，基于最近的被摄体判定聚焦透镜的驱动位置。然而，拍摄时的聚焦透镜驱动位置判定方法不限于此。例如，当设置多个焦点检测区域时，已针对各焦点检测区域获得的、对被摄体进行聚焦的各焦距的中间值可以被判定为聚焦透镜驱动位置。\n[0070] 在步骤S705中，控制单元101确定当前的聚焦透镜驱动位置是否与在步骤S704中判定的目标驱动位置一致。更具体地，控制单元101通过确定当前聚焦透镜驱动位置与目标驱动位置之差是否等于或小于限制值，来确定当前驱动位置是否与目标驱动位置一致。如果控制单元101确定当前聚焦透镜驱动位置与目标驱动位置一致，则完成焦点调整处理。如果控制单元101确定当前聚焦透镜驱动位置与目标驱动位置不同，则在步骤S706中进行聚焦透镜驱动处理，然后将处理返回到步骤S701。\n[0071] 在以这种方式进行适于拍摄范围中的被摄体的焦点调整后，控制单元101使处理进行到步骤S510。\n[0072] 在步骤S510中，控制单元101确定是否输入了开始运动图像拍摄的操作。更具体地，控制单元101确定是否接收到在用户完全按下快门按钮时从操作输入单元113输出的控制信号SW2。如果控制单元101确定接收到信号SW2，则将处理进行到步骤S511；如果确定尚未收到信号SW2，重复该步骤中的处理。在重复该步骤时，控制单元101重复地获得关于从摄像单元106新输出的图像信号的原始数据，并将通过图像显示在显示单元111上。\n[0073] 在步骤S511中，控制单元101进行焦点调整处理以将聚焦透镜移动到目标驱动位置。\n[0074] 在步骤S512中，控制单元101针对所设置的焦点检测区域进行测光处理，判定曝光条件，并进行曝光控制。更具体地，控制单元101获得被作为通过图像而生成的图像的亮度分量，并判定曝光条件（曝光时间和光圈值），从而获得焦点检测区域中的最优亮度。然后，控制单元101根据所判定的曝光条件进行曝光控制，并且获得关于要记录的一个帧的原始运动图像数据。\n[0075] 在步骤S513中，控制单元101将所获得的关于一个帧的原始运动图像数据记录在记录介质112上。在该实施例中，作为用于生成拍摄后的运动图像的原始运动图像数据、从摄像单元106输出的图像传感器的图像信号的数字数据（原始信号输出）被作为一个帧的数据记录在记录介质112上。\n[0076] 在步骤S514中，控制单元101确定是否输入了结束运动图像拍摄的操作。更具体地，控制单元101确定是否接收到在用户按下快门按钮以结束运动图像拍摄时从操作输入单元113输出的控制信号。如果控制单元101确定接收到结束运动图像拍摄的控制信号，则结束运动图像拍摄处理；如果确定尚未接收到控制信号，则将处理返回到步骤S511。\n[0077] 通过运动图像拍摄处理，根据该实施例的数码照相机100能够生成如下原始运动图像数据，该原始运动图像数据能够生成在拍摄后按任意焦距聚焦的运动图像。\n[0078] <再聚焦运动图像生成处理>\n[0079] 接下来，将参照图10描述根据本实施例的再聚焦运动图像生成处理，其中，根据由此生成的原始运动图像数据生成指定的被摄体保持聚焦的运动图像。通过例如由控制单元\n101读出在ROM 102中存储的相应的处理程序、将其在RAM 103中展开并执行该程序，能够实现与该流程图对应的处理。在下面的描述中，例如在数码照相机100设置在回放模式中的状态下，控制单元101接收到关于将所选择的原始运动图像数据转换为运动图像的指令的控制信号时，开始再聚焦运动图像生成处理。\n[0080] 在步骤S1001中，控制单元101从记录介质112中读出所选择的原始运动图像数据的第一帧的数据，并控制图像处理单元110生成用于设置要聚焦的被摄体的图像（设置图像）。在该实施例中，通过与在运动图像拍摄处理中的通过图像相同的方法来生成设置图像。\n[0081] 在步骤S1002中，控制单元101将所生成的设置图像发送到显示单元111，并控制显示单元111以将其与提示用户选择要聚焦的被摄体的通知一起显示。\n[0082] 在步骤S1003中，控制单元101确定是否选择了要聚焦的被摄体。更具体地，控制单元101确定是否从操作输入单元113接收到表示在拍摄范围内要聚焦的被摄体在设置图像中的位置的信息。如果控制单元101确定选择了要聚焦的被摄体，则处理进行到步骤S1004；\n如果确定尚未选择要聚焦的被摄体，则重复该步骤中的处理。当控制单元101确定选择了要聚焦的被摄体时，从设置图像中提取包含要聚焦的被摄体的预定像素数的区域，并将其作为追踪模板图像（图案图像）存储在RAM 103中。\n[0083] 在步骤S1004中，控制单元101确定要生成的运动图像的对象帧是否为第一帧。如果对象帧是第一帧，则控制单元101将处理进行到步骤S1005；如果对象帧是其他帧，则进行到步骤S1010。\n[0084] 在步骤S1005中，控制单元101将对象帧的原始数据发送到图像处理单元110，并控制图像处理单元110以针对根据所选择的要聚焦的被摄体的位置设置的预定像素数的区域（再聚焦平面检测区域），生成一对离焦量计算图像。此外，控制单元101将由通过成像光学系统104的出射光瞳的左半区域的光束获得的图像（A图像）以及由通过右半区域的光束获得的图像（B图像）存储在RAM 103中。这些图像由图像处理单元110生成。\n[0085] 在步骤S1006中，控制单元101获得要聚焦的被摄体在针对再聚焦平面检测区域而生成的一对离焦量计算图像之间的图像偏移量。更具体地，控制单元101使用针对再聚焦平面检测区域的一对图像的图像信号进行相关计算，并获得图像偏移量（离焦量的倒数）及此时的相关度。\n[0086] 在步骤S1007中，控制单元101判定在再聚焦平面检测区域中对要聚焦的被摄体进行聚焦的焦距（目标焦距：从图像传感器到再聚焦平面的距离）。更具体地，控制单元101基于在相关计算中获得的相关度确定在步骤S1006中获得的图像偏移量的可靠度。如果图像偏移量的可靠度等于或高于预定阈值，则控制单元101将图像偏移量乘以预定的转换系数，从而获得对要聚焦的被摄体进行聚焦的目标焦距。\n[0087] 在步骤S1008中，控制单元101控制图像处理单元110以由对象帧的原始数据生成按目标焦距聚焦的运动图像的帧数据。也就是说，伪生成在再聚焦平面上形成的图像。\n[0088] 将参照图11说明对于在再聚焦平面上形成的图像的各像素，通过该像素的光束出射的摄影透镜的光瞳区域与该光束入射的微透镜之间的对应关系。图11示出了当在数码照相机100的横向位置从垂直方向观看时的水平平面（x-z平面）上的光束的光路。将说明在x-z平面上通过再聚焦平面的各像素的光束的光路。然而，下面的描述也适用于y-z平面。\n[0089] （u，v）是光瞳区域的坐标，（x，y）是再聚焦平面上的像素坐标，由下面的公式给出接收通过划分的光瞳区域及再聚焦平面上的像素的光束的微透镜阵列105上的微透镜的位置坐标（x'，y'）。\n[0090]\n[0091] 其中，F是从摄影透镜到微透镜阵列的距离，αF是从摄影透镜到再聚焦平面的距离（α是再聚焦系数：用于判定再聚焦平面的位置的可变系数）。\n[0092] L(x',y',u,v)是接收光束的光电转换器的输出，通过针对摄影透镜的光瞳区域对L(x',y',u,v)进行积分运算来获得在再聚焦平面上形成的图像的坐标（x，y）处的像素输出E（x，y），并且该像素输出E（x，y）由下面的公式给出。\n[0093]\n[0094] 通过将（u，v）设置为光瞳区域的典型坐标，能够通过简单的加法运算来计算像素输出。\n[0095] 通过以这种方式针对所有像素求解积分方程，图像处理单元110能够生成按目标焦距聚焦的运动图像的帧数据。控制单元101将所生成的运动图像的帧数据记录在记录介质112上。\n[0096] 在步骤S1009中，控制单元101确定在所选择的原始运动图像数据中是否存在后续帧的数据。如果控制单元101确定在所选择的原始运动图像数据中存在后续帧的数据，则将对象帧改变为下一帧，并使处理进行到步骤S1004。如果控制单元101确定在所选择的原始运动图像数据中不存在后续帧的数据，则完成再聚焦运动图像生成处理。\n[0097] 在步骤S1004中，如果控制单元101确定要生成的运动图像的对象帧不是第一帧，则在步骤S1010中，控制图像处理单元110以生成用于检测要聚焦的被摄体的检测图像。更具体地，控制单元101从记录介质112中读出所选择的原始运动图像数据的对象帧的数据，将其发送到图像处理单元110，并控制图像处理单元110以生成检测图像。\n[0098] 在步骤S1011中，控制单元101检测在对象帧的检测图像中包括的要聚焦的被摄体的位置。更具体地，控制单元101将对象帧的检测图像（对象帧图像）、以及在RAM 103中存储的针对对象帧之前的帧生成的追踪模板图像发送到图像处理单元110，并控制图像处理单元110以将这些图像转换成亮度图像。控制单元101针对已经被转换为亮度分量的对象帧图像和追踪模板图像进行二维相关计算。然后，控制单元101通过模式匹配指定要聚焦的被摄体在对象帧中的位置。\n[0099] 在模式匹配中，在相对偏移追踪模板图像和对象帧图像的位置时，计算在各位置的这两个图像之间的Y分量的差分的绝对值的总和S。例如，当对象帧图像A由水平M×垂直N个像素构成，追踪模板图像B由水平m×垂直n个像素构成时，由下面的公式给出在对象帧图像的坐标（i，j）处的差分总和S。\n[0100]\n[0101] 所计算出的差分总和S变为最小（例如，0，完全匹配）处的坐标表示两个图像之间的相关度变为最高的位置。通过该相关计算，控制单元101能够指定要聚焦的被摄体存在的位置。在指定要聚焦的被摄体的位置之后，控制单元101从对象帧图像中提取包括要聚焦的被摄体的预定像素数的区域。然后，控制单元101更新RAM 103中的追踪模板图像，存储所更新的一个，然后使处理进行到步骤S1004。请注意，优选地，针对每个帧更新追踪模板图像，但是可以保留使用从第一帧提取的图像。\n[0102] 如上所述，根据该实施例的图像处理装置能够由拍摄后的原始运动图像数据跟踪任意被摄体，从而生成对焦运动图像。更具体地，图像处理装置获得由在成像光学系统和图像传感器之间具有微透镜阵列的摄像装置拍摄的原始运动图像数据。图像处理装置从所获得的原始运动图像数据中检测在拍摄范围内要聚焦的被摄体的位置。图像处理装置判定对要聚焦的被摄体进行聚焦的焦距，并且由原始运动图像数据生成按焦距聚焦的运动图像。\n此时，图像处理装置由原始运动图像数据生成与通过成像光学系统的出射光瞳的不同区域的光束相对应的一对图像。基于根据该对图像计算的要聚焦的被摄体的位置处的离焦量，图像处理装置判定对被摄体进行聚焦的焦距。\n[0103] 通过该处理，在不需要用户亲自在运动图像的各帧中选择要聚焦的被摄体的情况下，能够自动追踪用户期望的被摄体以生成对焦运动图像。\n[0104] [其他实施例]\n[0105] 本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机（或诸如CPU或MPU的设备）来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。\n[0106] 虽然参照示例性实施例对本发明执行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。