图像处理装置和方法

1.一种图像处理装置，包括：
运动补偿参数计算单元，计算用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数；
第一连接线设定单元，将在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置设定作为第一连接线；
运动对象检测单元，通过使用所述交叠区域中的摄取图像来检测运动对象从而生成对象信息；
对象信息投影单元，将所述交叠区域中的对象信息投影到扫动轴上，所述扫动轴是所述图像摄取方向的改变方向；
第二连接线设定单元，基于投影的对象信息来执行第二连接线的设定；
图像摄取条件检测单元，检测在摄取图像间发生二维旋转的图像摄取条件；以及连接线选择单元，根据所述图像摄取条件检测单元的检测结果来选择所述第一连接线和所述第二连接线中的一者作为用于所述相邻摄取图像的连接线。
2.根据权利要求1所述的图像处理装置，
其中，所述图像摄取条件检测单元检测摄取图像间的二维旋转角度或者与所述扫动轴正交的所述图像摄取装置的图像摄取方向上的角度；并且
其中，所述连接线选择单元在所述二维旋转角度或与所述扫动轴正交的所述图像摄取装置的图像摄取方向上的角度大于预先设定的阈值范围时选择所述第一连接线，并且在所述二维旋转角度或与所述扫动轴正交的所述图像摄取装置的图像摄取方向上的角度在该阈值范围内时选择所述第二连接线。
3.根据权利要求2所述的图像处理装置，
其中，所述图像摄取条件检测单元通过使用来自设在所述图像摄取装置中的姿势检测单元的检测信号来检测所述二维旋转角度或与所述扫动轴正交的所述图像摄取装置的图像摄取方向上的角度。
4.根据权利要求2所述的图像处理装置，
其中，所述运动对象检测单元使用与运动对象的运动量相应的评估值作为所述对象信息；
其中，所述对象信息投影单元通过在与所述扫动轴正交的方向上对摄取图像上的各个位置处的评估值进行积分来将所述对象信息投影到所述扫动轴上；并且所述第二连接线设定单元将在投影的评估值最小的位置处与所述扫动轴正交的方向设定作为所述第二连接线。
5.根据权利要求1所述的图像处理装置，还包括：
图像投影单元，利用所述运动补偿参数将所述多个摄取图像投影到全景坐标系上；以及
图像合成单元，在所选择的连接线处执行投影到所述全景坐标系上的摄取图像的连接来生成全景图像。
6.一种图像处理方法，包括以下步骤：
计算用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数；
将在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置设定作为第一连接线；
通过使用所述交叠区域中的摄取图像检测运动对象来生成对象信息；
将所述交叠区域中的对象信息投影到扫动轴上，所述扫动轴是所述图像摄取方向的改变方向；
基于投影的对象信息来执行第二连接线的设定；
检测在摄取图像间发生二维旋转的图像摄取条件；以及
根据检测到的图像摄取条件来选择所述第一连接线和所述第二连接线中的一者作为用于所述相邻摄取图像的连接线。

图像处理装置和方法\n技术领域\n[0001] 本发明涉及图像处理装置、方法以及程序。本发明具体地涉及可以获得高质量全景图像的图像处理装置、方法以及程序。 \n[0002] 背景技术\n[0003] 到目前为止，提出了通过交叠和合成由集成了相机的数字VCR等摄取的多个静止图像来生成全景图像的技术(例如，参见日本未实审专利申请公报No.2003-198902)。因为全景图像是通过布置和合成多个静止图像而获得的图像，所以利用全景图像能够显示比一个静止图像被摄取时作为图像摄取目标的空间上的区域更广的区域作为对象。 [0004] 此外，作为确定当静止图像的组合被执行时静止图像间的接缝的方法，提出了利用针对在图形理论中的最短路径问题的解决方案的方法(例如，参见Japan Industrial Publishing Co.，Ltd.于2008年8月5日发行的Image Lab2008年6月刊第6-11页中 Takeaki IIYOSHI、Wataru MITSUHASHI 的“Image mosaic generation method for panoramic image creation”)。根据该方法，例如，如图1所示，位于两个相邻的静止图像I(t)和静止图像I(t+1)的交叠区域中的接缝SJ被确定。应当注意，在图1中，水平方向和垂直方向分别表示X方向和Y方向，并且静止图像I(t)和静止图像I(t+1)交叠并被布置在XY坐标系中。此外，交叠区域的四个角的坐标被设定为“(Qx0，Qy0)，(Qx0，Qy1)，(Qx1，Qy0)和(Qx1，Qy1)”。 \n[0005] 在图1的示例中，根据在静止图像I(t)和静止图像I(t+1)的交叠区域中计算的成本值，具有最小成本的接缝SJ被计算出。更具体地，在为静止图像上的运动对象设定高成本并且相对地为静止对象设定低成本的同时，二维图形被生成，并且具有最小成本的接缝SJ被确定。因此，接缝SJ被获得，其中静止图像上的运动对象没有被分割。 [0006] 当接缝SJ被计算时，从静止图像I(t)的左侧的端部到接缝SJ的附近的区域的部分和从静止图像I(t+1)的接缝SJ的附近的区域到静止图像I(t+1)的右端的部分被合成来生成全景图像。 \n[0007] 通过按照此方式计算接缝SJ和合成各个静止图像，这些图像在图像的接缝不显著的位置处被连接，从而能够获得更高质量全景图像。 \n发明内容\n[0008] 根据本发明的实施例，希望获得与上述现有技术相比更高质量的全景图像。 [0009] 根据本发明的一个实施例，提供了一种图像处理装置，包括：运动补偿参数计算单元，计算用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数；第一连接线设定单元，将在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置设定作为第一连接线；运动对象检测单元，通过使用所述交叠区域中的摄取图像检测运动对象来生成对象信息；对象信息投影单元，将所述交叠区域中的对象信息投影到扫动轴上，所述扫动轴是所述图像摄取方向的改变方向；第二连接线设定单元，基于投影的对象信息来执行第二连接线的设定；图像摄取条件检测单元，检测在摄取图像间发生二维旋转的图像摄取条件；以及连接线选择单元，根据所述图像摄取条件检测单元的检测结果来选择第一连接线和第二连接线中的一者作为用于所述相邻摄取图像的连接线。 [0010] 根据本发明的该实施例，运动补偿参数计算单元计算用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数，例如，全局矢量。第一连接线设定单元将在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置设定作为第一连接线，即，将扫动方向的中央位置作为第一连接线。运动对象检测单元通过使用所述交叠区域中的摄取图像来检测运动对象并生成对象信息，例如，根据运动 量的评估值。对象信息投影单元在与扫动轴正交的方向上对摄取图像的各个位置处的评估值进行积分以将对象信息投影到扫动轴上。第二连接线设定单元将投影后的对象信息，即评估值的积分值最小的位置，设定作为第二连接线。图像摄取条件检测单元检测在摄取图像间发生二维旋转的图像摄取条件。例如，摄取图像间的二维旋转角度或者与扫动轴正交的图像摄取装置的图像摄取方向的角度可以被姿势检测单元检测。连接线选择单元可以在所述旋转角度或所述图像摄取方向中的角度大于预先设定的阈值范围时选择所述第一连接线，并且在所述旋转角度或所述图像摄取方向中的角度在阈值范围内时选择所述第二连接线。此外，通过利用运动补偿参数，所述多个摄取图像可以被图像投影单元投影到全景坐标系上，并且可以由图像合成单元在所选择的连接线处执行投影的摄取图像的连接。 \n[0011] 根据本发明的另一实施例，提供了一种图像处理方法，包括以下步骤：计算用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数；将在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置设定作为第一连接线；使用所述交叠区域中的摄取图像检测运动对象并生成对象信息；将所述交叠区域中的对象信息投影到扫动轴上，所述扫动轴是所述图像摄取方向的改变方向；基于投影的对象信息来执行第二连接线的设定；检测在摄取图像间发生二维旋转的图像摄取条件；以及根据检测到的图像摄取条件来选择所述第一连接线和所述第二连接线中的一者作为用于所述相邻摄取图像的连接线。 \n[0012] 根据本发明的另一实施例，提供一种用于使得计算机从当如下装置的程序：运动补偿参数计算装置，计算用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数；第一连接线设定装置，将在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置设定作为第一连接线；运动对象检测装置，通过使用所述交叠区域中的摄取图像检测运动对象来生成对象信息；对象信息投影装置，将所述交叠区域中的对象信息投影到扫动轴上，所述扫动轴是所述图像摄取方 向的改变方向；第二连接线设定装置，基于投影的对象信息来执行第二连接线的设定；图像摄取条件检测装置，检测在摄取图像间发生二维旋转的图像摄取条件；以及连接线选择装置，根据所述图像摄取条件检测装置的检测结果来选择所述第一连接线和所述第二连接线中的一者作为用于所述相邻摄取图像的连接线。 \n[0013] 应当注意，根据本发明的该实施例的程序是例如可以以计算机可读格式通过存储介质或通信介质提供到能够执行各种程序代码的通用个人计算机系统的程序，例如，所述存储介质诸如光盘、磁盘或半导体存储器之类，所述通信介质诸如网络。通过提供以计算机可读格式的这样的程序，根据该程序的处理被实现在计算机系统上。 \n[0014] 根据本发明的实施例，用于补偿执行图像摄取的图像摄取装置在通过顺次改变图像摄取方向的同时执行图像摄取而获得的多个摄取图像间的相对运动的参数被计算。作为第一连接线，在基于运动补偿参数确定的相邻摄取图像彼此交叠的交叠区域中相对图像摄取方向的改变方向的中央位置，即扫动方向的中央位置，被设定作为第一连接线。此外，交叠区域中的摄取图像被用来检测运动对象，并且对象信息被生成。对象信息被投影到扫动轴上，所述扫动轴是所述图像摄取方向的改变方向。基于此投影的对象信息，第二连接线被设定。此外，在摄取图像间发生二维旋转的图像摄取条件被检测。根据检测到的图像摄取条件，第一连接线或第二连接线被选择，并且所选择的连接线被设定作为用于相邻摄取图像的连接线。因此，适用于图像摄取条件的连接线被选择，并且在所选择的连接线处摄取图像的连接被执行，从而容易地生成高质量全景图像。 \n附图说明\n[0015] 图1是用于描述现有技术中对于接缝的搜索方法的说明图； \n[0016] 图2示出根据本发明的一个实施例的图像摄取装置的配置示例； [0017] 图3示出图像处理单元的配置示例； \n[0018] 图4是用于描述全景图像生成方法的流程图； \n[0019] 图5是用于描述摄取图像在圆柱面上的投影的说明图； \n[0020] 图6是用于描述图像摄取面和圆柱面之间的关系的说明图； \n[0021] 图7A到图7E是用于描述图像摄取方向的斜度与摄取图像间的旋转角之间的关系的说明图； \n[0022] 图8是用于描述关于第一连接线的设定的说明图； \n[0023] 图9是用于描述运动对象的检测和对象信息的生成的说明图； \n[0024] 图10A和图10B是用于描述在扫动轴上各个位置处的运动对象得分的说明图； [0025] 图11A和图11B是用于描述对于连接线的搜索的说明图； \n[0026] 图12A和图12B是用于描述对于连接线的设定顺序的说明图； \n[0027] 图13A和图13B举例说明所选择的连接线； \n[0028] 图14A到图14C是用于描述摄取图像的连接的说明图； \n[0029] 图15A和图15B是用于描述全景图像的剪裁的说明图； \n[0030] 图16是用于描述对象信息的另一示例的说明图； \n[0031] 图17是用于描述对象信息的另一示例的说明图； \n[0032] 图18是用于描述对象信息的另一示例的说明图； \n[0033] 图19A和图19B是用于描述连接线的确定顺序的说明图； \n[0034] 图20A到图20C是用于描述连接线的确定顺序的说明图；以及 \n[0035] 图21示出计算机的配置示例。 \n具体实施方式\n[0036] 下面将描述实现本发明的实施例。 \n[0037] 应当注意，在基于全局运动矢量执行运动补偿的全景组合处理中，在交叠区域中相对图像摄取方向的改变方向的中央位置处进行连接的情况中，在运动(扫动)速度可以被认为恒定的情形下，各个图像中连接线的位置基本是恒定的。另一方面，在图像组合被执行以使得图像的接缝不位于运动对象的位置处的情况中，依赖于运动对象的存在与否，连接线的位置在图像之间不是恒定的。由于此特性，在要被彼此合成的图像具有旋转分量的情况中，当在交叠区域中相对图像摄取方向的改变方向的中央位置处进行连接时，可归因于旋转分量的连接误差在图像间是恒定的。然而， 当图像组合被执行以使得图像的接缝不位于运动对象的位置处时，可归因于旋转分量的连接误差在图像间是变化的。接缝断裂对合成的全景图像的影响是非常大的，但是这样的情况根据本发明的实施例被解决。 [0038] 下文中将按照以下顺序来给出实现本发明的实施例的描述： \n[0039] 1.图像摄取装置的配置 \n[0040] 2.图像摄取装置的操作 \n[0041] 3.图像处理单元的配置 \n[0042] 4.全景图像生成处理 \n[0043] 5.对象信息的另一示例 \n[0044] 6.连接线的确定顺序的另一示例 \n[0045] 7.通过使用程序执行处理的情况 \n[0046] 1.图像摄取装置的配置 \n[0047] 图2示出根据本发明的一个实施例的图像摄取装置的配置。图像摄取装置10包括光学系统、信号处理系统、记录系统、显示系统和控制系统。 \n[0048] 光学系统包括用于收集对象的光学图像的透镜21、用于调节来自透镜21的光学图像的光量的光圈22以及用于执行将所收集的光图像光电转换成电信号的图像摄取元件\n23。图像摄取元件23例如包括CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器之类。 \n[0049] 信号处理系统包括采样单元24、A/D(模/数)转换单元25以及图像处理单元30。\n采样单元24例如由相关双采样单元(CDS：相关双采样)实现，其对来自图像摄取元件23的电信号采样以生成模拟信号。利用此配置，在图像摄取元件23中生成的噪声被减少。在采样单元24中获得的模拟信号是用于显示所摄取对象图像的图像信号。 \n[0050] A/D转换单元25将从采样单元24提供的模拟信号转换成数字信号以被输出到图像处理单元30，并且图像处理单元30对从A/D转换单元25输入的数字信号应用预定的图像处理。 \n[0051] 此外，记录系统包括用于对图像信号编码或解码的编码/解码单元41 以及用于记录图像信号的存储器42。编码/解码单元41对作为经过图像处理单元30处理的数字信号的图像信号进行编码以编码在存储器42中，或者从存储器42中读出图像信号并且对图像信号解码以输出到图像处理单元30。 \n[0052] 显示系统包括D/A(数/模)转换单元43、视频编码器44和显示单元45。 [0053] D/A转换单元43将经过图像处理单元30处理的图像信号转换成模拟信号以输出到视频编码器44，并且视频编码器44将来自D/A转换单元43的图像信号编码成基于符合显示单元45的格式的视频信号。显示单元45例如由LCD(液晶显示器)之类来实现，并且基于通过在视频编码器44中的编码而获得的视频信号，与该视频信号相对应的图像被显示。显示单元45还充当针对对象的图像摄取时的取景器。 \n[0054] 控制系统包括定时生成单元46、操作输入单元47、驱动器48和控制单元50。此外，图像处理单元30、编码/解码单元41、存储器42、定时生成单元46、操作输入单元47和控制单元50经由总线51彼此连接。 \n[0055] 定时生成单元46控制图像摄取元件23、采样单元24、A/D转换单元25和图像处理单元30的操作的定时。操作输入单元47通过按钮、开关之类来构造，并且被布置以接受快门操作或用户的其他命令输入，以向控制单元50输出根据用户的操作的信号。 [0056] 预定的外围设备被连接到驱动器48，并且驱动器48驱动所连接的外围设备。例如，驱动器48从所连接的作为外围设备的记录介质(诸如磁盘、光盘、磁光盘或半导体存储器之类)读取数据并且将此数据输出到控制单元50。应当注意，图像摄取装置10可以设置有姿势检测单元49。姿势检测单元49检测图像摄取装置10在图像摄取时的姿势并且将检测结果输出到图像处理单元30。例如，加速度传感器、角速度传感器、斜度传感器之类被用作姿势检测单元49来检测图像摄取装置10的姿势。 \n[0057] 控制单元50控制图像摄取装置10的全部。例如，经由驱动器48，控制单元50从被连接到驱动器48的记录介质读取控制程序，并且基于此控制程序、来自操作输入单元47的命令等来控制图像摄取装置10的总体操 作。 \n[0058] 2.图像摄取装置的操作 \n[0059] 接着，将给出对图像摄取装置10的操作的描述。在图像摄取装置10中，来自对象的入射光，即，对象的光学图像，经由透镜21和光圈22进入图像摄取元件23并且被图像摄取元件23光电转换成电信号。图像摄取元件23获得的此电信号的噪声分量通过采样单元\n24去除。此电信号被A/D转换单元25数字化并且然后被临时存储在图像处理单元30内置的图像存储器中(在图中未被示出)。 \n[0060] 应当注意，在常规状态中，换句话说，在快门操作之前的状态中，在定时生成单元\n46对该信号处理系统的定时控制下，来自A/D转换单元25的图像信号以恒定的帧率被有规律地覆写在图像处理单元30的图像存储器中。图像处理单元30的图像存储器中的图像信号被D/A转换单元43从数字信号转换成模拟信号，并被视频编码器44转换成视频信号，从而与该视频信号相对应的图像被显示在显示单元45上。 \n[0061] 在此情况中，显示单元45还充当图像摄取装置10的取景器，并且用户在查看显示在显示单元45上的图像的同时设定画面组成并且按压充当操作输入单元47的快门按钮来指示图像摄取。当快门按钮被按压时，基于来自操作输入单元47的信号，控制单元50指示定时生成单元46保存紧在快门按钮被按压后的图像信号。利用此配置，此信号处理系统被控制以使得在图像处理单元30的图像存储器中图像信号不被覆写。 \n[0062] 之后，保存在图像处理单元30的图像存储器中的图像信号然后被编码/解码单元\n41编码以被记录在存储器42中。通过上述图像摄取装置10的操作，完成了捕获一个图像的图像信号。 \n[0063] 3.图像处理单元的配置 \n[0064] 图3示出在图2中所示的图像处理单元30的配置。图像处理单元30包括摄取图像保存单元301、圆柱投影单元(cylinder projection unit)302、运动补偿参数计算单元\n303、图像摄取条件检测单元304、第一连接 线设定单元305、运动对象检测单元306、对象信息投影单元307、第二连接线设定单元308、连接线选择单元309、图像投影单元310和图像合成单元311。 \n[0065] 摄取图像保存单元301被提供由图像摄取装置10摄取的对象的图像(下文中将被称为摄取图像)。摄取图像保存单元301保存多个被提供的摄取图像。提供到摄取图像保存单元301的摄取图像是在图像摄取装置10在预定方向中移动(扫动)的状态中连续摄取的图像。在摄取图像的摄取时，图像摄取装置10被移动以使得同一对象被包括在连续摄取的两个图像上。 \n[0066] 应当注意，在下文中，在连续摄取的图像中，在第t轮(turn)摄取的摄取图像也被称为帧F(t)中的摄取图像I(t)。 \n[0067] 圆柱投影单元302从摄取图像保存单元301读取摄取图像并且将所读取的摄取图像投影在圆柱面上。圆柱投影单元302将被投影在圆柱面上的摄取图像输出到运动补偿参数计算单元303、运动对象检测单元306和图像投影单元310。 \n[0068] 基于来自圆柱投影单元302的摄取图像，运动补偿参数计算单元303计算用于补偿图像摄取装置10在摄取图像的各帧之间的运动(移动)的运动补偿参数。此外，运动补偿参数计算单元303将计算出的运动补偿参数输出到图像摄取条件检测单元304、第一连接线设定单元305、运动对象检测单元306、对象信息投影单元307和图像投影单元310。运动补偿参数例如是在多个摄取图像中的各个摄取图像被布置以使得相同对象基本彼此交叠的情况中有关摄取图像彼此间的相对位置关系的信息。 \n[0069] 图像摄取条件检测单元304检测在通过使用从运动补偿参数计算单元303提供的运动补偿参数进行图像摄取时的各种条件，并且将检测结果输出到连接线选择单元309。图像摄取条件检测单元304例如检测摄取图像间发生二维旋转的图像摄取条件。 [0070] 第一连接线设定单元305基于从运动补偿参数计算单元303输出的运动补偿参数来从连续帧中的摄取图像确定交叠区域。此外，第一连接线设定单元305将交叠区域中相对图像摄取方向的改变方向的中央位置设定作 为第一连接线。即，在交叠区域中，第一连接线设定单元305穿过图像摄取装置10的旋转移动方向(扫动轴的方向)上的中点，并且将与扫动轴正交的直线设定作为第一连接线。第一连接线设定单元将表示第一连接线的第一连接线信息输出到连接线选择单元309。应当注意，扫动轴是指与图像摄取装置10在摄取摄取图像时移动的方向相同的方向，并且扫动轴的方向是预先设定的。关于扫动轴的方向，当用户在图像摄取之前或之后操纵操作输入单元47时，扫动轴的方向可以在多个方向中选择。因为运动补偿参数是用于补偿图像摄取装置10的运动(移动)的参数，所以扫动轴的方向也可以基于此运动补偿参数自动被确定。 \n[0071] 运动对象检测单元306通过使用来自运动补偿参数计算单元303的运动补偿参数以及来自圆柱投影单元302的摄取图像来针对相邻摄取对象彼此交叠的交叠区域检测运动对象，并生成对象信息。此外，运动对象检测单元306将所生成的对象信息输出到对象信息投影单元307。运动对象检测单元306例如生成指示运动对象的运动量的评估值作为对象信息。 \n[0072] 对象信息投影单元307通过使用来自运动补偿参数计算单元303的运动补偿参数将来自运动对象检测单元306的对象信息投影到扫动轴上，并且将投影结果输出到第二连接线设定单元308。 \n[0073] 第二连接线设定单元308基于从对象信息投影单元307提供的对象信息的投影结果来设定连续帧中的摄取图像彼此连接时的第二连接线。此外，第二连接线设定单元308将表示设定的第二连接线的第二连接线信息输出到连接线选择单元309。在此，第二连接线设定单元308基于对象信息的投影结果来设定第二连接线，从而使运动对象不包括在连接位置中。 \n[0074] 连接线选择单元309基于图像摄取条件检测单元304中的检测结果来选择第一连接线或第二连接线。即，连接线选择单元309基于图像摄取条件检测结果选择由第一连接线设定单元305生成的第一连接线信息和由第二连接线设定单元308生成的第二连接线信息中的一者，并且将所选择的连接线信息输出到图像合成单元311。 \n[0075] 图像投影单元310通过使用来自运动补偿参数计算单元303的运动补偿参数将来自圆柱投影单元302的摄取图像投影到全景坐标系上，并且将 经投影的摄取图像输出到图像合成单元311。在此，全景坐标系被设定为使用包括扫动轴和与扫动轴垂直的轴的轴的二维坐标系(换句话说，预定平面)，并且全景坐标系是预先设定的。 \n[0076] 图像合成单元311在由连接线选择单元309选择的连接线信息所表示的连接线处将从图像投影单元310提供的投影后的摄取图像彼此相连接来生成一个全景图像。全景图像是在摄取了多个图像时所有用作图像摄取目标的区域都被设定作为对象的图像。 [0077] 4.全景图像生成处理 \n[0078] 当用户操纵操作输入单元47并且指示生成全景图像时，图像摄取装置10通过摄取图像和生成全景图像来启动全景图像生成处理。下面，将参考图4的流程图来描述图像摄取装置10的全景图像生成处理。 \n[0079] 在步骤ST11中，图像摄取元件23执行对象的图像摄取。在图像摄取装置10的图像摄取方向顺次改变的状态中，图像摄取元件23执行对象的图像摄取以生成多个摄取图像，并且处理进行到步骤ST12。例如，当在预定方向上转动图像摄取装置10时，用户指示图像摄取装置10连续摄取多个图像。 \n[0080] 来自对象的光经由透镜21和光圈22进入图像摄取元件23。图像摄取元件23使入射光经受光电转换以摄取图像。由此获得的摄取图像(图像信号)从图像摄取元件23经由采样单元24、A/D转换单元25、图像处理单元30和编码/解码单元41被提供到存储器42并被记录。此时，摄取图像被编码/解码单元41编码。此外，在将图像记录在存储器\n42中时，各个摄取图像按照图像摄取顺序被分配有帧编号。 \n[0081] 当多个摄取图像被顺次记录在存储器42中时，那些摄取图像从存储器42中被读出以被编码/解码单元41解码并提供到图像处理单元30的摄取图像保存单元301中以便被保存。 \n[0082] 应当注意，通过图像摄取而获得的摄取图像可以不记录在存储器42中，并且可以直接提供到摄取图像保存单元301。此外，摄取图像可以是一个摄取静止图像或者构成运动图像的、一帧的摄取图像。 \n[0083] 在步骤ST12中，圆柱投影单元302将摄取图像投影在圆柱面上。圆柱投影单元302轮流读出保存在摄取图像保存单元301中的摄取图像，并且基于摄取图像的图像摄取时的聚焦距离将读出的摄取图像投影到预定圆柱面上。此外，圆柱投影单元302将投影的摄取图像输出到运动补偿参数计算单元303、运动对象检测单元306、和图像投影单元310，并且处理进行到步骤ST13。 \n[0084] 图5是用于描述摄取图像在圆柱面上的投影的说明图。例如，当摄取图像的图像摄取时的透镜21的聚焦距离FD为半径的圆柱的侧面被设定作为圆柱面CS时，通过捕获图像摄取面PS而获得的摄取图像被投影到该圆柱面CS上。即，图像摄取面PS在圆柱面上的投影被执行。在图5的示例中，圆柱面CS被设定为与图像摄取面PS的中心接触的面。应当注意，透镜21的聚焦距离可以从在摄取图像的图像摄取时的透镜21的位置等来获得。 [0085] 通过按照此方式将摄取图像投影到圆柱面上，在生成全景图像时，能够进一步抑制对象位置在连接摄取图像间的偏移(误差)。 \n[0086] 图6示出图像摄取面和圆柱面之间的关系。如图6所示，在图像摄取装置10的光学中心位于光学中心点C11的状态中，当图像摄取装置10关于被设定作为中心的光学中心点C11顺时针扫动(转动)时，用户指示图像摄取装置10生成多个摄取图像。应当注意，图6中的与图5的情况相对应的部分被指派有相同的标号，并且将适当地省略对它们的描述。 \n[0087] 在图6中，图像摄取是在五个图像摄取面PS-0到PS-4上执行的，并且生成了五个摄取图像。由此获得的摄取图像然后分别被投影到圆柱面CS上。圆柱面CS是光学中心点C11被设定作为中心并且聚焦距离为半径的圆柱的侧面。 \n[0088] 在此情况中，考虑在摄取图像在不改变的情况下被合成并且全景图像被生成的情形。在图6中，位于彼此相邻的图像摄取面的端部的附近的图像交叠部分在圆柱面CS的半径方向上空间地偏移。因此，如果摄取图像在不改变的情况下彼此交叠并布置，则产生对象的位置偏移，从而相同对象不彼此交叠。因此，全景图像的质量被劣化。 [0089] 鉴于上述，在各个摄取图像被投影到圆柱面CS上之后，投影的摄取图像彼此交叠并且被合成以生成全景图像。通过按照此方式生成全景图像，与在摄取图像不投影到圆柱面上而被合成的情况相比，在摄取图像间对象的位置偏移(误差)可以被进一步抑制。因此，当摄取图像被投影到圆柱面CS上并且投影的图像被合成以生成全景图像时，在摄取图像间生成的对象的位置的误差被减轻，从而能够以更高的质量获得全景图像。 [0090] 在图4的步骤ST13中，运动补偿参数计算单元303为从圆柱投影单元302提供的各个摄取图像计算摄取图像的运动补偿参数。运动补偿参数计算单元303将计算出的运动补偿参数输出到图像摄取条件检测单元304、第一连接线设定单元305、运动对象检测单元\n306、对象信息投影单元307和图像投影单元310，并且处理进行到步骤ST14。 [0091] 例如，通过使用连续两帧中的摄取图像，通过特征点的提取和块匹配，运动补偿参数计算单元303计算摄取图像的全局运动矢量作为运动补偿参数。 \n[0092] 全局运动矢量是指指示摄取图像上整个对象在帧之间的运动的全局运动矢量。摄取图像上的大多数对象是在真实空间不运动的静止物体，并且因此可以说全局运动矢量是指示摄取图像上的静止物体在帧之间的运动(换句话，图像摄取装置10在摄取图像的图像摄取时的运动)的矢量。 \n[0093] 应当注意，运动补偿参数不限于全局运动矢量，而是还可以是可以补偿图像摄取装置10的运动的参数，例如，平面投影矩阵、仿射矩阵等。可以通过使用连续两帧中的摄取图像进行的特征点提取和块匹配来获得平面投影矩阵和仿射举证。在全局运动矢量被采用作为运动补偿参数的情况中，能够以比采用平面投影矩阵或仿射矩阵的情况更低的计算成本来获得运动补偿参数。 \n[0094] 在步骤ST14中，图像摄取条件检测单元304通过使用从运动补偿参数计算单元\n303输出的运动补偿参数来检测图像摄取时的图像摄取条件。在图像摄取装置10的图像摄取方向相对于与扫动操作的旋转轴正交的方向具有斜度的情况中，在扫动期间通过图像摄取而获得的摄取图像在摄取图像间具有二维旋转。 \n[0095] 图7A到图7E是用于描述图像摄取装置10的图像摄取方向的斜度与摄取图像间的旋转角之间的关系的说明图。例如，如图7C所示，在由扫动操作的旋转轴AR与图像摄取方向VP定义的角度为90度的情况中，不发生摄取图像间的二维旋转。接着，如图7B所示，在图像摄取方向VP相对扫动操作的旋转轴AR的角度小于90度并且图像摄取方向VP相对于与扫动操作的旋转轴AR正交的方向具有仰角θa时，产生了摄取图像间的二维旋转角。\n此外，如图7A所示，当仰角θa变大时，摄取图像间的旋转角变大。如图7D所示，在图像摄取方向VP相对扫动操作的旋转轴VP的角度大于90度并且图像摄取方向VP相对与扫动操作的旋转轴AR正交的方向具有俯角θb时，产生了摄取图像间的旋转角。此外，如图7E所示，当此俯角θb变大时，图像间的旋转角变大。应当注意，在存在俯角θb的情况中的摄取图像的旋转处于与存在仰角θa的情况中的旋转相反的方向。 \n[0096] 按照此方式，可能发生如下情况：在摄取图像间发生二维旋转并且图像摄取条件检测单元304检测到在摄取图像间发生二维旋转的图像摄取条件。更具体地，图像摄取条件检测单元304基于由运动补偿参数计算单元303计算出的运动补偿参数(例如，全局运动矢量)来检测摄取图像间的二维旋转角度。此外，图像摄取条件检测单元把检测到的旋转角度作为图像摄取条件输出到连接线选择单元309。此外，图像摄取条件检测单元304可以获得仿射矩阵以使摄取图像几何变换到旋转后的位置并从此仿射矩阵获得旋转角度。此外，当图像摄取方向相对与扫动操作的旋转轴正交的方向具有俯角或仰角时，发生摄取图像间的二维旋转。因此，图像摄取装置10可以设有姿势检测单元49，并且姿势检测单元49可以检测图像摄取方向相对扫动操作的旋转轴的角度，以将所检测到的角度设定作为图像摄取条件。在摄取图像间的二维旋转不仅通过图像摄取方向相对扫动操作的旋转轴的角度改变还通过另外的图像摄取条件改变的情况中，还执行其他图像摄取条件的检测。 [0097] 在步骤ST15中，第一连接线设定单元305设定第一连接线。第一连接线设定单元\n305基于来自运动补偿参数计算单元303的运动补偿参数来确定摄取图像彼此交叠的交叠区域。此外，第一连接线设定单元305在交 叠区域中扫动方向的中央位置处设定与扫动方向正交的第一连接线，并且将表示此设定的第一连接线的第一连接线信息输出到连接线选择单元309，并且处理进行到步骤ST16。 \n[0098] 图8是用于描述设定第一连接线的说明图。当用于合成摄取图像I(t)与摄取图像I(t+1)的第一连接线被设定时，第一连接线设定单元305检测与摄取图像I(t)与摄取图像I(t+1)彼此交叠的交叠区域相对应的从扫动轴上的位置Qx0到位置Qx1的范围。在此，位置Qx0是当摄取图像I(t+1)被投影在扫动轴上时处于摄取图像I(t+1)的左端的位置，并且位置Qx1是当摄取图像I(t)被投影在扫动轴上时处于摄取图像I(t)的右端的位置。 \n[0099] 第一连接线设定单元305把扫动轴上从位置Qx0到位置Qx1的中央位置SC设定作为用于连接摄取图像I(t)和摄取图像I(t+1)的第一连接线。即，第一连接线设定单元\n305设定第一连接线，以使得从位置Qx0到位置SC的距离Ld0等于从位置SC到位置Qx1的距离Ld1。 \n[0100] 在图4的步骤ST16中，运动对象检测单元306执行运动对象检测。运动对象检测单元306通过使用来自运动补偿参数计算单元303的运动补偿参数和来自圆柱投影单元\n302的摄取图像来检测摄取图像彼此交叠的交叠区域中的运动对象。此外，运动对象检测单元306生成指示检测到的运动对象的对象信息以输出到对象信息投影单元307，并且处理进行到步骤ST17。 \n[0101] 例如，如图9所示，通过使用运动补偿参数，运动对象检测单元306布置两个连续的帧中帧F(t)中的摄取图像I(t)和帧F(t+1)中的摄取图像I(t+1)，以使得这些摄取图像上的同一对象基本彼此交叠。 \n[0102] 然后，运动对象检测单元306将摄取图像I(t)中与摄取图像I(t+1)交叠的交叠区域DR分割成若干块(下文中将被称为块)并且基于块匹配获得针对每个块的运动矢量LMV。 \n[0103] 即，可以通过搜索摄取图像I(t+1)上与摄像图像I(t)上的处理目标的块具有最小差的区域来获得各个块的运动矢量LMV。例如，与所述块的差被设定为所述块中的像素的像素值与摄取图像I(t+1)中与所述像素相对应的像素的像素值之间的差的绝对值的和。 [0104] 在图9中，交叠区域DR中由虚线表示的一个方块表示一个块，并且各个块中的箭头表示这些块的运动矢量LMV。此运动矢量LMV是指示在摄取图像I(t)和摄取图像I(t+1)通过使用运动补偿参数布置的状态中在摄取图像的各个区域中的对象在帧之间的运动的矢量。 \n[0105] 接着，运动对象检测单元306通过使用所获得的各个块的运动矢量LMV来计算表示摄取图像I(t)的整体的运动的全局运动矢量GMV(全局运动矢量)。例如，全局运动矢量GMV被设定为各个块的运动矢量LMV的中间值。 \n[0106] 应当注意，全局运动矢量GMV可以通过抗差估计(robust estimation)获得或者也可以被设定为在所获得的各块的运动矢量LMV中具有最频繁检测到的方向和大小的运动矢量LMV。 \n[0107] 由此获得的全局运动矢量表示摄取图像上的整个对象的运动，并且具有与全局运动矢量GMV不同的运动矢量LMV的块包括作为在真实空间处于运动的对象的运动对象。 [0108] 此外，运动对象检测单元306通过使用所获得的全局运动矢量GMV和各个块的运动矢量LMV来计算摄取图像I(t)上的交叠区域中的各个位置中运动对象是否存在以及指示运动的大小(运动程度)的评估值(成本值)。 \n[0109] 更具体地，当例如考虑图9中所示的交叠区域DR的左上顶点被设定为基准的XY坐标系时，运动对象检测单元306基于下面的表达式(1)来计算交叠区域DR中在XY坐标系上的坐标为(x，y)的位置处的评估值(成本值)、cost(x，y)。应当注意，在图9中，水平方向被设定为X方向，并且垂直方向被设定为Y方向。此外，扫动轴被设定为X方向。 [0110] cost(x，y)＝|GMV-LMV(x，y)|…(1) \n[0111] 应当注意，在表达式(1)中，GMV表示整个摄取图像I(t)的运动矢量GMV，并且LMV(x，y)指示包括坐标为(x，y)的位置的块的运动矢量LMV。为了详细阐述，在每个位置处的评估值被设定为全局运动矢量GMV和块的运动矢量LMV之间的差的绝对值。 [0112] 因此，当交叠区域DR中的该位置处的评估值较大时，具有较大运动 的运动对象被显示在该位置处。运动对象检测单元306将如此获得的评估值作为对象信息输出到对象信息投影单元307。 \n[0113] 应当注意，在图9中，已经描述了其中以块为单位检测运动对象(换句话，执行了运动矢量的检测)的示例，但是也可以针对交叠区域DR中每个像素来检测运动矢量。 [0114] 此外，已经描述了运动对象是否存在以及指示运动对象的运动程度的评估值被获得作为对象信息的示例，但是交叠区域DR中各个位置处的对象信息也可以是指示在该位置处是否包括运动对象的二进制值。 \n[0115] 然而，应当注意，如果对象信息是多值信息，则在下面将要描述的第二连接线设定单元308中，能够获得具有更小对象位置偏移的位置作为连接线。 \n[0116] 即，为了生成全景图像，第二连接线设定单元308设定用于彼此连接连续摄取图像的连接线。此时，为了获得具有更高质量的全景图像，分割运动对象的连接线设定尽可能要避免，但是由于运动对象的区域较大等等的原因，在某些情况中，运动对象的位置不情愿地被设定作为连接线。在这样的情况中，如果指示运动对象的运动程度的信息以多值信息的形式被包括在对象信息中，则能够获得具有最小对象运动的位置作为连接线。利用此配置，彼此连接的摄取图像的连接位置的附近的图像偏移(换句话，两个摄取图像彼此交叠时对象的位置偏移)可以被减到最小，并且能够抑制全景图像的质量的降低。 [0117] 在图4的步骤ST17中，对象信息投影单元307投影对象信息。对象信息投影单元\n307将来自运动对象检测单元306的对象信息投影到扫动轴上，并且通过使用来自运动补偿参数计算单元303的运动补偿参数来计算在扫动轴的各个位置处的评估值的总和以生成运动对象得分。对象信息投影单元307将所生成的运动对象得分输出到第二连接线设定单元308，并且处理进行到步骤ST18。 \n[0118] 即，对象信息投影单元307在与扫动轴垂直的方向中对摄取图像上各个位置处的评估值进行积分来得到运动对象得分，从而评估值被投影到扫动轴上。用作投影结果的运动对象得分随着与摄取图像相对应的区域中运 动对象的面积(大小)而变大。 [0119] 例如，如图9所示，当扫动轴被设定为X方向时，在扫动轴的各个位置处的对象得分是摄取图像上具有与在扫动轴上的该位置的X坐标相同的值的X坐标的位置的那些评估值的总和。更具体地，假定XY坐标系的与扫动轴上预定位置相对应的值例如为“x0”。在此情况中，交叠区域DR中X坐标为“x0”的位置处的成本(x0，y)的总和被获得作为在扫动轴上预定位置处的运动对象得分。 \n[0120] 结果，例如，如图10A和图10B所示，在扫动轴上各个位置处的运动对象得分被获得。应当注意，图10A示出摄取图像I(t)，并且图10B示出摄取图像I(t)的运动对象得分。\n应当注意，在图10B中，水平方向指示扫动轴的方向，并且垂直方向指示扫动轴上各个位置处的运动对象得分。此外，得分线MS是指示在扫动轴上各个位置处的运动对象得分的线。 [0121] 在摄取图像I(t)中，因为运动对象包括在摄取图像I(t)的中心或稍偏左侧，所以扫动轴上与运动对象的部分相对应的位置处，运动对象得分较大。另一方面，没有包括运动对象的部分的评估值为“0”。此外，在与相邻摄取图像不交叠的区域中不获得评估值。因此，在扫动轴上与不存在摄取图像I(t)的运动对象的区域相对应的位置处，运动对象得分为“0”。 \n[0122] 对象信息投影单元307按照此方式将用作针对所有摄取图像的对象信息的评估值投影到扫动轴上，以获得扫动轴上各个位置处的运动对象得分。应当注意，在对象信息投影单元307中，可以从针对各个摄取图像的运动补偿参数来找到针对各个摄取图像的每个区域的评估值要投影到扫动轴上什么位置。 \n[0123] 通过将对象信息投影到扫动轴上来获得扫动轴上各个位置处的运动对象得分，能够将用于设定连接线的二维信息转换成一维信息。利用此配置，用于确定连接线的信息量减少了，并且节省了用于记录信息的存储器容量。 \n[0124] 在图4的步骤ST18中，第二连接线设定单元308执行第二连接线的设定。第二连接线设定单元308基于来自对象信息投影单元307的运动对象得分来设定摄取图像被连接时的第二连接线，并且将指示此第二连接线 的第二连接线信息输出到连接线选择单元\n309，并且处理进行到步骤ST19。 \n[0125] 图11A和图11B是用于描述搜索连接线的说明图。例如，如图11A和图11B所示，假定从摄取图像I(t)获得了由得分线MSt指示的运动对象得分。应当注意，图11A示出摄取对象I(t)和摄取对象I(t+1)，并且图11B示出运动对象得分。水平方向是扫动轴的方向，并且垂直方向是在扫动轴上各个位置处的运动对象得分的大小。 \n[0126] 当设定摄取图像I(t)和摄取图像I(t+1)彼此合成时的连接线时，第二连接线设定单元308将与摄取图像I(t)和摄取图像I(t+1)彼此交叠的交叠区域相对应的从扫动轴上的位置Qx0到位置Qx1的范围设定作为搜索范围。在此，位置Qx0是当摄取图像I(t+1)投影到扫动轴上时摄取图像I(t+1)的左端的位置，并且位置Qx1是当摄取图像I(t)投影到扫动轴上时摄取图像I(t)的右端的位置。 \n[0127] 第二连接线设定单元308将从扫动轴上的位置Qx0到位置Qx1的范围设定作为搜索范围，并且在该搜索范围中具有最小运动对象得分的位置被设定作为用于彼此连接摄取图像I(t)和摄取图像I(t+1)的第二连接线。 \n[0128] 应当注意，在图11A和图11B中，在扫动轴上的该搜索范围中的位置SM处，由得分线MST指示的运动对象得分最小，因此位置SM被设定作为第二连接线。因此，当扫动轴的位置在位置SM处时，第二连接线设定单元308将相对扫动轴垂直的直线设定作为第二连接线。 \n[0129] 第二连接线处于该搜索范围中具有最小对象得分的位置SM处，并且在扫动轴上各个位置中对象的运动最小的位置处。为了详细阐述，在摄取图像I(t)和摄取图像I(t+1)被基于运动补偿参数而布置在预定面上以使得相同对象基本彼此交叠的情况中，位置SM是摄取图像的偏移(例如，摄取图像上对象的位置偏移、在彼此交叠区域中的各像素的颜色误差等)最小的位置。 \n[0130] 按照此方式，在第二连接线设定单元308中，通过一维搜索处理(其是针对扫动轴上运动对象的分割得分最小的位置的搜索)，能够简单并且快捷地设定连接线。 [0131] 此外，第一连接线设定单元305和第二连接线设定单元308针对所有摄取图像执行上述处理来设定用于相邻摄取图像的第一连接线和第二连接线。 \n[0132] 第一连接线设定单元305和第二连接线设定单元308例如按照帧编号的升序(换句话，按照图像摄取时间的升序)来设定针对摄取图像的第一连接线和第二连接线。图12A和图12B示出其中按照帧编号的升序来执行第一连接线和第二连接线的设定的情况。 [0133] 在图12A和图12B中，包括帧F(t-1)、帧F(t)和帧F(t+1)的三个连续帧中的摄取图像I(t-1)、摄取图像I(t)和摄取图像I(t+1)基于运动补偿参数分别布置。在摄取图像I(t-1)、摄取图像I(t)和摄取图像I(t+1)中，具有最小帧编号的摄取图像是摄取图像I(t-1)。因此，第一连接线设定单元305和第二连接线设定单元308设定在摄取图像I(t-1)和摄取图像I(t)的交叠区域中的第一连接线和第二连接线。 \n[0134] 即，如图12A所示，第一连接线设定单元305和第二连接线设定单元308在扫动轴上从位置Qx0(t-1，t)到位置Qx1(t-1，t)的范围中设定相邻的摄取图像I(t-1)和摄取图像I(t)彼此交叠的第一连接线和第二连接线。结果，在位置Qx0(t-1，t)到位置Qx1(t-1，t)之间的中心的位置SC(t-1，t)成为第一连接线。此外，在从位置Qx0(t-1，t)到位置Qx1(t-1，t)的范围中具有最小运动对象得分的位置SM(t-1，t)成为第二连接线。 [0135] 接着，如图12B所示，第一连接线设定单元305和第二连接线设定单元308设定针对摄取图像I(t)和摄取图像I(t+1)的第一连接线和第二连接线。第一连接线设定单元\n305将按照上述方式彼此相邻的摄取图像I(t)和摄取图像I(t+1)彼此交叠的范围中的中心处的位置SC(t，t+1)设定作为第一连接线。 \n[0136] 此外，在摄取图像I(t)和摄取图像I(t+1)彼此交叠的区域的左侧的端部(换句话，摄取图像I(t+1)的左端的位置)位于相对针对摄取图像I(t-1)和摄取图像I(t)的连接线上的先前设定的位置SM(t-1，t)的更左侧。因此，第二连接线设定单元308通过从搜索范围排除位于位置SM(t-1，t)的左侧的区域并且将从位置SM(t-1，t)到位置Qx1(t，t+1)(其位于摄取图像I(t)的右 端)的范围设定作为搜索范围，来设定第二连接线。结果，搜索范围中具有最小运动对象得分的位置SM(t，t+1)被设定作为第二连接线。 [0137] 在图4的步骤ST19中，连接线选择单元309执行连接线的选择。基于由图像摄取条件检测单元304检测的图像摄取条件，连接线选择单元309选择由第一连接线设定单元305生成的第一连接线信息和由第二连接线设定单元308生成的第二连接线信息中的一者。此外，连接线选择单元309将所选择的连接线信息输出到图像合成单元311，并且处理进行到步骤ST20。 \n[0138] 在不存在摄取图像间的二维旋转或者旋转角较小的情况中，当通过在由第二连接线设定单元308设定的第二连接线处连接图像而生成全景图像时，不会出现接缝在运动对象处的断裂。因此，与在由第一连接线设定单元305设定的第一连接线处执行图像的连接的情况相比，此全景图像获得了满意的结果。此外，在摄取图像间的二维旋转较大的情况中，由于该旋转引起的误差变大。因此，通过在由第一连接线设定单元305设定的第一连接线处连接图像，与在由第二连接线设定单元308设定的第二连接线处执行图像的连接的情况相比，全景图像获得了满意的结果。因此，连接线选择单元309将从图像摄取条件检测单元304输入的图像摄取条件与阈值相比较。在二维旋转大于阈值范围的情况中，连接线选择单元309选择第一连接线信息来输出到图像合成单元311。另一方面，在二维旋转在阈值范围内的情况中，连接线选择单元309选择第二连接线信息来输出到图像合成单元311。\n例如，在摄取图像间的二维旋转角度或图像摄取方向相对扫动操作的旋转轴的角度大于阈值范围的情况中，连接线选择单元309选择第一连接线信息来输出到图像合成单元311。此外，在摄取图像间的二维旋转角度或者图像摄取方向相对扫动操作的旋转轴的角度在阈值范围内时，连接线选择单元309选择第二连接线信息来输出到图像合成单元311。 [0139] 图13A和图13B举例说明所选择的连接线。例如，如图12A和图12B所示，位置SC(t-1，t)和SC(t，t+1)是第一连接线，并且位置SM(t-1，t)和SM(t，t+1)是第二连接线。\n在此情况中，在不存在摄取图像间的二维旋转或 者此旋转较小的情况中，连接线选择单元\n309将指示图13A中所示的第二连接线的第二连接线信息输出到图像合成单元311。此外，在摄取图像间的二维旋转较大的情况中，连接线选择单元309将表示图13B中所示的第一连接线的第一连接线信息输出到图像合成单元311。 \n[0140] 在图4的步骤ST20中，图像投影单元310将摄取图像投影到全景坐标系上。图像投影单元310通过使用来自运动补偿参数计算单元303的运动补偿参数将来自圆柱投影单元302的摄取图像投影到全景坐标系上。此外，图像投影单元310将投影的摄取图像输出到图像合成单元311，并且处理进行到步骤ST21。 \n[0141] 利用此投影，多个摄取图像被布置在全景坐标系上，从而使得摄取图像上的对象基本彼此交叠。应当注意，全景坐标系是具有包括扫动轴以及与扫动方向垂直的轴在内的轴的平面。例如，在扫动轴被设定为摄取图像的图像摄取时的图像摄取空间中与垂直方向垂直的方向的情况中，与扫动轴垂直的轴被设定为垂直方向。 \n[0142] 在步骤ST21中，图像合成单元311合成摄取图像以生成全景图像。图像合成单元\n311在从图像投影单元310提供的全景坐标系中在由连接线选择单元309选择的连接线信息表示的连接线处连接投影的摄取图像，以生成一个全景图像。此外，在摄取图像在此连接线处被连接的情况中，在一些情况中，在连接线处的颜色差等可能是显著的。因此，图像合成单元311可以在将此连接线用作基准的情况下提供一连接区域，在此连接区域中执行混合处理并且对所连接的摄取图像执行权重相加(weighting addition)。 [0143] 图14A到图14C是用于描述摄取图像的连接的说明图。图14A到图14C示出摄取图像I(t-1)在第二连接线(其处于位置SM(t-1，t))处与摄取图像I(t)连接的情况。应当注意，在图14A到图14C中，水平方向表示扫动方向，并且两个连续帧中的摄取图像I(t-1)和摄取图像I(t)被显示在全景坐标系上。此外，图14A示出用于全景图像的有效区域被表示为阴影区域。图14B示出针对摄取图像I(t-1)的权重W(t-1)，并且图14C示出针对摄取图像I(t)的权重W(t)。 \n[0144] 例如，连接区域范围从位置SL(t-1，t)到位置SR(t-1，t)，从而使得连接线上的位置SM(t-1，t)成为连接区域的中央位置。此时，在摄取图像I(t-1)中，直到位置SR(t-1，t)的区域成为有效区域R(t-1)。此外，在摄取图像I(t)中，从位置SL(t-1，t)起的区域成为针对摄取图像I(t)的有效区域R(t)。 \n[0145] 对于权重，“0”被设定在连接区域的有效区域的一端侧，并且“1”被设定在另一端侧。此外，在图14B和图14C中，权重通过线OMa和OMb来设定。应当注意，实施例并不限于权重通过线OMa和OMb来设定的情况。在连接区域的各个位置处，针对摄取图像I(t-1)的权重和针对摄取图像I(t)的权重的和为“1”并且权重被设定为按照有效区域端侧的权重变为“0”的方式顺次减小。 \n[0146] 通过按照此方式在连接线被用作基准的同时设定连接区域并且改变连接区域中摄取图像I(t-1)和摄取图像I(t)间的合成比率，从摄取图像I(t-1)到摄取图像I(t)的图像切换被连贯执行。因此，能够以更高质量获得全景图像。即，在连接的两个有效区域彼此交叠的部分，即使在存在对象的位置偏移或者像素的颜色不同的情况中，也能够通过权重相加来获得平滑效果。利用此配置，可以抑制全景图像中丢失对象的一部分或者生成颜色不均匀的情形，从而能够获得更自然的全景图像。 \n[0147] 按照此方式，图像合成单元311在全景坐标系上连接彼此相邻的摄取图像的有效区域来生成一个全景图像。此外，图像合成单元311可以执行剪裁(trimming)并且由连接的有效区域构成的一个图像中的一部分区域可以被设定作为全景图像。 [0148] 图15A和图15B是用于描述全景图像的剪裁的说明图。例如，当在图像摄取装置\n10扫动的同时生成摄取图像时，在图像摄取装置10具有仰角的情况中，如图15A所示，连续的摄取图像I(0)到I(6)在图像间具有二维旋转，并且在全景坐标系的上下方向产生起伏。\n应当注意，对于各个摄取图像，扫动轴是纵向。 \n[0149] 因此，通过连接各个摄取图像的有效区域获得的单个图像不是长方形。鉴于上述，如图15B所示，图像合成单元311切出与通过连接摄取图像I(0)到I(6)的有效区域而获得的整个图像的区域内切的最大长方形区域 P11来获得全景图像。此时，此长方形区域P11的长边被设为与扫动轴平行。按照此方式，通过执行剪裁，可以获得长方形全景图像。 [0150] 当全景图像按照此方式生成了时，图像合成单元311将所生成的全景图像输出，从而图像摄取装置10中全景图像生成处理结束。 \n[0151] 例如，从图像合成单元311输出的全景图像被编码/解码单元41编码以被记录在存储器42中或者经由D/A转换单元43和视频编码器44被输出到显示单元45以显示图像。 \n[0152] 如上所述，图像摄取装置10基于多种不同算法从摄取图像设定连接线。此外，图像摄取装置10在扫动方向投影对象信息来设定连接线。此外，图像摄取装置10根据图像摄取条件来选择连接线以使得可以获得最佳全景图像，并且在所选择的连接线处连接(合成)摄取图像从而生成全景图像。 \n[0153] 按照此方式，在图像摄取装置10中，对象信息被投影在扫动方向来设定连接线，并且因此能够以更低的计算成本来获得更高质量的全景图像。 \n[0154] 即，根据现有技术，如参考图1所描述的，解决了如果连接线(接缝SL)通过二维搜索来设定则运动对象被模糊并且运动对象被分割的问题，并且能够以更高的质量获得全景图像。然而，根据二维搜索，计算成本高并且用于二维搜索的存储器的记录容量大。 [0155] 另一方面，在图像摄取装置10中，包括各个区域上的对象信息的二维信息被投影到作为扫动轴的一维轴上，因此能够通过一维搜索来设定连接线。利用此配置，在防止运动对象的模糊或分割的同时，不仅可以以更低的计算成本获得更高质量的全景图像，而且存储器的记录容量也可以减小。 \n[0156] 此外，连接线是基于多种算法而设定的，并且根据图像摄取条件最佳连接线被选择。因此，即使当在摄取图像间发生二维旋转这样的图像摄取条件下执行时，根据图像摄取条件最佳连接线也被选择，因此能够容易地生成其中接缝不显著的高质量全景图像。 [0157] 此外，因为最佳连接线是根据图像摄取条件自动设定的，因此能够在 用户不必论证地在图像摄取之前或之后选择或指示用于设定连接线的算法同时以高速获得具有高图像质量的全景图像。因此，可以提高用户的使用性。 \n[0158] 5.对象信息的另一示例 \n[0159] 应当注意，上面已经描述了用作对象信息的评估值被设定为整个摄取图像的运动矢量和块的运动矢量的差的绝对值，但是对象信息可以是任何信息，只要该信息与摄取图像上的对象有关。 \n[0160] 例如，对于交叠区域DR(其是图16中所示的摄取图像I(t)和摄取图像I(t+1)彼此交叠的区域)中的像素，也可以设定摄取图像I(t)中的像素的像素值与摄取图像I(t+1)中的与上述像素位于相同位置的像素的像素值间的差的绝对值。应当注意，在图16中，在此情况中，摄取图像I(t)和摄取图像I(t+1)是基于运动补偿参数布置的。 [0161] 运动对象检测单元306通过下面的表达式(2)来计算摄取图像I(t)的位于XY坐标系上(x，y)处的像素的评估值cost(x，y)。应当注意，在图16中，水平方向被设定为X方向，并且垂直方向被设定为Y方向。此外，交叠区域DR的左上顶点被设定为XY坐标系的基准位置，并且X方向被设定为与扫动轴相同的方向。 \n[0162] cost(x，y)＝|It(x，y)-It+1(x，y)|...(2) \n[0163] 在此，在表达式(2)中，It(x，y)和It+1(x，y)指示摄取图像I(t)和摄取图像I(t+1)的坐标为(x，y)的像素的像素值。 \n[0164] 在这样的评估值被用作对象信息的情况中，在摄取图像上的像素值的差的绝对值较小的区域中，确定由于连接而引起的对象位置偏移较小。当像素值的差的绝对值被设定为评估值时，获得了如下优点：不仅因运动对象的运动而引起的位置偏移可以反映在评估值上，而且因视差(parallax error)或针对图像摄取装置10的运动的运动补偿的准确性不足而引起的对象位置偏移等也可以反映在评估值上。 \n[0165] 此外，如图17所示，通过利用对人脸的检测，可以获得使用人脸的相似性作为索引的评估值作为对象信息。应当注意，在图17中，摄取图 像I(t)和摄取图像I(t+1)是基于运动补偿参数布置的。 \n[0166] 运动对象检测单元306检测摄取图像I(t)中与摄取图像I(t+1)交叠的交叠区域被设定为目标时的人脸。结果，期望包括摄取图像I(t)上的人脸的具有预定大小的区域(下文中将被称为脸部区域)和指示人脸区域与该脸部区域的相似性的程度的点被获得。\n此点随着此脸部区域越可能是人脸而越大。 \n[0167] 然后，运动对象检测单元306获得摄取图像I(t)的交叠区域的各个位置的评估值。即，当该位置包括在脸部区域中时，针对脸部区域的点的值被设定作为此位置的评估值，并且如果此位置没有包括在脸部区域中，则此位置的评估值为“0”。 [0168] 通过执行类似处理，运动对象检测单元306检测摄取图像I(t+1)中与摄取图像I(t)交叠的区域被设定为目标时的脸部区域，并且获得摄取图像I(t+1)的各个位置处的评估值。此外，运动对象检测单元306将摄取图像I(t)上的交叠区域的各个位置处的评估值相加到摄取图像I(t+1)的与上述位置交叠的位置处的评估值中，并且将如此获得的值设定作为摄取图像I(t)上的交叠区域的各个位置处的最终评估值。 \n[0169] 在图17的示例中，因为人脸基本被包括在交叠区域的中心，所以预期到交叠区域的中心附近的评估值较高。在许多情况中，摄取图像包括人作为运动对象，但是在摄取图像连接时与避免连接线对人的胳膊、腿或者躯干的分割相比更希望避免连接线对脸部部分的分割的情况中，将人脸被用作指标的评估值设定作为对象信息的方法是有效的。 [0170] 此外，如图18中所示，通过利用人的检测，使用人的相似性作为指标的评估值也可以被获得作为对象信息。应当注意，在图18中，摄取图像I(t)和摄取图像I(t+1)是基于运动补偿参数布置的。 \n[0171] 运动对象检测单元306检测摄取图像I(t)中与摄取图像I(t+1)交叠的交叠区域被设定作为目标时的人。结果，期望包括摄取图像I(t)上的人的预定大小的区域(下文中将被称为人区域)和指示用于人的区域与该人区域的相似性的程度的点被获得。此点随着人区域越可能是人而越大。 \n[0172] 然后，运动对象检测单元306获得摄取图像I(t)的交叠区域的各个位 置的评估值。即，当该位置包括在该人区域中时，该人区域的点的值被设定为此位置的评估值，并且当此位置没有包括在该人区域中时，则此位置的评估值为“0”。 \n[0173] 通过执行类似处理，运动对象检测单元306检测摄取图像I(t+1)中与摄取图像I(t)交叠的区域被设定为目标时的人，并且获得摄取图像I(t+1)的各个位置处的评估值。\n此外，运动对象检测单元306将摄取图像I(t)上的交叠区域的各个位置处的评估值与摄取图像I(t+1)的与上述位置交叠的位置处的评估值相加，并且将如此获得的值作为摄取图像I(t)上的交叠区域的各个位置处的最终评估值。 \n[0174] 在图18的示例中，人被包括在交叠区域的中心的左右两侧，并且预期到交叠区域的中心的左侧和右侧的评估值较高。按照此方式，在摄取图像连接时，为了避免连接线对整个人的分割，将整个人被用作指标的评估值设定作为对象信息的方法是有效的。 [0175] 此外，可以通过将分别参考图9以及图16到图18所描述评估值中的一些进行组合来设定对象信息。例如，参考图9描述的评估值与参考图17描述的评估值的和可以被用作摄取图像的各个位置的评估值(对象信息)。在此情况中，能够设定相对于人脸的区域更大的评估值。 \n[0176] 此外，例如，参考图9描述的评估值与参考图17描述的评估值的和可以被设定作为对象信息，另外，参考图9、图17和图18描述的各个评估值的和可以被设定作为对象信息。在这些情况中，摄取图像上各个位置的评估值的和被获得，并且所获得的和被设定作为各个位置的对象信息。6.连接线的确定顺序的另一示例 \n[0177] 此外，上面已经描述了摄取图像的连接线是按照帧编号的升序来设定的，但是设定连接线的顺序可以是任何顺序。即，当预定帧被设定作为基准时，可以从该相关帧中的摄取图像起顺次设定连接线。 \n[0178] 例如，如图19A所示，假定在图像摄取空间中用于摄取图像的图像摄取的区域中，运动对象的人在从左到右的方向中移动。在这样的状态中，假定当扫动方向被设为从左到右的方向时，图像摄取装置10摄取多个图 像，并且结果，如图19B所示，获得了七个摄取图像I(0)到I(6)。 \n[0179] 在此示例中，摄取图像I(2)到I(4)包括相同的人作为运动对象。在摄取图像的图像摄取时，运动对象的人在从左到右的方向中运动。因此，包括该人的第一帧中的摄取图像I(2)将人显示在图像的左端。此外，包括该人的随后的帧中的摄取图像I(3)将人显示在图像的中心，并且包括该人的更随后的帧中的摄取图像I(4)将人显示在图像的右侧。 [0180] 在这样的情况中，连接线可以按照从摄取图像I(0)到摄取图像I(6)的顺序设定。\n然而，连接线被设定为避免运动对象的区域，因此在一些情况中，在预定连接线中避免运动对象的区域的不利作用可能影响有关下一连接线的确定。即，在一些情况中，在包括运动对象的帧连续出现的情景中，依赖于确定连接线的顺序，可以获得不同的全景图像。 [0181] 鉴于上述，在第二连接线设定单元308中，确定要优先处理其中的摄取图像的帧，并且所确定的帧被设定作为基准帧。此外，从基准帧中的摄取图像起，在与摄取图像被摄取的顺序相对应的帧编号的升序和降序的各个方向中顺次确定连接线。 \n[0182] 在这样的情况中，作为用于确定基准帧的指标，例如可以想到运动对象的中心性(centricity)。即，运动对象检测单元306通过使用连续两帧中的摄取图像针对摄取图像I(0)到I(6)来从各个摄取图像检测运动对象。例如，如通过使用图9描述的，运动对象的检测通过将摄取图像的交叠区域分割成多个块并且获得每个块的运动矢量和整个摄取图像的运动矢量的差来执行。利用此配置，摄取图像的各个区域中的运动对象的存在与否被检测。例如，所获得的差的绝对值等于或大于预定阈值的区域被设定作为运动对象的区域。 [0183] 接着，基于运动对象的检测结果，运动对象检测单元306获得每个摄取图像的运动对象的中心性。例如，基于摄取图像中运动对象的位置来设定运动对象的得分。运动对象的得分随着运动对象越靠近摄取图像的中心性而越大。应当注意，在多个运动对象被包括在一个摄取图像中的情况中，所获得的针对这些运动对象的每个的得分的总和被设定作为中心性的最终得分。 \n[0184] 因此，包括位置越靠近中心的运动对象的摄取图像具有越高的中心性得分。此外，包括越多运动对象的摄取图像具有越高的中心性得分。根据中心性得分，能够识别多个摄取图像中运动对象最接近图像的中心的摄取图像。 \n[0185] 在图19A和图19B的示例中，摄取图像I(3)的中心性得分最高。如此获得的针对每个帧的中心性得分被与来自运动对象检测单元306的对象信息一起经由对象信息投影单元307输出到第二连接线设定单元308。 \n[0186] 然后，在第二连接线设定单元308中，摄取图像的各个帧中具有最高中心性得分的帧被设定作为基准帧，并且按照从该基准帧中的摄取图像起的顺序确定第二连接线。 [0187] 因此，在图19A和图19B的示例中，摄取图像I(3)的帧被设定作为基准。首先，针对摄取图像I(3)和I(4)的第二连接线被设定，之后，按照升序，针对摄取图像I(4)和I(5)的第二连接线、针对摄取图像I(5)和I(6)的第二连接线被顺次设定。此外，之后，从该基准帧起，按照降序，针对摄取图像I(3)和I(2)的第二连接线、针对摄取图像I(2)和I(1)的第二连接线、针对摄取图像I(1)和I(0)的第二连接线顺次被设定。 \n[0188] 然后，如图20A所示，当通过使用第二连接线执行全景图像的生成时，获得了运动对象显示在中心的全景图像。 \n[0189] 在许多情况中，在摄取图像的图像摄取时，为了使人体位于所有作为图像摄取目标的区域的中心附近，图像摄取装置10在扫动的同时摄取多个摄取图像。因此，假定在包括人体的连续帧中，在这些帧的中心的附近的帧中，人体存在于所有作为图像摄取目标的区域的中心的附近，并且人体存在于该帧中的摄取图像的中心。 \n[0190] 因此，在包括人体的帧中，人体存在于摄取图像的中心的帧被设定作为基准帧，并且从该基准帧起顺次确定连接线。利用此配置，如图20A所示，获得了运动对象基本显示在中心的全景图像。 \n[0191] 应当注意，在图19B中，当其中运动对象存在于左端附近的摄取图像I(2)的帧被设定作为基准帧时，当从摄取图像I(2)起顺次设定第二连接线时，如图20B所示，获得了运动对象显示在离中心稍靠左侧的全景图像。 类似地，在图19B中，当其中人体存在于右端附近的摄取图像I(4)的帧被设定作为基准帧，当从摄取图像I(4)起顺次设定第二连接线时，如图20C所示，获得了运动对象显示在离中心稍靠右侧的全景图像。 [0192] 按照此方式，当摄取图像中运动对象的位置等被设定作为指标并且从此特定基准帧中的摄取图像起顺次设定第二连接线时，能够获得更引人入胜的全景图像。 [0193] 7.使用程序执行处理的情况 \n[0194] 上述处理序列可以通过硬件执行也可以通过软件执行。在上述处理序列通过软件执行的情况中，构成软件的程序被从程序记录介质安装到结合在专用硬件中的计算机或例如能够通过安装各种程序等来执行各种功能的通用个人计算机等中。 \n[0195] 图21是用于通过程序执行上述处理序列的计算机的硬件配置示例的框图。 [0196] 在计算机60中，CPU(中央处理单元)61、ROM(只读存储器)62、RAM(随机存取存储器)63通过总线64彼此连接。 \n[0197] 此外，输入输出接口单元65被连接到总线64。由键盘、鼠标、麦克风等构成的输入单元66，由显示器、扬声器等构成的输出单元67，由硬盘、非易失存储器等构成的记录单元\n68，由网络接口等构成的通信单元69，用于驱动诸如磁盘、光盘、磁光盘、驱动器或半导体存储器等的可移除介质80的驱动器71被连接到输入输出接口单元65。 \n[0198] 在如上构造的计算机中，上述处理序列在CPU 61例如经由输入和输出接口单元\n65和总线64将存储在记录单元68中的程序加载到RAM 63上用于执行时被执行。 [0199] 由计算机(CPU 61)执行的程序在被记录在例如用作由磁盘(包括软盘)、光盘(CD-ROM(致密盘-只读存储器))、DVD(数字通用盘)、磁光盘或半导体存储器等构成的封装介质的可移除介质80上时被提供，或者通过诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供。 \n[0200] 然后，可以通过将可移除介质80安装到驱动器来经由输入输出接口单元65将程序安装到记录单元68。此外，可以通过通信单元69经由有线或无线传输介质来接收程序以安装到记录单元68中。除了上述以外，程序可以预先被安装到ROM 62或记录单元68中。 [0201] 应当注意，由计算机执行的程序可以是按照在本说明中描述的顺序的时间顺序的方式来执行处理的程序，或者并行地或例如在产生调用的适当定时执行处理的程序。 [0202] 本申请包含与2009年12月21日于日本专利局提交的日本在先专利申请JP \n2009-288859中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。 [0203] 本领域的技术人员应当理解，依据设计要求和其他因素可以有多种修改、组合、子组合和变更，只要他们在所附权利要求及其等同物的范围内即可。