图像处理设备以及图像处理方法

1.一种图像处理设备，其包括：
确定单元，被配置成接收用于三维显示的图像数据作为输入，并且确定与所述输入数据对应的三维显示格式；
转换器，被配置成根据来自所述确定单元的确定结果而对所述输入数据进行转换；以及
显示单元，被配置成显示来自所述转换器的转换结果，
其中所述转换器被配置成将采用空分格式的数据转换为采用时分格式的数据，使得在所述输入数据的每个帧中，所述转换器将用于左眼的左图像与用于右眼的右图像分离，对由此分离出的所述左图像和所述右图像的分辨率进行转换，将所述左图像或所述右图像的时间方向的相位延迟0.5帧，并且以所述左图像为偶数帧且以所述右图像为奇数帧来重新构建输出数据，或者其中所述转换器被配置成将采用时分格式的数据转换为采用空分格式的数据，使得在所述输入数据的每个帧中，所述转换器将用于左眼的左图像与用于右眼的右图像分离，对由此分离出的所述左图像和所述右图像的分辨率进行转换，将所述左图像或所述右图像的时间方向的相位前移0.5帧，并且通过从每个左右图像生成单个帧来重新构建输出数据。
2.根据权利要求1所述的图像处理设备，其中
所述确定单元确定所述输入数据是采用时分格式还是空分格式；以及
如果所述输入数据的格式不同于与所述显示单元对应的显示格式，则所述转换器将所述输入数据从所述时分格式转换为所述空分格式，或者从所述空分格式转换为所述时分格式。
3.根据权利要求2所述的图像处理设备，其中所述确定单元从构成所述输入数据的帧中选择两个连续帧，分析所述两个连续帧的相似度，并且根据分析结果，确定所述输入数据是采用时分格式还是空分格式。
4.根据权利要求2所述的图像处理设备，其中所述确定单元从构成所述输入数据的帧中选择单个基本帧以及作为参考帧的两个连续帧，计算在根据所述基本帧与所述参考帧中的一个的组合分别计算出的两个运动向量V和W之间的相似度，将所计算出的相似度与预先设置的阈值比较，并且根据比较结果，确定所述输入数据是采用时分格式还是空分格式。
5.根据权利要求1所述的图像处理设备，其中如果所述输入数据采用空分格式，则所述确定单元确定所述输入数据是采用并列空分格式还是隔行空分格式。
6.根据权利要求5所述的图像处理设备，其中所述确定单元从构成所述输入数据的帧中选择单个帧，分析所选帧中的左右图像的相似度，并且根据分析结果，确定所述输入数据是采用并列空分格式还是隔行空分格式。
7.根据权利要求5所述的图像处理设备，其中所述确定单元从构成所述输入数据的帧中选择单个帧，通过使用与所述单个帧的第M个块对应的向量V(M)来计算所选帧中的左右图像的相似度，所述向量V(M)通过对所述左右图像的块匹配来获得，将所计算出的相似度与预先设置的阈值比较，并且根据比较结果，确定所述输入数据是采用并列空分格式还是隔行空分格式。
8.根据权利要求5所述的图像处理设备，其中所述确定单元从构成所述输入数据的帧中选择单个帧，从所选帧生成偶数场图像和奇数场图像，分析在由此生成的所述偶数场图像和所述奇数场图像之间的相似度，并且根据分析结果，确定所述输入数据是采用并列空分格式还是隔行空分格式。
9.根据权利要求5所述的图像处理设备，其中所述确定单元从构成所述输入数据的帧中选择单个帧，从所选帧生成偶数场图像和奇数场图像，计算在由此生成的所述偶数场图像和所述奇数场图像之间的块间相似度，将所计算出的相似度与预先设置的阈值比较，并且根据比较结果，确定所述输入数据是采用并列空分格式还是隔行空分格式。
10.一种图像处理方法，其在图像处理设备中执行并且包括以下步骤：
接收用于三维显示的图像数据作为输入，并且确定与所述输入数据对应的三维显示格式；
根据来自所述确定步骤的确定结果而对所述输入数据进行转换；以及
显示来自所述转换步骤的转换结果，
其中，在转换步骤中，将采用空分格式的数据转换为采用时分格式的数据，使得在所述输入数据的每个帧中，将用于左眼的左图像与用于右眼的右图像分离，对由此分离出的所述左图像和所述右图像的分辨率进行转换，将所述左图像或所述右图像的时间方向的相位延迟0.5帧，并且以所述左图像为偶数帧且以所述右图像为奇数帧来重新构建输出数据，或者在所述转换步骤中，将采用时分格式的数据转换为采用空分格式的数据，使得在所述输入数据的每个帧中，将用于左眼的左图像与用于右眼的右图像分离，对由此分离出的所述左图像和所述右图像的分辨率进行转换，将所述左图像或所述右图像的时间方向的相位前移0.5帧，并且通过从每个左右图像生成单个帧来重新构建输出数据。

图像处理设备以及图像处理方法 \n技术领域\n[0001] 本发明涉及一种图像处理设备、图像处理方法及其程序。更具体地说，本发明涉及一种借助于空分或时分格式来表达三维显示的图像处理设备、图像处理方法和程序。 [0002] 更详细地，本发明涉及一种确定输入图像是采用空分格式或时分格式的数据然后将其转换为采用输出格式的图像的图像处理设备、图像处理方法和程序。 [0003] 背景技术\n[0004] 在诸如电视和电影的运动图像媒体中，图像数据典型地被显示在平面上。由于这个原因，即使人观看显示图像，该人也不会感知有关图像的深度信息。虽然长期证实了立体原理的使用可以使观众即使在将图像数据显示在平面上时也能感知深度，但是没有出现对这种技术的广泛采用。 \n[0005] 其间，带有允许立体观测的内置机构的3D电视开始作为商业产品被实际地销售，同时使用正常广播网络的三维图像广播测试也已经开始。此外，适应于放映3D电影的电影院数也正在显著地增加。用于观看3D图像的环境也迅速变得更有用。 \n[0006] 在立体观测中，将从不同视点捕获的图像分别地呈现给人的左右眼。然后，从左右图像之间视差感知深度，或者通过会聚引起深度的感知。结果，即使在给定图像数据被显示在平面上时，人也可以感知深度。例如，与三维图像显示处理关联的相关技术领域的技术被公开在日本未审查专利申请公布No.H9-107562、H8-30806、H10-51812、2000-209614、\n2005-151534和H6-194602中。 \n[0007] 在立体观测中，提出了很多用于将不同图像分别地呈现到左右眼的方法，并且大部分可以大体上被归类为两种方法中的一种：交替地呈现要被分别地呈现到左右眼的不同图像(在下文中，仅仅要被呈现到左眼的图像还可以被称为左图像，而仅仅更被呈现到右眼的图像还可以被称为右图像) 的方法(即，时分格式)；以及从左图像和右图像构造单个帧且然后对其进行呈现的方法(即，空分格式)。 \n[0008] 当以上面格式中的任一种呈现图像时，将某种差别调制应用于左右图像，使得仅仅左图像入射到左眼上，并且仅仅右图像入射到右眼上。在下文中，将针对上面格式中的每种格式给出当前实际使用的(或当前为实际用途正在开发的)三维图像显示系统的示例。 [0009] [1.通过圆偏振光的空分] \n[0010] 首先，将描述通过圆偏振光的空分。该方法采取逐行显示格式，其中单个帧被分为奇数场(也就是奇数行)和偶数场(也就是偶数行)，其中左图像显示在偶数场中而右图像显示在奇数场中(反之亦可)。通过应用于显示表面的偏振滤光器而有差别地使来自每个场的光偏振。例如，通过每行交替地应用不同的圆偏振滤光器，偶数场光可以变为右偏振光，而奇数场光可以变为左偏振光。通过佩戴在其左右侧应用了不同的偏振滤光器的眼镜，观众仅仅以左眼感知左图像，并且仅仅以右眼感知右图像。 \n[0011] 在卫星广播信道上实际上开始了使用上述显示格式的三维广播测试，并且还计划与这样的广播兼容的大型平板显示的商业发布。 \n[0012] [2.通过液晶快门眼镜的时分] \n[0013] 接下来，将描述通过液晶快门眼镜的时分。在使用液晶快门眼镜的时分格式中，例如，与作为奇数编号帧显示的右图像交替地，显示作为偶数编号帧(或场，在隔行显示的情况下)的左图像。观众戴上液晶快门眼镜并且观看图像。将液晶快门眼镜与左右图像的交替呈现同步，并且在观众左眼或右眼交替地阻挡进入光。该行为使仅仅左图像入射在左眼上并且使仅仅右图像入射在右眼上。因此，通过立体原理，观众能够感知三维图像。 [0014] 使用液晶快门眼镜的方式使用了很长时间，并且液晶快门眼镜和很多种产品当前正在被销售。 \n[0015] [3.使用偏振光的时分] \n[0016] 接下来，将描述使用偏振光的时分。在很多情况下，在上面时分格式2中使用的液晶快门眼镜是昂贵的。因此，使用与液晶快门眼镜相比更便宜的偏振眼镜来实现时分。 [0017] 呈现格式基本上是时分格式，并且由此用于显示的帧的构成相同于使用液晶快门眼镜的时分方法。换句话说，例如，左图像显示在偶数帧中， 并且右图像显示在奇数帧中。\n呈现格式不同于上述时分格式2之处在于圆偏振滤光器被安装在图像显示单元的前面。偏振滤光器由液晶面板组成，并且能够随着时间改变偏振。因此，例如，通过改变每个帧的偏振方向，可以仅仅将显示在偶数帧中的左图像转换为左偏振光并且仅仅将显示在奇数帧中的右图像转换为右偏振光。与上述格式1中通过圆偏振光的空分类似，观众戴上在其左右侧具有不同偏振的偏振眼镜。偏振眼镜使仅仅左图像入射到左眼上并且使仅仅右图像入射到右眼上，从而使观众能够感知三维图像。偏振液晶面板被安装在投影仪的前面的电影院系统当前由RealD公司正在销售。 \n[0018] 发明内容\n[0019] 如上所述，相关技术领域的若干技术实际上应用一种用于通过以空分格式或时分格式显示图像而使观众感知深度并且识别三维图像的方法。然而，在上述多个三维图像显示系统中，在每个系统中实施独特的图像数据格式，并且由此图像数据格式(也就是，左右图像如何布置在图像数据中)在各个系统之间是不兼容的。即使假定图像数据格式在各个系统之间是可转换的，如果使用时分格式来显示在使用空分格式进行三维显示时具有正确感知深度的图像数据，也会出现问题。在这种情况下，如果运动对象存在于图像数据中，则对于运动对象的感知深度变得与实际深度不同。如果使用空分格式来显示在使用时分格式进行三维显示时具有正确感知深度的图像数据，会出现类似的问题，并且运动对象的感知深度变得与实际深度不同。 \n[0020] 鉴于前述情形，期望提供一种图像处理设备、图像处理方法和程序，其操作使得在接收到采用不兼容的三维图像格式的图像数据作为输入时，确定格式并且将图像数据最佳地转换为适当的三维图像显示格式，从而使得能够感知正确的深度。 \n[0021] 根据本发明第一实施例的图像处理设备包括：确定单元，被配置成接收用于三维显示的图像数据作为输入，并且确定与输入数据对应的三维显示格式；转换器，被配置成根据来自确定单元的确定结果而对输入数据进行转换；以及显示单元，被配置成显示来自转换器的转换结果。在根据本发明实施例的图像处理设备中，转换器可以被配置成将采用空分格式的数据转换为采用时分格式的数据，使得在输入数据的每个帧中，转换器将用于左眼的左图像与用于右眼的右图像分离，对由此分离的左图像和右图像的分辨率进行转换，将左图像或右图像的时间方向的相位延迟0.5帧，并 且以左图像为偶数帧且以右图像为奇数帧来重新构建输出数据，或者转换器可以被配置成将采用时分格式的数据转换为采用空分格式的数据，使得在输入数据的每个帧中，转换器将用于左眼的左图像与用于右眼的右图像分离，对由此分离的左图像和右图像的分辨率进行转换，将左图像或右图像的时间方向的相位前移0.5帧，并且然后通过从每个左右图像生成单个帧来重新构建输出数据。 [0022] 在根据本发明实施例的图像处理设备中，确定单元可以确定输入数据是采用时分格式还是空分格式。如果输入数据格式不同于与显示单元对应的显示格式，则转换器将输入数据从时分格式转换为空分格式，或者可替选地，从空分格式转换为时分格式。 [0023] 在根据本发明实施例的图像处理设备中，确定单元可以从构成输入数据的帧选择两个连续帧，分析两个连续帧的相似度，并且根据分析结果，确定输入数据是采用时分格式还是空分格式。 \n[0024] 在根据本发明实施例的图像处理设备中，确定单元可以从构成输入数据的帧选择单个基本帧以及作为参考帧的两个连续帧。然后，确定单元计算在根据基本帧和参考帧中的一个的组合分别计算出的两个运动向量V和W之间的相似度。确定单元将所计算出的相似度与预先设置的阈值比较，并且根据比较结果，确定输入数据是采用时分格式还是空分格式。 \n[0025] 在根据本发明实施例的图像处理设备中，如果输入数据采用空分格式，则确定单元可以确定输入数据采用并列空分格式还是隔行空分格式。 \n[0026] 在根据本发明实施例的图像处理设备中，确定单元可以从构成输入数据的帧选择单个帧，分析所选帧中的左右图像的相似度，并且根据分析结果，确定输入数据是采用并列空分格式还是隔行空分格式。 \n[0027] 在根据本发明实施例的图像处理设备中，确定单元可以从构成输入数据的帧选择单个帧，通过使用经由左右图像的块匹配获得的、与单个帧的第M个块对应的向量V(M)来计算所选帧中的左右图像的相似度，将所计算出的相似度与预先设置的阈值比较，并且根据比较结果，确定输入数据是采用并列空分格式还是隔行空分格式。 \n[0028] 在根据本发明实施例的图像处理设备中，确定单元可以从构成输入数据的帧选择单个帧，从所选帧生成偶数场图像和奇数场图像，分析在由此生成的偶数场图像和奇数场图像之间的相似度，并且根据分析结果，确定输入数据是采用并列空分格式还是隔行空分格式。 \n[0029] 在根据本发明实施例的图像处理设备中，确定单元可以从构成输入数 据的帧选择单个帧，从所选帧生成偶数场图像和奇数场图像，计算在由此生成的偶数场图像和奇数场图像之间的块间相似度，将所计算出的相似度与预先设置的阈值比较，并且根据比较结果，确定输入数据是采用并列空分格式还是隔行空分格式。 \n[0030] 根据本发明第二实施例的图像处理方法在图像处理设备中执行，并且包括以下步骤：接收用于三维显示的图像数据作为输入，并且确定与输入数据对应的三维显示格式；\n根据来自确定步骤的确定结果而对输入数据进行转换；以及显示来自转换步骤的转换结果。在转换步骤中，将采用空分格式的数据转换为采用时分格式的数据，使得在输入数据的每个帧中，将用于左眼的左图像与用于右眼的右图像分离，对由此分离出的左图像和右图像的分辨率进行转换，将左图像或右图像的时间方向的相位延迟0.5帧，并且以左图像为偶数帧且以右图像为奇数帧来重新构建输出数据，或者在转换步骤中，将采用时分格式的数据转换为采用空分格式的数据，使得在输入数据的每个帧中，将用于左眼的左图像与用于右眼的右图像分离，对由此分离出的左图像和右图像的分辨率进行转换，将左图像或右图像的时间方向的相位前移0.5帧，并且通过从每个左右图像生成单个帧来重新构建输出数据。 \n[0031] 应当理解，借助于提供计算机可读格式的程序的记录介质或通信介质，可以将根据本发明实施例的程序提供到能够执行各种程序代码的通用系统。通过提供这种计算机可读格式的程序，在计算机系统上实现与该程序对应的处理。 \n[0032] 本发明的其他特征和优势在结合附图阅读以下对示例性实施例的详细描述时将会变得清楚。在本说明书中，系统指的是多个设备的逻辑集合，并且不限于容纳在单个物理单元中的各个设备。 \n[0033] 根据本发明的实施例，输入用于三维显示的图像数据，确定与输入数据对应的三维显示格式，根据确定结果对输入进行转换，并且将转换结果显示在显示单元上。确定单元确定输入数据是采用时分格式还是空分格式。如果输入数据的格式不同于与显示单元对应的显示格式，则转换器将输入数据从时分格式转换为空分格式，或者可替选地，从空分格式转换为时分格式。作为该配置的结果，实现了使得能够感知正确的深度而无需依赖于输入数据格式的三维图像显示处理。 \n[0034] 图1是说明根据本发明实施例的图像处理设备的示例性构造的图； [0035] 附图说明\n[0036] 图2是说明构成用于典型立体观看的图像数据的示例性左右图像的图； [0037] 图3示出从图2中的各个照相机201和202获得的示例性图像； \n[0038] 图4示出根据时分格式的3D图像数据的典型结构； \n[0039] 图5是用于说明根据并列空分格式的3D图像数据的典型结构的图； [0040] 图6是用于说明根据隔行空分格式的3D图像数据的典型结构的图； [0041] 图7示出借助于照相机301捕获朝右运动的球体300时如从上方看到的视图； [0042] 图8是用于说明在与图7所示类似的条件下由照相机捕获的示例性图像的图； [0043] 图9示出在借助于具有不同视点(perspective)的两个照相机331和332来捕获朝右运动的球体330时如从上方看到的视图； \n[0044] 图10是用于说明在与图9所示类似的条件下由两个照相机331和332捕获的示例性图像的图； \n[0045] 图11是用于说明在由图9的两个照相机331和332获得的左右图像中的对象运动和观察数据的图； \n[0046] 图12是用于说明在由图9的两个照相机331和332获得的左右图像中的对象运动和观察数据的图； \n[0047] 图13是用于说明在具有相同视点的图像系列中帧间对象的运动量如何是恒定的图； \n[0048] 图14是用于说明用于确定输入3D图像数据是否采用时分格式的处理的图； [0049] 图15是用于说明采用并列空分格式的示例性图像数据的图； \n[0050] 图16是用于说明用于确定输入图像数据是否采用并列空分格式的处理的图； [0051] 图17是用于说明采用隔行空分格式的图像数据的图； \n[0052] 图18是用于说明典型图像的帧的示例性分析的图； \n[0053] 图19是用于说明用于确定输入图像数据是否采用隔行空分格式的处理的图； [0054] 图20是用于说明用于使用帧插值以相对于左图像系列延迟右图像系列的按时间相位的处理的图； \n[0055] 图21是用于说明用于通过与左图像系列交替地布置插值图像系列来以时分格式构建图像数据的处理的图；以及 \n[0056] 图22是用于说明用于使用帧插值以相对于左图像系列前移右图像系列的按时间相位的处理的图。 \n具体实施方式\n[0057] 在下文中，将参考附图详细地描述根据本发明实施例的图像处理设备、图像处理方法和程序。描述将如下进行。 \n[0058] (1)图像处理设备的总体构造 \n[0059] (2)确定单元处理的详情 \n[0060] (2-1)3D图像显示格式和确定单元处理的概述 \n[0061] (2-2)对若干3D图像显示格式的描述 \n[0062] (2-2-a)时分格式图像数据 \n[0063] (2-2-b)并列空分格式图像数据 \n[0064] (2-2-c)隔行空分格式图像数据 \n[0065] (2-3)在确定单元中针对每种格式的确定处理的详情 \n[0066] (2-3-a)用于确定时分格式图像数据的方法(方法1) \n[0067] (2-3-b)用于确定并列空分格式图像数据的方法(方法2) \n[0068] (2-3-c)用于确定隔行空分格式图像数据的方法(方法3) \n[0069] (3)转换器处理的详情 \n[0070] (3-1)用于将空分格式输入图像数据转换为时分格式数据的示例性处理 [0071] (3-2)用于将时分格式输入图像数据转换为空分格式数据的示例性处理 [0072] (4)显示单元处理的详情 \n[0073] (1)图像处理设备的总体构造 \n[0074] 图1示出根据本发明实施例的图像处理设备的基本构造。如图1所示，根据本发明实施例的图像处理设备100包括确定单元101、转换器102和显示单元103。虽然在图1中未示出，图像处理设备100还装备有输入单元，其对数据输入以及来自用户的用户操作信息和命令输入进行接收。 \n[0075] 图像处理设备100接收外部提供的3D图像数据10作为输入。例如，输入数据可以从DVD或类似介质、通过广播、从因特网、或从另一信息处理设备输入。输入3D图像数据\n10是根据各种3D图像显示格式中的任何一种而格式化的。例如，输入与时分格式或空分格式对应的3D图像数据。 \n[0076] 将由此输入的3D图像数据10提供到确定单元101和转换器102。在确定单元101中，确定输入3D图像数据10的格式。更具体地说，确定输入3D图像数据10的3D图像显示格式是时分格式还是空分格式。 \n[0077] 如果输入3D图像数据10是采用空分格式而格式化的，则确定单元101另外确定从多个视点获得的并且包含在3D图像数据10中的图像数据如何在空间上布置在单个帧内。更具体地说，例如，确定单元101确定图像数据是采用并列空分格式还是隔行空分格式。稍后将描述有关上述处理的更多详情。确定单元101将数据确定结果提供到转换器\n102。 \n[0078] 转换器102接收如由确定单元101确定的有关3D图像数据10的3D图像显示格式信息作为输入。如果输入3D图像数据10的3D图像显示格式不同于图像处理设备100中的显示单元103的显示格式，则转换器102将输入3D图像数据10转换为适当的格式。\n借助于这样的数据转换，将输入3D图像数据10的3D图像显示格式转换为与图像处理设备\n100的显示格式适应的3D图像显示格式，从而校正观众所要感知的深度。将转换结果提供到显示单元103。 \n[0079] 更具体地说，例如，转换器102执行诸如以下的数据转换处理： [0080] (a)将采用时分格式的3D图像数据转换为采用空分格式的3D图像数据，以及 [0081] (b)将采用空分格式的3D图像数据转换为采用时分格式的3D图像数据。 [0082] 显示单元103使用时分格式或空分格式显示3D图像。典型地，显示单元103能够仅仅使用时分格式或空分格式中的一种来显示3D图像，并 且典型地不被设计成以多种格式显示3D图像。 \n[0083] 转换器102将输入图像数据转换为与可以由显示单元103显示的格式对应的3D图像数据。作为该转换的结果，以采用可由显示单元103显示的格式的3D图像数据显示输入数据而不管输入数据是采用时分格式还是空分格式的3D图像数据变成可能。 [0084] 现在将详细地描述根据本发明实施例的构成图像处理设备100的各个组件。 [0085] (2)确定单元处理的详情 \n[0086] 现在将详细地描述确定单元101的处理。描述将如下进行。 \n[0087] (2-1)3D图像显示格式和确定单元处理的概述 \n[0088] (2-2)对若干3D图像显示格式的描述 \n[0089] (2-3)在确定单元中针对每种格式的确定处理的详情 \n[0090] (2-1)3D图像显示格式和确定单元处理的概述 \n[0091] 首先，将概述3D图像显示格式和确定单元处理。确定单元101确定输入3D图像数据10是采用时分格式还是空分格式来格式化的。另外，如果3D图像数据10采用空分格式，则确定单元101还确定从多个视点获得的并且包含在3D图像数据10中的图像数据被如何在空间上布置在单个帧内。 \n[0092] 例如，确定单元101可以确定下面三种3D图像显示格式： \n[0093] a.时分格式 \n[0094] b.并列空分格式 \n[0095] c.隔行空分格式 \n[0096] 现在将描述与上面三种3D图像显示格式对应的图像数据格式。 [0097] 首先，将参考图2和3描述用于典型的立体3D观看的图像数据(即，示例性左右图像)。 \n[0098] 图2示出如何使用布置在具有两个不同视点的位置的照相机201和照相机202来捕获立方体200(对象)。图3示出由图2中的照相机201和202分别获得的示例性图像。 [0099] 图像(或帧)211是由在图2左侧的照相机201捕获的图像(帧)，而图像(或帧)212是由在右侧的照相机202捕获的图像。典型地，由放置在左侧的照相机获取的图像被称为左图像，而由放置在右侧的照相机获取的图像被称为右图像。 \n[0100] 在图3所示的示例中，帧211是左图像，而帧212是右图像。通过仅仅以左眼观看左图像帧211并且仅仅以右眼观看右图像帧212，可以以三维感知立方体200。如果每个照相机捕获运动图像，则获得多个左图像和右图像的系列。被提供到典型的3D图像显示设备的3D图像数据由这样的左右图像系列构成，以便对于该3D图像显示设备的3D显示方法是可适用的。在下文中，将描述与较早描述的三种3D图像显示格式对应的图像数据格式。 [0101] (2-2)对若干3D图像显示格式的描述 \n[0102] (2-2-a)时分格式图像数据 \n[0103] 在图4中示出采用时分格式的3D图像数据的典型结构。在时分格式中，与从右侧视点获得的图像(也就是右图像)交替地，以单独帧显示从左侧视点获得的图像(也就是左图像)。因此，在构成图像数据的帧中，左图像被布置为偶数编号帧，而右图像被布置为奇数编号帧。可替选地，右图像被布置为偶数编号帧，而左图像被布置为奇数编号帧。 [0104] 图4示出左图像被布置为偶数编号帧而右图像被布置为奇数编号帧的示例。帧0，\n221、帧2，223和帧4，225是左图像，而帧1，222和帧3，224是右图像。通过回放以这种方式构造的图像数据，可以按时间交替地显示左右图像。通过使用由观众佩戴的液晶快门眼镜来适当地交替阻挡眼镜的左右侧，使得观众仅仅以左眼感知左图像并且仅仅以右眼感知右图像。 \n[0105] (2-2-b)并列空分格式图像数据 \n[0106] 图5示出采用并列空分格式的3D图像数据的典型结构。在空分格式中，左右图像包含在构成图像数据的单独帧内。更具体地说，在并列空分格式图像数据中，左右图像分别布置在每个帧的左半部和右半部中。图5中的帧250是包含在采用并列空分格式的3D图像数据内的帧。在帧250的左半部的左图像251由用于左眼的左图像组成，而在右半部的右图像252由用于右眼的右图像组成。 \n[0107] 在图5所示的示例中，3D图像数据中的单个帧250的分辨率与左右 图像的分辨率相同。因此，为了使等价于两帧的图像(也就是左图像和右图像)适合单个帧，将左图像和右图像两者的水平分辨率减半。 \n[0108] 当前，正在卫星广播信道上测试的3D广播对采用上述格式的图像数据进行播送。\n与采用这种格式的图像数据的输入兼容的接收设备以与下一最后小节2-2-c中描述的格式类似的格式来转换并显示输入图像数据。 \n[0109] (2-2-c)隔行空分格式图像数据 \n[0110] 图6示出采用隔行空分格式的图像数据的典型结构。在空分格式中，左右图像包含在构成图像数据的单独帧内。更具体地说，在隔行空分格式图像数据中，左图像布置在帧的偶数行(也就是偶数场)，而右图像布置在帧的奇数行(也就是奇数场)。可替选地，右图像布置在帧的偶数行(也就是偶数场)，而左图像布置在帧的奇数行(也就是奇数场)。 [0111] 图6所示的帧270是包含在采用隔行空分格式的3D图像数据内的单个帧。帧270的偶数行271由用于左眼的左图像组成。奇数行272由用于右眼的右图像组成。 [0112] 在图6所示的示例中，3D图像数据中的单个帧270的分辨率与左右图像的分辨率相同。因此，为了使等价于两个帧的图像(也就是左图像和右图像)适合单个帧，将左图像和右图像两者的垂直分辨率减半。通过回放由以这种方式构造的帧组成的图像数据，可以使用单个帧同时地显示左图像和右图像两者。例如，在显示图像数据时，来自偶数行的光可以是左旋圆偏振的，而来自奇数行的光可以是右旋圆偏振的。然后，如果观众因而佩戴施加有偏振滤光器的偏振眼镜，其中偏振滤光器在左侧阻挡右旋圆偏振光并且在右侧阻挡左旋圆偏振光，则观众仅仅用左眼感知左图像并且仅仅用右眼感知右图像。 [0113] (2-3)在确定单元中针对每种格式的确定处理的详情 \n[0114] 图1所示的图像处理设备100中的确定单元101例如确定参考图4到6描述的三种3D图像显示格式。换句话说，确定单元101确定输入图像数据10是否采用： [0115] a.时分格式， \n[0116] b.并列空分格式，或 \n[0117] c.隔行空分格式。 \n[0118] 在下文中，将描述在确定单元101中执行的确定处理的特定示例。 [0119] (2-3-a)用于确定时分格式图像数据的方法(方法1) \n[0120] 首先，作为由确定单元101执行的数据确定处理的一个示例，将描述用于确定输入图像数据10是否为时分格式图像数据的方法(方法1)。 \n[0121] 通过观测在构成图像数据的帧之间的运动量的变化，可以确定一组图像数据的3D图像显示格式为时分格式。首先，考虑不表示3D图像的普通图像数据中的运动对象。图7示出在借助于照相机301捕获朝右运动的球体300时如从上方看到的视图。 [0122] 当在与图7所示类似的条件下捕获图像时，从照相机获得与在图8中作为示例所示类似的图像序列。取图8中的帧311为第N帧，帧312变为第(N+1)帧，帧313变为第(N+2)帧，并且帧314变为第(N+3)帧。在每个帧中，示出球体正在水平地运动。 [0123] 考虑此时在每个帧中球体的运动。图8所示的箭头321到323表示在帧之间的球体的中心部分的运动。箭头321表示在帧311和312之间的运动，箭头322表示在帧312和313之间的运动，并且箭头323表示在帧313和314之间的运动。如果假定球体的运动均速，则幅度对于所有箭头是相同的。在实际运动图像中，假定在短时间范围内对象的运动几乎均速是合理的，并且由此可以假定所获取对象的帧间运动量不会变化很大。 [0124] 现在考虑时分格式3D图像数据中的运动对象。图9示出在借助于具有不同视点的两个照相机331和332来捕获朝右运动的球体330时如从上面看到的视图。当在与图9所示类似的条件下捕获图像时，从两个照相机331和332获得与在图10中作为示例所示类似的图像组。 \n[0125] 在图10中，图像帧351是由左照相机331捕获的帧，并且是可用作用于左眼的左图像的图像。图像帧352是由右照相机332捕获的帧，并且是可用作用于右眼的右图像的图像。 \n[0126] 图像帧360是左图像帧351和右图像帧352的叠加，其中球体361是出现在右图像352中的球体并且球体362是出现在左图像351中的球体。在这里，球体362使用虚线来示出，以便将其与球体361区别。 \n[0127] 此时，在图像360上的左右图像中的球体中心的距离D将被称为视差。视差依赖于球体被捕获时的深度而改变。这里，如果假定对象的速度和深度是恒定的，则每个帧中的球体位置可以被表示成如图11所示。 \n[0128] 在图11中，水平轴表示图像中的水平位置，而垂直轴表示时间。虚线圆L表示在类似于图9所示的捕获环境下捕获图像时所获得的左图像 中的球体的位置，而实线圆R表示类似地获得的右图像中的球体的位置。由于假定球体的速度是恒定的，因此在时间上的水平位置的变化变为始终恒定。另外，由于假定深度是恒定的，因此左右图像中的球体水平位置的误差(也就是视差)也变为始终恒定。 \n[0129] 由于左右图像以交替方式包含在时分格式图像数据中，实际上没有获得如图11所示的有关在相同时间段内的左右图像中的球体位置的信息。相反地，有关从时分格式图像数据获得的球体位置的信息类似于图12所示。 \n[0130] 在图12中，实箭头a表示从帧N到帧N+1的球体水平位置的变化。另外，虚箭头b表示从帧N到帧N+2的球体水平位置的变化。这些箭头演示了当从帧N到帧N+1的球体水平位置的变化是每帧0.5单位时，从帧N到帧N+2的球体水平位置的变化是每帧1.0单位。 \n[0131] 换句话说，即使对象实际上以恒速运动，对象的帧间运动量在来自不同视点的交替图像的序列中也不是恒定的。 \n[0132] 相反，对象的帧间运动量在从相同视点示出的图像序列中是恒定的，如图13所示。虽然采用空分格式的图像数据包含来自多个视点的图像，但是具有不同视点的图像包含在单个帧内。由于视点不会如同采用时分格式的图像数据那样地逐帧改变，因此在帧间检测到的运动量不会变化很大。 \n[0133] 利用上述特性，确定单元101确定输入3D图像数据10是否是采用时分格式。现在将参考图14描述根据该技术的确定处理的特定示例。 \n[0134] 图14的上部示出输入图像数据10，而图14的下部示出由确定单元101执行的处理。 \n[0135] 首先，确定单元101将构成输入图像数据10的部分的单个帧N分为任意大小的块。接下来，在步骤S11中，为了计算每个块的运动向量，确定单元101使用帧N+1作为参考帧来执行块匹配。在步骤S12中，通过块匹配来求解给定块的运动向量。与第M个块对应的运动向量被指定为V(M)。在这里，运动向量是表示块每帧移动量的向量。在图14所示的帧N+1中，示出示例性的块M的运动V(M)。在步骤S13中，求解多个块的运动向量集合V。 \n[0136] 在步骤S21和S22中，使用帧N+2作为参考帧来针对各个块类似地检测运动向量。\n与第M个块对应的运动向量被指定为W(M)。接下来， 在步骤S23中，求解多个块的运动向量集合W。在步骤S31中，根据下面方程式计算在V和W之间的相似度S1。 [0137] \n[0138] (方程式1) \n[0139] 在方程式1中，Vx(M)表示V(M)的水平分量，Vy(M)表示V(M)的垂直分量，Wx(M)表示W(M)的水平分量，并且Wy(M)表示W(M)的垂直分量。应当理解，用于计算相似度S1的方法不限于上述，并且例如可以使用诸如向量误差的平方和的任意公式。可以由于相似度S1的增大值而认为两个运动向量V和W相似。 \n[0140] 在步骤S32中，例如预先设置阈值T5，并且因而将其与两个运动向量V和W之间的相似度S1进行比较，其中相似度S1根据上述方程式1使用两个连续帧作为参考帧相对于单个基本帧来计算。 \n[0141] 如果(S1＜T5)保持为真，则确定输入图像数据是采用时分格式。如果(S1＜T5)没有保持为真，则确定输入图像数据不是采用时分格式。 \n[0142] 在前面描述中，使用了从帧N到帧N+2的三个帧。然而，应当理解，可以增加在帧组中要被使用的帧数，并且可以通过计算多个相似度值来提高确定结果的可靠性。此外，上述可以被实施而无需检测所有块的运动向量。 \n[0143] (2-3-b)用于确定并列空分格式图像数据的方法(方法2) \n[0144] 作为由确定单元101执行的数据确定处理的另一示例，将描述用于确定输入图像数据10是否采用并列空分格式的方法(方法2)。 \n[0145] 在并列空分格式图像数据中，左图像布置在单个帧的左半部，而右图像布置在右半部。例如，考虑图15中的帧411是用于左眼的左图像帧，而帧412是用于右眼的右图像帧。从这些帧生成单个帧420，其构成采用并列空分格式的图像数据的一部分。 [0146] 在帧420中，水平分辨率减半的左图像421布置在左半部，而水平分辨率类似地减半的右图像422布置在右半部。如果输入图像数据10是采用并列空分格式，则连续地输入等价于帧420的帧。 \n[0147] 其间，如果输入图像数据10是采用并列空分格式，则包含在帧420中的左图像421和右图像422是从不同的视点获得的图像。因此，虽然它们是不同的图像，可以容易地推断这两个图像实际上将极其相似。 \n[0148] 因此，确定单元101将包含在输入图像数据10中的帧(例如，帧420)分为左半部和右半部，并且通过测量在两个部分图像之间的相似度，确定输入图像数据10是否是采用并列空分格式。 \n[0149] 在两个部分图像421和422之间的相似度在输入图像数据10是采用并列空分格式的情况下会高，并且在某种其他形式的图像数据的情况下会低。虽然可以使用任意用于测量在两个部分图像之间的相似度的方法，但是由于在左右图像之间存在的视差的影响，如果使用诸如取两个部分图像之间的每个像素误差的绝对值之和的方法，可能不能充分地确定相似度。现在将参考图16描述这样的示例性处理，其用于测量在左右图像之间的相似度而不受视差影响并且使得能够确定输入图像数据10是否是采用并列空分格式。 [0150] 图16的上部示出输入图像数据10，而图16的下部示出由确定单元101执行的处理。 \n[0151] 确定单元101首先获取构成输入图像数据10的一部分的单个帧N，然后将帧N中的图像431分为任意大小的块。在步骤S51中，确定单元101在右图像432中搜索最接近地类似左图像431中的相应块的部分。典型的模板匹配技术如块匹配可以用于上述搜索。 [0152] 接下来，在步骤S52中，使用表示离相应块的相对位置的向量来表示在右图像432中最接近地类似该块的位置。与左图像431的第M个块对应的向量被指定为V(M)。在图\n16所示的帧N中，示出示例性的块M的运动向量V(M)。在步骤S53中，求解多个块的运动向量集合V。 \n[0153] 接下来，在步骤S54中，根据下面的方程式计算在左右部分图像之间的相似度S2。 [0154] \n[0155] (方程式2) \n[0156] 在方程式2中，Vy(M)是表示右图像中最接近地类似第M个块的相对位置的向量的Y方向分量。在捕获3D图像时，典型地将多个照相机配置成使光轴在垂直方向上是对齐的，并且由此在左右图像中的类似部分的位置在垂直方向上不太可能是不对齐的。换句话说，对于采用并列空分格式 的图像数据，Vy(M)的值变小，并且作为结果S2的值变大。 [0157] 在步骤S55中，例如预先设置阈值T1，然后将其与左右图像之间的相似度S2比较，其中相似度S2是基于通过对单个所选帧中的左右图像进行块匹配获得的运动向量V(M)而使用方程式2计算出的。 \n[0158] 如果(S2＞T1)保持为真，则确定输入图像数据是采用并列空分格式。如果(S2＞T1)没有保持为真，则确定输入图像数据不是采用并列空分格式。 \n[0159] 在前面描述中，仅仅使用了一个帧。然而，应当理解，例如，还可以通过增加要使用的帧数、计算多个相似度值然后使用其和作为最终相似度值来进一步提高确定结果的可靠性。此外，上述可以被实施而无需检测所有块的向量。 \n[0160] (2-3-c)用于确定隔行空分格式图像数据的方法(方法3) \n[0161] 作为由确定单元101执行的数据确定处理的另一示例，将描述用于确定输入图像数据10是否采用隔行空分格式的方法(方法3)。 \n[0162] 在隔行空分格式图像数据中，每个左图像布置在单个帧的偶数场中，而每个右图像布置在奇数场中。在图17中，帧451是左图像，帧452是右图像，并且帧460是来自采用隔行空分格式中的图像数据的单个帧。如果输入图像数据10是采用隔行空分格式，则连续地输入等价于帧460的帧。 \n[0163] 在构成采用隔行空分格式的图像数据的一部分的帧460中，垂直分辨率减半的左图像461布置在偶数场中。垂直分辨率类似地减半的右图像462布置在帧460的奇数场中。 \n[0164] 其间，左右图像的部分区域高度地相似，如先前在(2-3-b)(用于确定采用并列空分格式的方法(方法2))中所述。然而，由于视差的影响，几乎没有相似部分存在于左右图像中的相同位置。因此，当在空间上比较左右图像的相同部分时，相似度可能较低。此时，考虑采用除隔行空分格式之外的其它格式(也就是，采用并列空分格式或时分格式的图像数据)的3D图像数据、以及典型的非3D图像。 \n[0165] 图18示出来自这样的典型图像数据的帧500及其偶数场图像501和奇数场图像\n502。图18清楚地演示了在偶数场图像501和奇数场图像502之间的相似度。 [0166] 然而，如果图像数据是采用隔行空分格式，诸如在图17中作为示例 所示，则在偶数场图像(左图像461)和奇数场图像(右图像462)之间的相似度是低的。例如，利用该特性，可以通过下面的方法来确定图像数据是否是采用隔行空分格式。 [0167] 现在将参考图19描述用于确定输入图像数据10是否是采用隔行空分格式的示例性处理。图19的上部示出输入图像数据10，而图19的下部示出由确定单元101执行的处理。 \n[0168] 首先，确定单元101选择构成输入图像数据10的一部分的单个帧N(在本例中为\n530)。在步骤S71中，确定单元101将所选帧分为偶数场和奇数场，在这里假定为偶数场图像531和奇数场图像532。 \n[0169] 接下来，在步骤S72中，确定单元101将偶数场图像531和奇数场图像532分为等大小的块，并且测量在相同位置的各个块之间的相似度。用于块间相似度的指标例如可以是每像素误差的绝对值之和的倒数。当该值增大时，相似度也增大。 \n[0170] 在步骤S73中，计算通过对来自每个块的相似度值进行求和而获得的合计相似度S3。当S3的值增大时，相似度也增大。 \n[0171] 最后，在步骤S74中，预先设置阈值T2。如果(S3＜T2)保持为真，则确定图像数据是采用隔行空分格式。 \n[0172] 在以隔行格式捕获运动对象的情况下，即使图像数据不是采用隔行空分格式，对象的位置也在偶数和奇数场中改变，这导致低相似度以及错误确定的可能性。由于这个原因，例如，可以使用其他帧来计算与所划分帧中的每个块对应的运动量。然后，确定单元101可以被配置成仅仅使用具有足够低运动量的块来计算相似度S3。通过以这种方式配置确定单元101，可以减小这种错误确定的可能性。 \n[0173] 例如，图1所示的图像处理设备100的确定单元101执行组合上述三种确定方法的确定处理。借助于该处理，确定单元101确定输入图像数据10是否采用： [0174] a.时分格式， \n[0175] b.并列空分格式，或 \n[0176] c.隔行空分格式。 \n[0177] 确定单元101确定输入图像数据10采用上面三种3D图像显示格式中的一种，并且将结果输出到转换器102。 \n[0178] 应当理解，由确定单元101执行的输入数据确定处理可以被配置成应用除了上述确定方法之外的其它确定技术。例如，输入图像数据可以嵌入有表示与该图像数据对应的\n3D图像显示格式的属性数据。在这种情况下，确定单元101可以被配置成读取属性数据并且确定输入图像数据的格式。 \n[0179] 可替选地，用户可以经由用于图像处理设备的输入单元对输入图像数据的3D图像显示格式进行输入。在这种情况下，确定单元101可以被配置成基于输入信息而确定图像数据格式。 \n[0180] 将由确定单元101如此确定的输入图像数据的3D图像显示格式信息输入到转换器102中。适当时，转换器102将输入图像数据转换为可由图像处理设备100的显示单元\n103显示的格式。 \n[0181] (3)转换器处理的详情 \n[0182] 当输入图像数据是采用与图像处理设备100的显示格式不兼容的格式时，转换器\n102实施格式转换。如果输出这样的图像数据而不进行转换，则可能将原本采用空分格式的图像数据显示为采用时分格式的数据，或者反之亦然，这导致错误的3D显示。 [0183] 在详细地描述由转换器102执行的处理之前，将描述感知深度不同于实际深度的问题。上述问题发生在用于以空分格式的3D显示的图像数据替代地用于以时分格式的3D显示时，或者相反地，发生在将用于以时分格式的3D显示的图像数据替代地用于以空分格式的3D显示时。 \n[0184] 在用于以空分格式的3D显示的图像数据中，如较早参考图5和6描述的那样，左图像和右图像两者存在于每个帧内。在单个帧内的左右图像是同时捕获的。当根据空分格式实施显示处理时，连续地显示与参考图5和6描述的帧类似的相似构造的帧N、N+1和N+2。 \n[0185] 然而，如果针对以时分格式的3D显示而处理这种在每个帧中包含左右图像两者的空分格式，则在显示左图像之后显示右图像，并且由此感觉右图像相对于左图像有延迟。 [0186] 如果以一只眼感知图像并且对于另一只眼睛有延迟，则在公知的称为Pulfrich效应的光学幻象中错误地感知深度。在Pulfrich效应中，使用诸如太阳镜的暗化滤光器来限制入射到一只眼睛上的光量。入射到另一只眼睛上的光保持不变。如此做，由于人对暗光的敏感度弱，因此，相对于暗化的眼睛，比另一只眼睛更迟地感知来自其的图像。当以这种状态观看左到右摆动的钟摆时，即使钟摆实际上只是从左到右摆动而在深度方向上没 有变化，钟摆也似乎在深度方向的椭圆路径上运动。 \n[0187] 如果以时分格式对采用空分格式的左右图像进行3D显示，则右图像被延迟地感知并且由此可能如较早描述的那样被解释，从而产生在感知深度上的误差。为了防止在时分格式3D显示中的深度感知误差，在以左右眼睛感知图像时不应当存在延迟，并且由此针对左右图像的显示定时和捕获定时应当匹配。然而，当稍后以空分格式显示这种图像数据的左右图像时，在深度感知上的误差是容易想得到的。 \n[0188] 为了解决该问题，根据本发明实施例的图像处理设备100的转换器102适当地转换图像数据，以使观众能够感知正确的深度。 \n[0189] 在下文中，将详细地描述由图像处理设备100的转换器102执行的处理。来自确定单元101的有关输入图像数据10的3D图像显示格式信息输入到转换器102中。基于该输入信息，转换器102适当地转换输入图像数据10，使得当将图像数据显示在显示单元103上时感知正确的深度。将转换后的图像数据输出到显示单元103。 \n[0190] 然而，如果确定单元101的确定结果表示输入图像数据10的3D图像显示格式与图像处理设备兼容，则转换器102不转换输入图像数据10。 \n[0191] 在下文中，将详细地描述在转换器102中执行的数据转换处理。将顺序地描述以下两个处理示例。 \n[0192] (3-1)用于将空分格式输入图像数据转换为时分格式数据的示例性处理 [0193] (3-2)用于将时分格式输入图像数据转换为空分格式数据的示例性处理 [0194] (3-1)用于将空分格式输入图像数据转换为时分格式数据的示例性处理 [0195] 首先，将针对图像处理设备100的图像输出格式是时分格式并且输入图像数据是采用空分格式的情况，描述由转换器102执行的数据转换处理。 \n[0196] 在该示例中，图像处理设备100被配置成根据时分格式显示图像。当输入图像数据10是采用空分格式时，转换器102通过执行下面的处理步骤1到4来转换输入图像数据\n10。 \n[0197] 步骤1：将输入图像数据10中的每个帧分离为左右图像。 \n[0198] 步骤2：转换左右图像的分辨率。 \n[0199] 步骤3：将右图像(或左图像)的时间方向相位延迟0.5帧。 \n[0200] 步骤4：重新构建具有偶数帧中的左图像和奇数帧中的右图像的图像数据。 [0201] 现在将描述上述步骤。在采用空分格式的图像数据中，如同较早参考图5和6描述的那样，每个帧包含左图像和右图像两者。左右图像可以是如图5所示并列的或者是如图6所示隔行的。 \n[0202] 在步骤1中，从输入图像数据10中的每个帧分离左右图像。将来自确定单元101的表示采用空分格式的输入图像数据的类型(也就是并列(图5)或隔行(图6))的信息输入到转换器102中，并且转换器102根据输入信息而从输入图像数据10的每个帧分离左右图像。 \n[0203] 例如，如果输入图像数据10是采用如图5所示的并列空分格式，则分别地将左右图像分配到每个帧的左右半部。因此，通过将每个帧中的图像垂直地分为两半来获得左右图像。 \n[0204] 如果输入图像数据10是采用隔行空分格式，则分别地将左右图像分配到每个帧的偶数和奇数行。因此，通过仅仅提取偶数行并且从其构建帧来获得左图像，而通过仅仅提取奇数行并且从其构建帧来获得右图像。 \n[0205] 与作为整体的原始帧比较，在步骤1中获得的左右图像在分辨率上减小。由于这个原因，在步骤2中将左右图像的分辨率与原始帧的分辨率匹配。 \n[0206] 例如，如果输入图像数据10是采用并列空分格式，则左右图像的水平分辨率减半。在这种情况下，使左右图像的水平分辨率翻倍。 \n[0207] 如果输入图像数据10是采用隔行空分格式，则左右图像的垂直分辨率减半。在这种情况下，使左右图像的垂直分辨率翻倍。 \n[0208] 各种方法可应用于步骤2中的分辨率转换。例如，可以使用双线性、双三次或类似的方法。 \n[0209] 在空分格式中，左图像和右图像两者同时出现在单个帧中，并且由此属于同一帧的左右图像通常也被同时地捕获。如同较早描述的那样，如果这种图像数据用于以时分格式的3D图像显示，则在针对运动对象所感知的深度上将发生误差。 \n[0210] 因此，在步骤3中，将左图像系列和右图像系列在时间方向上彼此异相地偏移1/2帧。例如，如果首先以时分格式3D图像显示来显示左图像， 则相对于左图像系列将右图像的相对按时间相位延迟1/2帧。如果首先显示右图像，则相对于右图像系列将左图像的相对按时间相位延迟1/2帧。可以借助于帧插值来容易地实现用于对图像系列的按时间相位进行修改的处理，并且可以将公知的插值技术应用到其上。例如，在很多情况下，用于实施帧插值的装置已经内置到预先存在的设备如LCD电视中，并且由此可以按原样使用这样的装置。 \n[0211] 现在将参考图20描述用于使用帧插值来相对于左图像系列对右图像系列的按时间相位进行延迟的处理。图20所示的帧611到614表示在上述步骤1和2中获得的右图像帧系列。同样地，帧621到624表示同样在步骤1和2中获得的左图像帧系列。 [0212] 右图像帧系列611到614和左图像帧系列621到624被设置在沿着时间轴650的相同位置。换句话说，左图像系列和右图像系列在时间方向是同相的。 [0213] 帧631到633表示通过右图像系列的帧插值获得的插值帧系列。插值图像帧631是右图像帧611和612的插值。插值图像帧632是右图像帧612和613的插值。插值图像帧633是右图像帧613和614的插值。 \n[0214] 取两个原始图像之间的中间作为与每个插值图像关联的显示时间。因此，插值图像帧系列631到633即仅由插值图像组成的系列，相对于左图像帧系列621到624具有1/2帧的按时间相位延迟。 \n[0215] 在步骤4中，通过与左图像系列交替地布置插值图像系列来构建与时分格式兼容的图像数据。现在将参考图21描述在步骤4中实施的处理。 \n[0216] 图21示出左图像帧系列621到624和如参考图20描述的那样基于右图像生成的插值图像帧系列631到633、以及施加了上述两个图像系列的显示图像帧系列。 [0217] 显示图像帧系列被构造成与基于右图像生成的插值图像帧系列631到633交替地显示来自左图像帧系列621到624的图像帧。通过将显示图像帧系列显示在显示单元103上，输出与时分3D图像显示格式兼容的图像数据。 \n[0218] (3-2)用于将时分格式输入图像数据转换为空分格式数据的示例性处理 [0219] 接下来，将针对图像处理设备100的图像输出格式是空分格式并且输入图像数据是采用时分格式的情况，描述由转换器102执行的数据转换处 理。 \n[0220] 在该示例中，图像处理设备100被配置成根据空分格式显示图像。当输入图像数据10是采用时分格式时，转换器102通过执行下面的处理步骤1到4来转换输入图像数据\n10。 \n[0221] 步骤1：将输入图像数据10分离为相应的左右图像系列。 \n[0222] 步骤2：转换左右图像的分辨率。 \n[0223] 步骤3：将右图像(或左图像)的时间方向相位前移0.5帧。 \n[0224] 步骤4：从左右图像生成单个帧，并且重新构建图像数据。 \n[0225] 现在将描述上述步骤。在采用时分格式的图像数据中，如较早参考图4描述的那样，例如，左图像包含在偶数帧中而右图像包含在奇数帧中。由于这个原因，在步骤1中将图像数据分离为仅由偶数帧组成的系列、以及仅由奇数帧组成的系列。 [0226] 借助于上述处理来获得左图像系列和右图像系列。然而，在步骤1中获得的左右图像的分辨率太大，以致无法构建采用空分格式的图像数据的单个帧。因此，在步骤2中，将左右图像的分辨率与采用空分格式的图像数据的单个帧的分辨率的一半匹配。 [0227] 例如，如果图像处理设备100的显示格式是并列空分格式(参见图5)，则将左右图像的水平分辨率减半。如果与3D图像显示设备兼容的3D图像显示格式是隔行空分格式(参见图6)，则将左右图像的垂直分辨率减半。 \n[0228] 在时分格式中，每帧交替地显示左右图像。由于这个原因，左右图像通常不是同时捕获的。如同较早描述的那样，如果这种图像数据用于以空分格式的3D图像显示，则在对于运动对象所感知的深度上将出现误差。 \n[0229] 因此，在步骤3中，使得左图像系列和右图像系列在时间方向上彼此同相。例如，如果右图像的相对按时间相位相对于左图像系列延迟1/2帧，则通过前移右图像的按时间相位来匹配左右图像系列的按时间相位。如同较早描述的那样，可以借助于帧插值来容易地实现用于对图像系列的按时间相位进行修改的处理。 \n[0230] 现在将参考图22描述用于使用帧插值来相对于左图像系列前移右图像系列的按时间相位的处理。图22所示的帧811到814表示在上述步骤1和2中获得的右图像帧系列。同样地，帧821到824表示同样在步骤1和2中获得的左图像帧系列。 [0231] 右图像帧系列811到814和左图像帧系列821到824被设置在沿着时间轴850的相同位置。换句话说，右图像系列在时间方向上与左图像系列异相，其相对于左图像系列延迟1/2帧。 \n[0232] 帧831到833表示通过右图像系列的帧插值获得的插值帧系列。插值图像帧831是右图像帧811和812的插值。插值图像帧832是右图像帧812和813的插值。插值图像帧833是右图像帧813和814的插值。 \n[0233] 取两个原始图像之间的中间作为与每个插值图像关联的显示时间。因此，插值图像帧系列831到833在时间方向上与左图像帧系列821到824同相。 \n[0234] 在步骤4中，通过从插值图像系列和左图像系列生成相应的帧来构建与空分格式兼容的图像数据。该处理与用于生成较早在小节2-2-b和2-2-c中描述的数据的处理相同。 \n[0235] 如果图像处理设备100被配置成以并列空分格式显示图像数据，则从图22所示的插值图像系列和左图像系列生成与图5所示的采用并列空分格式的图像数据兼容的图像帧。如果图像处理设备100被配置成以隔行空分格式显示图像数据，则从图22所示的插值图像系列和左图像系列生成与图6所示的采用隔行空分格式的图像数据兼容的图像帧。然后，将所生成的图像帧输出到显示单元103。 \n[0236] (4)显示单元处理的详情 \n[0237] 图像处理设备100的显示单元103以时分格式或空分格式显示从转换器102提供的图像数据。典型地，显示单元103被配置用于仅仅一种显示方法。 \n[0238] 在根据本发明实施例的图像处理设备100中，由转换器102将与显示单元103的显示格式不兼容的图像数据转换为与显示格式兼容的数据。因此，由转换器102提供到显示单元103的图像数据已被转换为与显示单元103的3D图像显示格式兼容的图像数据，从而使得能够实现具有可正确感知的深度的3D显示。 \n[0239] 这样，前面参考其特定实施例描述了本发明。然而，应当明白，本领域的技术人员可以进行变更或替换而不背离本发明的范围和精神。换句话说，前面作为示例公开了本发明，而不应将其解释为起限制作用。本发明的范围应当结合所附权利要求来确定。 [0240] 另外，可以借助于硬件、软件、或硬件和软件两者的组合配置来执行 在本说明书中描述的处理系列。在借助于软件执行的情况下，规定处理序列的程序可以安装在内置到专用硬件中的计算机的存储器中并在其中执行。可替选地，程序可以安装在能够执行各种处理的通用计算机上并在其上执行。例如，程序可以预先记录到记录介质上并且然后安装到计算机上。另外，程序可以经由诸如LAN(局域网)或因特网的网络来接收，然后安装到诸如内部硬盘的记录介质。 \n[0241] 还应当理解，在本说明书中描述的各种处理不限于以按照这里描述的时间系列来执行，而是还可以根据执行处理的设备的处理能力或其它因素而并行地或单独地执行。另外，在本说明书中，系统指的是多个设备的逻辑集合，并且不限于容纳在单个物理单元中的各个设备。 \n[0242] 本申请包含与2008年9月2日向日本专利局提交的日本优先权专利申请JP \n2008-224289中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。 [0243] 本领域的技术人员应当理解，可以在所附权利要求或其等同方案的范围内根据设计需要或其它因素进行各种修改、组合、子组合和变更。