显示控制设备和方法

1.一种显示控制设备，包括：
合成单元，用于合成多个图像数据以生成合成图像数据；
图像质量调整单元，用于对从所述合成单元输出的所述合成图像数据执行图像质量调整；
格式判别单元，用于判别所述多个图像数据中的每个图像数据的格式；
确定单元，用于基于所述格式判别单元中的判别结果，在所述多个图像数据中确定用于所述图像质量调整的基准图像数据；以及
控制单元，用于控制所述图像质量调整单元，以使用适合于由所述确定单元所确定的所述基准图像数据的图像质量调整参数对所述合成图像数据执行所述图像质量调整，其中，相对于经所述格式判别单元判别为具有运动图像格式的所述图像数据，所述确定单元对经所述格式判别单元判别为具有静止图像格式的所述图像数据赋予更高的评价值，并将具有最高评价值的图像数据确定为基准图像数据。
2.根据权利要求1所述的显示控制设备，其特征在于，还包括窗口大小判别单元，所述窗口大小判别单元用于判别所述多个图像数据中的每个图像数据的显示图像的窗口大小，其中，所述确定单元通过进一步使用所述窗口大小判别单元中的判别结果，确定用于所述图像质量调整的所述基准图像数据。
3.根据权利要求1或2所述的显示控制设备，其特征在于，还包括面部检测单元，所述面部检测单元用于对所述多个图像数据中的每个图像数据执行面部检测，其中，所述确定单元通过进一步使用所述面部检测单元中的检测结果，确定用于所述图像质量调整的所述基准图像数据。
4.根据权利要求1或2所述的显示控制设备，其特征在于，所述格式判别单元判别多个图像数据中的每个图像数据的文件格式，
其中，相对于经所述格式判别单元判别为具有MPEG文件格式的所述图像数据，所述确定单元对经所述格式判别单元判别为具有JPEG文件格式或RAW文件格式的所述图像数据赋予更高的评价值。
5.根据权利要求4所述的显示控制设备，其特征在于，还包括：
摄影信息获取单元，用于从经所述格式判别单元判别为具有JPEG文件格式的所述图像数据获取摄影信息；
其中，相对于其摄影信息不由所述摄影信息获取单元所获取的并且被判别为具有JPEG文件格式的所述图像数据，所述确定单元对其摄影信息经由所述摄影信息获取单元所获取的并且被判别为具有JPEG文件格式的所述图像数据赋予更高的评价值。
6.根据权利要求4所述的显示控制设备，其特征在于，相对于经所述格式判别单元判别为具有JPEG文件格式的所述图像数据，所述确定单元对经所述格式判别单元判别为具有RAW文件格式的所述图像数据赋予更高的评价值，以确定用于所述图像质量调整的所述基准图像数据。
7.一种显示控制方法，包括：
合成步骤，用于合成多个图像数据以生成合成图像数据；
图像质量调整步骤，用于对所述合成图像数据执行图像质量调整；
格式判别步骤，用于判别所述多个图像数据中的每个图像数据的格式；
确定步骤，用于基于所述格式判别步骤中的判别结果，在所述多个图像数据中确定用于所述图像质量调整的基准图像数据；以及
控制步骤，用于控制所述图像质量调整，以使用适合于在所述确定步骤中确定的所述基准图像数据的图像质量调整参数对所述合成图像数据执行所述图像质量调整，其中，在所述确定步骤中，相对于在所述格式判别步骤中判别为具有运动图像格式的所述图像数据，对在所述格式判别步骤中判别为具有静止图像格式的所述图像数据赋予更高的评价值，并将具有最高评价值的图像数据确定为基准图像数据。
8.根据权利要求7所述的显示控制方法，其特征在于，还包括窗口大小判别步骤，所述窗口大小判别步骤用于判别所述多个图像数据中的每个图像数据的显示图像的窗口大小，其中，所述确定步骤通过进一步使用所述窗口大小判别步骤中的判别结果，确定用于所述图像质量调整的所述基准图像数据。
9.根据权利要求7或8所述的显示控制方法，其特征在于，还包括面部检测步骤，所述面部检测步骤用于对所述多个图像数据中的每个图像数据执行面部检测，其中，所述确定步骤通过进一步使用所述面部检测步骤中的检测结果，确定用于所述图像质量调整的所述基准图像数据。
10.根据权利要求7或8所述的显示控制方法，其特征在于，所述格式判别步骤判别多个图像数据中的每个图像数据的文件格式，
其中，相对于经所述格式判别步骤判别为具有MPEG文件格式的所述图像数据，所述确定步骤对经所述格式判别步骤判别为具有JPEG文件格式或RAW文件格式的所述图像数据赋予更高的评价值。
11.根据权利要求10所述的显示控制方法，其特征在于，还包括：
摄影信息获取步骤，用于从经所述格式判别步骤判别为具有JPEG文件格式的所述图像数据获取摄影信息；
其中，相对于其摄影信息不由所述摄影信息获取步骤所获取的并且被判别为具有JPEG文件格式的所述图像数据，所述确定步骤对其摄影信息经由所述摄影信息获取步骤所获取的并且被判别为具有JPEG文件格式的所述图像数据赋予更高的评价值。
12.根据权利要求10所述的显示控制方法，其特征在于，相对于经所述格式判别步骤判别为具有JPEG文件格式的所述图像数据，所述确定步骤对经所述格式判别步骤判别为具有RAW文件格式的所述图像数据赋予更高的评价值，以确定用于所述图像质量调整的所述基准图像数据。

显示控制设备和方法\n技术领域\n[0001] 本发明涉及一种显示控制设备和显示控制方法，尤其涉及一种优选用在能够在一个屏幕上同时显示多个视频的视频显示设备中的显示控制设备和显示控制方法。\n背景技术\n[0002] 近来，已经为TV接收器等许多视频显示设备安装了噪声降低功能、伽玛校正功能和色调校正功能等为了获得更高图像质量而进行的图像质量调整功能。为了适当地调整这些功能的个别参数，需要对图像特性有相对深刻的理解。因此，通常在出厂时根据视频内容的类型等预置一些参数集。用户可以通过选择预置的参数集的简单操作，获得具有与观看目的对应的图像质量的视频。\n[0003] 作为这些参数集中的一个参数集，存在动态模式。在动态模式下，各参数响应于正在显示的视频的特性而自适应地变化。作为一个例子，当视频相对于整个屏幕具有高亮度时，可以考虑设置参数以降低亮度并减小伽玛校正值。可选地，当视频相对于整个屏幕是低亮度的暗色时，可以考虑设置参数以增大伽玛校正值并增强对比度，并进一步增加颜色饱和度。根据视频显示而自适应地执行这种参数控制，使得即使是亮度或颜色深浅(color shade)在时间序列上显著变化的视频，用户也总是能够以易于观看的图像质量来观看。\n[0004] 此外，近来的TV接收器主要包括具有用于输入运动图像数据或静止图像数据的多个外部输入端子的型号。这些型号中的一些型号允许同时显示从连接到多个外部输入端子的外部装置输出的运动图像数据或静止图像数据的视频。例如，若有必要，对从多个外部图像输入端子供给的各个运动图像数据或静止图像数据执行缩放，并且将这些数据布置在预定位置以将其合成在一帧中并显示在屏幕上。\n[0005] 现在，考虑执行上述动态模式并且在一个屏幕上同时显示多个视频和图像的情况。作为一个例子，假定要在一个屏幕上同时显示在内容方面完全不同的视频A(主要包括被照明的人物的视频)和视频B(包括夜景的视频)。在对该屏幕执行动态模式的情况下，将对包括视频A和视频B的整个屏幕执行根据该动态模式的图像质量调整。更具体地，此时执行的图像质量调整并非专门用于视频A或视频B。因此，有可能该图像质量调整不适合于视频A或视频B。\n[0006] 日本特开2003-348488号公报公开了一种用于在显示主要视频或图像和次要视频或图像的多个视频或图像的情况下基于以最大大小绘制的图像源的亮度信息对显示实行亮度控制的技术。根据日本特开2003-348488号公报，该技术在用户注意观看的视频或图像是多个视频或图像中的最大视频或图像的情况下是有用的。\n[0007] 然而，在日本特开2003-348488号公报中说明的技术存在下述问题。\n[0008] 如上所述，如果用户注意观看一个屏幕上所显示的多个画面中具有最大显示大小的视频或图像，则日本特开2003-348488号公报是有用的。然而，用户不一定注意观看具有最大显示大小的视频或图像，并且这种情况具有以下问题：有可能用户所期望的图像质量调整未被执行。例如，在要注意观看的视频或图像的原始显示大小小于其它视频或图像的情况下，该视频或图像将不是根据动态模式进行图像质量调整的对象。\n发明内容\n[0009] 考虑到以上情况而作出本发明，并且本发明提供了一种在对同时显示多个图像的屏幕自适应地执行图像质量调整的情况下，能够更灵活地确定用于图像质量调整的基准图像的显示控制设备和显示控制方法。\n[0010] 根据本发明，一种显示控制设备，包括：合成单元，用于合成多个图像数据以生成合成图像数据；图像质量调整单元，用于对从所述合成单元输出的所述合成图像数据执行图像质量调整；格式判别单元，用于判别所述多个图像数据中的每个图像数据的格式；确定单元，用于基于所述格式判别单元中的判别结果，在所述多个图像数据中确定用于所述图像质量调整的基准图像数据；以及控制单元，用于控制所述图像质量调整单元，以使用适合于由所述确定单元所确定的所述基准图像数据的图像质量调整参数对所述合成图像数据执行所述图像质量调整。\n[0011] 此外，根据本发明，一种显示控制方法，包括：合成步骤，用于合成多个图像数据以生成合成图像数据；图像质量调整步骤，用于对所述合成图像数据执行图像质量调整；格式判别步骤，用于判别所述多个图像数据中的每个图像数据的格式；确定步骤，用于基于所述格式判别步骤中的判别结果，在所述多个图像数据中确定用于所述图像质量调整的基准图像数据；以及控制步骤，用于控制所述图像质量调整，以使用适合于在所述确定步骤中确定的所述基准图像数据的图像质量调整参数对所述合成图像数据执行所述图像质量调整。\n[0012] 此外，根据本发明，一种显示控制设备，包括：合成单元，用于合成多个图像数据以生成合成图像数据；图像质量调整单元，用于对从所述合成单元输出的所述合成图像数据执行图像质量调整；输入端口判别单元，用于判别所述多个图像数据中的每个图像数据的输入端口；确定单元，用于基于所述输入端口判别单元中的判别结果，在所述多个图像数据中确定用于所述图像质量调整的基准图像数据；以及控制单元，用于控制所述图像质量调整单元，以使用适合于由所述确定单元所确定的所述基准图像数据的图像质量调整参数对所述合成图像数据执行所述图像质量调整。\n[0013] 此外，根据本发明，一种显示控制方法，包括：合成步骤，用于合成多个图像数据以生成合成图像数据；图像质量调整步骤，用于对所述合成图像数据执行图像质量调整；输入端口判别步骤，用于判别所述多个图像数据中的每个图像数据的输入端口；确定步骤，用于基于所述输入端口判别步骤中的判别结果，在所述多个图像数据中确定用于所述图像质量调整的基准图像数据；以及控制步骤，用于控制所述图像质量调整，以使用适合于在所述确定步骤中确定的所述基准图像数据的图像质量调整参数对所述合成图像数据执行所述图像质量调整。\n[0014] 此外，通过以下(参考附图)对典型实施例的说明，本发明的特征将变得明显。\n附图说明\n[0015] 图1是示出可适用于本发明实施例的视频显示设备的示例的结构的框图；\n[0016] 图2是示出根据本发明实施例的主要源确定处理的用于获得评价值的处理的流程图；\n[0017] 图3是更具体地说明根据本发明实施例的主要源确定处理的图；\n[0018] 图4是更具体地说明根据本发明实施例的主要源确定处理的图；以及[0019] 图5是更具体地说明根据本发明实施例的示例主要源确定处理的图。\n具体实施方式\n[0020] 将根据附图来详细说明本发明的优选实施例。\n[0021] 图1示出可适用于本发明实施例的视频显示设备100的示例的结构。在图1的示例中，视频显示设备100是TV接收器，在该TV接收器中，将由天线101经由TV广播而接收到的视频显示在显示单元116上。该视频显示设备100可以将在外部装置中生成的运动图像数据或静止图像数据作为文件而接收，并将该数据显示在显示单元116上。在这种情况下，视频显示设备100允许以将来自多个文件的多个图像布置并同时显示在一个屏幕上的方式进行显示控制。\n[0022] 要注意，在下文，除非另外说明，否则将运动图像数据或静止图像数据称为图像数据，而将用于存储运动图像数据或静止图像数据的运动图像或静止图像文件称为图像文件。\n[0023] 控制单元120包括例如CPU、RAM、ROM等，并且根据预先存储在ROM中的程序，使用RAM作为工作存储器来控制整个视频显示设备100。操作单元121设置有用于接受用户的操作的多个操纵器，并且根据所接受的操作输出控制信号。将该控制信号供给至控制单元\n120。控制单元120根据该控制信号将命令等发送到视频显示设备100的各单元，并控制视频显示设备100以响应于用户的操作而工作。\n[0024] 尽管以视频显示设备100直接设置有操作单元121的操纵器为例进行了前述说明，但结构不限于该示例。例如，操作单元121可以包括例如：远程控制命令器，用于将响应于对操纵器的操作的控制信号调制成红外线信号并发送该红外信号；和接收单元，用于接收该红外信号并对其进行解调。\n[0025] 此外，控制单元120具有图像窗口大小控制单元122和主要源确定单元123。这些图像窗口大小控制单元122和主要源确定单元123包括，例如在控制单元120的CPU上运行的程序。然而，图像窗口大小控制单元122和主要源确定单元123的结构不限于该示例，并且图像窗口大小控制单元122和主要源确定单元123中的一个或这两者还可以包括专用硬件。以下将说明图像窗口大小控制单元122和主要源确定单元123的操作。\n[0026] 例如，由天线101接收到经由地波数字广播的无线电波，将该无线电波转换成RF信号并将其供给至调谐器单元102。例如，响应于用户对操作单元121的操作，调谐器单元102从天线101供给的RF信号中选择特定频带内的信号并对其进行解调，并且恢复MPEG2-TS。使所恢复的被解多路复用器103从中取出了需要包的MPEG2-TS成为供给至MPEG解码器104的MPEG2的基本流。\n[0027] 此外，在解多路复用器103中，提取出包括在所接收到的信号中的经由数据广播的信号并对这些信号进行解码。当在解码后的数据中包括了以JPEG格式压缩并编码的静止图像数据(下文中的JPEG数据)时，将该数据供给至JPEG解码器110。\n[0028] MPEG解码器104对从解多路复用器103供给的MPEG2的基本流进行解码，并输出运动图像数据和声音数据。将该运动图像数据供给至合成单元105，并且还将其供给至信号特性获取单元117和面部检测单元118。要注意，声音数据与本发明并非特别相关，因此将省略对声音数据的图示和说明。\n[0029] 另一方面，将外部装置中作为文件而生成的图像数据输入至外部连接端子106，并将其供给至格式判别单元107。作为外部装置，例如，可以考虑数字静止照相机和数字摄像机。还可以使用普通的个人计算机和使用硬盘作为存储介质的存储装置作为外部装置。在这些情况下，外部连接端子106与USB或IEEE1394等的预定接口相对应。可选地，可以使用闪速存储器等的可移除的非易失性存储器。在这种情况下，外部连接端子106包括与该存储器相对应的连接器及其驱动电路。\n[0030] 此外，外部装置可以是连接至网络的数据库、服务器装置等。在这种情况下，外部连接端子106应当是用于利用TCP/IP等作为协议来执行网络连接的接口。此外，可以将硬盘等的存储介质内置于视频显示设备100中，并且可以从该存储介质将图像数据供给至格式判别单元107。\n[0031] 格式判别单元107识别从外部连接端子106供给的文件的格式。例如，可以基于该文件的文件名中所包含的扩展名来识别格式。还可以通过分析文件头部分来识别格式。\n在图1的示例中，格式判别单元107从MPEG2格式、AVI格式、JPEG格式和RAW格式中识别出该文件所具有的格式。将该格式判别的结果作为文件格式信息供给至控制单元120，并将其传递至主要源确定单元123。\n[0032] 将在格式判别单元107中已判断为MPEG2格式的文件的文件供给至MPEG解码器\n108。将已判断为AVI格式的文件的文件供给至AVI解码器109。将已判断为具有JPEG格式的文件供给至JPEG解码器110。将已判断为具有RAW格式的文件供给至RAW显影单元\n111。\n[0033] MPEG解码器108对存储在所供给的文件中的MPEG2数据进行解码，并将解码后的MPEG2数据作为运动图像数据而输出。将从MPEG解码器输出的运动图像数据供给至合成单元105，并且还将其供给至信号特性获取单元117和面部检测单元118。\n[0034] AVI解码器109分析所供给的文件，并判断是否能够对AVI文件中所存储的数据进行解码。如果判断为能够对该AVI文件进行解码，则AVI解码器109对该文件中所存储的数据进行解码，并将解码后的数据作为运动图像数据而输出。将从AVI解码器109输出的运动图像数据供给至合成单元105，并且还将其供给至信号特性获取单元117和面部检测单元118。\n[0035] JPEG解码器110对存储在所供给的文件中的数据进行解码，并将解码后的数据作为位图静止图像数据而输出。将从JPEG解码器110输出的静止图像数据供给至合成单元\n105，并且还将其供给至信号特性获取单元117和面部检测单元118。\n[0036] RAW显影单元111对存储在所供给的文件中的RAW数据进行显影，并将显影后的RAW数据作为位图静止图像数据而输出。将从RAW显影单元111输出的静止图像数据供给至合成单元105，并且还将其供给至面部检测单元118。\n[0037] 信号特性获取单元117获取从MPEG解码器104、MPEG解码器108、AVI解码器109和JPEG解码器110供给的图像数据的信号特性。信号特性获取单元117根据从以下说明的主要源确定单元123供给的主要源信息，输出被确定为主要源的图像数据的信号特性。\n[0038] 例如，如果根据主要源信息将从MPEG解码器108输出的图像数据确定为主要源，则信号特性获取单元117输出从MPEG解码器104供给的图像数据的信号特性。另一方面，在将从RAW显影单元111输出的图像数据确定为主要源的情况下，例如，信号特性获取单元\n117不输出任何信号特性。\n[0039] 例如，基于从MPEG解码器104供给的图像数据的帧时刻，以每帧、几帧或几十帧等的预定间隔执行由信号特性获取单元117获取信号特性的操作。例如，信号特性获取单元\n117从所供给的图像数据提取亮度成分和颜色成分并分析该亮度成分和颜色成分，以获取该图像数据的亮度特性和颜色特性。或者例如，信号特性获取单元117对所供给的图像数据执行边缘检测以获取边缘信息。要注意，这些亮度特性、颜色特性和边缘信息是图像的信号特性的例子，并且图像的信号特性不限于这些例子。\n[0040] 面部检测单元118针对从MPEG解码器104、MPEG解码器108、AVI解码器109、JPEG解码器110和RAW显影单元111供给的各图像数据，检测图像数据中所包括的面部图像。然后，面部检测单元118获得图像数据的图像中显示了面部图像的显示区域的面积SFx，并将所获得的显示区域的面积SFx供给至主要源确定单元123。\n[0041] 要注意，在本实施例中已知的面部检测技术可用于进行面部检测。已知的面部检测技术包括：利用神经网络等的基于学习的方法；和使用模板匹配以从图像中搜索眼睛、鼻子和嘴等形状的特征部位并且如果相似度高则将该部位认定为面部的方法。另外，已经提出了很多方法，如检测肤色和眼睛形状等的图像特征量并使用统计分析的方法。通常，将这些方法中的两个或更多个合成以提高焦点检测的精度。具体的例子包括利用在日本特开\n2002-251380号公报中所述的小波变换(wavelettransform)和图像特征量以执行面部检测的方法。\n[0042] 还将在格式判别单元107中被判断为具有JPEG格式或RAW格式的文件供给至摄影信息获取单元113。摄影信息获取单元113判断所供给的文件中是否包含摄影信息，并且如果判断为所供给的文件中包含摄影信息，则摄影信息获取单元113从该文件中提取摄影信息并将所提取出的摄影信息供给至主要源确定单元123和以下所述的视频处理单元\n114。如果判断为所供给的文件中不包含摄影信息，则摄影信息获取单元113向控制单元\n120通知该判断。\n[0043] 例如，摄影信息获取单元113检查所供给的文件是否具有Exif(Exchangeable Image File Format，可交换图像文件格式)数据。如果该文件具有Exif数据，则摄影信息获取单元113从该文件中提取拍摄时的各种信息。从该文件中提取出的摄影信息可以包括拍摄日期、快门速度、开孔率(aperture ratio)、ISO信息、曝光信息、白平衡和闪光灯强度。\nRAW格式的文件通常具有Exif数据。如果在利用Exif兼容的数字静止照相机等拍摄时生成JPEG格式的文件，则该文件具有Exif信息。将所提取出的摄影信息供给至视频处理单元114和控制单元120中的主要源确定单元123。\n[0044] 合成单元105基于由控制单元120实行的控制，将从MPEG解码器104和108、AVI解码器109、JPEG解码器110以及RAW显影单元111供给的图像数据布置在一个屏幕上，并将该图像数据合成为一个图像。然后，合成单元105输出合成后的图像数据。作为图像合成的方法，可以考虑各种方法。作为示例，可以使用以下方法：将所供给的图像数据保持在合成单元105的存储器(未示出)中，并且在与布置位置对应的时刻从存储器读出这些图像数据。然而，图像合成的方法不限于该例子，并且还可以考虑利用多个平面存储器来合成图像。\n[0045] 要注意，对于从JPEG解码器110和RAW显影单元111供给的静止图像数据，可以通过利用合成单元105的未示出的存储器，将来自同一源的多个图像数据显示在一个屏幕上。对于运动图像数据，在屏幕上所显示的图像和该图像的源之间存在一对一的关系。\n[0046] 例如，控制单元120响应于对操作单元121的操作，从用于将图像数据供给至合成单元105的多个源中选择用于供给要同时显示在一个屏幕上的图像数据的源。在图1的例子中，用于合成单元105的图像数据的源是MPEG解码器104和108、AVI解码器109、JPEG解码器110以及RAW显影单元111。作为要同时显示在一个屏幕上的图像数据的源，可以选择多个源。\n[0047] 响应于对操作单元121的操作，可以改变在合成单元105中合成的各图像数据的图像的显示大小。作为例子，用户使用操作单元121执行操作以从显示单元116上所显示的多个图像中选择要改变显示大小的图像。将与该操作对应的控制信号从操作单元121输出并将其传递至控制单元120，并且控制单元120向合成单元105通知要改变显示大小的图像数据。接着，当执行用于改变所选择的图像的显示大小的操作时，将与该操作对应的控制信号供给至控制单元120并将其传递至图像窗口大小控制单元122。\n[0048] 图像窗口大小控制单元122响应于该控制信号确定对象图像的显示大小，并命令合成单元105将该对象图像的显示大小改变成该确定的显示大小。合成单元105响应于该请求对对象图像进行缩放以改变该图像的显示大小。\n[0049] 此外，图像窗口大小控制单元122基于所确定的显示大小判断对象图像数据的显示面积Sx。将表示该显示面积Sx的信息还供给至主要源确定单元123。除该显示面积Sx以外，如上所述，还将来自摄影信息获取单元113的摄影信息、来自格式判别单元107的文件格式信息以及来自面部检测单元118的面部显示面积SFx供给至主要源确定单元123。\n主要源确定单元123基于该信息确定作为以下所述的视频处理单元114中的图像质量调整处理的基准图像数据的主要源。以下将说明由主要源确定单元123所执行的主要源确定处理。将表示所确定的主要源的主要源信息提供至信号特性获取单元117和视频处理单元\n114。\n[0050] 图像质量调整值数据库115连接至视频处理单元114。图像质量调整值数据库115预先存储信号特性信息和摄影信息以及作为图像质量调整的参数的相应的图像质量调整值。在被确定为主要源的图像数据具有摄影信息的情况下，视频处理单元114基于该摄影信息参考图像质量调整值数据库115，并选择图像质量调整值。可选地，在被确定为主要源的图像数据不具有摄影信息的情况下，视频处理单元114基于从信号特性获取单元117供给的信号特性信息，参考图像质量调整值数据库115并选择图像质量调整值。然后，视频处理单元114使用如此选择出的图像质量调整值作为参数，对从合成单元105供给的合成图像数据执行图像质量调整处理。\n[0051] 要注意，可以以各种方式执行在视频处理单元114中所执行的图像质量调整。例如，图像数据的处理包括噪声降低处理、伽玛校正处理、锐化(sharpness)(边缘增强)处理和颜色(色调)校正处理。此外，当显示单元116的显示装置是LCD等需要背光的装置时，视频处理单元114可以执行LCD的背光的亮度调整作为图像质量调整。在动态模式下，基于从信号特性获取单元117供给的信号特性信息，以动态方式执行上述处理。\n[0052] 将从视频处理单元114输出的图像数据供给至显示单元116。显示单元116包括例如，LCD(Liquid Crystal Display，液晶显示器)等的显示装置和用于驱动该显示装置的驱动电路。\n[0053] 接着，将说明根据本发明实施例的主要源确定单元123中的主要源确定方法。在本发明的实施例中，针对多个项评价在合成单元105中要合成在一个屏幕上的各图像数据，从而获得各图像数据的评价值。然后，将具有最大评价值的图像数据作为重要度最高的图像数据确定为主要源。在实施例中，用于获得评价值的项是图像数据的输入端口、显示面积Sx、摄影信息、文件格式信息和面部显示面积SFx。\n[0054] 图2是示出根据本发明实施例的例如主要源确定处理的用于获得评价值的处理的流程图。由主要源确定单元123来执行图2的流程图中的各处理。要注意，将评价值Px的初始值设置为值1。\n[0055] 在步骤S10中，判断要评价的图像数据是否是从外部连接端子106输入的数据。可以由例如控制单元120进行该判断。如果判断为该图像数据不是从外部连接端子106输入的数据，则处理进入步骤S12。另一方面，如果判断为该图像数据是从外部连接端子106输入的数据，则处理进入步骤S11以对评价值Px加上值1。然后，处理进入步骤S12。\n[0056] 在步骤S12至步骤S17中，判断对象图像数据的文件格式，并对评价值Px加上与判断结果对应的值。在步骤S12中，基于来自格式判别单元107的文件格式信息，判断所讨论的图像数据的文件格式是否是RAW格式。如果判断为该文件格式是RAW格式，则处理进入步骤S13。假设用户要求以高图像质量观看RAW数据的图像。因而，在步骤S13中，将基于文件格式信息的判断中作为最大值的值3与评价值Px相加以获得新的评价值Px，并且处理进入步骤S18。\n[0057] 另一方面，如果在步骤S12中判断为文件格式不是RAW格式，则处理进入步骤S14，在步骤S14中，基于来自格式判别单元107的文件格式信息，判断该文件格式是否是JPEG格式。如果判断为该文件格式是JPEG格式，则处理进入步骤S15。\n[0058] 在步骤15中，基于来自摄影信息获取单元113的输出，判断该JPEG文件是否具有摄影信息(在这种情况下为Exif信息)。如果判断为该JPEG文件具有摄影信息，则处理进入步骤S16。假设用户要求以高图像质量观看具有摄影信息的JPEG数据的图像。因而，在步骤S16中，将基于文件格式信息的判断中作为第二大值的值2与评价值Px相加以获得新的评价值Px。\n[0059] 另一方面，如果判断为JPEG文件不具有摄影信息，则处理进入步骤S17。从数据广播提取出的JPEG数据的图像也被判断为不具有摄影信息。在步骤S17中，将值1与评价值Px相加以获得新的评价值Px。在步骤S16或步骤S17中对评价值Px加上相应的值之后，处理进入步骤S18。\n[0060] 如果在上述步骤S14中判断为所讨论的图像数据的文件格式不是JPEG，则不对评价值Px相加任何值，并且处理进入步骤S18。\n[0061] 如上所述，在步骤S12至步骤S17中，根据对象图像数据的文件格式对评价值Px相加相应的值。在这种情况下，在对象图像数据的文件格式表示存储运动图像数据的文件格式的情况下，不对评价值Px相加任何值。这是因为在实施例中假设以高图像质量观看静止图像而非运动图像的情况。可以根据设备的使用意图等适当地确定针对各文件格式而对评价值Px进行的相加。\n[0062] 处理进入步骤S18，在步骤S18中，主要源确定单元123从图像窗口大小控制单元\n122获取表示在合成单元105中合成的各图像数据的显示面积S0、S1、...、Sx、...、Sn的信息。然后，在下一步骤S19中，主要源确定单元123获得所获取的各图像数据的显示面积S0、S1、...、Sx、...、Sn的总和，并且获得对象图像数据的显示面积Sx相对于显示面积的总和的比值Rx。将通过将比值Rx与评价值Px相乘所获得的值设置为新的评价值Px。\n[0063] 当将在合成单元105中合成的各图像数据的显示面积的总和表示为∑Si时，通过以下公式(1)来表示评价值Px。\n[0064] Px＝Px×(Sx/∑Si) (1)\n[0065] 处理进入步骤S20，在步骤S20中，主要源确定单元123基于由面部检测单元118对对象图像数据执行的面部检测的结果，判断该对象图像数据是否包含面部图像。如果判断为不包含面部图像，则该系列处理结束从而确定评价值Px。\n[0066] 另一方面，如果在步骤S20中判断为对象图像数据包含面部图像，则处理进入步骤S21。在步骤S21中，主要源确定单元123从面部检测单元118获取针对对象图像数据而获得的面部显示面积SFx。然后，在下一步骤S22中，主要源确定单元123获得面部显示面积SFx相对于对象图像数据的显示面积Sx的比值RFx，从而将通过将比值RFx与评价值Px相加所获得的值设置为新的评价值Px。将该新的评价值Px确定为对象图像数据的最终评价值Px，并且该系列处理结束。\n[0067] 通过以下公式(2)来表示在该步骤S22中的处理。\n[0068] Px＝Px+SFx/Sx (2)\n[0069] 对于在合成单元105中被合成到一个屏幕上的各图像数据执行上述步骤S10至步骤S22中的处理，以获得各评价值Px。然后，主要源确定单元123比较各图像数据的评价值Px，并且将具有采用最大值的评价值Px的图像数据确定为主要源。\n[0070] 例如，在通过用户对操作单元121的操作改变了图像的显示大小的情况下，或者在改变了通过合成至一个屏幕上而显示的图像的情况下，再次执行步骤S10至步骤S22中的处理从而重新确定主要源。\n[0071] 在要评价的图像数据是运动图像数据的情况下，当对于运动图像数据的特定帧执行在步骤S20至步骤S22中基于来自面部检测单元118的检测结果的评价时，有可能未获得适当的评价结果。然而，可以通过由面部检测单元118对运动图像数据的多个帧执行面部检测来解决这个问题。例如，可以考虑对时间上连续的多个帧中的每一帧执行面部检测，以使用针对各帧而获得的面部显示面积SFx的平均值。可选地，在对象图像数据是运动图像数据的情况下，还可以考虑不执行基于面部检测的评价。\n[0072] 在上述步骤S11、步骤S13、步骤S16和步骤S17中相加至评价值Px的值仅是例子，并且不限于这些值。\n[0073] 此外，还可以考虑以下情况：当将根据图2的流程图的处理应用于要合成到一个屏幕上的各图像时，多个图像数据具有最大评价值Px。在这种情况下，在具有最大评价值Px的多个图像数据中，例如，可以考虑将用户最近要求显示的图像数据作为主要源。\n[0074] 现在参考更具体的示例来说明图2的流程图中的上述处理。图3是将从MPEG解码器104供给的经由TV广播的图像201和从外部连接端子106输入的基于RAW格式的图像数据的图像202合成并显示在显示单元116的显示屏幕200上的示例。\n[0075] 由于在图2的步骤S10、步骤S11和步骤S12至步骤S17中未对评价值Px相加任何值，因此图像201在该阶段具有评价值Px＝1。在步骤S18和步骤S19中，当图像201的显示面积Sa和图像202的显示面积Sb的比值为Sa∶Sb＝2∶1时，评价值Px将是Px＝1×2/(2+1)≈0.67。然后，在步骤S20至步骤S22中，由于图像201中未包含面部图像，因此将图像201的评价值Px确定为Px≈0.67。\n[0076] 另一方面，由于在图2的步骤S10和步骤S11中对评价值Px相加了值1，并且在步骤S12至步骤S17中对评价值Px进一步相加了值3，因此图像202在该阶段具有评价值Px＝5。在步骤S18和步骤S19中，基于图像201相对于图像202的显示面积比值，该评价值Px将是Px＝5×1/(1+2)≈1.67。然后，在步骤S20至步骤S22中，由于图像202中未包含面部图像，因此将图像202的评价值Px确定为Px≈1.67。\n[0077] 比较图像201和图像202的评价值Px，则图像202的评价值Px大于图像201的评价值Px。因而，将图3的显示屏幕200中的主要源确定为用于显示图像202的RAW格式的图像数据。视频处理单元114从摄影信息获取单元113获取附加至RAW格式的图像数据的摄影信息。然后，基于所获取的摄影信息，视频处理单元114参考图像质量调整值数据库\n115，选择图像质量调整值，并且使用所选择的图像质量调整值对从合成单元105输出的图像数据执行图像质量调整。将已经执行了图像质量调整的图像数据供给至显示单元116，并且例如显示如以上在图3中所述的显示屏幕200。\n[0078] 图4是将包括图像210、图像211和图像212的三个图像合成并显示在显示单元\n116的显示屏幕200上的示例。图像210是从MPEG解码器104供给的经由TV广播的图像，图像211是基于从外部连接端子106输入的RAW格式的图像数据的图像202，并且图像212是基于从外部连接端子106输入的具有Exif信息的JPEG格式的图像数据的图像。\n[0079] 由于在图2的步骤S10、步骤S11和步骤S12至步骤S17中未对评价值Px相加任何值，因此图像210在该阶段具有评价值Px＝1。在步骤S18和步骤S19中，图像210的显示面积Sa、图像211的显示面积Sb、图像212的显示面积Sc的比值为Sa∶Sb∶Sc＝\n2∶1∶1。在这种情况下，评价值Px将是Px＝1×1/(1+1+2)＝0.25。然后，在步骤S20至步骤S22中，由于图像210中未包含面部图像，因此将图像210的评价值Px确定为Px＝\n0.25。\n[0080] 由于在图2的步骤S10和步骤S11中对评价值Px相加了值1，并且在步骤S12至步骤S17中对评价值Px进一步相加了值3，因此图像211在该阶段具有评价值Px＝5。在步骤S18和步骤S19中，基于图像210、图像211和图像212的显示面积比值，评价值Px将是Px＝5×1/(1+1+2)＝1.25。然后，在步骤S20至步骤S22中，由于图像211中未包含面部图像，因此将图像211的评价值Px确定为Px＝1.25。\n[0081] 此外，由于在图2的步骤S10和步骤S11中对评价值Px相加了值1，并且在步骤S12至步骤S17中对评价值Px进一步相加了值2，因此图像212在该阶段具有评价值Px＝\n4。在步骤S18和步骤S19中，基于图像210、图像211和图像212的显示面积比值，评价值Px将是Px＝4×2/(1+1+2)＝2。然后，在步骤S20至步骤S22中，由于图像212中未包含面部图像，因此将图像212的评价值Px确定为Px＝2。\n[0082] 比较图像210、图像211和图像212的评价值Px，则图像212具有最大评价值Px。\n因而，将图4的显示屏幕200中的主要源确定为用于显示图像212的JPEG格式的图像数据。\n视频处理单元114从摄影信息获取单元113获取附加至JPEG格式的图像数据的摄影信息。\n然后，基于该所获取的摄影信息，视频处理单元114参考图像质量调整值数据库115，选择图像质量调整值，并且使用所选择的图像质量调整值对从合成单元105输出的图像数据执行图像质量调整。将已经执行了图像质量调整的图像数据供给至显示单元116，并且例如显示如以上在图4中所述的显示屏幕200。\n[0083] 图5是将图像220、图像221、图像222、图像223这四个图像合成并显示在显示单元116的显示屏幕200上的示例，其中各个图像均是基于从外部连接端子106输入的RAW格式的图像数据的。此外，假定在显示屏幕200中，图像220、图像221、图像222和图像223在显示面积方面均相等。此外，假定图像220和图像222各自包含面部图像。在图像220和图像222中利用框来表示该面部图像的范围。\n[0084] 在图5的例子中，图像220、图像221、图像222和图像223都具有相同的文件格式和显示面积。在图2的步骤S10至S19中获得的评价值Px彼此相等，并且更具体地，图像\n220、图像221、图像222和图像223各自在该阶段的评价值Px将是Px＝5×1/(1+1+1+1)＝1.25。\n[0085] 在步骤S20至步骤S22中，由于图像221或图像223中不包含面部图像，因此将图像221和图像223各自的评价值Px确定为Px＝1.25。\n[0086] 另一方面，基于面部显示面积SFx相对于图像的显示面积Sx的比值RFx，获得包含面部图像的图像220和图像222的评价值Px。在图像220中比值RFx＝SFx/Sx＝0.3并且在图像222中比值RFx＝SFx/Sx＝0.1的情况下，将图像220的评价值Px确定为Px＝\n1.25+0.3＝1.55，而将图像222的评价值Px确定为Px＝1.25+0.1＝1.35。\n[0087] 比较如此获得的图像220、图像221、图像222和图像223的评价值Px，则图像220具有最大评价值Px为1.55。因而，将图5的显示屏幕200中的主要源确定为用于显示图像\n220的RAW格式的图像数据。视频处理单元114从摄影信息获取单元113获取附加至RAW格式的图像数据的摄影信息。然后，基于该所获取的摄影信息，视频处理单元114参考图像质量调整值数据库115，选择图像质量调整值，并且使用所选择的图像质量调整值对从合成单元105输出的图像数据执行图像质量调整。将已经执行了图像质量调整的图像数据供给至显示单元116，并且例如显示如以上在图5中所述的显示屏幕200。\n[0088] 如上所述，根据本发明的实施例，当将多个图像合成并显示在一个屏幕上时，基于图像数据的文件格式、图像数据是否具有摄影信息以及图像中所包含的面部图像的面积相对于图像的显示面积的比值，确定主要源。然后，通过适合于该主要源的图像的方法对所确定的主要源的图像应用图像质量调整。因此，在要合成并显示在一个屏幕上的多个图像中，优先对被认为高度重要的图像应用最佳图像质量调整。\n[0089] 要注意，在上述实施例中，基于与图像数据的输入源有关的信息、文件格式、是否存在摄影信息、所显示的图像的窗口大小以及面部显示区域的大小，确定主要源。然而，并不一定全部上述信息都用于获得评价值Px，并且可以基于上述信息中的至少一类信息来获得评价值Px。\n[0090] 尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。