摄像装置以及摄像方法

1.一种摄像装置，其具有：
摄像元件，其具有将如下的输出信号分别同时并列地转换为数字信号的多个AD转换器，该输出信号是通过呈二维状排列的由第1像素群和第2像素群构成的多个像素以及与所述第1像素群和第2像素群对应的像素而分别生成的；
图像信号读出部，其针对与所述摄像元件的第1像素群和第2像素群对应的像素，分别独立地读出图像信号；
闪烁检测部，其基于被摄体所包含的光源的周期性闪烁动作，对在所述摄像元件上成像的被摄体像进行光电转换，根据与对应于所述第2像素群的像素对应的图像输出来检测摄影图像整体的明状态和暗状态，从而检测所述光源的闪烁周期；以及
闪烁校正部，当在所述闪烁检测部中，通过与所述第2像素群对应的像素取得的图像由于周期性闪烁而入射了明状态和暗状态的亮度的光时，以使与所述第2像素群对应地配置的所述第1像素群的摄影图像的亮度输出成为作为基准的亮度输出的方式，校正与对应于所述第1像素群的多个像素中的各像素对应的亮度输出增益。
2.根据权利要求1所述的摄像装置，其中
所述图像信号读出部在所述第1像素群的1帧的图像信号的读出期间内，读出所述第2像素群的图像信号，
所述闪烁检测部根据所述第2像素群的图像信号，基于周期性产生的闪烁帧数来检测光源的闪烁频率，
所述闪烁校正部对在包括所述第2像素群的读出期间在内的期间内读出的所述第1像素群进行图像信号的增益校正。
3.根据权利要求2所述的摄像装置，其中，
所述闪烁检测部还具有闪烁判定部，该闪烁判定部判定在来自所述第1像素群的取得图像中产生的闪烁的状态，
所述闪烁判定部基于周期性产生的闪烁帧数检测光源的闪烁频率，对由所述第1像素群构成的图像的读出周期与所检测出的所述光源的闪烁频率进行比较，判定来自所述第1像素群的取得图像是否产生了面闪烁，
在根据所述闪烁判定部判定出的结果，判定为来自所述第1像素群的取得图像产生了面闪烁的情况下，所述闪烁校正部针对处于与通过所述第2像素群读出的图像对应的时间内的、从所述第1像素群读出的图像信号的亮度输出，统一进行增益校正。
4.根据权利要求2所述的摄像装置，其中，
所述闪烁检测部还具有闪烁判定部，该闪烁判定部判定在来自所述第1像素群的取得图像中产生的闪烁的状态，
所述闪烁判定部基于周期性产生的闪烁帧数检测光源的闪烁频率，对由所述第1像素群构成的图像的读出周期与所检测出的所述光源的闪烁频率进行比较，判定来自所述第1像素群的取得图像是否产生了行闪烁，
在根据所述闪烁判定部判定出的判定结果，判定为来自所述第1像素群的取得图像产生了行闪烁的情况下，所述闪烁校正部针对处于与通过所述第2像素群读出的图像对应的配置的、从所述第1像素群中读出的各帧图像信号的亮度输出，进行帧内的亮度增益校正。
5.根据权利要求2至4中的任意一项所述的摄像装置，其中，
所述图像信号读出部还具有帧率设定部，该帧率设定部设定从与所述摄像元件的第1像素群和第2像素群对应的像素中读出图像信号的频率，
所述帧率设定部以如下方式设定从与所述摄像元件的第1像素群和第2像素群对应的像素中分别读出图像信号的频率即帧率：在动态图像摄影时和实时取景显示时，分别设定不同的读出频率即帧率，并且，设定为动态图像摄影时的各个帧率比实时取景显示时的各个帧率快。
6.一种摄像装置的摄像方法，其具有以下步骤：
图像信号读出步骤，从摄像元件的与所述摄像元件的第1像素群和第2像素群对应的像素中，分别独立地读出图像信号，其中，所述摄像元件具有将如下的输出信号分别同时并列地转换为数字信号的多个AD转换器，该输出信号是通过呈二维状排列的由所述第1像素群和所述第2像素群构成的多个像素以及与所述第1像素群和第2像素群对应的像素而分别生成的；
闪烁检测步骤，基于被摄体所包含的光源的周期性闪烁动作，对在所述摄像元件上成像的被摄体像进行光电转换，根据与对应于所述第2像素群的像素对应的图像输出来检测摄影图像整体的明状态和暗状态，从而检测所述光源的闪烁周期；以及
闪烁校正步骤，当在所述闪烁检测步骤中，通过与所述第2像素群对应的像素取得的图像由于周期性闪烁而入射了明状态和暗状态的亮度的光时，以使与所述第2像素群对应地配置的所述第1像素群的摄影图像的亮度输出成为作为基准的亮度输出的方式，校正与对应于所述第1像素群的多个像素中的各像素对应的亮度输出增益。

摄像装置以及摄像方法\n技术领域\n[0001] 本发明涉及在闪烁量周期性变动的外部照明照射在被摄体上的情况下，也能够降低光源闪烁的影响的摄像装置以及摄像方法。\n背景技术\n[0002] 已知在室内的动态图像摄影和实时取景显示时，荧光灯等光源的明亮度会与商用电源频率同步地周期性变动，会对实时取景显示和动态图像摄影带来不良影响。该现象被称作光源闪烁，在摄影时和实时取景显示时的帧率与光源的明亮度变化的频率不同步的情况下，明亮度会按照每帧而变化(被称作面闪烁(surface flicker))，另外在同一帧内的图像中，明亮度呈线状产生于每个空间周期内(被称作行闪烁(line flicker))。\n[0003] 为了降低所述的光源闪烁的影响，以往提出了各种技术。例如日本特开平11-\n122513号公报(以下，称作专利文献1)、日本特开平6-105204号公报(以下，称作专利文献2)中公开了这种技术。在这些现有技术中，在校正光源闪烁的影响时，首先通过相机的摄像元件取得多个帧的图像数据，根据所取得的图像数据的亮度输出的时间转换，检测光源闪烁的频率，根据该检测的闪烁频率，以使得在各帧内图像的亮度均匀的方式，校正从摄像元件取得的各帧图像的亮度增益。\n[0004] 作为室内光源的电灯的闪烁基于电源商用频率，因而以50Hz或60Hz变动。例如，在专利文献1中，以与电灯的闪烁频率相同或较慢的帧频率进行动作、并确认帧的垂直强度部分布，由此来进行闪烁检测。作为该方法，在以与电灯的闪烁周期相同或较慢的帧频率进行实时取景显示和动态图像记录的情况下，能够有效进行闪烁检测和校正。\n发明内容\n[0005] 发明欲解决的课题\n[0006] 在所述的专利文献1中，使用多个二维摄像元件，一气呵成地对多个图像进行闪烁校正，因而需要图像数据存储用的非常大的存储器。此外，虽然根据多个域的垂直强度分布来校正当前帧的垂直明暗差(行闪烁)是有效的手段，然而在高速动态图像的情况下，无法有效校正帧间的明暗差(面闪烁)。\n[0007] 此外，如专利文献2那样将高速度相机的数据划分到各系统，具有帧存储器，合成按照每个系统进行了图像处理后的数据，从而能够实现消除闪烁。然而，这种情况下，需要大量帧存储器和图像处理IC，会招致大型化，不适于数字静态相机等便携式设备。\n[0008] 本发明就是鉴于这种情况而完成的，其目的在于提供一种在数字相机等便携设备中能够在高速相机模式下消除闪烁的摄像装置以及摄像方法。\n[0009] 用于解决课题的手段\n[0010] 第1方面的摄像装置具有：摄像元件，其具有将如下的输出信号分别同时并列地转换为数字信号的多个AD转换器，该输出信号是通过呈二维状排列的由第1像素群和第2像素群构成的多个像素以及与所述第1像素群和第2像素群对应的像素而分别生成的；图像信号读出部，其针对与所述摄像元件的第1像素群和第2像素群对应的像素，分别独立地读出图像信号；闪烁检测部，其基于被摄体所包含的光源的周期性闪烁动作，对在所述摄像元件上成像的被摄体像进行光电转换，根据与对应于所述第2像素群的像素对应的图像输出来检测摄影图像整体的明状态和暗状态，从而检测所述光源的闪烁周期；以及闪烁校正部，当在所述闪烁检测部中，通过与所述第2像素群对应的像素取得的图像由于周期性闪烁而入射了明状态和暗状态的亮度的光时，以使与所述第2像素群对应地配置的所述第1像素群的摄影图像的亮度输出成为作为基准的亮度输出的方式，校正与对应于所述第1像素群的多个像素中的各像素对应的亮度输出增益。\n[0011] 第2方面的摄像方法具有如下步骤：图像信号读出步骤，从摄像元件的与所述摄像元件的第1像素群和第2像素群对应的像素中，分别独立地读出图像信号，其中，所述摄像元件具有将如下的输出信号分别同时并列地转换为数字信号的多个AD转换器，该输出信号是通过呈二维状排列的由所述第1像素群和所述第2像素群构成的多个像素以及与所述第1像素群和第2像素群对应的像素而分别生成的；闪烁检测步骤，基于被摄体所包含的光源的周期性闪烁动作，对在所述摄像元件上成像的被摄体像进行光电转换，根据与对应于所述第2像素群的像素对应的图像输出来检测摄影图像整体的明状态和暗状态，从而检测所述光源的闪烁周期；以及闪烁校正步骤，当在所述闪烁检测步骤中，通过与所述第2像素群对应的像素取得的图像由于周期性闪烁而入射了明状态和暗状态的亮度的光时，以使与所述第2像素群对应地配置的所述第1像素群的摄影图像的亮度输出成为作为基准的亮度输出的方式，校正与对应于所述第1像素群的多个像素的各像素对应的亮度输出增益。\n[0012] 发明的效果\n[0013] 根据本发明，能够提供一种在数字相机等便携设备中在高速相机模式下消除闪烁的摄像装置以及摄像方法。\n附图说明\n[0014] 图1是表示本发明的1个实施方式的相机的图像传感器的像素结构的俯视图。\n[0015] 图2是表示本发明的1个实施方式的相机的图像传感器的内部电路结构的框图。\n[0016] 图3是表示在本发明的1个实施方式的相机中，电灯闪烁周期与帧率之间的关系的图。\n[0017] 图4是表示在本发明的1个实施方式的相机中，用于校正实时闪烁的概略电路的框图。\n[0018] 图5是表示在本发明的1个实施方式的相机中，闪烁检测和闪烁校正处理电路的详细情况的框图。\n[0019] 图6是表示在本发明的1个实施方式的相机中，图像传感器的第1序列与第2序列的读出定时的时序图。\n[0020] 图7A和图7B是表示本发明的1个实施方式的相机的动作的流程图。\n[0021] 图8是表示本发明的1个实施方式的相机的闪烁校正动作的流程图。\n[0022] 图9A和图9B是表示本发明的1个实施方式的相机的动态图像信息流动作的流程图。\n[0023] 图10是表示本发明的1个实施方式的相机的静态图像读入动作的流程图。\n具体实施方式\n[0024] 以下，按照附图使用应用本发明的相机说明优选实施方式。本发明的优选的1个实施方式的相机是具有图像传感器等摄像部的数字相机。该摄像部将通过摄影镜头形成的被摄体像转换为图像数据。摄像部内的图像传感器的输出存在输出第1像素群的数据的系统1和输出第2像素群的数据的系统2这2个系统，能够分别独立设定读出的帧率(换言之，能够分别独立设定电子快门速度)。作为相机的动作，在实时取景显示和动态图像摄影时，使用以高速帧率读出的图像数据，检测闪烁，按照该检测结果，计算用于实现均匀的亮度的增益。使用该计算的增益，对以低速帧率读出的图像数据进行闪烁的校正。根据该校正后的图像数据，将被摄体像实时取景显示于配置在主体的背面的显示部上，另外在动态图像模式下记录根据动态图像按钮的操作等而取得的动态图像的图像数据。\n[0025] 图1是表示本发明的1个实施方式的相机的图像传感器的像素结构的俯视图，另外图2是表示图像传感器的内部电路结构的框图。\n[0026] 图1示出图像传感器1的光电二极管阵列2(参照图2)的像素结构。这里，有效像素\n2b是用于针对被摄体像取得图像数据的有效图像区域的像素。实际有效像素2a是在有效图像区域内的实际使用的图像区域的像素。此外，在由有效像素2b构成的有效图像区域的外侧，沿着垂直方向配置水平OB(光学黑体)像素2c，沿着水平方向配置垂直OB像素2d。\n[0027] 水平OB像素2c和垂直OB像素2d是光电二极管的受光面被遮光的像素。因此，未通过摄影镜头11(参照图4)形成被摄体像，输出处于暗黑下的暗电流的信号。使用从该OB像素输出的暗电流，进行OB校正。有效像素2b、水平OB像素2c、垂直OB像素2d的外侧的区域是不将被摄体像反映为图像数据的无效像素(伪像素)。\n[0028] 图2表示数字相机用的图像传感器1的内部电路。图像传感器1在内部具有光电二极管阵列2、水平/垂直驱动器3、定时控制器4、AD转换器5以及重排部(並び替え部)6、缓冲放大器7a～7m。光电二极管阵列2的像素的结构是如使用图1所说明的结构。\n[0029] 水平/垂直驱动器3按照来自定时控制器4的定时信号，读出光电二极管阵列2中的有效像素2b、水平OB像素2c、垂直OB像素2d、无效像素2e等的图像数据。\n[0030] AD转换器5按照来自定时控制器4的定时信号，对从光电二极管阵列2读出的图像数据进行AD转换，实现数字信号化。然后，将数字信号化后的图像数据输出给重排部6。重排部6根据实时取景显示、静态图像摄影、动态图像摄影等相机的各动作模式，适当对从光电二极管阵列2中读出的有效像素2b的图像数据进行间疏处理(間引き)并输出给缓冲放大器\n7a～7m。\n[0031] 如上构成本实施方式的图像传感器1。通常，在数字相机中，在全像素静态图像摄影时、动态图像摄影时和实时取景显示用的图像取得时，在图像生成时图像传感器的像素输出的有效利用方法不同。即，在全像素静态图像摄影时，使用所有有效像素用于记录。另一方面，在实时取景显示用的图像取得时、动态图像摄影时、高速相机动作时，从摄像元件的有效图像区域中切取对应于相机的背面液晶或EVF、TV输出等显示设备的图像尺寸，或通过间疏处理等读出，不使用未被读出的像素的像素数据。\n[0032] 在本实施方式的相机中，与上述内容同样地，在全像素静态图像摄影时使用所有有效像素2b用于记录。另一方面，在实时取景显示时、动态图像记录时、高速相机动作时等，从有效图像区域中间疏地(或切取)读出对应于背面液晶面板等显示部、EVF(电子取景观察器)、TV(电视)输出等显示设备的图像尺寸。这里，不使用未被间疏或切取而读出的像素的数据。\n[0033] 关于来自图像传感器1的数据输出，在全像素静态图像摄影时，使用图像传感器1具有的输出通道Ch1～Chm，通过全部通道进行数据输出。另一方面，在实时取景显示时、动态图像记录时、高速相机动作时等，输出数据的带域与全像素静态图像相比较小即可，因而使用图像传感器具有的输出通道中的一部分进行图像数据的输出。例如，作为使用输出通道中的一部分的例子，存在仅使用图像传感器1的通道1(Ch1)和通道2(Ch2)进行数据输出的结构等。\n[0034] 图像传感器1在针对各通道的像素电路上具有按照每个通道独立的曝光控制，能够使得读出通道1(Ch1)时的帧率(电子快门速度)与读出通道2(Ch2)时的帧率(电子快门速度)不同。另外，后面描述图像传感器1的像素电路详细结构和作用。\n[0035] 因此，在本实施方式中，在全像素静态图像摄影时，使用图像传感器1具有的全部输出通道(图2的Ch1～Chm)进行输出。另一方面，在实时取景显示时、动态图像记录时和高速相机动作时，输出数据的带域与全像素静态图像摄影时相比较小即可，因而使用图像传感器1具有的输出通道中的一部分(例如，仅图2的Ch1和Ch2)输出数据。在本实施方式中，图像传感器1作为具有多个AD转换器的摄像元件发挥功能，该多个AD转换器将输出信号分别同时并列地转换为数字信号，该输出信号是通过呈二维状排列的由第1像素群和第2像素群构成的多个像素以及与第1像素群和第2像素群对应的像素分别生成的。\n[0036] 在本实施方式中，以在实时取景显示时、动态图像记录时、高速相机动作时能够实现进行适当的闪烁校正的方式，将图像传感器1的输出划分为2个系统进行驱动，进行校正动作。\n[0037] 即，在拍摄全像素静态图像时，使用系统1(例如Ch1和Ch2)和系统2(例如Chn和Chm)双方进行数据转发。另一方面，在实时取景显示时、动态图像摄影时、高速相机动作时，从系统1取得主要的动态图像的图像数据。然后从系统2取得闪烁校正用的图像数据。进而，取得对动态图像实时地校正了闪烁后的图像并进行实时取景显示。然后，将所取得的校正了闪烁后的图像作为动态图像的图像数据进行记录。此外，还将来自系统2的图像数据用于AE(Auto Exposure：自动曝光)和AF(Auto Focus：自动对焦)。在本实施方式中，图像传感器\n1具有图像信号读出部(系统1和系统2)，该图像信号读出部(系统1和系统2)用于从与摄像元件的第1像素群和第2像素群对应的像素中分别独立读出图像信号。\n[0038] 此外，如上所述，关于本实施方式的摄像部内的图像传感器1的输出，设有输出第1图像群的数据的系统1、输出第2像素群的数据的系统2这2个系统。作为这2个系统的输出，能够分别独立设定读出的帧率。换言之，能够分别独立设定电子快门速度。\n[0039] 在实时取景显示时、动态图像摄影时、高速相机动作时，使用以高速帧率读出的系统2的图像数据，从存在面闪烁的图像中检测闪烁频率。使用该检测出的闪烁频率，对由系统1取得的实时取景图像和动态图像实时地进行光源闪烁的校正。\n[0040] 接着，使用图3来说明受到光源闪烁的影响的高速摄影时的摄影图像(包括实时取景显示)的变化。图3示出作为光源的照明的闪烁周期与帧率之间的关系。\n[0041] 图3的最上层的(a)是表示光源以商用频率60Hz点亮的荧光灯的亮度变化的波形图。在下一层所示的(b)是表示以商用频率50Hz点亮的荧光灯的亮度变化的波形图。施加给荧光灯的商用频率的施加电压按照对应于商用频率的周期，具备正负的符号。另一方面，荧光灯的亮度按照与施加电压的绝对值成比例的关系进行变化。因此，如(a)、(b)中实线所示，例如，在以60Hz驱动的情况下，将以2倍的频率(120Hz)重复明暗。\n[0042] 从图3的第3层至第5层所示的(c)～(e)表示根据荧光灯的闪烁变化而由图像传感器1取得的各帧图像的亮度变化。(c)表示摄影时(包括实时取景显示时)的帧率为480fps的情况下的亮度变化。(d)表示帧率为240fps的情况下的亮度变化。(e)表示帧率为120fps的情况下的亮度变化。另外，在各图中，在各个帧率的条件下，在上下并列表示荧光灯的施加电压为60Hz、50Hz的情况下的亮度变化。\n[0043] 如图3的(c)～(e)所示，越通过成为比光源的闪烁周期快的频率的帧率使图像传感器1进行摄影动作，则面闪烁相比行闪烁越处于主导地位。这里，面闪烁是在所摄像的各帧图像内整体的亮度按照每帧周期性变化的现象。此外，行闪烁是在帧内的图像上产生明暗的亮度分布的现象。\n[0044] 按照图像传感器1进行图像数据的读出的帧率，处于主导地位的闪烁的种类不同，这是因为基于以下的作用。(1)在各帧取得的图像是按照每个帧周期由图像传感器1蓄积被摄体光而形成的。(2)因此，在帧率的周期短于光源的闪烁周期的情况下，(即帧率越为高速的情况)，各帧内的图像的亮度分布越大致均匀，因位置导致的亮度变化变少。因此，面闪烁为成为主导。\n[0045] 此外，关于行闪烁，在光源的闪烁频率与帧率同步的条件下(例如，图3的(e)的帧率120fps、荧光灯的驱动频率60Hz)，观察帧图像的亮度分布，则成为明暗的峰值的位置一定成为相同图像的位置。另一方面，在光源的闪烁频率不与帧率同步的情况下，在通过各帧取得的图像的亮度分布中，成为明暗的峰值的位置按照每帧而移动。\n[0046] 作为低速帧率时的行闪烁的校正，通常以规定的帧率读出图像，检测该读出的帧图像的亮度分布是否随时间而变化。根据该检测结果，检测光源的驱动频率(通常为商用频率)，根据该检测结果，以使得帧图像的亮度均匀的方式，根据图像的位置进行行闪烁校正。\n[0047] 高速帧率时的面闪烁的校正通过光源的闪烁使得各帧图像的亮度分布变为均匀。\n因此，针对各帧图像的一部分线输出的亮度，根据每帧的亮度变化检测光源的闪烁频率。使用该闪烁频率，以使得帧图像的亮度均匀的方式，进行面闪烁校正。\n[0048] 另外，在静态图像的数字相机中，已知以高速帧率连续拍摄静态图像的高速相机。\n作为高速相机的帧率，例如能够以500fps(flame per second：帧每秒)实现各种运动的慢动作记录。\n[0049] 此外，作为荧光灯的闪烁，商用频率的2倍频率为主流。因此，在本实施方式中，在以商用频率驱动的光源(50Hz/60Hz)环境下，实时消除实时取景显示、动态图像记录时等中的闪烁。\n[0050] 接着，使用图4，说明用于实时校正闪烁的电路的结构。前述的图像传感器1配置于通过摄影镜头11形成的被摄体像的成像位置附近。摄影镜头11通过按照来自镜头控制部13的控制信号被驱动的电动机12在光轴方向上移动。\n[0051] 图像传感器1的图像数据经由系统1和系统2输出给DSP(数字信号传感器：Digital Signal Processor)20。即，图像传感器1的图像数据经由系统1被输出至DSP20内的重排电路A 31，经由系统2被输出至DSP20内的重排电路B 26。此外，图像传感器1输入来自DSP20的控制模块27的读出控制信号等信号。另外，从系统1和系统2读出的读出频率(帧率)可以在动态图像摄影时和实时取景显示时设定为彼此不同的频率。例如，关于动态图像摄影时的各帧率，可以设定得比实时取景显示时的各帧率快。这种情况下，能够通过不进行动态图像记录的实时取景显示时的动作抑制摄像装置的消耗功率。\n[0052] DSP20具有重排电路B26、控制模块27、开关28，AE/AF29、重排电路A31、闪烁检测部\n32、电平设定部33、图像处理器34、CPU(Central Processing Unit：中央处理单元)21。重排电路B26对以高速从图像传感器1的读出系统2中读出的图像数据进行重排处理(並び替え処理)。在该重排处理中，通过对从系统2中读出的每行的读出图像进行间疏处理而进行重排的处理。\n[0053] 开关28将从重排电路B26输出的图像数据切换至后述的AE/AF(Auto Exposure/Auto focus)29、重排电路A31、闪烁检测部32中的任意一个而输出。此外，重排电路B26还具有直通(パススルー)功能。通过该直通功能，重排电路B26的图像数据输出不必对以高速从图像传感器1中读出的图像数据进行重排处理，能够独立于向前述的开关电路28的输出而暂时存储于DRAM51中。\n[0054] AE/AF29输入经由开关28输入的系统2的图像数据或从重排电路A31输入的系统1的图像数据，计算曝光控制用的亮度值。根据该计算的亮度值控制图像传感器1的电子快门的快门速度。此外，AE/AF29对来自系统1或系统2的图像数据提取空间频率中的高频成分，计算对比度信号的评价值。然后，镜头控制部13以使得对比度信号的评价值成为峰值的方式，进行摄影镜头11的焦点调节。\n[0055] 重排电路A31输入来自图像传感器1的系统1的图像数据和来自开关28的系统2的图像数据，进行图像数据的重排，并输出给图像处理器34。该重排电路A31在实时取景显示时和动态图像摄影时等，使用来自系统1的图像数据，将与显示设备对应的图像尺寸的图像数据输出给图像处理器34。此外，在全像素静态图像摄影时，重排电路A31使用来自系统1和系统2的图像数据，重排成由全部像素构成的图像数据，并输出给图像处理器34。此外，重排电路A31的输出能够独立于向图像处理器34的输出，暂时存储于DRAM51中。\n[0056] 闪烁检测部32输入以高速帧率读出的系统2的图像数据，检测该图像输出的每帧的平均亮度的变化，并检测基于面闪烁而引起的闪烁亮度变化的帧周期以及闪烁频率。此外，改变读出所述系统2的帧率设定，检测该图像输出的每行的平均亮度的变化。通过检测该平均亮度的变化，从而确定从系统2得到的图像数据在各帧内产生明暗的行闪烁的闪烁频率。后面使用图4描述闪烁检测部32的详细结构。该闪烁检测部32作为闪烁检测部发挥功能，该闪烁检测部通过摄像元件(图像传感器1)对包含被摄体中包含的光源的周期性闪烁的被摄体像进行光电转换，根据与对应于第2像素群的像素对应的图像输出来检测摄影图像整体的明状态和暗状态，从而检测光源的闪烁周期。\n[0057] DRAM51是易失性的可改写存储器，输入从重排电路B26和重排电路A31输出的图像数据等并存储。此外，DRAM51将存储的图像数据等输出给图像处理器34。\n[0058] 图像处理器34输入从重排电路A31输出的图像数据，根据来自闪烁检测部32的检测结果，对图像数据实施闪烁校正。此外，还进行白平衡、OB(Optical Black：光学黑体)校正、伽马校正、图像压缩等各种图像处理，以及实时取景显示用图像数据、静态图像记录用图像数据、动态图像记录用图像数据、再生显示用图像数据等的生成。\n[0059] 显示设备52具有液晶面板、有机EL等显示设备。显示设备52输入从图像处理器34输出的实时取景显示用图像数据和再现显示用图像数据等图像数据，进行实时取景显示和再现显示等图像显示。\n[0060] CPU21从DSP20内的各部等输入数据等，向各部等输出控制信号，进行DSP20的整体控制。\n[0061] 接着，使用图5，说明图4所示的闪烁检测部32的详细结构。另外，图5中除了闪烁检测部32以外，还一并示出与闪烁检测有关的重排电路A31、开关28和图像处理器34的一部分。\n[0062] 在本实施方式中，根据图像传感器1的系统1和系统2的两个输出取得全像素静止图像。另一方面，在动态图像和实时取景显示图像的取得时，取得作为系统1的输出的图像输出，基于来自系统2的图像输出，根据亮度信息(AE)、对比度信息(AF)、亮度信息的时间变化来检测闪烁频率和校正值。\n[0063] 水平有效像素亮度值平均化部61经由开关28输入系统2的图像数据。该水平有效像素亮度值平均化部61按照图像数据的每个水平行计算平均亮度，并将其输出给水平有效行亮度值平均化部62和亮度比较部71。\n[0064] 水平有效行亮度值平均化部62使用由水平有效像素亮度值平均化部61计算出的多个水平行的平均亮度，计算帧整体的平均亮度，并将其输出给1次存储存储器63和帧亮度平均值闪烁周期判定部64。\n[0065] 1次存储存储器63存储由水平有效行亮度值平均化部62取得的1个帧的平均值。帧亮度平均值闪烁周期判定部64使用存储于1次存储存储器63中的1个帧的平均值(以往的值)和由水平有效行亮度值平均部62计算出的1个帧的平均值(当前的值)，检测闪烁周期。\n然后，将该检测出的闪烁周期的信息输出给帧亮度校正增益计算部65。另外，在1次存储存储器63中存储足够数量(例如，3～4帧以上)的帧数的平均值，用于判定闪烁周期。如图3的(c)所示，例如，在以480fps读出图像传感器1的系统2的输出的情况下，各取得的每帧的平均亮度的帧周期若存在16帧，则能够确定光源的闪烁周期(50Hz或60Hz)。\n[0066] 帧亮度校正增益计算部65按照由帧亮度平均值闪烁周期判定部64检测出的闪烁周期的定时，计算帧间的亮度校正增益。即，在产生了面闪烁的情况下，计算用于使各帧的平均亮度均匀的亮度校正增益，将该计算出的亮度校正增益输出给校正值增益调整部81。\n[0067] 亮度比较部71根据由水平有效像素亮度值平均化部61计算出的水平行平均亮度，检测最大亮度值(包括MAX亮度地址)和最小亮度值(包括min亮度地址)。1次存储存储器72根据在亮度比较部71中的检测结果，暂时存储各行的亮度平均值、最大亮度值、最小亮度值。\n[0068] 而且，亮度比较部71对存储于1次存储存储器72中的最大亮度值、最小亮度与从水平有效像素亮度值平均化部61输出的每行的亮度平均值，更新最大亮度值或最小亮度值。1次存储存储器72按照每行将亮度平均值、最大亮度值(包括MAX亮度地址)、最小亮度值(包括min亮度地址)输出给行亮度校正增益计算部73。\n[0069] 行亮度校正增益计算部73计算用于对行闪烁导致的亮度闪烁进行校正的增益量。\n即，为了使用存储于1次存储存储器72中的最大亮度值和最小亮度值、每行的平均亮度值，去除在每行上产生的行闪烁的影响，计算将各行的亮度校正为均匀的情况下所需的增益量。将该计算出的增益量输出给行地址转换部74。\n[0070] 行地址转换部74进行转换，以示出由系统2实时读出的行对应于由系统1读出的记录用图像的哪行。如上所述，来自系统2的图像数据以高速帧率被读出。然后，通过行亮度校正增益计算部73计算用于校正行闪烁的校正增益量。使用该计算出的校正增益量校正来自系统1的图像数据的行闪烁。此时，由于在帧率和读出图像数据尺寸(行数)不同的图像间进行校正，因而由行地址转换部74进行行地址的转换，以使得来自系统1的图像数据的像素位置(行位置)与来自系统2的图像数据的像素位置(行位置)适当一致。行地址转换部74的转换结果被输出给校正值增益调整部81。\n[0071] 校正值增益调整部81在产生行闪烁的情况下，从行地址转换部74被输入行闪烁的闪烁周期、各帧图像中的行内的亮度校正量等。另外，在产生面闪烁的情况下，校正值增益调整部81从帧亮度校正增益计算部65输入面闪烁的闪烁周期、帧亮度校正增益量等。然后，校正值增益调整部81将用于校正来自系统1的图像数据的增益校正量等输出给校正运算部\n82。\n[0072] 例如，在从系统1中读出的记录用图像尺寸为从系统2中读出的闪烁检测图像尺寸的2以上的整数倍的情况下，基于闪烁的亮度校正会产生过校正。其原因在于，将由行亮度校正增益计算部73计算的“由系统2读出的任意的1行的亮度校正增益量”直接反映于系统1的2以上的整数倍的行上所致。因此，输入行地址转换部74的行闪烁周期、各帧图像的行内的亮度校正量等，按照由系统1读出的每行，对亮度校正增益的校正值进行微调，并输出给校正运算部82。通过使用帧亮度校正增益计算部65的输出和行地址转换部74的输出双方，从而能够针对面闪烁极为细致地微调校正增益值。\n[0073] 校正运算部82根据来自校正值增益调整部81的输出，对系统1的图像数据进行闪烁校正。然后，校正运算部82将闪烁校正后的系统1的图像数据输出给彩色化及其他图像处理部83。彩色化及其他图像处理部83对进行了闪烁的校正处理后的图像数据进行彩色化图像处理等图像处理。\n[0074] 当在闪烁检测部中，通过与第2像素群对应的像素取得的图像由于周期性闪烁而入射了明状态的亮度的光时，校正运算部82等降低基于与第2像素群对应地配置的第1像素群得到的摄影图像的亮度输出。另一方面，当通过与第2像素群对应的像素取得的图像入射了暗状态的亮度的光时，校正运算部82等增加基于与第2像素群对应地配置的所述第1像素群得到的摄影图像的亮度输出。通过进行这种亮度校正的运算，校正运算部82作为闪烁校正部发挥功能，其校正与对应于第1像素群的多个像素的各像素对应的亮度输出增益。\n[0075] 另外，在本实施方式的一例中，关于校正运算部82等的亮度输出增益的校正量，将因闪烁而导致的亮度变化的平均亮度输出的值作为校正目标值。然而，亮度输出增益的校正量不限于此，例如也可以是，亮度输出以明状态的亮度输出为基准，以增加基于与第2像素群对应地配置的第1像素群得到的摄影图像的亮度输出的方式进行校正。另外，反之也可以是，亮度输出以暗状态的亮度输出为基准，以减少基于与第2像素群对应地配置的第1像素群得到的摄影图像的亮度输出的方式进行校正。\n[0076] 本实施方式的闪烁检测用的电路设置了水平有效像素亮度值平均化部61，该水平有效像素亮度值平均化部61针对以高速帧率读出的来自系统2的图像数据，按照每个水平行求出平均亮度值。进而，通过输入水平有效像素亮度值平均化部61的输出的水平有效行亮度值平均化部62、1次存储存储器63、帧亮度平均值闪烁周期判定部64、帧亮度校正增益计算部65来计算面闪烁的检测和校正增益量。此外，通过输入每个水平行的平均亮度值的亮度比较部71、1次存储存储器72、行亮度校正增益计算部73、行地址转换部74来计算行闪烁的检测和校正增益量。通过输入面闪烁和行闪烁的检测结果的校正值增益调整部81和校正运算部82对来自系统1的图像数据进行闪烁校正。而且，通过校正值增益调整部81和校正运算部82生成去除了闪烁的影响后的图像数据，输出闪烁校正后的图像数据。\n[0077] 此外，图像传感器1的图像信号读出部在来自系统1的第1像素群的1帧的图像信号的读出期间内，从系统2中读出第2像素群的图像信号。闪烁检测部34(从水平有效像素亮度值平均化部61到行地址转换部74的各部)通过第2像素群的图像信号，根据周期性产生的闪烁帧数检测光源的闪烁频率。闪烁校正部(校正运算部82等)对在包含来自系统2的第2像素群的读出期间的期间内读出的第1像素群的图像信号进行增益校正。\n[0078] 此外，闪烁检测部(水平有效像素亮度值平均化部61～帧亮度平均值闪烁周期判定部64的各部)根据周期性产生的闪烁帧数检测光源的闪烁频率。然后，闪烁检测部对由来自系统1的第1像素群构成的图像的读出周期与所检测出的光源的闪烁频率进行比较，从而判定来自第1像素群的取得图像是否产生了面闪烁。闪烁校正部(校正运算部82)在通过闪烁检测部的判定而判定为来自第1像素群的取得图像产生面闪烁的情况下，对处于与从系统2读出的图像对应的时间内的从第1像素群读出的图像信号的亮度输出统一进行增益校正。\n[0079] 此外，闪烁检测部(水平有效像素亮度值平均化部61、亮度比较部73、1次存储存储器72)根据周期性产生的闪烁帧数检测光源的闪烁频率。然后，闪烁检测部对由来自系统1的第1像素群构成的图像的读出周期与所检测出的光源的闪烁频率进行比较，判定来自第1像素群的取得图像是否产生了行闪烁。闪烁校正部(校正运算部82)在通过闪烁检测部的判定而判定为来自第1像素群的取得图像产生了行闪烁的情况下，针对处于与通过来自系统2的第2像素群读出的图像对应的配置的从第1像素群读出的各帧图像信号的亮度输出，进行帧内的亮度增益校正。\n[0080] 如上，在本实施方式中，从图像传感器1进行系统1的图像数据的读出。这种情况下，在动态图像摄影时和实时取景显示用图像取得时，与摄影用的帧率同步地进行图像数据的读出。另一方面，与系统1的读出帧率相比，以高速从图像传感器1进行系统2的图像数据的读出。使用图6所示的时序图说明此时的读出动作。\n[0081] 图6是示出在图像传感器1的系统1和系统2中的图像数据的读出定时的时序图。图\n6的最上层的(a)表示外部输入垂直同步信号的定时，下一层的(b)表示系统1的垂直同步信号。而且，第3层的(c)表示从系统1输出的图像数据。系统1的图像数据在期间t10～t20、t20～t30、t30～t40、···中分别为1帧的图像。\n[0082] 此外，图6的第4层的(d)表示系统2的垂直同步信号。而且，第5层的(e)表示从系统\n2输出的图像数据。系统2的图像数据在期间t10～t11、t11～t12、t12～t13、···中分别为1帧的图像。因此，在图6所示的例子中，在从系统1中读出1帧的图像数据的期间内，从系统2中读出4帧的图像数据。为了简化图像处理，优先在从系统1读出1帧图像数据的期间内，从系统2中读出整数倍的帧。\n[0083] 在闪烁的校正时，首先，使用图6的最下层的(e)所示的来自系统2的图像数据，对水平行的亮度平均值与垂直行的亮度平均值进行比较。具体而言，在亮度比较部71中，在画面上下比较读出图像的水平行的亮度平均值，若上下存在差异，则能够检测为产生了行闪烁。\n[0084] 此外，水平有效行亮度值平均化部62对各读出行的平均值求出加法平均，计算每帧的画面整体的亮度平均值(面平均亮度)。针对该计算出的每帧的面平均亮度值，按照每个帧周期进行比较，若存在变化，则能够检测为产生了面闪烁。\n[0085] 行亮度校正增益计算部73根据各检测行的平均亮度值计算行闪烁的校正增益量等校正数据。在该校正数据的计算时，作为一例，以各检测行的平均亮度值为基准计算校正增益量等校正数据。然而，不限于该例，除了以平均亮度值为基准以外，还可以以伴随闪烁的最大亮度值或最低亮度值为基准计算校正增益量。\n[0086] 由所述的行亮度校正增益计算部73计算出的行闪烁的校正增益量等信息被输出给行地址转换部74。在行地址转换部74中，以与系统1的图像的行地址对应的方式，附加所述行闪烁的校正增益量和对应的系统1的行地址信息，将信息转发给校正值增益调整部81。\n[0087] 在校正值增益调整部81中，根据与从行地址转换部74转发的行闪烁的校正增益量的信息对应的系统1的行地址信息，通过插值运算来计算对计算系统1的图像输出的进行增益校正的值。该插值手法对闪烁的明暗的时间变化进行线性插值，或根据作为光源的电灯等的照明的闪烁波形(全波整流后的交流波形的亮度变化)，使用近似曲线(例如，拉格朗日插值等)的近似特性，进行校正值的计算。\n[0088] 接着，使用图7A～图10所示的流程图，说明本实施方式的闪烁校正的动作。这些流程是按照存储于存储器(未图示)的程序，通过由CPU21控制各部分来执行的。\n[0089] 在相机的电源接通时(S1)，开始动作。相机开始动作后，首先，执行帧率的初始动作(S3)。这里，从图像传感器1进行图像数据的读出。这种情况下，从系统2中以高速帧率进行图像数据的读出。在图6所示的例子中，在从系统1中读出1帧的情况下，从系统2中读出4帧的图像数据。\n[0090] 以帧率进行读出后，接着计算各帧的平均亮度(S5)。这里，水平有效像素亮度值平均化部61按照所取得的高速帧图像的每帧计算平均亮度值。\n[0091] 进行了平均亮度值的计算后，接着，进行帧闪烁周期的检测(S7)。这里，使用在步骤S5中取得的高速帧图像的平均亮度值，检测每帧的亮度变化(闪烁)的周期。即，根据各帧图像的平均亮度的变化周期检测光源闪烁的闪烁频率。作为闪烁频率，例如，在商用频率为\n60Hz的荧光灯点亮的情况下，各帧图像的闪烁周期为商用频率的2倍，即显现出120Hz的重复频率。\n[0092] 检测到帧闪烁周期后，接着确定动态图像帧率(S9)。这里，根据在步骤S7中检测出的光源闪烁的闪烁频率，确定图像传感器1的系统1的行(称作主流(メインストリーム))的读出帧率。具体地，系统1的读出用的帧率设定为与在步骤S7中检测出的光源闪烁的闪烁频率同步的帧率。若设系统1的读出帧率为f1(fps)，所检测出的光源闪烁的闪烁频率为fr(fps)，则设定为处于f1＝fr/n(n：整数)的关系的帧率。\n[0093] 在步骤S9中设定了帧率后，以规定的周期执行动态图像信息流动作的子程序作为间隔中断处理。后面使用图9A、图9B描述该动态图像信息流动作的详细动作。\n[0094] 接着，开始实时取景动作(S11)。这里，以步骤S9设定的帧率f1从图像传感器1的系统1中取得图像数据，在显示设备52上进行实时取景显示。\n[0095] 开始了实时取景后，接着进行闪烁校正动作(S12)。这里，在取得实时取景图像的过程中，实时检测取得图像的闪烁，校正因闪烁导致的亮度变动。后面使用图8描述该闪烁校正的详细动作。\n[0096] 进行了闪烁校正动作后，接着判定是否执行了动态图像记录按钮(未图示)的按下(S13)。摄影者在观察实时取景显示的同时确定动态图像摄影开始的定时后，按下动态图像记录按钮。因此，在该步骤中，判定是否按下了动态图像记录按钮。\n[0097] 在步骤S13的判定结果为未按下动态图像记录按下按钮的情况下，接着判定是否执行了静态图像记录按钮(未图示)的按下(S15)。在摄影者观察实时取景显示并确定静态图像摄影的定时后，按下静态图像记录按钮(也称作快门按钮)。因此，在该步骤中，判定是否按下了静态图像记录按钮。该判定结果为未按下静态图像记录按钮的情况下，返回步骤S11，更新实时取景显示。\n[0098] 在步骤S15的判定结果为按下了静态图像记录按钮的情况下，开始静态图像摄影中断动作(S17)。这里，中断实时取景显示动作和动态图像信息流动作，发行开始静态图像摄影的中断动作。发行了该中断动作后，执行静态图像摄影。为进行静态图像摄影，使成像于图像传感器1上的被摄体像曝光。从图像传感器1的系统1和系统2双方读出静态图像摄影数据。曝光时间是根据动态图像信息流(S100)中得到的AE运算结果确定的(相当于快门速度)，在该曝光时间的期间内进行曝光动作。\n[0099] 经过了曝光时间后，进行静态图像数据的读入，判定静态图像数据的读入是否结束(S19)。在静态图像图像的读出结束后，表示内部处理的状态的静态图像数据读入结束标记会被设置，因此根据该结束标记进行判定。在未设置该结束标记的状态下，继续进行步骤S19的判定动作。\n[0100] 在步骤S13的判定结果为按下了动态图像记录按钮时，转移至动态图像摄影的处理。首先，开始动态图像摄影中断(S31)。这里，作为内部处理，设置开始动态图像摄影记录的状态、即动态图像中断发行。\n[0101] 接着，变更为动态图像主流记录用动作条件(S33)。这里，设定为将图像传感器1的摄像动作变更为动态图像摄影动作的定时。动态图像摄影时的帧率为在步骤S9中设定的帧率或摄影者在选单画面等上设定的帧率或相机在动态图像摄影时自动设定的帧率。以所设定的帧率从图像传感器1的系统1中读出图像数据。另外，动态图像主流指的是读出从图像传感器1的第1像素群中取得的图像。\n[0102] 接着，进行闪烁校正动作(S34)。在步骤S33中，将从系统2读出的帧率设定为与从图像传感器1的系统1读出的帧率相同或更高速。使用从该系统2中读出的图像数据，计算闪烁校正的校正增益量。进而，按照转换地址，对从系统1中读出的图像数据进行闪烁校正。该步骤S34的动作与步骤S12的动作相同，后面使用图8描述闪烁校正动作的详细动作。\n[0103] 进行了闪烁校正动作后，接着，进行动态图像记录用图像处理(S35)。这里，对通过闪烁校正动作(S34)进行了闪烁校正处理的、从系统1输出的动态图像记录用读出数据进行数据压缩、符号化处理，以对应于动态图像记录形式。\n[0104] 进行了动态图像记录用图像处理后，接着判定是否按下了动态图像记录结束按钮的或经过了规定时间(S37)。判定是否按下了用于指示动态图像记录结束的动态图像记录结束按钮，或是否经过了预先指定的记录时间。在步骤S37的判定处理的结果为“否”的情况下，返回步骤S34，进行闪烁校正并继续进行动态图像摄影。\n[0105] 在步骤S37的判定处理的结果为“是”的情况下，发行动态图像数据的读入结束标记(S38)。这里，设定用于设定动态图像数据的读入结束状态的结束标记。\n[0106] 在步骤S38中发行了结束标记后，或步骤S19的判定结果为静态图像数据读入结束的情况下，判断是否按下了电源关闭按钮(未图示)(S39)。这里，判定是否按下了用于关闭电源的电源关闭按钮。在该判定结果为未按下电源关闭按钮的情况下，返回步骤S11。另一方面，在按下了电源关闭按钮的情况下，转移至电源关闭处理，成为电源关闭状态(S40)，结束相机动作。\n[0107] 接着，使用图8所示的流程图，说明步骤12、S34的闪烁校正动作的详细动作。进入闪烁校正动作的流程后(S51)，首先，判定记录帧率与动态图像信息帧率是否相等(S53)。这里，记录帧率是从图像传感器1的系统1中读出的图像数据的帧率，动态图像信息帧率是从图像传感器1的系统2中读出的图像数据的帧率。另外，从系统1中读出的图像数据如上所述，包含动态图像摄影时的记录图像和实时取景显示用的显示图像。\n[0108] 在步骤S53的判定结果为记录帧率与动态图像信息帧率一致的情况下，存在在动态图像的各帧内产生明暗部分即产生所谓行闪烁的可能性。因此，在步骤S55以后，进行行闪烁的校正处理。\n[0109] 在进行行闪烁校正处理时，首先，进行动态图像主流数据的读入(S55)。这里，从图像传感器1的系统1中，以所设定的帧率周期性读出动态图像。\n[0110] 接着，对动态图像数据赋予帧编号(S57)。这里，对从图像传感器1的系统1中读出的图像数据，以使得动态图像的各帧按顺序排列的方式赋予帧编号。\n[0111] 对动态图像数据赋予了帧编号后，接着，进行相应帧的帧内校正数据的读入(S59)。这里，进行在行亮度校正增益计算部73中计算出的校正增益量和通过行地址转换部\n74转换的行地址等校正数据的读入。另外，该行闪烁校正用的校正数据在按照每帧被计算出后，暂时存储于缓冲存储器中，从存储器中读出。\n[0112] 进行了校正数据的读入后，接着进行动态图像各帧数据的校正处理(S61)。这里，对于在步骤S55中读出的系统1的图像数据，在步骤S59中，使用读入的校正数据，由校正运算部82(参照图5)进行行闪烁校正。即，针对通过行地址转换部74求出的行地址的图像数据，使用对通过行亮度校正增益计算部73计算的校正增益量进行适合系统1的图像的校正值增益调整后的值，进行行闪烁校正，使得在各帧图像内亮度均匀。\n[0113] 步骤S53的判定结果为记录帧率与动态图像信息帧率不一致的情况下，存在在动态图像的每帧产生明暗部分即产生面闪烁的可能性。因此，在步骤S63以后，进行面闪烁的校正处理。\n[0114] 在进行面闪烁校正处理时，首先进行动态图像主流数据的读入(S63)。这里，与步骤S55同样地，从图像传感器1的系统1中，以所设定的帧率周期性读出动态图像。\n[0115] 接着，对动态图像数据赋予帧编号(S65)。这里，与步骤S57同样地，对从图像传感器1的系统1中读出的图像数据，以使得动态图像的各帧按顺序排列的方式赋予帧编号。\n[0116] 在对动态图像数据赋予了帧编号后，接着进行对应于相应帧编号的每帧校正数据的读入(S67)。这里，进行在帧亮度校正增益计算部65中计算的校正增益量等校正数据的读入。该校正数据根据每帧的平均亮度校正面闪烁。另外，该面闪烁校正用的校正数据可以在按照每帧被计算出后，暂时存储于缓冲存储器中，从该缓冲存储器中读出。\n[0117] 进行了校正数据的读入后，接着进行动态图像各帧数据的校正处理(S69)。这里，对在步骤S63中读出的系统1的图像数据，在步骤S67中，使用读入的校正数据，由校正运算部82(参照图5)进行面闪烁校正。即，使用在步骤S67中读出的每帧校正数据，以使得平均亮度在各帧相同的方式，对各帧的图像整体进行亮度校正。\n[0118] 在步骤S61或步骤S69中，进行了行闪烁校正或面闪烁校正的处理后，接着进行动态图像记录数据的暂时记录(S71)。这里，暂时存储在步骤S61或S69中进行了闪烁校正后的动态图像的图像数据。在实时取景显示时，根据该暂时记录的图像数据显示实时取景图像(图7A的S11)。此外，在动态图像摄影时，使用暂时记录的图像数据生成记录用的图像数据并进行记录(图7B的S35)。在进行了数据的暂时记录后，结束闪烁校正动作，返回原本的流程。\n[0119] 这样，在本流程中，根据记录帧率与动态图像信息帧率的比较结果(S53)，进行行闪烁校正(S55～S61)或面闪烁校正(S63～S69)。根据光源的发光波形，记录帧率与动态图像信息帧率不一致的情况下，有时也会在面闪烁内产生行闪烁。这种情况下，无关步骤S53的判定，首先使行亮度校正增益计算部73和帧亮度校正增益计算部65同时动作。接着，通过校正值增益调整部81合成在步骤S59中读入的帧内校正数据与在步骤S67中读出的每帧校正数据，从而能够进行适当的校正。作为此时的合成处理，将在步骤S59中读入的帧内校正数据与在步骤S67中读出的每帧校正数据相乘，对相乘后的校正数据微调增益校正，该增益校正是以使得图像不会出现泛白的方式对图像整体进行的统一的负校正。\n[0120] 接着，使用图9A、9B所示的流程图，说明步骤100的动态图像信息流处理的详细动作。该动态图像信息流处理是在执行了步骤S9(实时取景显示前，参照图7)后，以后作为按照每个规定周期实施的任务处理(间隔任务处理)而产生和执行的处理进程。如上所述，在实时取景显示中，在步骤S12进行闪烁校正，另外在动态图像摄影中，在步骤S34进行闪烁校正。该动态图像信息流处理生成用于进行闪烁校正的校正数据。\n[0121] 开始了动态图像信息流动作后(S101)，首先进行动态图像信息流的帧率的确定(S103)。这里，确定从图像传感器1的系统2进行读出的帧率。该动态图像信息流的帧率f2是从图像传感器1的系统1中读出的动态图像主流的帧率的整数倍的帧率。\n[0122] 进行了动态图像信息流速率的确定后，接着开始动态图像信息流的动作(S105)。\n这里，以在步骤S103中设定的动态图像信息流的帧率，从图像传感器1的系统2中读出图像数据。\n[0123] 在步骤105中开始了动态图像信息流的动作后，接着，对从动态图像信息流读出的数据进行数据处理(S109)。这里，使用从图像传感器1的系统2读出的图像数据，检测焦点状态、曝光状态和色温度状态。可以使用来自系统2的图像数据，取得图像的对比度信息，从而进行检测焦点状态。然后，以使该取得的对比度信息成为最大的方式驱动摄影镜头11内的对焦镜头。根据焦点状态，进行基于所谓的对比度检测方式实现的自动焦点调节(AF)。\n[0124] 此外，曝光状态是通过图像传感器1摄像时的图像数据的亮度状态。关于该曝光状态，首先根据系统2的图像数据，检测被摄体亮度。然后，根据该被摄体亮度，以使得摄影图像成为最佳曝光状态的方式，调整光学系的光圈开口量、图像传感器1的灵敏度(增益)。根据曝光状态，进行自动曝光控制(AE)。\n[0125] 色温度状态表示从图像传感器1输出的3原色的色信号的输出平衡的状态。具体地，根据系统2的图像数据，检测摄影图像的色温度状态，以使得摄影图像为最佳的色温度的方式，调整图像传感器1的3原色的输出平衡。该3原色的输出平衡的调整也被称作白平衡调整。进而，关于该调整，根据通过从被摄体像取得的图像数据检测出的任意的色温度状态，进行逐次调整为目标的色温度状态的自动白平衡(AWB)等。\n[0126] 对从动态图像信息流中读出的数据进行了数据处理后，接着判定是否存在动态图像记录的中断请求(S111)。在摄影者开始动态图像摄影的情况下，按下动态图像记录按钮，此时产生动态图像中断请求。在该步骤中，判定是否产生了该动态图像中断请求。\n[0127] 在步骤S111的判定结果为不存在动态图像记录的中断请求的情况下，接着判定是否存在静态图像摄影的中断请求(S113)。在摄影者进行静态图像的摄影的情况下，按下静态图像摄影按钮(也被称作快门释放按钮)，此时产生静态图像摄影中断请求。在该步骤中，判定是否产生了该静态图像摄影中断请求。在该判定结果为未产生静态图像摄影中断请求的情况下，返回步骤S105。\n[0128] 另一方面，在步骤S113的判定结果为产生了静态图像摄影中断请求的情况下，执行静态图像读入动作(S115)。这里，使用来自图像传感器1的所有像素的图像数据取得静态图像图像数据。后面使用图10描述该静态图像读入动作的详细动作。\n[0129] 接着，进行是否存在静态图像数据读入结束标记的判定(S117)。这里，执行步骤S115的中断处理动作，判定该中断处理动作是否已结束。在该判定结果为未结束的情况下，返回步骤S117，等待结束。另一方面，若判定结果为结束，则返回步骤S105。\n[0130] 在步骤S111的判定结果为存在动态图像记录的中断请求的情况下，接着判定N×记录帧率与动态图像信息流帧是否一致(S121)。这里，判定动态图像摄影时的记录帧率(从图像传感器1的系统1中进行读出时的帧率)的整数倍(整数N＝1、2、3、4、···)与动态图像信息流帧率(从图像传感器1的系统2中进行读出时的帧率)是否一致。即，判定动态图像摄影时的记录帧率与动态图像信息流帧率是否同步。\n[0131] 在步骤S121的判定结果为“否”的情况下、即N×记录帧率与动态图像信息流帧率不一致的情况下，以与动态图像摄影时的记录帧率同步的方式，变更帧率(S122)。这里，将动态图像信息流的帧率变更为记录帧率的整数倍。\n[0132] 在步骤S121的判定结果为“是”的情况下，或在步骤S122中进行了动态图像信息流的帧率的变更后，接着检测动态图像主流帧的编号(S123)。这里，对于在动态图像主流中按照时间序列依次摄影的各帧图像，检测对应于时间序列的动态图像主流帧编号。\n[0133] 在进行了动态图像主流帧编号的检测后，接着判定记录帧率与动态图像信息流帧率是否一致(S125)。这里，在动态图像摄影时，判定从图像传感器1的系统1中读出的记录帧率与从图像传感器1的系统2中读出的动态图像信息流帧率是否一致。\n[0134] 在步骤S125的判定结果为“是”的情况下(即，记录帧率与动态图像信息流帧率一致的情况)，作为动态图像信息流帧而取得的来自系统2的各帧图像由于光源的闪烁而成为在1帧内产生明暗的部分的所谓行闪烁状态。因此，在步骤S127～S132中，生成用于行闪烁校正的校正数据。在该行闪烁校正时，从动态图像信息流中检测各帧图像内的行闪烁的明暗的差信息、产生明暗的位置信息，在步骤S132中记录这些信息。根据该记录的信息，在步骤S12、S34中，对从图像传感器1的系统1中读出的摄影图像，进行行闪烁校正。\n[0135] 首先，进行动态图像信息流帧内的行闪烁检测(S127)。这里，通过亮度比较部71(参照图5)，在1帧的图像内，检测产生行闪烁的位置和明暗差等。\n[0136] 在步骤S127中进行了行闪烁的检测后，接着进行帧内校正数据的生成(S129)。这里，根据在步骤S127中检测出的行闪烁的信息，由行亮度校正增益计算部73等生成对各帧内的因行闪烁而导致的亮度变化进行校正的亮度校正数据(读出行地址和与之对应的平均亮度和峰值/谷底的亮度值的差、亮度的峰值产生位置的地址、亮度校正增益量等)。\n[0137] 生成了帧内校正数据后，接着附加对应的动态图像主流的帧编号(S131)。这里，使用在步骤S129生成的帧内校正数据，对由对应的动态图像主流取得的帧图像(来自系统1的图像数据)，附加帧编号。\n[0138] 接着，进行帧内校正数据和对应的主流的帧编号的记录(S132)。这里，将在步骤S129中生成的帧内校正数据的信息和在步骤S131中生成的对应的动态图像主流的帧编号的信息记录于缓冲存储器(未图示)中。\n[0139] 在前述的步骤S125的判定结果为记录帧率与动态图像信息流帧率不一致的情况下，通过动态图像信息流取得的图像数据(来自系统1的图像数据)处于不存在光源的闪烁导致的1帧内的明暗部分的差的状态。亦即，处于以时间序列取得的各帧图像的平均亮度与光源闪烁周期联动变化的所谓面闪烁状态。因此，在步骤S141～S147中，生成用于面闪烁校正的校正数据。\n[0140] 首先，检测动态图像信息流每帧的平均亮度(S141)。这里，根据动态图像信息流(来自系统2的图像数据)，由帧亮度平均值闪烁周期判定部64(参照图5)计算各帧图像的面平均亮度。然后，，检测成为峰值/谷底(最大亮度/最小亮度)的帧的平均亮度相对于各帧的平均亮度的差，以及按照时间序列产生明暗的帧信息(对应的帧编号)。\n[0141] 接着，按照每个帧编号生成校正数据(S143)。这里，根据在步骤S141中检测的面闪烁信息，由帧亮度校正增益计算部65(参照图5)计算对于按照时间序列取得的帧图像(从系统1取得的)的每帧的亮度校正数据，生成校正数据。\n[0142] 生成了校正数据后，接着附加对应的动态图像主流的帧编号(S145)。这里，对在步骤S143中生成的校正数据赋予帧编号。\n[0143] 接着，记录每个帧编号的校正数据和对应的主流的帧编号(S146)。这里，将在步骤S143中生成的每个帧编号的校正数据和在步骤S145中处理后的动态图像主流的帧编号信息记录于缓冲存储器(未图示)中。\n[0144] 在步骤S132或步骤S146中进行了记录后，接着判定是否存在动态图像记录结束标记(S133)。在摄影者结束动态图像摄影的情况下，在按下了动态图像记录结束按钮时即为动态图像记录结束。另外，若经过了规定时间也为动态图像记录结束。成为动态图像记录结束后，会发行动态图像记录结束标记，因而在该步骤中，根据有无动态图像记录结束标记进行判定。在该判定结果为不存在动态图像记录结束标记的情况下，返回步骤S123，另一方面，在存在动态图像记录结束标记的情况下，返回步骤S105。\n[0145] 如上，按照每个规定周期执行动态图像信息流动作。在该子程序中，生成用于进行闪烁校正动作的校正数据，并进行暂时记录。\n[0146] 接着，使用图10所示的流程图，说明步骤S115(参照图9A)的静态图像中断动作的详细动作。如上所述，作为静态图像读入动作，在步骤S17(参照图7)中静态图像摄影中断动作开始时，发行了标记后，在步骤S115中执行静态图像中断动作。\n[0147] 开始了静态图像中断动作后(S201)，首先停止动态图像流和动态图像信息流的动作(S203)。这里，停止从图像传感器1的系统1和系统2这两个系统读出图像数据。\n[0148] 接着，进行静态图像数据读入结束标记的重置(S205)。这里，重置表示静态图像数据的读入结束的标记即静态图像数据读入结束标记。\n[0149] 进行了静态图像数据读入结束标记的重置后，接着进行静态图像曝光动作(S207)。这里，进行静态图像曝光动作。具体地，重置图像传感器1的各像素，通过预先确定的光圈值，在预先确定的曝光时间(快门速度)的期间内，在图像传感器1中对被摄体像进行曝光，在各像素上蓄积光电转换电流。\n[0150] 接着，判定曝光是否结束(S209)。这里，判定是否经过了曝光时间，持续进行曝光动作直到经过曝光时间为止。另一方面，经过了曝光时间后，结束曝光。\n[0151] 若步骤S209的判定结果为曝光结束，则接着进行静态图像数据的输出(S211)。这里，输出基于通过曝光动作蓄積的光电转换电流的图像数据，并将其记录于存储器中。接着，判定静态图像数据输出是否结束(S213)。在步骤S213的判定处理的结果判定为未结束的情况下，返回步骤S211。\n[0152] 若步骤S213的判定结果为静态图像数据输出结束，则发行静态图像数据读入结束标记(S215)。这里，发行在步骤S205中重置的静态图像读入结束标记。发行了结束标记后，结束静态图像读入动作(S217)。\n[0153] 如上所述，在本发明的1个实施方式中，在从图像传感器1通过系统1和系统2这至少2个系统输出图像数据的情况下，将来自系统1的图像数据用作实时取景显示用和动态图像摄影用的图像数据。然后，使用来自系统2的图像数据进行闪烁检测，使用该检测结果对来自系统1的图像数据进行闪烁校正。因此，对于高速相机那样的高速的帧率的动态图像或帧率可变的动态图像，也能够实时且适当地校正闪烁。\n[0154] 此外，在本发明的1个实施方式中，能够检测行闪烁和面闪烁。因此，在画面内产生明暗的情况下以及在时间序列的画面上产生明暗的情况下，能够去除明暗差，获得不存在不适感的图像。\n[0155] 另外，在本发明的1个实施方式中，对实时取景显示和动态图像摄影双方实施了闪烁校正。然而不限于此，当然也可以仅对其中任意一方进行闪烁校正。此外，对面闪烁和行闪烁双方实施了校正。然而不限于此，当然也可以仅对其中任意一方进行闪烁校正。\n[0156] 此外，在本实施方式中，作为用于摄影的设备，使用数字相机进行了说明。然而，作为相机，既可以是数字单反相机也可以是紧凑型数字相机。此外，还可以是摄像机、摄影机等动态图像用的相机。进而，还可以是内置于移动电话、智能手机、移动信息终端(PDA：\nPersonal Digital Assist：个人数字助理)、个人计算机(PC)、平板型计算机、游戏设备等中的相机。无论何种情况，只要是能够通过多个系统进行图像的读出的摄像装置，就能够应用本发明。\n[0157] 此外，关于本说明书中说明的技术中主要由流程图说明的控制，大多可通过程序设定，有时能够存储于记录介质或记录部中。作为在该记录介质、记录部中的记录方式，既可以在产品出厂时记录，也可以使用所发布的记录介质，还可以经由因特网下载。\n[0158] 此外，关于权利要求书、说明书和附图中的动作流程，为了方便起见使用“首先”、“接着”等的表现顺序的用词进行了说明，然而在未特别说明的情况下，并不意味必须按照该顺序加以实施。\n[0159] 本发明不仅限于所述实施方式，在实施阶段可以在不脱离其主旨的范围内变形构成要素并具体实现。此外，通过在所述实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如，可以删除实施方式所示的所有构成要素中的某几个构成要素。进而，还可以适当组合不同实施方式中的构成要素。