时分复用补光成像装置和方法

暂无

时分复用补光成像装置和方法\n技术领域\n[0001] 本发明涉及一种补光成像的技术领域，特别是涉及一种时分复用补光成像的装置和方法。\n背景技术\n[0002] 随着图像应用的快速发展，对图像采集设备在低照度下的成像质量要求越来越高。低照度环境相比照度正常的场景，成像质量会有下降，主要表现为图像亮度降低和噪点增加。导致成像质量下降的最大因素为成像传感器的进光量减弱，其输出信号的信噪比降低。对此，常用的解决方案有两种，一种方案是提高低照度下图像传感器的可见光进光量，即使用可见光补光设备进行补光。可见光补光虽然提高了图像亮度，但是高亮度的可见光补光对被拍摄物体会有干扰，造成影像过曝失真。另一种方案是采用红外成像，这种方式虽然在对被拍摄物体没有明显干扰的情况下能够获得足够的图像亮度，但是却无法很好的获取物体的真实色彩信息。\n[0003] 因此，在低照度环境下，如何在不干扰被拍摄物体的同时获取具有真实色彩信息和合适亮度的图像，成为了一个亟待解决的问题。\n发明内容\n[0004] 本申请提供了一种时分复用补光成像的方法及应用该方法的装置，通过时分复用的可见光帧和补光帧生成方式，将生成一个合成帧所需的可见光帧和补光帧由同一个图像传感器来生成，有效简化了成像光路和成像设备，更加高效的生成合成帧。\n[0005] 第一方面，本申请提供一种补光成像装置，可以包括图像传感器、光学单元、补光单元以及处理器。其中，图像传感器用于交替生成可见光帧和补光帧。此处交替生成补光帧和可见光帧时生成第一帧的种类不做限定，既可以是可见光帧，也可以是补光帧。交替是指轮流生成所述两种图像帧，比如奇帧都生成可见光帧偶帧都生成补光帧，或者每生成两个可见光帧生成一个补光帧，或每生成一个可见光帧生成两个补光帧等，此处不做限定。光学单元用于使光线在图像传感器上成像。补光单元用于在生成补光帧时为拍摄对象进行补光。处理器用于将相邻或连续的可见光帧与补光帧进行合成，生成合成帧。与现有技术相比，所述补光成像装置通过时分复用的方式使用同一个图像传感器交替生成可见光帧和补光帧，使得生成一个合成帧所需的可见光帧和补光帧不再需要多个图像传感器来完成，有效减少了成像设备的生产成本和成像光路设计难度。\n[0006] 根据第一方面，在第一方面的第一种可能实现方式中，处理器可以用于控制补光单元的开关，具体的，当图像传感器开始生成补光帧时，处理器控制补光单元开始补光，当图像传感器结束生成补光帧时，处理器控制补光单元停止补光。可选的，也可以当图像传感器结束生成可见光帧时，处理器控制补光单元开始补光，当图像传感器开始生成可见光帧时，处理器控制补光单元结束补光，在此不做限定。处理器控制补光单元交替补光的方式，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧，提高了图像传感器利用效率。\n[0007] 根据第一方面，在第一方面的第二种可能实现方式中，光学单元可以用于控制能够照射到图像传感器上的光线的类型，可以当图像传感器开始生成补光帧时，处理器控制光学单元使补光光线能够照射到图像传感器上，可以当图像传感器开始生成可见光帧时，处理器控制光学单元使补光光线不能照射到图像传感器上。可选的，也可以当图像传感器结束生成补光帧时，处理器控制光学单元使补光光线不能照射到图像传感器上，可以当图像传感器结束生成可见光帧时，处理器控制光学单元使补光光线能够照射到图像传感器上，此处不做限定。处理器通过控制光学单元交替改变补光光线在光学单元中的可通过性，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧。\n[0008] 根据第一方面的第二种能实现方式，在第一方面的第三种可能实现方式中，光学单元可以包含滤光片切换装置和单通滤光片，前述单通滤光片用于滤除光学单元的成像光路中除可见光以外的其他类型光线，滤光片切换装置用于将单通滤光片置入或移出光学单元的成像光路。具体的，处理器用于在图像传感器开始生成补光帧时控制滤光片切换装置将单通滤光片置于光学单元成像光路之外，在图像传感器开始生成可见光帧时控制滤光片切换装置将单通滤光片置于光学单元的成像光路上。可选的，也可以当图像传感器结束生成补光帧时，处理器控制滤光片切换装置将单通滤光片置于光学单元的成像光路上，当图像传感器结束生成可见光帧时，处理器控制滤光片切换装置将单通滤光片置于光学单元成像光路之外，此处不做限定。通过滤光片切换装置切换滤光片，交替改变补光光线在光学单元中的可通过性，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧。\n[0009] 可选的，在光学单元中还可以包含双通滤光片，来滤除成像光路中除可见光和补光光线以外的其他光线。滤除除可见光和补光光线以外的其他光线，能够在成像时排除其他光线的干扰，提高成像质量。\n[0010] 可选的，处理器可以用于将相邻的一个可见光帧与一个补光帧进行合成，生成合成帧。相邻可见光帧和补光帧生成间隔短，生成的合成帧运动模糊较小，图像更清晰。\n[0011] 可选的，处理器可以用于将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。使用多个可见光帧和多个补光帧进行合成，能够丰富图像信息，减少合成时的误差。\n[0012] 可选的，补光成像装置中的图像传感器数量可以为一个。由于可见光帧和补光帧的生成可以由同一个图像传感器完成，补光成像装置中可以只设置一个图像传感器，减小了设备体积，避免了多传感器时的复杂光路，降低设备成本和设计制造难度。\n[0013] 可选的，合成帧的色彩信息可以采用可见光帧的色彩信息，合成帧的亮度信息可以采用补光帧的亮度信息。合成帧采用可见光帧的色彩信息和补光帧的亮度信息，兼顾了图像的亮度和色彩，使得得到的合成帧在保证亮度足够的同时丰富了图像的色彩。\n[0014] 可选的，补光单元的补光光线可以为红外线。红外线穿透能力较强，不易被遮挡，且应用成本较低。\n[0015] 可选的，补光成像装置中可以包括环境光检测单元，用于检测环境光照度；例如光敏电阻或其它检测元件。当环境光检测单元检测到环境光照度等于或小于预设值时图像传感器开始交替生成可见光帧和补光帧。在另外一种实现方式中，也可以通过图像传感器来检测环境光照度，具体的可以将图像传感器的增益值高低作为环境光照度强弱的判断标准，将预设值环境光照度情况下的图像传感器增益值作为预设增益值，当增益值等于或大于预设增益值时，图像传感器开始交替生成可见光帧和补光帧。在环境光照度较高时不需补光就能获得高质量图像，通过检测环境光在照度低至预设值的时候再启用补光成像，有助于节约电能，以及延长补光设备使用寿命。\n[0016] 可选的，处理器还可以用于在环境光照度等于或小于前述预设值时提高图像传感器的图像帧采集帧率。在一种可能的实现方式中，处理器在环境光照度等于或小于前述预设值时，将图像传感器的图像帧采集帧率提高到环境光照度大于前述预设值时的n倍，n为生成一个合成帧所需要的可见光帧和补光帧的数量之和。在开始进行补光成像时提高采集帧率，有助于减少合成帧输出时的帧率下降，以减少输出画质的下降；当采集帧率提高到不采用补光成像时采集帧率的n倍，且n为生成一个合成帧所需要的可见光帧和补光帧的数量之和时，合成帧的输出帧率将等于不采用补光成像时的输出帧率，切换成像模式时画质能够维持一个较稳定的输出，提升用户体验。\n[0017] 第二方面，本申请提供一种终端设备，可以包括第一方面及第一方面所有可能实现方式中任意一种方式所述的补光成像模块，还可以包括主处理模块。主处理模块用于对合成帧进行图像处理。终端设备包含前述补光成像模块，能够实现在低照度下获取高质量图像，并对获取的图像进行进一步处理，而且终端设备中只需含有一个图像传感器，节省设备空间，降低设备成本，提高用户体验。\n[0018] 可选的，终端设备还可以包含通信模块，用于将合成帧对应的图像或视频通过接口传输或无线发射的方式发送给其它设备。与其他设备传输合成帧对应的图像或视频，能够满足用户对合成帧对应的图像或视频的处理需求，比如转移存储或与其他用户交互，进而提升用户体验。\n[0019] 第三方面，本申请提供一种补光成像方法，包括：使用一个图像传感器交替生成可见光帧和补光帧，可见光帧为图像传感器接收可见光且不接收补光光线时生成的图像帧，补光帧为图像传感器接收补光光线时生成的图像帧；将相邻或连续的可见光帧与补光帧进行合成得到合成帧。此处交替生成补光帧和可见光帧时生成第一帧的种类不做限定，既可以是可见光帧，也可以是补光帧。交替是指轮流生成所述两种图像帧，比如奇帧都生成可见光帧偶帧都生成补光帧，或者每生成两个可见光帧生成一个补光帧，或每生成一个可见光帧生成两个补光帧等，此处不做限定。\n[0020] 根据第三方面，在第三方面的第一种可能实现方式中，可以在开始生成补光帧时对拍摄对象进行补光，可以在结束生成补光帧时停止补光。可选的，也可以在结束生成可见光帧时开始补光，可以在开始生成可见光帧时结束补光，在此不做限定。通过交替补光的方式，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧，提高了图像传感器利用效率。\n[0021] 根据第三方面，在第三方面的第二种可能实现方式中，持续对拍摄对象进行补光，可以在开始生成可见光帧时使用单通滤光片滤除照射到图像传感器上的补光光线，可以在开始生成补光帧时停止使用单通滤光片，使补光光线能够照射到图像传感器上。可选的，也可以在结束生成补光帧时使用单通滤光片滤除照射到图像传感器上的补光光线，可以在结束生成可见光帧时停止使用单通滤光片，此处不做限定。通过交替补光的方式，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧，提高了图像传感器利用效率。\n[0022] 可选的，还可以使用双通滤光片来滤除成像光路中除可见光和补光光线以外的其他光线。滤除除可见光和补光光线以外的其他光线，能够在成像时排除其他光线的干扰，提高成像质量。\n[0023] 可选的，可以将相邻的一个可见光帧与一个补光帧进行合成，生成合成帧。相邻可见光帧和补光帧生成间隔短，生成的合成帧运动模糊较小，图像更清晰。\n[0024] 可选的，可以将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。使用多个可见光帧和多个补光帧进行合成，能够丰富图像信息，减少合成时的误差。\n[0025] 可选的，可以提取可见光帧的色彩信息，提取补光帧的亮度信息，将可见光帧的色彩信息和补光帧的亮度信息作为合成帧的色彩信息和亮度信息。合成帧采用可见光帧的色彩信息和补光帧的亮度信息，兼顾了图像的亮度和色彩，使得得到的合成帧在保证亮度足够的同时丰富了图像的色彩。\n[0026] 可选的，补光帧为图像传感器接收补光光线和可见光光线时生成的图像帧，可见光帧为图像传感器仅接收可见光而无所述补光时生成的图像帧。成像时不接收其他光线，能够减少其他光线的干扰，提高成像质量。\n[0027] 可选的，补光光线可以为红外线。红外线穿透能力较强，不易被遮挡，且应用成本较低。\n[0028] 可选的，可以在环境光照度等于或小于预设值时，开始通过一个图像传感器交替生成可见光帧和补光帧。在环境光照度较高时不需补光就能获得高质量图像，通过检测环境光在照度低至预设值的时候再启用补光成像，有助于节约电能，以及延长补光设备使用寿命。\n[0029] 可选的，可以在环境光照度等于或小于前述预设值时，提高图像传感器的图像帧采集帧率。在一种可能的实现方式中，可以在环境光照度等于或小于前述预设值时，将图像传感器的图像帧采集帧率提高到环境光照度大于前述预设值时的n倍，n为生成一个合成帧所需要的可见光帧和补光帧的数量之和。在开始进行补光成像时提高采集帧率，有助于减少合成帧输出时的帧率下降，以减少输出画质的下降；当采集帧率提高到不采用补光成像时采集帧率的n倍，且n为生成一个合成帧所需要的可见光帧和补光帧的数量之和时，合成帧的输出帧率将等于不采用补光成像时的输出帧率，切换成像模式时画质能够维持一个较稳定的输出，提升用户体验。\n附图说明\n[0030] 图1为一种补光成像设备的装置示意图；\n[0031] 图2a为一种合成帧生成效果的示意图；\n[0032] 图2b为一种合成帧生成方式的示意图；\n[0033] 图3为一种补光成像方法的流程示意图；\n[0034] 图4为又一种补光成像方法的流程示意图；\n[0035] 图5为一种补光成像设备的逻辑结构示意图；\n[0036] 图6为又一种补光成像设备的逻辑结构示意图；\n[0037] 图7为一种终端设备的逻辑结构示意图。\n具体实施方式\n[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。\n[0039] 以下讨论的附图和说明以及该专利文档中的各种实施例仅通过举例说明的方式描述本发明的原理，而不应以任何方式理解为对本发明范围的限制。本申请中所称的可见光，为波长大于400nm且小于700nm的电磁波；本申请中所称的非可见光，为波长在可见光波长区间之外的电磁波。本领域普通技术人员将容易了解到本发明的原理可以在任意类型的合适的设备或系统中实施。具体而言，本申请所涉及的时分复用补光成像方法，可以应用于拍照相机和监控摄像机等，尤其是低照度环境下的图像获取，如夜间照相、夜间视频拍摄、低照度环境视频监控等等。本发明实施例中描述的应用场景，装置构成方式，补光光源类型，补光帧曝光频率等是为了更加清楚的说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定。本领域技术人员可知，随着应用场景、装置构成和补光光源类型的改变，本申请实施例提供的技术方案对于类似的技术问题，同样适用。\n[0040] 为方便说明，本申请实施例中的补光光源以红外线光源为例，本申请实施例中的补光帧采用每隔一帧补光一次的方式获取，即只在奇帧曝光或只在偶帧曝光，合成帧的生成由相邻的一个补光帧和一个可见光帧进行合成。须知，本申请中的补光光源可以为红外线光源、紫外线光源、X光光源等能够用于成像的非可见光光源中的一种或多种，在此不做限定。本申请中的可见光帧和补光帧可以采用能够实现本发明目的的任何交替生成方式，即采用任何曝光间隔方式，诸如每隔两个可见光帧曝光一个补光帧，或每隔一个可见光帧曝光两个补光帧等，均符合本申请的技术方案，在此不做限定。相应的，本申请中合成帧的生成，可以由相邻或连续的任意数量可见光帧和曝光帧进行合成，即通过同时包括至少一个可见光帧和至少一个补光帧的连续帧序列来合成一个合成帧的方案均符合本申请的技术方案，在此不做限定。\n[0041] 请参阅图1，为本发明的时分复用补光成像设备一可能实施例的物理结构示意图。\n如图1所示，成像设备100包括补光灯110、镜头120、图像传感器130、滤光片切换装置140和处理器150。在一些可能的实施方式中，成像设备100可能不包含滤光片切换装置140，也可能将滤光片切换装置140替换为固定滤光片。在一些可能的实施方式中，成像设备100还包括光敏电阻160。\n[0042] 补光灯110用于对拍摄对象进行补光，可以实现为红外发光二极管(Light-emitting diode，Led)补光灯，可以采用的发射中心波长包括但不限于760nm、850nm或\n950nm。补光灯110可以在处理器150的控制下开启和关闭。补光灯的开关可以通过开关量或者电平信号进行控制。\n[0043] 镜头120用于捕捉光线以在图像传感器130上成像，实现方式包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。\n[0044] 图像传感器130用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感器130可以通过电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)来实现光信号与电信号的转换。图像传感器130将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在不接收补光的红外光时曝光生成的帧称为可见光帧，在接收到补光的红外光时曝光生成的帧称为补光帧。图像传感器130在图像曝光的开始和结束时会生成帧开始和帧结束的信号并发送给处理器150，以通知处理器150曝光的开始和结束。生成补光帧时，图像传感器130可以在接收补光的红外光时不接收可见光，也可以同时接收补光的红外光和可见光，在此不做限定。\n[0045] 滤光片切换装置140用于切换滤光片。滤光片是一种对光的不同波段具有选择性吸收特性的光学元件，可能的实现方式包括但不限于有色玻璃、染色胶片等。通过切换不同的滤光片，滤光片切换装置140可以控制由镜头120采集的光线中有哪些波段的光线能够照射到图像传感器130上。在一种可能的实施方式中，当补光成像模式未开启时，滤光片切换装置140会将只能通过可见光的单通滤光片置于镜头的光路上，使照射到传感器140上的光线只有可见光；当补光成像模式开启时，会将滤光片切换为双通滤光片，使红外光和可见光都能照射到图像传感器130上。在另一种可能的实施方式中，当开启补光成像模式时，滤光片切换装置140会按照与补光帧生成频率对应的特定频率周期性的切换滤光片，使能够照射到图像传感器130上的光线波段种类周期性的发生变化。可选的，滤光片切换装置140可以同时包含单通滤光片和双通滤光片，按照图像传感器130的帧曝光频率来周期性的切换单通滤光片和双通滤光片，或者只包含单通滤光片，按照图像传感器130的帧曝光频率周期性的将单通滤光片置入和移出设备成像光路。在一些可能的实施方式中，补光成像设备100也可能不包含滤光片切换装置140，而直接采用固定的特定滤光片，使照射在图像传感器上的光线为固定几个波段的光线；也可能不使用滤光片，使镜头采集到的所有波段光线都照射在传感器上。对此，本实施例在此不做限定。\n[0046] 处理器150用于控制补光灯110的开启和关闭，控制图像传感器130的采集帧率，对数字图像信号的基本处理，以及对可见光帧和补光帧的合成。当成像设备100中包含滤光片切换装置140时，处理器150还用于控制滤光片切换装置140。处理器150对图像的基本处理包括但不限于去马赛克、自动白平衡等。对可见光帧和补光帧的合成是指通过可见光帧和补光帧生成合成帧，合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧。在一些可能的实施方式中，处理器150控制滤光片切换装置140将滤光片切换为双通滤光片，并根据从图像传感器130接收到的帧开始信号和帧结束信号交替开启和关闭补光灯110，使图像传感器130在曝光时周期性的接收到红外光线，进而按对应的周期频率生成补光帧。在另一些可能的实施方式中，处理器150控制补光灯110持续开启，同时根据从图像传感器130接收到的帧开始信号和帧结束信号控制滤光片切换单元140切换可见光滤光片和双通滤光片，使图像传感器130在曝光时周期性的接收到红外光线，进而交替生成补光帧和可见光帧。处理器150的功能可以由一个处理器来实现，也可以由多个处理器来共同实现，亦可能部分或全部集成在图像传感器130中，在此不做限定。\n[0047] 光敏电阻160用于检测环境光照度变化，当环境光照度等于或小于预设值时，补光成像设备100开启补光成像模式。\n[0048] 图2a是图像帧合成的示意图。对同一场景，补光成像设备会生成可见光帧和补光帧，并将可见光帧和补光帧进行合成，生成合成帧。可见光帧是由图像传感器在无补光情况下在可见光照射时曝光生成的图像帧，在低照度情况下可见光帧的亮度信息不足，但是色彩信息较好。补光帧是在可见光和补光红外光同时照射下曝光生成的图像帧，其亮度高于可见光帧，但是缺乏色彩信息。在一些可能的实施方式中，补光帧也可以是传感器仅由红外线曝光生成的。合成帧是由可见光帧与补光帧进行合成得到的，具体而言，合成帧中保留了可见光帧中的色彩信息，以及补光帧中的亮度信息。\n[0049] 图2b展示了在YUV颜色空间中对可见光帧和补光帧进行合成的一种可能的方法实施例。其中，j帧、j+1帧、j+2帧和j+3帧表示图像传感器按时间顺序依次采集的图像帧，j帧和j+2帧为可见光帧，j+1帧和j+3帧为补光帧；k帧表示由j帧和j+1帧合成得到的合成帧，k+\n1帧表示由j+2帧和j+3帧合成得到的合成帧。YUV是一种颜色编码方法，用于编译true-color颜色空间，其中的“Y”代表明亮度(Luma)，“UV”代表色度和浓度(Chrominance、Chroma)。图中Y0表示可见光帧j的亮度信息，UV0表示可见光帧j的色彩信息；Y1表示补光帧j+1的亮度信息，UV1表示补光帧j+1的色彩信息；Y2表示可见光帧j+2的亮度信息，UV2表示可见光帧j+2的色彩信息；Y3表示补光帧j+3的亮度信息，UV3表示补光帧j+3的色彩信息。在生成合成帧k时，处理器采用了j帧的亮度信息Y0和j+1帧的色彩信息UV1。同理，合成帧k+1帧采用了j+2帧的亮度信息Y2和j+3帧的色彩信息UV3。\n[0050] 若合成帧图像记为I’，图像传感器采集的图像帧记为I，则第n帧(n为自然数)的I和I’的关系可以用如下公式表达：\n[0051] I′Y(n)＝IY(2n-1)\n[0052] I′UV(n)＝IUV(2n)\n[0053] 或者\n[0054] I′Y(n)＝IY(2n)\n[0055] I′UV(n)＝IUV(2n-1)\n[0056] 在本实施例中，补光帧的获取频率是每隔一个可见光帧获取一个补光帧，即奇数帧是可见光帧、偶数帧是补光帧，或者奇数帧是补光帧、偶数帧是可见光帧。帧合成采取的是一个可见光帧与一个补光帧合成一个合成帧的方式。须知，如果采取其他补光帧获取频率，比如每隔两个可见光帧获取一个补光帧，或者每隔一个可见光帧获取两个补光帧等，本申请记载的技术方案同样适用。相应的，合成帧如果采取其他合成形式，诸如一个可见光帧与两个补光帧生成一个合成帧等，本申请记载的技术方案同样适用。此外，如果帧合成是在其他颜色空间中进行，比如在RGB、HSV、Lab等空间中，其原理与图2b中所示过程类似，此处不再赘述。\n[0057] 请参阅图3，为本发明的时分复用补光成像方法的一实施例。\n[0058] S210启用补光成像模式，提高采集帧率，切换滤光片。成像设备会实时监控环境照度，当环境照度等于或低于需要补光的最高照度时，启用本发明的补光成像方法。环境照度可以通过使用图像传感器的增益信息进行估算，随着环境照度降低，图像传感器的增益会逐渐升高，因此可以将传感器某一特定增益值设为判定标准(比如36dB),作为环境照度需要补光的最高照度判定值，当增益等于或高于这一预设值时，判定环境照度等于或低于需要补光的最高照度，启用本发明的补光成像方法。在一些可能的实施方式中，还可以通过专门的亮度检测器件(如光敏电阻)来检测环境光照度变化，此处不做限定。提高采集帧率，切换滤光片。当补光成像模式启用时，成像设备提高采集图像的帧率，比如由25帧/秒修改为\n50帧/秒。由于在合成帧的生成过程中，会对连续的每一对奇偶帧进行合成来生成一个合成帧，因此提高采集帧率能够减少或消除最终输出帧率的下降。在本实施例中，当采集帧率翻倍时，最终输出的帧率会与采用补光模式之前的输出帧率相同，进而保证了图像输出的质量。在补光成像模式启用时，成像设备还会将滤光片切换为双通滤光片，来滤除采集的光线中除可见光和红外光之外的其他光线，提高成像质量。在其他可能的实施方式中，S220可能只提高采集帧率，而不包括切换滤光片。\n[0059] S220周期性的开启和关闭红外补光光源，以交替生成补光帧和可见光帧。启用补光成像模式后，成像设备按照图像帧的生成频率周期性的开启和关闭红外补光光源。这里的周期性开启和关闭红外补光光源，可以是奇数帧时开启、偶数帧时关闭，也可以是奇数帧时关闭、偶数帧时开启。对应的，前一种情况下图像传感器生成的图像帧中所有的奇数帧是补光帧、偶数帧是可见光帧，后一种情况下所有的奇数帧是可见光帧、偶数帧是补光帧。\n[0060] 红外补光光源开关的频率与图像帧生成频率的同步，可以通过图像传感器生成的帧中断信号来实现。图像传感器在生成图像帧时，会产生帧中断信号来表征帧曝光的开始与结束。具体而言，帧中断信号中记录了图像帧的帧开始和帧结束信息。帧中断信号可能的实现形式包括但不限于fstart(ISP_FE)、fstart(ISP_BE)、cfg_loss(ISP_FE)、cfg_loss(ISP_BE)等。在开启补光成像模式时，图像传感器将生成的帧中断信号发送给处理器，处理器对帧中断信号从0开始进行计数，每接收到一个帧中断信号计数加1。在一种可能的实施方式中，当帧中断计数为奇数时，处理器侦测到帧开始信号时开启红外补光光源，红外补光光源开始对场景进行补光；侦测到帧结束信号时关闭红外补光光源，补光结束。当帧中断计数为偶数时，对补光光源不进行操作。这样，图像传感器生成的图像帧中所有的奇数帧都是补光帧，所有的偶数帧都是可见光帧。在另一种可能的实施方式中，当帧中断计数为偶数时，处理器侦测到帧开始信号时开启红外补光光源，红外补光光源开始对场景进行补光；侦测到帧结束信号时关闭红外补光光源，补光结束。当帧中断计数为奇数时，对补光光源不进行操作。这样，图像传感器生成的图像帧中所有的偶数帧都是补光帧，所有的奇数帧都是可见光帧。\n[0061] S230对图像进行基本处理，并生成合成帧。成像设备会对图像帧进行基本处理，具体包括但不限于去马赛克、自动白平衡等。生成合成帧是指对可见光帧和补光帧进行合成，生成合成帧。合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧，具体合成方式请参见对图2a和图2b的描述，此处不再赘述。对图像的基本处理和生成合成帧之间没有先后顺序限定，可以先对可见光帧和补光帧进行基本处理再生成合成帧，也可以先生成合成帧再对合成帧进行基本处理，在此处不做限定。\n[0062] S240输出合成帧图像。\n[0063] 请参阅图4，为本发明的时分复用补光成像方法的又一实施例。\n[0064] S310启用补光成像模式，提高采集帧率，开启补光光源。补光成像模式具体启用方式与图2相同，此处不再赘述。当补光成像模式启用时，成像设备提高采集图像的帧率，比如由25帧/秒修改为50帧/秒。在本实施例中，当采集帧率翻倍时，最终输出的帧率会与采用补光模式之前的输出帧率相同，进而保证了图像输出的质量。在补光成像模式启用时，成像设备还会开启补光光源，对拍摄对象进行红外补光。\n[0065] S320周期性切换滤光片，以交替生成可见光帧和补光帧。启用补光成像模式后，成像设备按照图像帧的生成频率周期性的切换单通滤光片和双通滤光片。这里的单通滤光片是指仅能通过可见光的滤光片，双通滤光片是指仅能通过可见光和红外光的滤光片。这里的周期性切换滤光片，可以是奇数帧时切换单通滤光片、偶数帧时切换双通滤光片，也可以是奇数帧时切换双通滤光片、偶数帧时切换单通滤光片。对应的，前一种情况下图像传感器生成的图像帧中所有的奇数帧是可见光帧、偶数帧是补光帧，后一种情况下所有的奇数帧是补光帧、偶数帧是可见光帧。\n[0066] 滤光片切换的频率与图像帧生成频率的同步，可以通过图像传感器生成的帧中断信号来实现。帧中断信号的具体特征如图3中的描述，此处不再赘述。在开启补光成像模式时，图像传感器将生成的帧中断信号发送给处理器，处理器对帧中断信号从0开始进行计数，每接收到一个帧中断信号计数加1。在一种可能的实施方式中，当帧中断计数为奇数时，处理器侦测到帧开始信号时将滤光片切换为单通滤光片，只有可见光能够照射到图像传感器上；当帧中断计数为偶数时，处理器侦测到帧开始信号时将滤光片切换为双通滤光片，可见光和红外光都能够照射到图像传感器上。这样，图像传感器生成的图像帧中所有的偶数帧都是补光帧，所有的奇数帧都是可见光帧。在另一种可能的实施方式中，当帧中断计数为奇数时，处理器侦测到帧开始信号时将滤光片切换为双通滤光片，可见光和红外光都能够照射到图像传感器上；当帧中断计数为偶数时，处理器侦测到帧开始信号时将滤光片切换为单通滤光片，只有可见光能够照射到图像传感器上。这样，图像传感器生成的图像帧中所有的奇数帧都是补光帧，所有的偶数帧都是可见光帧。\n[0067] S330对图像进行基本处理，并生成合成帧。本步骤请参见图3中的描述，此处不再赘述。\n[0068] S340输出合成帧图像。\n[0069] 请参阅图5，为本发明的时分复用补光成像设备一可能实施例的逻辑结构示意图。\n[0070] 如图5所示，成像设备400包括补光单元410、光学单元420、图像传感单元430和处理单元440。在一些可能的实施方式中，还可以包括环境光检测单元440。\n[0071] 补光单元410用于对拍摄对象进行补光，可以实现为红外发光二极管(Light-emitting diode，Led)补光灯，可以采用的发射中心波长包括但不限于760nm、850nm或\n950nm。补光单元410可以在处理单元440的控制下开启和关闭。\n[0072] 光学单元420用于捕捉光线以在图像传感单元430上成像，可以实现为镜头，包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。在一些可能的实现方式中，光学单元420中还可能包含滤光片，以使只有特定波长的光线能够照射到图像传感单元430上。\n[0073] 图像传感单元430用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感单元430可以通过电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)来实现光信号与电信号的转换。图像传感单元430将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在接收可见光且不接收补光红外光时曝光生成的帧称为可见光帧，在接收到补光红外光时曝光生成的帧称为补光帧。生成补光帧时，图像传感单元430可以接收补光红外光不接收可见光，也可以同时接收补光红外光和可见光，在此不做限定。\n[0074] 处理单元440用于控制补光单元410的开启和关闭。在一些可能的实施方式中，处理单元440会根据图像传感单元430发送的图像帧曝光信息来周期性的开启和关闭补光单元，以使图像传感器430周期性的获得红外补光光线，进而交替生成补光帧和可见光帧。图像帧曝光信息可以实现为包含了帧开始信号和帧结束信号的帧中断信息。补光单元410的开启和关闭的频率与帧曝光频率的同步方式请参见图3中的相应描述，此处不再赘述。处理单元440还用于控制图像传感单元430的采集帧率，对数字图像信号的基本处理，以及对可见光帧和补光帧的合成。对图像的基本处理包括但不限于去马赛克、自动白平衡等。对可见光帧和补光帧的合成是指通过可见光帧和补光帧生成合成帧，合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧，具体合成方式如图2a和图2b中的方式所述，此处不再赘述。处理单元440的功能可以由一个处理器来实现，也可以由多个处理器来共同实现。在一些可能的实施方式中，处理单元440的功能可能部分或全部集成在图像传感单元430中，在此不做限定。\n[0075] 环境光检测单元450用于检测环境光照度，并将照度信息提供给处理单元440。在一些可能的实施方式中，环境光检测单元450的功能也可能由图像传感单元430来实现，在此不做限定。\n[0076] 请参阅图6，为本发明的时分复用补光成像设备又一可能实施例的逻辑结构示意图。\n[0077] 如图6所示，成像设备500包括补光单元510、光学单元520、滤光控制单元530、图像传感单元540和处理单元550。\n[0078] 补光单元510用于对拍摄对象进行补光，可以实现为红外发光二极管(Light-emitting diode，Led)补光灯，可以采用的发射中心波长包括但不限于760nm、850nm或\n950nm。补光成像设备500在进行补光成像时，补光单元510保持开启。\n[0079] 光学单元520用于捕捉光线以在图像传感单元530上成像，可以实现为镜头，包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。\n[0080] 图像传感单元530用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感单元530可以通过电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)来实现光信号与电信号的转换。图像传感单元530将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在接收可见光且不接收补光红外光时曝光生成的帧称为可见光帧，在接收到补光红外光时曝光生成的帧称为补光帧。生成补光帧时，图像传感单元530可以只接收红外光，也可以同时接收红外光和可见光，在此不做限定。\n[0081] 滤光控制单元540用于使光学单元520采集的特定波长的光线能够照射到图像传感单元530上，而滤除其他波长的光线。滤光控制单元540可以根据需要改变滤光特性，使不同波长的光线能够通过并照射在图像传感单元530上。滤光控制单元540可以实现为滤光片切换装置，通过切换滤光片的方式来实现滤光特性的改变。在一些可能的实施方式中，滤光控制单元540会根据处理单元550的指令周期性的改变滤光特性，以使图像传感器530周期性的获得红外补光光线，进而交替生成补光帧和可见光帧。图像帧曝光信息可以实现为包含了帧曝光开始和曝光结束信号的帧中断信息。滤光控制单元540滤光特性的改变频率与帧曝光频率的同步方式请参见图4中的相应描述，此处不再赘述。\n[0082] 处理单元550用于对数字图像信号的基本处理，控制滤光控制单元540以及对可见光帧和补光帧的合成。对图像的基本处理包括但不限于去马赛克、自动白平衡等。处理单元\n550会根据图像传感单元530发送的图像帧曝光信息来控制滤光控制单元540周期性的改变滤光特性，以使图像传感器530周期性的获得红外补光光线，进而交替生成补光帧和可见光帧。处理单元550对可见光帧和补光帧的合成是指通过可见光帧和补光帧生成合成帧，合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧，具体合成方式如图2a和图2b中的方式所述，此处不再赘述。处理单元550的功能可以由一个处理器来实现，也可以由多个处理器来共同实现。在一些可能的实施方式中，处理单元550的功能可能部分或全部集成在图像传感单元530中，在此不做限定。\n[0083] 环境光检测单元560用于检测环境光照度，并将照度信息提供给处理单元550。在一些可能的实施方式中，环境光检测单元560的功能也可能由图像传感单元530来实现，在此不做限定。\n[0084] 请参阅图7，为本发明的时分复用补光成像终端设备一可能实施例的逻辑结构示意图。\n[0085] 终端设备600包括成像模块610和主处理模块620。在一些可能的实施方式中，还可以包括通信模块630。终端设备600的具体实现方式包括但不限于具有拍摄功能的手机、平板电脑、数码相机等。\n[0086] 成像模块610用于采用本申请所记载的时分复用补光成像方法生成合成帧，具体合成帧生成方式请参见图3或图4的相关描述，此处不再赘述。内部结构的实现方式包括但不限于如图1、图5或图6中所描述的具体形式，此处不再赘述。成像模块610在获取合成帧后可以将合成帧发送给主处理模块620进行进一步处理，也可以发送给通信模块630进行通信。\n[0087] 主处理模块620用于对合成帧进行图像处理，包括但不限于对图像进行几何变换、颜色调整、图像拼接等。主处理模块在完成图像处理后可以将处理好的图像发送给通信模块630进行通信。\n[0088] 通信模块630用于将合成帧对应的图像或视频通过接口传输或无线发射的方式发送给其它设备。\n[0089] 本发明实施例中提及的各处理器的功能均可以采取完全的硬件实施例的形式、完全的软件实施例(包括固件、常驻软件和微代码等)的形式或结合了软件和硬件方面的实施例的形式来实现，其中，所有的这些形式通常都可称作“电路”、“模块”或“系统”。各处理器可以通过现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)和单独的或组合的通用处理器，以及相关联的软件、固件和胶合逻辑来实现。所有处理器都可以包括一个或多个处理器，当包括多个处理器时，这多个处理器可以集成在同一块芯片上，也可以各自为独立的芯片。一个处理器可以包括一个或多个物理核，其中物理核为最小的处理模块。\n[0090] 应理解，说明书通篇中提到的“一个实施例”、“一实施例”、“一种实施方式”或“一些实施方式”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。\n[0091] 在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。\n[0092] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。