具有红外校正功能的彩色成像系统及其成像方法

1.一种成像方法，包括以下步骤：
接收具有红外分量和彩色分量的入射光；其特征在于：
在不分离入射光的状态下顺序地检测至少三个彩色平面 (1024，1026，1028)中的彩色分量；
顺序地产生红外光束(1030)而不分离该红外光束，使得所 述红外光束(1030)具有与入射光的红外分量相同的强度；以及
使用单个减法装置(1032)顺序地从三个彩色平面(1024， 1026，1028)的每一个中减去红外光束(1030)。
2.根据权利要求1的成像方法，包括在没有所述红外光束 (1030)的至少三个彩色平面(1034，1036，1038)中提供彩色 信号。
3.根据权利要求1的成像方法，包括提供入射光的红外分量 (1040)。
4.根据权利要求2的成像方法，包括使用液晶彩色快门(912) 形成所述红外光束(1030)。
5.根据权利要求1的成像方法，包括与红外信息一起检测至 少三个彩色平面中的彩色信息(1024，1026和1028)。
6.一种用于校正红外辐射的彩色成像系统(910)，其特征 在于：
装置(910)，顺序地可调节到第一状态和第二状态，在第一 状态中发送在至少三个彩色平面(1034，1036，1038)中具有红 外分量和彩色分量的入射光，在第二状态中本质上阻挡可见光谱 中的光而使红外分量(1040)通过；和
减法器(1032)，在不分离红外分量(1040)的状态下，顺 序地使代表在所述第一和第二状态下通过的辐射的信号相减。
7.根据权利要求6的彩色成像系统，其中所述装置(910) 包括液晶彩色快门(912)。
8.根据权利要求7的彩色成像系统，包括图像传感器(916)， 所述图像传感器在多个彩色平面中接收来自快门(912)的光信息， 所述系统进一步包括图像处理器(918)，所述图像处理器和所述 图像传感器(916)相连以处理从图像传感器(916)接收的信息。
9.根据权利要求8的彩色成像系统，其中所述图像传感器 (916)提供代表至少三个彩色平面和红外辐射的信号(1024，1026 和1028)，彩色快门(912)对它们曝光。
10.根据权利要求9的彩色成像系统，包括一对滤波器(330， 320)，它们的可见光透光性本质上不重叠，形成本质上不存在可 见光的输出。

技术领域\n本发明一般来说涉及例如和数字相机、扫描器、和类似物一起使用 的成像系统。\n背景技术\n基于硅技术的成像传感器在光路中通常使用一种红外遮光元件。红 外遮光元件的作用是防止红外辐射(IR)或光(一般认为是波长大于780 纳米的光)进入成像阵列。\n基于硅的器件在通常的情况下对于波长最大约为1200纳米的光是灵 敏的。如果允许红外辐射(IR)进入成像阵列，成像阵列就要响应IR，并 且产生一个输出图像信号。由于成像系统的一个目的是产生表示可见光 的图像，所以IR引入一个虚假的响应并使成像系统产生的图像失真。在 单色(黑白)成像系统中，这一结果可能表现为一个有明显失真的图像。 例如，树叶和人的皮肤的色调可能异常地亮。在彩色成像系统中，IR的 引入使颜色失真，产生颜色不正确的图像。\n防止成像系统中基于IR的异常的通用方法是使用离子彩色玻璃或在 玻璃上的薄膜光涂层以产生一种光学元件，这种光学元件可通过可见光 (一般从380纳米到780纳米)而遮挡IR。可将这种光学元件放在透镜 系统的前方、定位在透镜系统内、或者可以将这种光学元件结合在整个 成像系统中。这种方法的主要缺点是成本高和增加了系统的复杂性。实 施薄膜涂层的成本可能略低，但其附加的缺点是光谱移位是角度的函数。 于是，在一个成像系统中，这些元件不能提供从各像中心到边缘的均匀 透光特性。这两种滤波器类型因为要增加一个额外的但又必需组装进成 像系统中的部件，而加大了系统的复杂性。\n数字式成像系统一般来说都可校正所谓的暗电流。暗电流是由成像 系统在实际上没有接收到任何输入图像时探测到的。一般来说，暗电流 或者是在相机的校准过程期间隔离和扣除的，或者是在相机正在进行操 作时隔离和扣除的。可以使用机械式快门在各帧之间遮挡光学系统，以 提供暗电流噪声的连续指示。这可能是有益的，因为暗电流随温度强烈 变化。因此，希望有暗电流存在状态的连续指示。连续确定暗电流的另 一种方法是提供屏蔽掉光的某些像素，从而可以提供连续的暗电流状态 的指示。\n于是，提供减小复杂性和成本的成像系统是人们一直需要的。尤其 是需要对可见光谱中的光敏感、对红外光谱中的光不敏感、但又不需要 红外滤波器的一种成像系统。进一步，需要一种能够连续校正暗电流和 红外噪声这两者的影响的系统。\n发明内容\n因此，本发明的一个目的是提供一种成像方法。该方法包括 如下步骤：接收具有红外分量和彩色分量的入射光，其特征在于：\n在不分离入射光的状态下顺序地检测至少三个彩色平面中的 彩色分量；\n顺序地产生红外光束而不分离该红外光束，使得所述红外光 束具有与入射光的红外分量相同的强度；以及\n使用单个减法装置顺序地从三个彩色平面的每一个中减去红 外光束。\n根据本发明所提供的该成像方法，包括在没有所述红外光束 的至少三个彩色平面中提供彩色信号，其中，可以使用液晶彩色 快门形成所述红外光束。\n根据本发明所提供的该成像方法，包括提供入射光的红外分 量。\n根据本发明所提供的该成像方法，包括与红外信息一起检测 至少三个彩色平面中的彩色信息。\n本发明的又一个目的是提供一种用于校正红外辐射的成像系统，其 包括：\n装置，顺序地可调节到第一状态和第二状态，在第一状态中 发送在至少三个彩色平面中具有红外分量和彩色分量的入射光， 在第二状态中本质上阻挡可见光谱中的光而使红外分量通过；和\n减法器，在不分离红外分量的状态下，顺序地使代表在所述 第一和第二状态下通过的辐射的信号相减。\n根据该彩色成像系统，其中所述装置包括液晶彩色快门。\n根据上面的彩色成像系统，包括图像传感器，所述图像传感 器在多个彩色平面中接收来自快门的光信息，所述系统进一步包 括图像处理器，所述图像处理器和所述图像传感器相连以处理从 图像传感器接收的信息。\n根据上面的彩色成像系统，其中所述图像传感器提供代表至 少三个彩色平面和红外辐射的信号，彩色快门对它们曝光。\n根据上面的彩色成像系统，包括一对滤波器，它们的可见光 透光性本质上不重叠，形成本质上不存在可见光的输出。\n通过以下对本发明所作的详细说明以及附图说明，将对本发 明的上述和其他目的以及优点有更清楚的了解。\n附图说明\n图1表示传统的红、绿、蓝CFA滤波器的透光特性。\n图2表示包括红和蓝CFA滤波器的一种IR通带滤波器的透光特性。\n图3是具有淀积在像素回路上的红和蓝CFA滤波器的一个像素回路 的简化剖面图。\n图4是用于校正图像信号中的IR信号的一个简化高级回路。\n图5-7表示用于彩色传感器阵列的矩形图案。\n图8表示用于单色传感器阵列的矩形图案。\n图9是使用彩色快门的相机的示意图。\n图10是表示形成如图9所示的红外扣除回路的部件的方块图。\n图11是一个流程图，表示例如使用如图9和10所示的硬件导出红 外和三原色信息的过程。\n具体实施方式\n在本发明的实施例中，通过从响应IR和可见光这两者的像素传感器 产生的信号中用电的方法扣除IR像素传感器产生的信号，基本上减小了 IR对图像信号的影响。IR像素传感器对于射在包括传感器的阵列上的IR 是敏感的，这提供与彩色通道(比如说RGB)分开的图像的IR分量。\n使用当前市场上可以得到的彩色滤波器阵列(CFA)材料，并取其对 于IR辐射是透明的事实，可以产生IR传感器。通过简单地叠加两个CFA 的颜色(如红、蓝)，它们在光谱的可见光段上基本上没有重叠的透光 性，就可以产生一个复合滤波器元件，这个复合滤波器元件基本上可遮 挡可见光，只能透过IR。如果使用两个滤波器形成这个复合滤波器元件， 而这两个滤波器中的每一个滤波器都有一个与另一个滤波器的可见光辐 射通带光谱分开的可见光辐射通带光谱，这样，基本上没有任何可见光 透过由两个滤波器的组合形成的最终的复合滤波器。如果使用的滤波器 的数目超过2个，而每个滤波器都有一个可见光辐射通带光谱，因此， 最终的复合滤波器对于可见光基本上是不透明的。于是这样一种复合滤 波器就是一种IR通带滤波器，因为形成复合滤波器的每一个分滤波器对 于IR基本上都是透明的。\n作为一个实例，图1表示的是常规的红、绿、蓝CFA(加有染料的丙 烯酸酯)滤波器。要说明的是，每一个滤波器对于IR基本上都是透明的。 在图2中表示通过叠加红和蓝CFA滤波器得到的复合IR带通滤波器的透 光性，从图2可以看出：基本上遮盖了可见光谱。\n使用IR滤波器产生IR灵敏的像素，或IR像素传感器，其方法是淀 积各个组分滤波器，在一个像素回路上构成IR带通滤波器。这种淀积可 以通过对半导体工业是众所周知的光刻技术实现。像素回路是可吸收辐 射并且提供代表吸收的辐射的信号的任何一个回路。例如，像素回路可 以包括一个光电二极管，光电二极管吸收的光子产生电子-空穴对，它 与附加电路一起提供代表光电二极管吸收的光子数的电信号，电压信号 或电流信号。\n在一个实施例中，图3表示一个IR像素传感器300的简化剖面图， 所说的像素传感器300包括像素回路310，在像素回路310上淀积有红 CFA320和蓝CFA330。在像素回路上入射的可见光范围的光子，由方向340 示意表示，基本上全被挡住或防止由像素回路310吸收。\n一个实施例使用的是具有4种类型像素传感器的成像阵列：3种彩 色(如RGB)类型和一种IR类型，所有这4种类型的像素传感器全是由 在市场上可以得到的CFA材料制成的。这就产生了4个通道，或者说4 种类型的信号，如表1所示，表1表示的是对于每个通道或像素类型测 得的光谱。\n             表1：  4个输出通道的光谱\n输出通道                                  光谱\n通道1                                     红+IR\n通道2                                     绿+IR\n通道3                                     蓝+IR\n通道4                                 只有IR\n一旦知道图像信号的IR分量，就可从图像中扣除这个IR分量，以 给出经IR校正的彩色输出。这由图4的高级电路表示，其中通过多路合 成器(MUX)410和减法电路420；从通道1-3上的每个信号减去通道4 上的IR信号。显然，如果利用3个减法电路完成每个彩色通道的IR信 号扣除，就可以省去MUX410。\n在图5-7中表示出彩色图像的可能的矩形图案，图8表示单色图像 的矩形图案，其中W表示对整个可见光光谱敏感的像素传感器。可以认 为图5-8中表示的每个图案都是一个单元。在整个成像阵列中以规则的 方式重复这些单元。\n在图5-7中，标为R、G、B的像素传感器表示分别利用红、绿、蓝 CFA滤波器的像素传感器。在图5-8中，标为IR(R+B)的像素传感器 是IR像素传感器，其中的IR复合通带滤波器包括红和蓝CFA滤波器。\n像素传感器不需要实际上的相互物理接触。构成像素传感器的像素 回路一般来说是与另外的像素回路相互电隔离的。所说的第一个像素传 感器与第二个像素传感器是邻接的，被理解为在并且只在第一和第二像 素之间不存在任何一个居中的像素传感器。例如，在图7中，左上的像 素传感器R和下左的像素传感器G、上面的像素传感器G、以及像素传感 器B都是邻接的，但和右下的像素传感器G以及IR像素传感器不是邻接 的。两个像素传感器在不进行实际上的物理相互接触的条件下可以是邻 接的。\n由于在成像透镜系统中存在色差，所以成像的景物的IR分量可以不 处在准确的焦点上。这对于这里公开的实施例实际上是有益处的，因为 这表明，不必以高的空间频率对于IR分量进行采样。这种情况对于彩色 图像和单色图像分别反映在图7和8表示的矩形图案中。\n按第二种方式可以使用具有IR像素传感器，不论单色或者彩色，的 成像阵列，使之成为一个IR成像阵列，这里只利用来自于IR像素传感 器的信号形成IR图像。因而，按照这里公开的实施例制成的成像阵列可 以配置成双模式的成像阵列，或者提供经过IR校正的可见光图像，或者 提供IR图像。\n可以构成具有其它颜色的系统的实施例，例如青、品红、和黄(CMY) 系统和品红、白、黄(MWY)系统。对于CMY彩色系统，可能必须叠加所 有的3种颜色以遮挡可见光。这种处理方法还能推广到MWY彩色系统， 但需要进行附加处理，增加第三种颜色(如蓝或品红)。可以要求这个 颜色能够完成遮挡在IR检测像素中的可见光。\n图9所示的数字式成像系统910可以和一个数字像机一起使用，数 字式像机可以提供静止的和移动的视频画面。此外，成像系统910也可 以用在使用数字式图像传感器的其它应用中，如扫描仪等。\n在透镜系统914和图像传感器916的前方设有一个液晶彩色快门 912。图像传感器916可以是一种互补型金属氧化物半导体(CMOS)的图 象传感器，其使用一个有源像素传感器(APS)、一个无源像素传感器(PPS) 或者其他技术。可选地，还可以使用电荷耦合器件(CCD)。\n彩色快门912在不同的彩色频段，如红、绿、蓝(RGB)和青、品红、 黄(CMY)三原色频段，可以提供电可改变的发射光谱，一个典型的彩色 快门KALA滤波器，可以从科罗拉多州80301的博德的ColorLink公司得 到。快门912同步地切换以连续地在每一个期望的频段提供色彩信息。 KALA滤波器在一个加原色(RGB)和一个互补的减原色(CMY)之间进行 切换。将输入的白光转换成正交地极化了的补色。\n彩色快门可以在多个发射光频段之间切换，这些频段对准在多层加 色平面的每一点上，如红、绿、蓝原色平面。彩色快门可顺序的切换， 以提供三个颜色的平面，其组合建立起一个图象的三色表示。\n在图象系统中，使用彩色快门可以有好处地允许每个像素传感器顺 序地对三个颜色的频段作出反应。否则，分开的像素传感器为了每个所 需要的颜色的频段必须在阵列中散开。然后，对每个像素点中所失去的 信息用留下的两个彩色平面由插值技术推导出来。利用彩色快门，每个 像素都可以检测到3个彩色频段中的每个频段，不用插值可增加彩色的 清晰度。\n图像传感器916耦合到图像处理器918，图像处理器918处理来自图 像传感器916的信息，并且提供期望形式的输出。图像处理器918包括 一个红外减法电路920。电路920利用一个减法过程消除来自彩色快门 912同步提供的每个彩色频段信号的红外分量。具体来说，彩色快门912 在每个期望的彩色平面里提供一系列光图像，这些图像激励传感器916 中的像素，提供传递给图像处理器918的强度信号。\n这个减法过程也可以用软件实施。例如，这个减法可以在一个单独 的计算机(未示出)中完成。可以将这个计算机链接到相机。\n参照附图10，将来自传感器916的信息分离成4个信号。传感器916 提供的强度信号包括一个红外分量的每个彩色频段信号。在使用RGB彩 色频段的例子中，产生红色信号1024、绿色信号1026、蓝色信号1028， 每个信号都具有相关的红外分量。此外，快门912产生一个黑色信号1030， 黑色信号1030基本上不含任何彩色信息，只含红外辐射信息。\n于是，可以在减法器1032中从每个信号1024至1028减去黑色信号 1030(只包含出现在快门12上的有关红外辐射的信息)，产生没有任何 红外分量的信号1034-1038。可以在线1040上得到红外分量。这个红外 分量可以用在一系列暗光条件下，包括夜间相机、侦察行动、和三维成 像的应用。\n以此方式，在不使用红外滤波器的条件下，可以产生不存在红外辐 射噪声的期望的彩色平面。而且，利用本发明的技术，可以得到在一系 列应用中有用的红外信号。在使用红外滤波器时，得不到有用的红外信 号。\n参照附图11，在图像处理器918中俘获彩色信息的过程开始于方块 1144。开始时，将彩色快门912设置成黑色，获得一个画面(如方块1146 所示)以提供红外基准信号。接下去，将快门设置成红色(如方块1148 所示)，并且获得一个画面，其中包括红色信息和红外分量(如方块1150 所示)。类似地，获得绿色和蓝色信息，如方块1152至1158所示。\n在方块1160、1162、1164中，从在方块1150、1154、1158中获得 的红、绿、蓝色画面扣除在方块1146获得的红外基准信号，导出红、绿、 蓝色平面。结果，可以输出(如方块1166所示)其中不含红外分量的RGB 彩色平面信息。\n以上所述的实施例对暗电流补偿也是有用的。每个实施例都将产生 基本上不含基准IR辐射效应和暗电流这两者的彩色波段。IR基准信号 1146(在没有彩色信息的情况下)只包括暗电流噪声。于是，当扣除了 IR基准信号或黑色画面时，就可完全消除IR和暗电流噪声这两者。这种 消除是和IR噪声消除同时完成的，其中不需要机械式快门或者屏幕的像 素。由于暗电流是被连续扣除的，所以当前温度对暗电流的影响总是考 虑在内的。\n虽然参照有限数目的实施例描述了本发明，但是本领域的普遍技术 人员将能实现许多改进和变化。我们的期望是所附的权利要求书将覆盖 所有的落在本发明的真正构思和范围内的这种改进和变化。