著录项信息
专利名称 | 固态图像传感器 |
申请号 | CN200780022081.3 | 申请日期 | 2007-06-14 |
法律状态 | 权利终止 | 申报国家 | 中国 |
公开/公告日 | 2009-06-24 | 公开/公告号 | CN101467444 |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N9/04 | IPC分类号 | H;0;4;N;9;/;0;4;;;H;0;4;N;9;/;7;3;;;H;0;1;L;2;7;/;1;4;6查看分类表>
|
申请人 | 株式会社东芝 | 申请人地址 | 日本东京都
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 株式会社东芝 | 当前权利人 | 株式会社东芝 |
发明人 | 本多浩大;饭田义典;江川佳孝;伊藤刚 |
代理机构 | 永新专利商标代理有限公司 | 代理人 | 陈松涛 |
摘要
一种固态图像传感器,具有多个像素、读出电路和信号处理部分。所述多个像素包括多个第一像素、多个第二像素、多个第三像素和多个第四像素。所述信号处理部分包括色彩获取部分;第一判断部分,其用于判断所述目标像素块中的所述白色数据值W是否小于预定的第一设定值;以及白色校正部分,其用于当所述第一判断部分的判断结果为否时,基于如下表达式(1)对所述目标像素块中的所述白色数据值W进行校正处理,并且当所述第一判断部分的判断结果为是时,输出所述白色数据值W自身而不基于所述表达式(1)进行校正处理;W’=S1C1+S2C2+S3C3...(1)其中S1、S2和S3中的每一个都是基于色彩平衡确定的系数。
1.一种固态图像传感器,包括:
以矩阵形式形成于半导体衬底上的多个像素,每个像素具有光电转换元件,所述光电转换元件输出通过光电转换获得的电信号;
读出电路,其用于读出从所述多个像素输出的电信号;以及
信号处理部分,其用于对从所述读出电路读出的电信号进行信号处理,
其中所述多个像素包括:
多个第一像素,其经由透明层将具有可见光波长的入射光引导到对应的光电转换元件;
多个第二像素,每个所述第二像素具有第一滤色器,所述第一滤色器对于可见光波段中的第一可见光波段比对于其他可见光波段具有更高的透射率;
多个第三像素,每个所述第三像素具有第二滤色器,所述第二滤色器对于可见光波段中的不同于所述第一可见光波段的第二可见光波段比对于其他可见光波段具有更高的透射率;
多个第四像素,每个所述第四像素具有第三滤色器,所述第三滤色器对于可见光波段中的不同于所述第一和第二可见光波段的第三可见光波段比对于其他可见光波段具有更高的透射率,
其中所述信号处理部分包括:
色彩获取部分,其用于获取包括多个像素的目标像素块中的第一色彩数据值C1、第二色彩数据值C2、第三色彩数据值C3和白色数据值W,以进行信号处理;
色彩分离处理部分,其用于基于以下表达式(2)到(4)将所述白色数据值分成多种色彩,以生成第一色彩的第一色彩数据值C1w、第二色彩的第二色彩数据值C2w和第三色彩的第三色彩数据值C3w;
C1w←W·K1…(2)
C2w←W·K2…(3)
C3w←W·K3…(4)
其中K1、K2和K3表示颜色比例,由所述色彩数据值C1、C2和C3确定。
2.根据权利要求1所述的传感器,
其中利用所述像素块中的所述色彩数据值C1、C2和C3通过如下表达式(5)表示所述颜色比例Km:
其中m=1、2和3。
3.根据权利要求1所述的传感器,
其中所述信号处理部分具有白色判断部分,所述白色判断部分用于判断所述白色数据值W是否为预定的设定值或更大;并且
在所述白色判断部分的判断结果为是时,所述色彩分离处理部分基于所述表达式(2)到(4)将所述白色数据值分成多种色彩,而当所述白色判断部分的判断结果为否时,基于以下表达式(6)将所述白色数据值分成多种色彩,以生成色彩数据值C1w、C2w和C3w:
其中Claverage、C2average和C3average分别为所述第一色彩数据值C1w、所述第二色彩数据值C2w和所述第三色彩数据值C3w的平均值,m=1、2和3。
4.根据权利要求1所述的传感器,还包括:
内插处理部分,其用于利用所述色彩分离处理部分生成的所述色彩数据值C1w、C2w和C3w以及白色像素周围的目标像素的色彩数据值,来校正所述目标像素的色彩数据值,其中所述白色数据值W是所述白色像素的值。
5.根据权利要求4所述的传感器,
其中所述内插处理部分利用所述色彩分离处理部分生成的所述色彩数据值C1w、C2w和C3w以及所述白色像素周围的目标像素的色彩数据值校正所述目标像素的色彩数据值,以便将所述像素块中的像素布局设置成Bayer 阵列。
6.根据权利要求1所述的传感器,
其中所述信号处理部分具有内插处理部分,所述内插处理部分用于基于所述色彩获取部分获取的所述色彩数据值C1、C2和C3以及所述白色数据值进行内插处理,以便为每个像素计算内插的色彩数据值和所述白色数据值;并且
所述色彩分离处理部分利用所述内插处理部分所内插的所述色彩数据值和所述白色数据值、通过所述表达式(2)到(4)执行色彩分离过程。
固态图像传感器\n[0001] 相关申请的交叉引用\n[0002] 本申请基于2006年6月14日提交的在先日本专利申请No.2006-165053以及2007年1月26日提交的日本专利申请No.2007-16971并要求享有其优先权,通过引用将其全部内容引入本文。\n技术领域\n[0003] 本发明涉及一种固态图像传感器,其中,以矩阵形式布置均具有光电转换元件的多个像素。\n背景技术\n[0004] 近年来,MOS(CMOS)图像传感器得到了积极的开发。具体而言,随着半导体工艺的微型化(设计规则减小),每个均具有5百万或更多像素、像素间距例如为2.5μm的单板色彩图像传感器已经被商品化。\n[0005] 这种MOS图像传感器一般包括有着Bayer布局的滤色器,其中,在由两行两列形成的像素块中提供一个红色(R)像素、一个蓝色(B)像素和两个对角设置的绿色(G)像素。在像素块中提供两个像素G的原因是光电转换元件对绿色具有高灵敏度。因此,将绿色像素用作获取辉度(亮度)信息的像素。\n[0006] 由于半导体器件设计规则的减小涉及到像素增多和像素微型化的趋势,因此对实现宽动态范围(WDR)的需求已经增强。近年来,已经提出来各种技术来(尤其)避免高照度一侧的饱和。然而,向低照度一侧扩展动态范围,即减小最小对象照度需要改善每个像素上的SNR且实现起来很困难。从像素尺寸来说,像素的微型化趋势进展到了1.7μm的水平,或者从孔径面积来说到了1μm或以下的水平。当采用这种像素尺寸时,入射光的波动变得突出起来,由于图像模糊(衍射极限)的原因,入射光的量迅速减小到像素面积的缩小比之上。因此,需要采取措施向低照度一侧扩展动态范围,即改善SNR。\n[0007] 已经提出了各种技术以在即使像素尺寸减小的时候也能够抑制色彩再现的劣化(例如,参见JP-A 2004-304706(特开)和JP-A 9358/1996(特开))。\n[0008] JP-A 2004-304706(特开)公开了一项技术,将绿色设置在中心,在右、左、上、下方向设置白色作为辉度信号,由此确保辉度信号的信号电荷量。对于JP-A \n2004-304706(特开)而言,将四行四列形成的像素块视为一个单元,这样有一个问题,即信号处理需要花很多时间,因为像素块单元很大。此外,对低辉度的像素不进行特殊信号处理,因此低辉度的像素可能会淹没在噪声中。\n[0009] 此外,JP-A 9358/1996公开了一项技术,进行信号处理来排列滤色器,使得所有像素的光谱敏感度总额变为R:G:B=2:3:1。然而,即使对于JP-A9358/1996来说,也没有考虑到低照度的像素。因此,低辉度的像素的SNR可能会劣化。\n发明内容\n[0010] 鉴于以上问题做出了本发明,本发明的目的是提供一种能够输出色彩再现性优越的图像信号的固态图像传感器。\n[0011] 根据本发明的一个实施例,一种固态图像传感器包括:\n[0012] 以矩阵形式形成于半导体衬底上的多个像素,每个像素具有光电转换元件,所述光电转换元件输出通过光电转换获得的电信号;\n[0013] 读出电路,其用于读出从所述多个像素输出的电信号;以及\n[0014] 信号处理部分,其用于对从所述读出电路读出的电信号进行信号处理,\n[0015] 其中所述多个像素包括:\n[0016] 多个第一像素,其经由透明层将具有可见光波长的入射光引导到对应的光电转换元件;\n[0017] 多个第二像素,每个所述第二像素具有第一滤色器,所述第一滤色器对于可见光波段中的第一可见光波段比对于其他可见光波段具有更高的透射率;\n[0018] 多个第三像素,每个所述第三像素具有第二滤色器,所述第二滤色器对于可见光波段中的不同于所述第一可见光波段的第二可见光波段比对于其他可见光波段具有更高的透射率;以及\n[0019] 多个第四像素,每个所述第四像素具有第三滤色器,所述第三滤色器对于可见光波段中的不同于所述第一和第二可见光波段的第三可见光波段比对于其他可见光波段具有更高的透射率,\n[0020] 其中所述信号处理部分包括:\n[0021] 色彩获取部分,其用于获取包括多个像素的目标像素块中的第一色彩数据值C1、第二色彩数据值C2、第三色彩数据值C3和白色数据值W,以进行信号处理;\n[0022] 第一判断部分,其用于判断所述目标像素块中的所述白色数据值W是否小于预定的第一设定值;以及\n[0023] 白色校正部分,其用于在所述第一判断部分的判断结果为否时,基于如下表达式(1)对所述目标像素块中的所述白色数据值W进行校正处理,并且在所述第一判断部分的判断结果为是时,输出所述白色数据值W自身,而不基于所述表达式(1)进行校正处理;\n[0024] W’=S1C1+S2C2+S3C3 ...(1)\n[0025] 其中S1、S2和S3中的每一个都是基于色彩平衡确定的系数。\n[0026] 此外,根据本发明的一个实施例,一种固态图像传感器包括:\n[0027] 以矩阵形式形成于半导体衬底上的多个像素,每个像素具有光电转换元件,所述光电转换元件输出通过光电转换获得的电信号;\n[0028] 读出电路,其用于读出从所述多个像素输出的电信号;以及\n[0029] 信号处理部分,其用于对从所述读出电路读出的电信号进行信号处理,\n[0030] 其中所述多个像素包括:\n[0031] 多个第一像素,其经由透明层将具有可见光波长的入射光引导到对应的光电转换元件;\n[0032] 多个第二像素,每个所述第二像素具有第一滤色器,所述第一滤色器对于可见光波段中的第一可见光波段比对于其他可见光波段具有更高的透射率;\n[0033] 多个第三像素,每个所述第三像素具有第二滤色器,所述第二滤色器对于可见光波段中的不同于所述第一可见光波段的第二可见光波段比对于其他可见光波段具有更高的透射率;\n[0034] 多个第四像素,每个所述第四像素具有第三滤色器,所述第三滤色器对于可见光波段中的不同于所述第一和第二可见光波段的第三可见光波段比对于其他可见光波段具有更高的透射率,\n[0035] 其中所述信号处理部分包括:\n[0036] 色彩获取部分,其用于获取包括多个像素的目标像素块中的第一色彩数据值C1、第二色彩数据值C2、第三色彩数据值C3和白色数据值W,以进行信号处理;\n[0037] 色彩分离处理部分,其用于基于以下表达式(2)到(4)将所述白色数据值分成多种色彩,以生成第一色彩的第一色彩数据值C1w、第二色彩的第二色彩数据值C2w和第三色彩的第三色彩数据值C3w;\n[0038] C1w←W·K1 …(2)\n[0039] C2w←W·K2 …(3)\n[0040] C3w←W·K3 …(4)\n[0041] 其中K1、K2和K3表示颜色比例,由所述色彩数据值C1、C2和C3确定。\n[0042] 此外,根据本发明的一个实施例,一种固态图像传感器包括:\n[0043] 以矩阵形式形成于半导体衬底上的多个像素,每个像素具有光电转换元件,所述光电转换元件输出通过光电转换获得的电信号;\n[0044] 读出电路,其用于读出从所述多个像素输出的电信号;以及\n[0045] 信号处理部分,其用于对从所述读出电路读出的电信号进行信号处理,\n[0046] 其中所述多个像素包括:\n[0047] 多个第一像素,其经由透明层将具有可见光波长的入射光引导到对应的光电转换元件;\n[0048] 多个第二像素,每个所述第二像素具有第一滤色器,所述第一滤色器对于可见光波段中的第一可见光波段比对于其他可见光波段具有更高的透射率;\n[0049] 多个第三像素,每个所述第三像素具有第二滤色器,所述第二滤色器对于可见光波段中的不同于所述第一可见光波段的第二可见光波段比对于其他可见光波段具有更高的透射率;以及\n[0050] 多个第四像素,每个所述第四像素具有第三滤色器,所述第三滤色器对于可见光波段中的不同于所述第一和第二可见光波段的第三可见光波段比对于其他可见光波段具有更高的透射率,\n[0051] 其中所述信号处理部分包括:\n[0052] 色彩获取部分,其用于获取包括多个像素的目标像素块中的第一色彩的第一色彩数据值C1、第二色彩的第二色彩数据值C2、第三色彩的第三色彩数据值C3和白色数据值W,以进行信号处理;\n[0053] 判断部分,其用于判断所述色彩数据值C1、C2和C3是否小于预定的设定值;以及[0054] 低照度校正部分,其用于在判定所述色彩数据值C1、C2和C3中两个较大值小于所述设定值时,基于所述白色数据值和大于所述设定值的所述色彩数据值来纠正(retrieve)被判定为小于所述设定值的所述色彩数据值。\n[0055] 此外,根据本发明的一个实施例,一种固态图像传感器包括:\n[0056] 以矩阵形式形成于半导体衬底上的多个像素,每个像素具有光电转换元件,所述光电转换元件输出通过光电转换获得的电信号;以及\n[0057] 读出电路,其用于读出从所述多个像素输出的电信号,\n[0058] 其中以两个或更多像素为单位将所述多个像素分成多个像素块;并且\n[0059] 所述多个像素具有相对于图像拾取表面的两轴倾斜45°的正方形形状,不间隔任何空间设置相邻的像素,沿彼此不同的行设置第一和第四像素。\n附图说明\n[0060] 图1为示出了根据本发明实施例的固态图像传感器的示意性构造的方框图;\n[0061] 图2为示出了两行两列形成的像素块100的范例的视图;\n[0062] 图3为示出了滤色器的透射率的曲线图;\n[0063] 图4为示出了每个像素的灵敏度的曲线图,所述像素设有每种颜色的滤色器;\n[0064] 图5为示出了垂直和水平布置的图2所示的总共四个像素块的范例的图示;\n[0065] 图6A为示意性示出了对应于沿行方向彼此相邻的三个像素的截面构造的截面图,也是具有红外线截止滤波器的固态图像传感器的截面图,而图6B为示出了在图6A所示的每个滤色器上设置红外线截止滤波器17的范例的截面图;\n[0066] 图7为曲线图,示出了当为每个像素RGB提供红外线截止滤波器17而不为像素W提供红外线截止滤波器17时,每个像素的透射波段和透射率之间的关系;\n[0067] 图8为方框图,示出了根据第一实施例的图1所示的信号处理电路6的内部构造的范例;\n[0068] 图9为示出了辉度和像素输出之间的关系的图示;\n[0069] 图10为流程图,示出了根据第一实施例的信号处理电路6所执行的处理操作的范例;\n[0070] 图11为方框图,示出了根据第二实施例的信号处理电路6的内部构造的范例;\n[0071] 图12为流程图,示出了图11所示的信号处理电路6所执行的处理操作的范例;\n[0072] 图13为用于解释图12中的步骤S11处的处理操作的图示;\n[0073] 图14为用于解释图12中的步骤S11处的处理操作的图示;\n[0074] 图15为示出了由五行七列形成、中心具有像素W的像素块范例的图示;\n[0075] 图16为用于解释内插处理部分的处理操作的图示;\n[0076] 图17为方框图,示出了根据第三实施例的信号处理电路6的内部构造的范例;\n[0077] 图18为流程图,示出了图17所示的信号处理电路6所执行的处理操作的范例;\n[0078] 图19为流程图,示出了根据第四实施例的信号处理电路6所执行的处理操作的范例;\n[0079] 图20为示出了刚刚进行完色彩分离处理后的像素布局的图示;\n[0080] 图21A到图21C是用于解释内插处理部分的处理操作的图示;\n[0081] 图22为示出了处理信号矩阵以应对Bayer布局的图示;\n[0082] 图23为方框图,示出了根据第六实施例的信号处理电路6的内部构造的范例;\n[0083] 图24为流程图,示出了图23所示的信号处理电路6所执行的处理操作的范例;\n[0084] 图25为方框图,示出了根据第七实施例的信号处理电路6的内部构造的范例;\n[0085] 图26为流程图,示出了图25所示的信号处理电路6的处理操作;\n[0086] 图27A-C为用于解释像素阵列1中的目标像素40以及对目标像素40的内插处理的图示,其中将图2所示的两行两列形成的像素块判定为一个单元;\n[0087] 图28为示出了像素阵列1的范例的图示,其中每隔一行设置每条仅由像素W形成的线;\n[0088] 图29为示出了像素块10b的范例的图示,其中局部改变了图28所示的像素布局;\n[0089] 图30为示出了像素块10c的范例的图示,其中局部改变了图29所示的像素布局;\n[0090] 图31为示出了根据第十实施例的像素阵列1的图示;\n[0091] 图32为示出了像素阵列1的图示,其中局部改变了图31所示的像素布局;\n[0092] 图33为示出了像素阵列1的图示,其中互换了图32所示的像素W和像素G;\n[0093] 图34为示出了根据第十一实施例的像素阵列1的图示;\n[0094] 图35为示出了根据图34的变型的像素阵列1的图示;以及\n[0095] 图36为示出了像素阵列的图示,其中沿横向将彼此相邻的两行中的像素偏移对应于半个像素的量。\n具体实施方式\n[0096] 现在将参考附图解释根据本发明的实施例。\n[0097] (第一实施例)\n[0098] 图1为示出了根据本发明实施例的固态图像传感器的示意性构造的方框图。图1所示的固态图像传感器包括:像素阵列1,在像素阵列1中以矩阵形式设置了多个均具有光电转换元件的像素;垂直扫描器2,其向像素阵列1中的相应行依次提供驱动电压;噪声减除电路3,对在每个像素中经过光电转换的成像信号中包括的噪声进行消除处理;A/D转换电路4,对噪声减除电路3输出的成像信号进行A/D转换;水平扫描器5,根据每列依次选择和读取经A/D转换的成像数据;以及信号处理电路6,对成像数据进行下文所述的信号处理。\n[0099] 信号处理电路6依照像素阵列中的每行顺序地为每列接收成像数据。垂直扫描器\n2、噪声减除电路3、A/D转换电路4和水平扫描器5对应于读出电路。读出电路相对于多个像素同时读取一条水平线中的信号,或依照每个像素依次读取信号。\n[0100] 读出电路和像素阵列1形成于相同的半导体衬底上。信号处理电路也可以形成于相同的半导体衬底上。或者,信号处理电路6可以形成于与形成读出电路和像素阵列1的半导体衬底不同的半导体衬底上。在这种情况下,将读出电路的输出输入到另一半导体衬底上的信号处理电路6。\n[0101] 将像素阵列1中的多个像素分成多个像素块,将彼此相邻设置的一些像素判定为一个单元。例如,图2为示出了由两行两列形成的像素块的范例,该像素块包括沿对角设置的白色W像素(在下文中将称为像素W)和绿色G像素(在下文中将称为像素G)以及剩余的两个包括红色R和蓝色B的像素(在下文中将被称为像素R和像素B)。\n[0102] 像素W经由透明层将具有具有可见光波长(例如400nm到650nm)的入射光引导到对应的光电转换元件。透明层由对可见光透明的材料形成,且其在整个可见光区域内表现出高灵敏度。\n[0103] 另一方面,为像素G提供对于绿色可见光波段中的光具有高透射率的滤色器。为像素R提供对于红色可见光波段中的光具有高透射率的滤色器。为像素B提供对于蓝色可见光波段中的光具有高透射率的滤色器。\n[0104] 提供像素W是因为白色像素可让整个可见光波段中的光透过,因此像素W适于获取辉度信息。由于绿色像素也可以用于获取辉度信息,因此在图2中沿对角设置白色像素和绿色像素。结果,可以对所有行和列均匀地检测出辉度信息,从而改善辉度分辨率。\n[0105] 此外,图2所示的像素块除像素W之外还具有像素R、G和B,因为R、G和B为原色,在色彩再现时优于互补色的像素,并且不需要诸如色彩转换等处理,由此简化了信号处理的处理过程。\n[0106] 图3为示出了每种滤色器的透射率的曲线图,而图4为示出了具有每种颜色的滤色器的每个像素的灵敏度的曲线图。如图3所示,白色W的滤色器对于整个可见光波段(大约400到700nm)的光具有95%或更高的透射率。绿色G的滤色器对于大约为500到550nm的光具有高透射率。红色R的滤色器对于大约600到700nm的可见光波段中的光具有高透射率。蓝色B的滤色器对于大约450到490nm的可见光波段中的光具有高透射率。\n[0107] 如图4所示,对于这些透射率而言灵敏度具有相同的特征。白色W的像素对于整个可见光波段具有高灵敏度,白色W的灵敏度大致为R、G或B每种单个像素的灵敏度的两倍。\n[0108] 此外,当将滤色器设计为蓝色B和绿色G的交叉点(光谱彼此交叉的点处的透射率)以及绿色G和红色R的交叉点中的每一个变为大致50%时,在从白色W提取色彩信号时,从白色W提取的绿色G的光谱可以具有与仅仅绿色G光谱相同的形状,下文将对此进行解释。当交叉点落在40到60%的值范围内,可以获得优异的色彩再现性。即使交叉点落在\n30到70%的范围内,也可以获得实用水平的色彩再现性。\n[0109] 图5为示出了垂直和水平布置图2所示的总共四个像素块的范例的图示。此外,图6A为示意性示出了对应于沿行方向彼此相邻的三个像素的截面结构的截面图。如图6A所示,每个像素具有:形成于半导体衬底11上的光电转换元件12;隔着层间绝缘膜13形成于光电转换元件12上的滤色器14;以及形成于滤色器14上的微透镜15。在层间绝缘膜13中形成为相邻像素屏蔽光的光屏蔽膜16。\n[0110] 由于光电转换元件12在近红外波长区域具有灵敏度,除非截止近红外光线(例如\n650nm或以上),否则会降低色彩再现性。例如,在对发射(反射)纯绿光和近红外光线的对象成像时,在像素G中检测到绿色,在像素R中检测出近红外光。因此,无法将对象检测为纯绿色(R:G:B)=(0:1:0)。\n[0111] 于是,在固态图像传感器和对象之间或在固态图像传感器和透镜之间提供防止\n650nm或以上的光的透射的红外线截止滤波器,从而仅允许波长可见的光进入固态图像传感器。或者,如图6B的截面图所示,可以在滤色器上设置红外线截止滤波器17。对于图6B而言,未向白色像素提供红外线截止滤波器17。这是因为提供白色像素是为了获取辉度信息,并且在未提供红外线截止滤波器17时可以更确定地获得低辉度一侧上的辉度信息。\n[0112] 图7为曲线图,示出了当为每个像素R、G和B提供红外线截止滤波器17而不为像素W提供红外线截止滤波器17时,每个像素的透射波段和透射率之间的关系。如图所示,像素W可以吸收能够被光电转换元件的衬底材料硅光电转换的波长(大约1.1μm的近红外光线)的光线。在对辉度低的对象成像时像素W尤其有利,并可以将其用作近红外摄像机。\n[0113] 图8为方框图,示出了图1所示的信号处理电路6的内部构造的范例。图8所示的信号处理电路6包括W饱和判断校正处理部分21,其对白色像素进行饱和判断和校正处理。尽管图8示出了W饱和判断校正处理部分21单独构成图8中的信号处理电路6的范例,但在信号处理电路6中可以包括另一个执行信号处理的模块。\n[0114] W饱和判断校正处理部分21具有:判断像素W的白色数据值W是否饱和的W饱和判断部分22;基于W饱和判断部分22的判断结果对像素W进行校正处理的W校正处理部分23;以及W校正处理部分23工作使用的线存储器24。\n[0115] W饱和判断校正处理部分21将成像数据分成RGB三色数据C=(C1,C2,C3)和白色数据值W并进行信号处理。三色数据C和白色数据值W中的每个都可以采取(例如)256种色调的数据0到255中的值。在以下解释中,假设红色数据为C1,绿色数据为C2,蓝色数据为C3。例如,当判定C2=100且对色温为5500K(开尔文)的白光进行成像时,假设实现了W=200,C=(C1,C2,C3)=(80,100,70)。\n[0116] 在以下解释中,由三行三列形成、像素W置于中心的像素块是基本单元。像素R、G和B和像素W具有不同程度的辉度(亮度),允许使每个像素的色彩数据值饱和。\n[0117] 图9为示出了辉度和像素输出之间的关系的图示。如图9所示,与R、G和B像素相比,像素W在低照度一侧难以饱和,但在高照度一侧容易饱和。于是,图8中的W饱和判断校正处理部分21判断白色数据值W是否在高辉度一侧未饱和。\n[0118] 图10为流程图,示出了图8所示的信号处理电路6所执行的处理操作的范例。首先,W饱和判断部分22判断白色数据值W是否不低于设定值Ws(例如Ws=240),并检测白色数据值W是否落入未饱和的范围内(步骤S1,第一判断部分)。如果实现了WCn时,W饱和判断校正处理部分21执行由如图10所示的相同处理过程形成的W饱和判断校正处理(步骤S34)。基于步骤S34的该处理,输出校正后的白色数据值W和色彩数据值。\n[0198] 然后,低照度判断校正处理部分30执行由如图18所示的相同处理过程形成的低照度判断处理(步骤S35)。基于步骤S35的该处理,改善了相应像素R、G和B中的低照度的像素的灵敏度。\n[0199] 随后,色彩分离内插处理部分25执行由与如图12所示的处理过程相同的处理过程形成的色彩分离处理(步骤S36)。在步骤S36通过该处理将像素W色彩分离成RGB色彩数据值之后,输出经过内插处理的色彩数据值。\n[0200] 在单块存储器中存储步骤S36和S33的处理结果,即白色数据值W’和色彩数据值C(步骤S37)。\n[0201] 然后,YUV转换部分35将色彩分离内插处理部分25输出的三种色彩数据值转换成辉度数据和色差数据(步骤S38)。\n[0202] 如上所述,根据第六实施例,连续执行W饱和判断校正处理、RGB低照度判断处理和色彩分离处理以产生最终色彩数据,由此获得在色彩信息再现性方面优越且图像质量高而没有白色间断或块色彩模糊的图像。\n[0203] 要指出的是,不必按照W饱和判断校正处理部分21、低照度判断校正处理部分30和色彩分离内插处理25的次序来执行每个处理。例如,可以以W饱和判断校正处理部分\n21、色彩分离内插处理25和低照度判断校正处理部分30的次序执行处理。此外,可以省略图24中所示的处理的一部分,例如步骤S32的判断处理。\n[0204] (第七实施例)\n[0205] 尽管在图12中先执行色彩分离处理后执行内插处理,但也可以先执行内插处理后执行色彩分离处理。下面介绍的第七实施例特征在于先执行内插处理后实施色彩分离处理。\n[0206] 图25为方框图,示出了根据第七实施例的信号处理电路6的内部构造的范例,而图26为流程图,示出了图25所示的信号处理电路6的处理操作。\n[0207] 图25所示的信号处理电路6使用内插处理部分28进行内插处理,然后利用色彩分离内插处理部分25进行色彩分离处理。内插处理部分28获取目标像素的色彩数据C(C1、C2、C3)和白色数据值W。\n[0208] 这里,目标像素为信号处理的基本单位,每个目标像素具有相应的色彩数据R、G和B以及白色W数据。与像素阵列1中的实际像素不同,该目标像素为虚拟像素。详细地讲,目标像素的位置是像素阵列1中每个像素中存在的光电转换元件的位置或每个像素的重力点的位置。\n[0209] 例如,图27是用于解释像素阵列1中的目标像素40的图示,该像素阵列1以图2所示的两行两列形成的像素块为单位。将图27中从左侧开始第二行和第二列中设置的像素判定为目标像素40。该目标像素40的R数据值为图27A所示的上下R像素数据值的平均值。此外,B数据值是图27B所示的左右B像素数据值的平均值,G数据值是目标像素40位置处放置的像素G自身的数据值。W数据值是置于目标像素40的四角处的像素W的数据值的平均值。\n[0210] 在执行这种内插处理时,判断目标像素40的RGB数据值和W数据值。要指出的是,当信号处理电路6执行内插处理时,利用图25所示的线路存储器。因此,在该线路存储器中预先存储围绕该目标像素40的色彩数据值。\n[0211] 根据本实施例的信号处理电路6首先利用内插处理部分28基于如图26所示的上述处理顺序进行内插处理(步骤S41)。结果,按照每个目标像素40判定RGB数据值C’m和W数据值W’中的每一个。\n[0212] 然后,色彩分离内插处理部分25基于以下表达式(12)计算并输出目标像素40的三色数据值(步骤S42和S43)。\n[0213] \n[0214] 按照每个目标像素40对步骤S42计算出的目标像素40的三色数据值进行YUV转换。\n[0215] 如上所述,根据第七实施例,按照每个目标像素40执行内插处理以获取每一RGB数据C和白色数据值W,然后按照图26的流程图进行信号处理。因此,可以在以比像素块更精细的单位考虑辉度信息的同时执行信号处理,由此获取色彩再现性优越且空间分辨率高的图像。\n[0216] (第八实施例)\n[0217] 第八实施例的特征在于RGB数据C=(C1、C2、C3)具有低照度时的处理操作与第三实施例中的不同。\n[0218] 尽管根据第八实施例的信号处理部分依照图18的流程图进行处理操作,但步骤S27的A处理或步骤S26和S27的B处理或步骤S24、S26和S27的(C)处理操作与第一和第二实施例中那些不同。\n[0219] 具体而言,在执行处理A、B或(C)时,基于以下表达式(13)恢复每一RGB数据值C。\n[0220] Cm1=W/S1,Cm2=W/S2,Cm3=W/S3 ...(13)\n[0221] 这里,S1、S2和S3是基于白色平衡判定的系数,它们是按照整个像素区域判定的。\n亦即,在对低照度对象成像的情况下,在(D)RGB数据值中所有三种色彩数据值都具有低SNR且无效时,(E)在RGB数据值中两种色彩数据值无效时或(F)RGB数据值中仅一种色彩数据值无效时,执行表达式(13)表示的算术运算。结果,可以生成与辉度数据W成正比的黑色和白色信息。\n[0222] 如上所述,根据第八实施例,当各RGB数据值都具有低照度时,可以无需参考前一块而通过简单的技术检测出黑色和白色信息作为RG数据值。亦即,根据本实施例,在可以判定色彩信号为低照度一侧上的灰度级时,可以通过简单的信号处理而将低照度一侧的色彩信号再现为黑和白信息。\n[0223] (第九实施例)\n[0224] 尽管已经参照第一实施例介绍了以两行两列形成的像素块为单位进行处理操作的范例,但具有像素W、像素R、像素G和像素B的像素块可以具有除由两行两列形成的构造之外的构造。\n[0225] 例如,图28为示出了像素阵列1的范例的图示,其中每隔一行设置仅包括像素W的每一行。对于图28而言,在包括像素W的行之间顺次反复设置像素R、G和B。因此,像素块50a的单位是两行三列的结构。要指出的是,像素RGB的排列顺序不限于特定顺序。\n[0226] 对于图28所示的像素阵列1,当图1所示的垂直扫描器2在像素R、G和B之前以高速扫略仅包括像素W的行时,可以在获取色彩信息之前单独获得辉度信息。\n[0227] 当以二倍于其他行的帧速率的帧速率读取像素W的行时,通过交替反复读出两行三列形成的像素块中由仅包括像素W的数据形成的帧(WWW)和由(WWWRGB)形成的帧,可以以双倍速度仅读出辉度数据。\n[0228] 图29为示出了像素块50b的范例的图示,其中局部改变了图28中的像素排列。对于图29的情况而言,四行四列构成一个像素块,每隔一条线设置一个仅包括像素W的各行,在仅包括像素W的行之间设置像素B、G、R和G形成的行。在像素B、G、R和G形成的行中,像素G的数量是其他颜色的像素数量的二倍。结果,与均匀设置像素R、G和B的范例相比,可以提高辉度分辨率。\n[0229] 在图29中,像素B、G、R和G形成的行中像素的排列可以是任意的。然而,当像素G不是彼此相邻时,可以均匀检测出辉度,因此这种排列是理想的。\n[0230] 图30为示出了像素块50c的范例的图示,其中局部改变了图29中的像素排列。在图30中,为了改善G信号的色彩再现性和绿色分辨率,使图29中的像素W和像素G的位置互换,并每隔一条线设置一个仅由像素G形成的行。在该范例中,当像像素W那样读出可用于获取辉度信息的仅由像素G形成的行时,可以像图29所示的范例那样改善辉度分辨率。\n[0231] 如上所述,根据第九实施例,由于提供了每隔一条线设置一个仅由像素W或像素G形成的行的像素块,因此可以在获取色彩信息之前以高速单独获取辉度信息。\n[0232] (第十实施例)\n[0233] 第十实施例提供了一种在像素阵列1中按之字形图案设置像素W的结构。第十实施例也用于具有与图1所示的构造相同的构造的固态图像传感器,固态图像传感器中信号处理部分的内部构造与第二实施例的相同,因此省去对信号处理部分的详细介绍。\n[0234] 图31为示出了根据第十实施例的像素阵列1的图示。图31中的像素阵列1具有两行六列形成的像素块50d。每个像素块50d具有设置成之字形图案的六个像素W以及交替设置在像素W之间的总共六个像素R、G和B。\n[0235] 由于像素块50d中一半的像素为像素W,因此可以改善辉度分辨率。具体而言,当像素R、G和B具有低照度且像素W的SNR高于最小基准值时,可以在水平方向和垂直方向都维持高的辉度分辨率。\n[0236] 图32为示出了像素阵列1的图示,其中局部改变了图31中的像素排列。在图32中所示的像素阵列1中的像素块50e中,像素G的数量是像素R数量和像素B数量的两倍。\n结果,可以改善绿色的再现性,且与图31所示范例相比可以进一步提高辉度分辨率。\n[0237] 图33为示出了像素阵列1的图示,其中使图32中的像素W和像素G位置互换。由于图33所示的像素阵列1中的像素块50f中的像素W的数量小于图32所示的数量,因此降低了辉度分辨率,但可以改善绿色分辨率和色彩再现性。\n[0238] 如上所述,根据第十实施例,由于像素W或像素G设置成之字形图案,因此可以详细而均匀地掌握辉度信息,由此改善了辉度分辨率。\n[0239] (第十一实施例)\n[0240] 尽管在第一到第十实施例中介绍了平行于像素阵列1的成像平面上的垂直和水平轴设置相应像素的范例,但可以相对于成像平面的垂直和水平轴在0到90°角度范围内倾斜设置每一像素。现在将解释相对于垂直和水平轴以45°角倾斜设置每个像素的范例。\n要指出的是,第十一实施例适用于与图1所示具有相同结构的固态图像传感器。固态图像传感器中的信号处理部分的内部构造与第一或第二实施例相同,因此省略对信号处理部分的详细介绍。\n[0241] 图34为示出了根据第十一实施例的像素阵列1的图示。在图34所示的像素阵列\n1中,沿着相对于成像平面的垂直和水平轴倾斜45°的方向(页空间中的上、下、右和左方向)紧密设置相应像素。\n[0242] 每个像素具有正方形形状,由于其倾斜45°,因此其具有菱形形状。在这种情况下,提供一种所谓的蜂巢结构,其中将相应的像素设置成棋盘形图案。因此,在沿横向(水平方向)进行内插处理时,每个像素面积的像素表观数量是未倾斜像素数量的二倍,由此改善了表观分辨率。\n[0243] 图34中的像素阵列1具有沿水平方向每隔一行提供的仅由像素G形成的每一行,还具有在像素G的行之间重复像素W和像素R的每一行。在图34中,将倾斜45°的四行四列判定为像素块50g。图34中像素数量比W:R:G:B为2:1:4:1,像素W的数量和像素G的数量较大,由此获得了更多辉度信息。\n[0244] 图35为示出了根据图34的变型的像素阵列1的图示。图35中的像素阵列1具有沿水平方向每隔一行提供的仅由像素W形成的每一行,还具有在像素W的各行之间重复像素R、G和B的每一行。图35中像素块50h中的像素数量比W:R:G:B为4:1:2:1。像素W的比例高于图34中的像素W的比例,因此辉度灵敏度高。然而,像素G的比例高于图34中的像素G的比例。因此,色分辨率劣化了。\n[0245] 此外,在图35的情况下,在使用垂直扫描器2以高速选择并读取仅由像素W形成的每一行时,实现了灰阶图像的高速成像。或者,对仅由像素W形成的行进行稀疏化、选择和读取,可以用和常规Bayer布局相同的像素布局以高速进行成像。\n[0246] 如上所述,根据第十一实施例,由于每个像素都是相对于成像平面的垂直和水平轴成45°角倾斜设置的,因此可以使每单位面积的像素表观数量加倍,从而提高分辨率。此外,由于可以以高速选择和读取仅由像素G或像素W形成的行,因此可以用和常规Bayer布局相同的像素布局以高速进行成像。\n[0247] 图34和图35示出了相对于成像平面的垂直和水平轴以45°角倾斜设置每个像素的范例。然而,可以将彼此相邻的两行中的像素沿横向偏移对应于半个像素的量并对其进行如图36所示设置。在这种情况下,与像素未偏移对应于半个像素的量的范例相比,垂直方向上像素的密度加倍了,由此获得了两倍的分辨率。\n[0248] 此外,作为图36所示范例的替代,可以将彼此相邻的两列中的像素偏移对应于半个像素的量并对其进行设置。在这种情况下,与像素未偏移对应于半个像素的量的范例相比,横向上像素的密度加倍了,由此获得了两倍的分辨率。\n[0249] 如上所述,在沿垂直或水平方向使彼此相邻的两行中的相应像素偏移对应于半个像素的量时,可以获得与图34或图35所示的每个像素倾斜45°的范例中同样的效果。\n[0250] 本领域的技术人员将容易想到更多的优点和改进。因此,在其更宽的方面上,本发明不限于这里所示和所述的特定细节和代表性实施例。因此,在不脱离如所附权利要求及其等价物所定义的一般发明构思的精神或范围的情况下可以做出各种修改。
法律信息
- 2017-08-04
未缴年费专利权终止
IPC(主分类): H04N 9/04
专利号: ZL 200780022081.3
申请日: 2007.06.14
授权公告日: 2013.02.27
- 2013-02-27
- 2009-08-19
- 2009-06-24
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |