摄像装置

1.一种摄像装置，对被摄体进行摄影并生成彩色图像，该摄像装置的特征在于，具备：
摄像部，其对被摄体进行摄影并通过摄像像素变换为可视光信号和非可视光信号；
可视光辉度提取部，其从上述可视光信号提取可视光辉度信号(Y1)；
非可视光辉度提取部，其从上述非可视光信号提取非可视光辉度信号(Y2)；
颜色信号提取部，其从上述可视光信号提取颜色信号并对该颜色信号进行校正；
图像合成部，其对上述可视光辉度信号(Y1)和上述非可视光辉度信号(Y2)进行合成并作为合成辉度信号(Y3)，采用该合成辉度信号(Y3)和上述校正后的颜色信号来生成彩色图像；和
控制部，其控制上述摄像部、上述颜色信号提取部、和上述图像合成部，上述控制部根据可视光辉度信号(Y1)的值与第二阈值(Th2)的大小的比较，判断上述可视光信号对于生成彩色图像而言是否充足，其中，该第二阈值(Th2)由仅根据可视光信号生成彩色图像时所需的辉度等级决定，
上述控制部在上述可视光辉度信号(Y1)的值小于上述第二阈值(Th2)时，判断为上述可视光信号对于生成彩色图像而言是不充足的，
该控制部按照由上述可视光辉度提取部所提取的可视光辉度信号(Y1)的值，根据上述可视光信号对于生成彩色图像而言是否充足，控制由上述图像合成部进行合成的上述可视光辉度信号(Y1)和上述非可视光辉度信号(Y2)的合成比率、以及由上述颜色信号提取部进行校正的上述颜色信号的放大度和颜色噪声去除，在上述可视光信号对于生成彩色图像而言是不充足的情况下，为了对上述可视光辉度信号(Y1)的减少部分进行补充，上述控制部以使上述颜色信号的校正量即颜色信号的放大量和颜色噪声的去除量按照由上述可视光辉度信号(Y1)的值决定的、上述非可视光辉度信号(Y2)的合成比率的大小进行增加的方式，指示上述颜色信号的校正量。
2.根据权利要求1所述的摄像装置，其特征在于，
上述控制部对上述图像合成部进行控制，以使在上述可视光辉度信号(Y1)的值处于上述第二阈值(Th2)以上的情况下将上述可视光辉度信号(Y1)使用为上述合成辉度信号(Y3)，在上述可视光辉度信号(Y1)的值小于第一阈值(Th1)的情况下将上述非可视光辉度信号(Y2)使用为上述合成辉度信号(Y3)，其中，第一阈值(Th1)＜第二阈值(Th2)。
3.根据权利要求1所述的摄像装置，其特征在于，
上述控制部对上述颜色信号提取部进行控制，以使在上述可视光辉度信号(Y1)的值处于上述第二阈值(Th2)以上的情况下不进行上述颜色信号的校正，在上述可视光辉度信号(Y1)的值小于上述第二阈值(Th2)的情况下，按照上述非可视光辉度信号(Y2)的合成比率进行上述颜色信号的放大和颜色噪声去除。
4.根据权利要求1所述的摄像装置，其特征在于，
上述摄像部为了设定曝光条件而具有：调整光圈开口度的光圈驱动部；控制上述摄像像素的快门速度的快门控制部；和放大由上述摄像像素所得到的信号的增益控制部，上述控制部在上述可视光辉度信号(Y1)的值小于上述第二阈值(Th2)的情况下，对上述摄像部进行控制，以便变更上述光圈开口度、上述快门速度、上述信号放大度的各设定值来增大曝光。
5.根据权利要求1所述的摄像装置，其特征在于，
上述摄像部具备：
可视光用摄像部，其具有输出上述可视光信号的摄像像素；和
非可视光用摄像部，其具有输出上述非可视光信号的摄像像素。
6.根据权利要求1或2所述的摄像装置，其特征在于，
上述摄像部的上述摄像像素输出近红外区域的信号作为上述非可视光信号。
7.一种摄像装置，对被摄体进行摄影并生成彩色图像，该摄像装置的特征在于，具备：
摄像部，其对被摄体进行摄影并通过摄像像素变换为可视光信号和非可视光信号；
可视光辉度提取部，其从上述可视光信号提取可视光辉度信号(Y1)；
非可视光辉度提取部，其从上述非可视光信号提取非可视光辉度信号(Y2)；
颜色信号提取部，其从上述可视光信号提取颜色信号并对该颜色信号进行校正；
图像合成部，其对上述可视光辉度信号(Y1)和上述非可视光辉度信号(Y2)进行合成并作为合成辉度信号(Y3)，采用该合成辉度信号(Y3)和上述校正后的颜色信号来生成彩色图像；和
控制部，其控制上述摄像部、上述颜色信号提取部、和上述图像合成部，上述控制部基于是否能仅根据可视光信号生成良好的彩色图像，判断上述摄像部的曝光条件是否适合低照度环境下的摄影，
上述控制部在判断为上述摄像部的曝光条件是面向低照度的设定时，判断为上述可视光信号对于生成彩色图像而言是不充足的，
该控制部按照上述摄像部的曝光条件，根据上述可视光信号对于生成彩色图像而言是否充足，控制由上述图像合成部进行合成的上述可视光辉度信号(Y1)和上述非可视光辉度信号(Y2)的合成比率、以及由上述颜色信号提取部进行校正的上述颜色信号的放大度和颜色噪声去除，
在上述可视光信号对于生成彩色图像而言是不充足的情况下，为了对上述可视光辉度信号(Y1)的减少部分进行补充，上述控制部以使上述颜色信号的校正量即颜色信号的放大量和颜色噪声的去除量按照由上述摄像部的曝光条件决定的、上述非可视光辉度信号(Y2)的合成比率的大小进行增加的方式，指示上述颜色信号的校正量。
8.根据权利要求7所述的摄像装置，其特征在于，
上述摄像部为了设定曝光条件而具有：调整光圈开口度的光圈驱动部；控制上述摄像像素的快门速度的快门控制部；和放大由上述摄像像素所得到的信号的增益控制部，上述控制部根据上述摄像部中的上述光圈开口度、上述快门速度、上述信号放大度的各设定值来算出曝光判定值，按照该曝光判定值来控制上述辉度信号的合成比率和上述颜色信号的校正。

摄像装置\n技术领域\n[0001] 本发明涉及使用可视光和非可视光(近红外光等)并生成彩色图像的摄像装置。\n背景技术\n[0002] 为了进行低照度环境下的彩色图像摄影，提出采用了红外光的图像生成技术。例如专利文献1中所记载的红外线彩色图像形成装置具备：“接收从对象物放射或者反射的红外线，并得到红外光谱图像的红外线照相机；针对该对象物，预先存储颜色与红外光谱放射强度或者红外光谱反射率的对应数据的存储装置；基于该对应数据，根据上述红外光谱图像的各位置的红外光谱的放射强度或者红外光谱反射率的值决定上述红外光谱图像的各位置的颜色的第1处理单元；和以由上述第1处理单元所得到的颜色信号作为基础，对上述对象物的图像的各位置人工地实施着色的第2处理单元”。\n[0003] 专利文献1：JP特开2002-171519号公报\n[0004] 作为摄像装置的基本性能，要求能够忠实地再现摄影对象的被摄体的颜色。但是，例如在使用为监视照相机的情况下，存在在亮度不足的低照度环境下使用的情况，难以正确地识别所摄影的被摄体的颜色。即使在这种低照度环境下，也期望能正确地再现被摄体的颜色。\n[0005] 在上述专利文献1中，采用红外光谱放射强度或者红外光谱反射率的对应数据来决定被摄体的颜色。但是在该方法中，为了决定被摄体的颜色，需要预先测定红外光谱的对应数据并存储。此外为了决定颜色而只使用红外线的受光信号，因此与采用由可视光信号得到的颜色信号的情况相比，未必能够再现自然的颜色，存在改善的余地。\n发明内容\n[0006] 本发明的目的在于，鉴于上述课题，提供一种在低照度环境下也能再现更自然的被摄体的颜色的摄像装置。\n[0007] 本发明的摄像装置具备：摄像部，其对被摄体进行摄影并通过摄像像素变换为可视光信号和非可视光信号；可视光辉度提取部，其从上述可视光信号提取可视光辉度信号Y1；非可视光辉度提取部，其从上述非可视光信号提取非可视光辉度信号Y2；颜色信号提取部，其从上述可视光信号提取颜色信号并对该颜色信号进行校正；图像合成部，其对上述可视光辉度信号Y1和上述非可视光辉度信号Y2进行合成并作为合成辉度信号Y3，采用该合成辉度信号Y3和上述校正后的颜色信号来生成彩色图像；和控制部，其控制上述摄像部、上述颜色信号提取部、和上述图像合成部。\n[0008] 在此，上述控制部按照由上述可视光辉度提取部所提取的可视光辉度信号Y1的值，控制由上述图像合成部进行合成的上述可视光辉度信号Y1和上述非可视光辉度信号Y2的合成比率、以及由上述颜色信号提取部进行校正的上述颜色信号的放大度和颜色噪声去除。\n[0009] 此外，上述控制部按照上述摄像部的曝光条件控制由上述图像合成部进行合成的上述可视光辉度信号Y1和上述非可视光辉度信号Y2的合成比率、以及由上述颜色信号提取部进行校正的上述颜色信号的放大度和颜色噪声去除。\n[0010] 根据本发明，能够提供一种在低照度环境下也能再现更自然的被摄体的颜色的摄像装置。\n附图说明\n[0011] 图1为表示实施例1的摄像装置的功能结构的模块图。\n[0012] 图2为表示摄像部11的内部结构的图。\n[0013] 图3为表示摄像部11的摄像像素24的结构例的图。\n[0014] 图4为表示针对摄像像素的光的波长的灵敏度特性的图。\n[0015] 图5为表示图像合成部16的内部结构的图。\n[0016] 图6为表示彩色图像生成的流程的流程图。\n[0017] 图7为具体地说明摄像部11的曝光控制(S106)的图。\n[0018] 图8为具体地说明图像合成部16的辉度信号合成(S110)的图。\n[0019] 图9为具体地说明颜色信号提取部13的颜色信号校正(S111)的图。\n[0020] 图10为表示实施例2的彩色图像生成的流程的流程图。\n[0021] 图11为具体地说明曝光设定值的判定(S205)和与此对应的辉度信号的合成(S207)以及颜色信号的校正(S208)的图。\n[0022] 图12为表示实施例3的摄像部的内部结构的图。\n具体实施方式\n[0023] 以下，采用附图对本发明的实施方式进行说明。\n[0024] 【实施例1】\n[0025] 图1为表示实施例1的摄像装置的功能结构的模块图。摄像装置1具备摄像部11和图像处理部12。\n[0026] 摄像部11具有接收来自被摄体的可视光和非可视光的摄像像素，并变换为可视光信号和非可视光信号向图像处理部12发送。这里所述的可视光指红色(R)、绿色(G)、蓝色(B)的波段，非可视光是指红外或者近红外(IR)的波段。\n[0027] 图像处理部12具备颜色信号提取部13、可视光辉度提取部14、非可视光辉度提取部15、图像合成部16、和控制部17。\n[0028] 颜色信号提取部13从摄像部11所输入的可视光信号中提取颜色信号R、G、B。此时，按照来自控制部17的指示，使所输入的颜色信号R、G、B放大规定的量，进行去除由于颜色信号的放大而产生的颜色噪声的校正。\n[0029] 可视光辉度提取部14从摄像部11所输入的可视光信号中提取辉度信号。将在此所提取的可视光辉度信号设为Y1。\n[0030] 非可视光辉度提取部15从摄像部11所输入的非可视光信号IR中捕捉各像素的值作为单色图像的辉度，并提取非可视光辉度信号Y2。\n[0031] 这些提取(校正)的颜色信号R、G、B和两个辉度信号Y1、Y2被发送到图像合成部16以及控制部17。\n[0032] 图像合成部16按照来自控制部17的指示以规定的比率合成所输入的可视光辉度信号Y1和非可视光辉度信号Y2，采用所合成的辉度信号Y3和进行了校正的颜色信号RGB生成彩色图像并输出。\n[0033] 控制部17按照所输入的可视光辉度信号Y1的值来控制颜色信号提取部13、图像合成部16、以及摄像部11的动作。对于颜色信号提取部13，按照可视光辉度信号Y1的值来校正颜色信号(具体地来说，校正使用于颜色信号提取中的从摄像部11输入的可视光信号)。对于图像合成部16，按照可视光辉度信号Y1的值来决定辉度信号Y1与辉度信号Y2的合成比率并使辉度信号Y1与辉度信号Y2合成。对于摄像部11，按照可视光辉度信号Y1的值使曝光设定值(光圈(iris)开口度、快门速度、信号放大度)变更。或者反过来，参照曝光设定值来推定当前的照度环境(相当于辉度信号Y1)，并控制颜色信号提取部13以及图像合成部16(实施例2)。\n[0034] 根据这种结构，按照摄影时的照度环境，能够将从可视光信号中提取的辉度信号Y1和从非可视光信号中提取的辉度信号Y2以适当的比率进行合成，并得到视觉辨认性良好的辉度信号。此外，在照度不充足的情况下生成彩色图像所需的颜色信号少的环境中，适当地放大从可视光信号提取的颜色信号。而且，通过组合所合成的辉度信号Y3和进行了校正的颜色信号，能够生成更自然的被摄体的颜色的彩色图像。\n[0035] 以下，详细地说明各部分的结构和动作。\n[0036] 图2为表示摄像部11的内部结构的图。\n[0037] 摄像部11具备：对来自被摄体的光进行聚焦的透镜21；对光的输入量进行调整的光圈22；调整光圈开口度的光圈驱动部23；接收可视光以及非可视光并变换为电气信号的摄像像素24；控制摄像像素的快门速度(曝光时间)的快门控制部25；和放大由摄像像素得到的信号的增益控制部26。摄像像素24具有可视光用像素和非可视光用像素，从增益控制部26输出可视光信号和非可视光信号。\n[0038] 设定摄影时的曝光条件的光圈驱动部23、快门控制部25、增益控制部26由控制部\n17控制，此外在设定值发生了变化的情况下将该设定值发送到控制部17。照度低时(即可视光辉度信号Y1少时)、控制部17变更摄像部11的光圈驱动部23、快门控制部25、增益控制部\n26的曝光设定值，并进行控制以增大可视光信号并确保必要的颜色信号。\n[0039] 图3为表示摄像部11的摄像像素24的结构例的图。摄像像素24在公共的元件面上配置有可视光用和非可视光用的像素。作为可视光用，具有主要对R光具有灵敏度的像素\n31、主要对G光具有灵敏度的像素32、主要对B光具有灵敏度的像素33，作为非可视光用具有主要对近红外光IR具有灵敏度的像素34。将上述的各像素在元件面上反复配置。\n[0040] 图4为表示针对图3中的各像素31～像素34的光的波长的灵敏度特性、即分光特性的图。像素R、G、B的灵敏度特性除了分别在R、G、B可视光的波段具有灵敏度之外，在近红外光IR的波段也具有灵敏度。该特性为用于一般的可视光照相机的摄像像素的性质，为了去除IR成分，将未图示的光学滤波器插入到像素R、G、B之前。像素IR只对近红外光IR具有灵敏度。其结果，从像素R、G、B得到可视光区域的颜色信号和辉度信号，从像素IR得到非可视光区域的辉度信号。\n[0041] 图5为表示图像合成部16的内部结构的图。在此，将来自可视光辉度提取部14的可视光辉度信号Y1和来自非可视光辉度提取部15的非可视光辉度信号Y2进行合成。该合成比率(k1∶k2)按照来自控制部17的指示，分别设定为乘法运算器51、52的系数k1、k2并与辉度信号Y1、Y2相乘。通过加法运算器53将上述相乘结果相加来生成合成辉度信号Y3。由(1)式表示上述情况。合成辉度信号Y3与上述颜色信号R、G、B一起作为彩色图像信号被输出。\n[0042] Y3＝k1·Y1+k2·Y2   (1)\n[0043] 另外，在图5中，表示通过色差生成部54将来自颜色信号提取部13的颜色信号R、G、B变换为色差信号Cb、Cr的情况。因此进行(2)～(4)式的变换。由此，也能作为采用了辉度信号和色差信号的YCbCr形式的彩色图像信号输出。\n[0044] Y＝0.257R+0.504G+0.098B+16   (2)\n[0045] Cb＝-0.148R-0.291G+0.439B+128   (3)\n[0046] Cr＝0.439R-0.368G-0.071B+128   (4)\n[0047] 图6为表示本实施例的彩色图像生成的流程的流程图。以下的各处理步骤根据控制部17的指示来执行。\n[0048] S101中，可视光辉度提取部14从可视光信号提取辉度信号Y1。\n[0049] S102中，颜色信号提取部13从可视光信号提取颜色信号RGB。\n[0050] S103中，非可视光辉度提取部15从非可视光信号提取辉度信号Y2。\n[0051] 另外，S101～S103的处理不仅按照来自控制部17的要求来执行，而且颜色信号提取部13、可视光辉度提取部14、非可视光辉度提取部15以规定的时间间隔进行颜色信号和辉度信号的提取，并将所提取的信号暂时保存于未图示的存储器中，控制部17也可从存储器中读出所保存的颜色信号和辉度信号。\n[0052] S104中，控制部17判定从可视光辉度提取部14所取得的可视光辉度信号Y1的值是否为规定的阈值Th以上。在此阈值Th基于仅根据可视光信号生成彩色图像时所需的照度环境(辉度等级)来决定。在判定为“是”(Y1≥Th)的情况下判断为得到足够的照度，并进入到S105。在判定为“否”(Y1＜Th)的情况下判断为照度不足，并进入到S106。\n[0053] S105中，颜色信号提取部13不执行对颜色信号RGB进行校正的处理，图像合成部16使用颜色信号RGB和可视光辉度信号Y1来生成彩色图像。\n[0054] S106中，为了补偿照度的不足(颜色信号RGB的不足)，控制部17对摄像部11进行控制以使按照可视光辉度信号Y1的值增大曝光并增大可视光信号。摄像部11的曝光控制的详细情况在图7中后述。\n[0055] S107中，分别由可视光辉度提取部14、非可视光辉度提取部15、颜色信号提取部13提取根据S106的曝光控制而发生变化的可视光辉度信号Y1、非可视光辉度信号Y2、颜色信号RGB。\n[0056] S108中，判定S107中所取得的可视光辉度信号Y1的值是否为规定的阈值Th以上。\n该判定与S104同样地进行。在判定为“是”(Y1≥Th)的情况下判断为得到充足的照度，进入到S105。在判定为“否”(Y1＜Th)的情况下进入到S109。\n[0057] S109中，判定摄像部11是否能进行进一步的曝光增大。在判定为“是”(能增大)的情况下返回到S106，对摄像部11进行进一步的曝光增大。在判定为“否”(不能增大)的情况下进入到S110。另外，从S106到S109的过程也可按照需要来执行。\n[0058] S110中，控制部17对图像合成部16按照可视光辉度信号Y1的值指示可视光辉度信号Y1和非可视光辉度信号Y2的合成比率(k1∶k2)。图像合成部16按照所指示的合成比率合成辉度信号Y3。关于合成比率的决定在图8中后述。\n[0059] S111中，控制部17对颜色信号提取部13按照可视光辉度信号Y1的值指示颜色信号的校正(振幅放大、颜色噪声去除)。颜色信号提取部13按照指示将颜色信号RGB校正为颜色信号R’G’B’并发送到图像合成部16。关于颜色信号的校正处理在图9中后述。\n[0060] S112中，图像合成部16采用辉度信号Y3和校正后颜色信号R’G’B’生成彩色图像。\n[0061] 上述流程图中，按照可视光辉度信号Y1的值改变可视光辉度信号Y1和非可视光辉度信号Y2的合成比率并合成辉度信号(S110)，对颜色信号RGB进行校正(放大、去除噪声)(S111)。由此，在低照度环境下也生成更自然的被摄体的颜色信号，能够生成视觉辨认性好的彩色图像。此外，在可视光辉度信号Y1低于规定的阈值Th的情况下，通过增大摄像部11的曝光(S106)，能够使从摄像部11发送到图像处理部12的可视光信号增大。另外，步骤S106的工序(摄像部11的曝光增大处理)也可在用户所选择的情况下进行实施。\n[0062] 以下，对步骤S106、S110、S111的各处理具体地进行说明。\n[0063] 图7为具体地说明摄像部11的曝光控制(步骤S106)的图。横轴按照可视光辉度信号Y1的强度采用两个阈值Th1、Th2(Th1＜Th2)来区分范围。阈值Th2与步骤S104中的阈值Th相等。这些阈值也可预先作为固定值由控制部17存储，也可从摄像装置的外部输入并设定。\n纵轴为由摄像部11所设定的曝光设定值(光圈开口度I、快门速度S、信号放大度G)。\n[0064] 控制部17在辉度信号Y1为Th2以上的情况下，判定为从摄像部11输入的可视光信号为对于生成彩色图像而言是足够的信号，从而不变更摄像部11的曝光设定值(设为基准值)。\n[0065] 在辉度信号Y1小于Th2的情况下，控制部17判定为可视光信号对于生成彩色图像而言是不充足的信号，对摄像部11的光圈驱动部23、快门控制部25、增益控制部26进行曝光增大的控制并增大可视光信号。即，变更光圈开口度I、快门速度S、信号放大度G的曝光设定值。在此举出3个参数I、S、G，也可从其中适当选择来进行控制。本例中以阈值Th1为界限对曝光设定给予两个等级，在辉度信号Y1小于Th1的情况下，与辉度信号Y1为Th1以上的情况相比也较大地给出曝光量。进而通过设置两个以上的阈值，能进行更细致的控制。由此，能够抑制由于过剩的曝光(过剩的可视光信号的放大)而失去图像的细微部分信息的情况，并将用于合成彩色图像的适当的可视光信号发送到图像处理部12。\n[0066] 如上所述通过曝光处理(S106)，改善在摄像部11的阶段的照度不足(可视光信号不足)，能够得到用于生成彩色图像所需的可视光信号(或者与该情况接近)。\n[0067] 图8为具体地说明图像合成部16的辉度信号合成(步骤S110)的图。横轴按照可视光辉度信号Y1的强度并采用两个阈值Th1、Th2(Th1＜Th2)来区分范围。阈值Th2与步骤S104、S108中的阈值Th相等。纵轴以纵方向的宽度来表示可视光辉度信号Y1与非可视光辉度信号Y2的合成比率(k1∶k2)。\n[0068] 控制部17按照辉度信号Y1的值决定图像合成部16中所使用的辉度信号Y1、Y2的合成比率k1、k2。在辉度信号Y1为Th2以上的情况下，判定为从摄像部11输入的可视光信号对于生成彩色图像而言是充足的信号，设k1＝1、k2＝0，图像合成部16中直接将可视光辉度信号Y1设为合成辉度信号Y3。\n[0069] 在辉度信号Y1小于Th2的情况下，控制部17判定为可视光信号对于生成彩色图像而言是不充足的信号，在图像合成部16中将非可视光辉度信号Y2与可视光辉度信号Y1相加而成为合成辉度信号Y3。本例中由阈值Th1区分该区域，在辉度信号Y1为Th1以上的情况下，设k1＝k2＝0.5，将可视光辉度信号Y1与非可视光辉度信号Y2的平均值设为合成辉度信号Y3。此外在辉度信号Y1小于Th1的情况下，设k1＝0、k2＝1，只将非可视光辉度信号Y2设为合成辉度信号Y3。\n[0070] 在该例中，为了简化将可视光辉度信号Y1区分为3个区域，但也可设置2个以上的阈值并如虚线所示那样进行细分来决定合成比率。由此，能够抑制由于过剩地使用非可视光信号而失去图像的一部分辉度信息的情况，并在图像合成部16中采用适当的辉度信号来生成彩色图像。\n[0071] 如上所述通过辉度合成处理(S110)，即使在摄像部11中不能消除照度不足(可视光信号不足)的情况下，也能得到用于生成彩色图像所需的辉度信号。\n[0072] 图9为具体地说明颜色信号提取部13中的颜色信号校正(步骤S111)的图。横轴按照可视光辉度信号Y1的强度并采用两个阈值Th1、Th2(Th1＜Th2)来区分范围。阈值Th2与步骤S104中的阈值Th相等。纵轴表示颜色信号RGB的校正量、即颜色信号的放大量P和颜色噪声的去除量NR。\n[0073] 控制部17按照可视光辉度信号Y1的值对颜色信号提取部13指示颜色信号的校正。\n在辉度信号Y1为Th2以上的情况下，判定为从摄像部11输入的可视光信号对于生成彩色图像而言是充足的信号，不进行颜色信号RGB的校正。\n[0074] 在辉度信号Y1小于Th2的情况下，控制部17判定为可视光信号对于生成彩色图像而言是不充足的，对颜色信号提取部13指示颜色信号的放大量P和颜色噪声的去除量NR。该颜色信号的校正对上述图8中的可视光辉度信号Y1的减少部分进行补充，因此优选该校正量按照图8中的非可视光辉度信号Y2的合成比率k2的大小而增加。颜色信号的放大中，使颜色信号R、G、B增加指定的放大量P，并设为颜色信号R’、G’、B’。或者在采用色差信号Cb、Cr的情况下，也可配合所指定的放大量P来变更上述(3)(4)式的R、G、B的系数。此外，颜色噪声去除中，抑制颜色噪声伴随着颜色信号的放大而增加，配合颜色信号的放大而使颜色噪声去除量NR增加滤波处理的强度。\n[0075] 本例中以阈值Th1为界限来对颜色信号校正量给予两个等级，在辉度信号Y1小于Th1的情况下，与辉度信号Y1为Th1以上的情况相比较大地给出校正量(P，NR)。进而设阈值为两个以上并能如虚线所示那样进行细分并设定校正量。由此，能够避免由于过剩地放大颜色信号而产生不需要的颜色噪声的情况，并将用于合成彩色图像的适当的颜色信号发送到图像处理部12。另外，将针对于颜色信号的放大量P的阈值和针对于颜色噪声去除量NR的阈值设为公共的值，但也可分别设定为不同的值。\n[0076] 如上那样通过颜色信号校正(S111)，即使在摄像部11中没有消除照度不足(可视光信号不足)的情况下，也能得到用于生成彩色图像所需的颜色信号。\n[0077] 根据实施例1，按照从可视光信号提取的辉度信号Y1的值，改变从可视光信号提取的辉度信号Y1和从非可视光信号提取的辉度信号Y2的比率并合成，并设为辉度信号Y3。此外，按照从可视光信号提取的辉度信号Y1的值，进行从可视光信号提取的颜色信号RGB的放大和颜色噪声去除并设为颜色信号R’G’B’。通过使用这些辉度信号Y3和颜色信号R’G’B’，在低照度环境下也能再现更自然的被摄体的颜色，并能生成视觉辨认性良好的彩色图像。\n[0078] 【实施例2】\n[0079] 在上述实施例1中，按照从可视光信号提取的辉度信号Y1的值合成可视光辉度信号Y1和非可视光辉度信号Y2，进行颜色信号RGB的校正。相对于此，在实施例2中，按照摄像部11的曝光设定条件进行辉度信号的合成与颜色信号的校正。这是由于为了在低照度(低辉度)环境下进行曝光大的照相机设定，所提取的辉度信号Y1的值与摄像部11的曝光设定条件存在相关性的缘故。\n[0080] 图10为表示实施例2的彩色图像生成的流程的流程图。以下的各处理步骤通过控制部17的指示来执行。\n[0081] S201中，可视光辉度提取部14从可视光信号提取辉度信号Y1。\n[0082] S202中，颜色信号提取部13从可视光信号提取颜色信号RGB。\n[0083] S203中，非可视光辉度提取部15从非可视光信号提取辉度信号Y2。\n[0084] 另外，S201～S203的处理不仅按照来自控制部17的要求来执行，而且颜色信号提取部13、可视光辉度提取部14、非可视光辉度提取部15以规定的时间间隔进行颜色信号和辉度信号的提取，并将所提取的颜色信号和辉度信号暂时保存于未图示的存储器中，控制部17也可从存储器中读出所保存的颜色信号和辉度信号。\n[0085] S204中，控制部17从摄像部11所具备的光圈驱动部23、快门控制部25、增益控制部\n26中取得曝光设定值。这些设定值中包括光圈开口度、快门速度、信号放大度。\n[0086] S205中，判定摄像部11的曝光设定值是否适合低照度环境下的摄影。该判定基于是否能仅根据可视光信号生成良好的彩色图像来进行。在判定为“是”(面向低照度的设定)的情况下判断为照度不足，并进入到S207。在判定为“否”(面向高照度的设定)的情况下判断为得到充足的照度，并进入到S206。另外，在面向通常的照度的设定的情况下判断为得到充足的照度，判定包括在“否”(面向高照度)中。判定处理的具体例子如采用图11进行后述那样，根据各曝光设定值算出合计曝光判定值E并进行判断。\n[0087] S206中，颜色信号提取部13不进行对颜色信号RGB进行校正的处理，图像合成部16使用颜色信号RGB和可视光辉度信号Y1来生成彩色图像。\n[0088] S207中，控制部17对图像合成部16按照合计曝光判定值E指示可视光辉度信号Y1和非可视光辉度信号Y2的合成比率(k1∶k2)。图像合成部16以所指示的合成比率来合成辉度信号Y3。\n[0089] S208中，控制部17对颜色信号提取部13按照合计曝光判定值E指示颜色信号的校正(振幅放大、颜色噪声去除)。颜色信号提取部13按照指示将颜色信号RGB校正为颜色信号R’G’B’并发送到图像合成部16。关于合成比率的决定和颜色信号的校正处理在图11中后述。\n[0090] S209中，图像合成部16采用辉度信号Y3和校正后的颜色信号R’G’B’来生成彩色图像。\n[0091] 在上述流程图中，取得摄像部11的光圈驱动部23、快门控制部25、增益控制部26的曝光设定值，并在低照度环境的设定的情况下，改变可视光辉度信号Y1和非可视光辉度信号Y2的合成比率并合成辉度信号(S207)，对可视光颜色信号RGB进行校正(放大、噪声去除)(S208)。由此，在低照度环境下也能生成更自然的被摄体的颜色信号，能够生成视觉辨认性好的彩色图像。\n[0092] 图11为具体地说明曝光设定值的判定(S205)和与其相对应的辉度信号的合成(S207)及颜色信号的校正(S208)的图。控制部17从摄像部11所具备的光圈驱动部23、快门控制部25、增益控制部26中取得各个曝光设定值即光圈开口度I、快门速度S、信号放大度G。\n[0093] 图11(a)表示根据上述曝光设定值I、S、G算出各个曝光判定值的方法。曝光判定值算出中分别采用函数f(I)、g(S)、h(G)，但曝光设定值越面向低照度各函数送回越大的值。\n即光圈开口度I越大，快门速度S越慢，并且信号放大度G越大，则函数值越大。在此为了简便，在曝光设定值I、S、G的值分别为阈值以上的情况下设为曝光判定值＝1的函数，在小于阈值的情况下设为曝光判定值＝0的函数。\n[0094] 接下来，根据(5)式合计所算出的各曝光判定值f(I)、g(S)、h(G)，并求得合计曝光判定值E。本例的情况下，合计曝光判定值E取0、1、2、3中的任一个值。合计曝光判定值E成为摄像部11全体的曝光的大小的指标，因此按照该指标来决定辉度信号的合成与颜色信号的校正。\n[0095] 合计曝光判定值E＝f(I)+g(S)+h(G)   (5)\n[0096] 图11(b)表示合计曝光判定值E与辉度信号的合成比率及颜色信号校正处理的对应关系的一例。合计曝光判定值E＝0的情况下为面向高照度的设定，判断为所输入的可视光信号是充足的。这种情况下，设图像合成部16中的辉度信号合成比率为k1＝1、k2＝0，直接将可视光辉度信号Y1设为合成辉度信号Y3。此外不进行颜色信号提取部13中的颜色信号校正。\n[0097] 在合计曝光判定值E为1以上的情况下，判断为所输入的可视光信号对于生成彩色图像而言是不充足的。E＝1的情况下，设辉度信号合成比率为k1＝0.7、k2＝0.3，将非可视光辉度信号Y2与可视光辉度信号Y1相加而设为合成辉度信号Y3。另外，设不进行颜色信号校正。E＝2的情况下，设辉度信号合成比率为k1＝0.3、k2＝0.7，增加非可视光辉度信号Y2的比例。存在颜色信号校正(振幅放大、颜色噪声去除)，并校正为颜色信号R’G’B’。E＝3的情况下，设辉度信号合成比率为k1＝0、k2＝1，只将非可视光辉度信号Y2设为合成辉度信号Y3。存在颜色信号校正。\n[0098] 在上述例中，将合计曝光判定值E区分为0～3这四种并进行辉度信号的合成和颜色信号的校正，但通过对合计曝光判定值E进一步进行细分并进行更细致的控制，能够进行更适于摄影环境的视觉辨认性好的图像生成。\n[0099] 根据实施例2，根据摄像部11的曝光设定值判定当前的摄影环境下的照度是否充足，因此不需要如实施例1那样使用从可视光信号提取的辉度信号Y1来进行判定。因此，与实施例1相比较能更简便地判定照度不足，并进行辉度信号的合成和颜色信号的校正。\n[0100] 【实施例3】\n[0101] 在上述实施例1、2中，由一个光学系统构成摄像部11，从公共的摄像像素输出可视光信号和非可视光信号。与此相对在实施例3中，由两个光学系统构成摄像部，从不同的摄像像素输出可视光信号和非可视光信号。\n[0102] 图12为表示实施例3中的摄像部的内部结构的图。本实施例中具备两个摄像部\n11a、11b，分开使用摄像部11a为可视光用，摄像部11b为非可视光用。可视光用的摄像部11a中具有透镜21a、光圈22a、光圈驱动部23a、可视光摄像像素24a、快门控制部25a、增益控制部26a。非可视光用的摄像部11b中具有透镜21b、光圈22b、光圈驱动部23b、非可视光摄像像素24b、快门控制部25b、增益控制部26b。可视光摄像像素24a为R、G、B像素，非可视光摄像像素24b为IR像素。而且，从摄像部11a的增益控制部26a输出可视光信号，从摄像部11b的增益控制部26b输出非可视光信号。\n[0103] 光圈驱动部23a、23b、快门控制部25a、25b、增益控制部26a、26b由控制部17控制。\n此外，在用于动作的设定值发生了变化的情况下，光圈驱动部23a、23b、快门控制部25a、\n25b、增益控制部26a、26b将设定值发送到控制部17。\n[0104] 根据实施例3的结构，能够分别独立且最佳地控制可视光以及非可视光的曝光设定(光圈开口度、快门速度、信号放大度)。因此，在低照度环境下使用可视光信号和非可视光信号这两者时，能够生成视觉辨认性更好的彩色图像。\n[0105] 本发明并不限于上述的实施例，包括各种变形例。例如上述的实施例以容易理解本发明的方式进行说明，因此进行了详细的说明，但未必限定于具备所说明的全部的结构的例子。此外，可将某实施例的一部分结构置换为其他实施例的结构，此外也可将其他实施例的结构加入到某实施例的结构中。此外，关于各实施例的一部分结构，可进行其他结构的追加·削除·置换。\n[0106] 此外，上述的各结构的一部分或者全部由硬件构成，但也可构成为通过采用处理器执行程序来实现。此外，考虑到说明时的需要而表示控制线或信号线，未必限于制品上表示所有的控制线和信号线。实际上也可认为几乎所有的结构互相连接。\n[0107] 符号说明：\n[0108] 1...摄像装置\n[0109] 11...摄像部\n[0110] 11a...可视光用摄像部\n[0111] 11b...非可视光用摄像部\n[0112] 12...图像处理部\n[0113] 13...颜色信号提取部\n[0114] 14...可视光辉度提取部\n[0115] 15...非可视光辉度提取部\n[0116] 16...图像合成部\n[0117] 17...控制部\n[0118] 21、21a、21b...透镜\n[0119] 22、22a、22b...光圈\n[0120] 23、23a、23b...光圈驱动部\n[0121] 24...摄像像素(可视光+非可视光)\n[0122] 24a...可视光摄像像素\n[0123] 24b...非可视光摄像像素\n[0124] 25、25a、25b...快门控制部\n[0125] 26、26a、26b...增益控制部\n[0126] k1、k2...辉度信号合成比率\n[0127] Y1...可视光辉度信号\n[0128] Y2...非可视光辉度信号\n[0129] Y3...合成辉度信号\n[0130] RGB...颜色信号\n[0131] R’G’B’...校正后的颜色信号