图像处理装置、图像处理方法及摄像装置

1.一种图像处理装置，其特征在于，具备：
图像取得装置，取得可见光图像和与上述可见光图像对应的 不可见光图像；
噪声降低装置，利用上述不可见光图像降低上述可见光图像 的噪声，
上述噪声降低装置具有：
第一滤波装置，对上述可见光图像应用低通滤波器；
第二滤波装置，对上述不可见光图像应用高通滤波器；
合成装置，合成上述低通滤波器以及上述高通滤波器的输出。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述不可见光图像是红外光图像。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述不可见光图像是紫外光图像。
4.根据权利要求1所述的图像处理装置，其特征在于，
上述低通滤波器是边缘保存低通滤波器，上述边缘保存低通 滤波器保存从上述不可见光图像检测出的边缘，同时去除上述可 见光图像的噪声。
5.根据权利要求4所述的图像处理装置，其特征在于，
利用多个级别的低通滤波器进行上述可见光图像的噪声去 除。
6.根据权利要求5所述的图像处理装置，其特征在于，
根据从上述不可见光图像检测出的边缘的评价值，决定使用 上述多个级别中哪个低通滤波器进行上述可见光图像的噪声去 除。
7.根据权利要求6所述的图像处理装置，其特征在于，
对于图像的X方向以及Y方向独立地决定上述低通滤波器的 级别。
8.根据权利要求1所述的图像处理装置，其特征在于，
在上述第一滤波装置中，将上述可见光图像变换为颜色图像 和亮度图像，同时对进行了变换的上述各颜色图像和亮度图像应 用低通滤波器。
9.根据权利要求8所述的图像处理装置，其特征在于，
作为上述滤波器，对上述颜色图像使用双向滤波器，对上述 亮度图像使用交叉双向滤波器。
10.根据权利要求1所述的图像处理装置，其特征在于，
具备像差校正装置，该像差校正装置校正上述可见光图像和 上述不可见光图像的像差，
上述噪声降低装置利用像差校正后的不可见光图像降低上述 可见光图像的噪声。
11.根据权利要求10所述的图像处理装置，其特征在于，
上述像差校正装置利用变换上述可见光图像得到的亮度图像 和上述不可见光图像的误差，进行像差校正。
12.一种摄像装置，其特征在于，具备：
图像取得装置，取得可见光图像和与上述可见光图像对应的 不可见光图像；
噪声降低装置，利用上述不可见光图像降低上述可见光图像 的噪声，
上述噪声降低装置具有：
第一滤波装置，对上述可见光图像应用低通滤波器；
第二滤波装置，对上述不可见光图像应用高通滤波器；
合成装置，合成上述低通滤波器以及上述高通滤波器的输出。
13.一种图像处理方法，其特征在于，具有：
图像取得步骤，取得可见光图像、和与上述可见光图像对应 且以与上述可见光图像相同的像素数拍摄的不可见光图像；
噪声降低步骤，利用上述不可见光图像降低上述可见光图像 的噪声，
上述噪声降低步骤包括：
第一滤波步骤，对上述可见光图像应用低通滤波器；
第二滤波步骤，对上述不可见光图像应用高通滤波器；
合成步骤，合成上述低通滤波器以及上述高通滤波器的输出。

技术领域\n本发明涉及一种保存图像边缘的同时去除噪声的图像处理装 置、图像处理方法及摄像装置。\n背景技术\n在利用照相机拍摄图像的时候，图像的色泽在很大程度上依 靠照明。例如，拍摄被蜡烛光照射的被摄体时，成为偏橙色色泽 的图像，拍摄被月光照射的被摄体时，成为偏青色色泽的图像。 即使是同样的地点，也根据拍摄时的照明，可拍摄成完全不同的 图像。\n在拍摄图像的时候，不使用闪光灯等特别的照明器材，利用 自然的光(以下记为自然光)可以再现正确的色泽，但在室内或 夜间拍摄时，产生曝光少、图像中包含噪声的问题。另一方面， 使用闪光灯时曝光量增加，边缘和细节部分被清晰地拍摄，但是 会产生以下问题：色泽变得不正确，或者产生实际上不存在的影 子和高光区。\n以往，为了解决这种问题，提出了如图12所示的图像处理装 置11。图像处理装置11具备：两个低通滤波器12、13；一个高通 滤波器14；两个图像合成部15、17；以及一个阴影抽出部16。\n低通滤波器13是交叉双向滤波器(cross bilateral filter)， 从使用了闪光灯的图像(以下记为闪光灯图像)检测出边缘，去 除没有使用闪光灯的图像(以下记为自然光图像)的噪声。高通 滤波器14抽出闪光灯图像的边缘。在边缘的抽出中进行用闪光灯 图像除自然光图像的各像素值的处理。\n图像合成部15对用低通滤波器13去除了噪声的自然光图像和 用高通滤波器14抽出了边缘的闪光灯图像进行合成，生成合成图 像Comp。在图像的合成中进行将低通滤波器13的像素值与高通滤 波器14的输出图像的像素值相乘的处理。合成图像Comp具备闪光 灯图像和自然光图像的优点，色泽正确噪声变少。\n低通滤波器12去除自然光图像的噪声。作为低通滤波器12， 使用双向滤波器。双向滤波器是利用一幅图像进行该图像的边缘 检测和噪声去除的滤波器。\n阴影抽出部16抽出闪光灯图像和自然光图像的两幅图像的区 别，根据高光区和影子，评价图像变化的概率。图像合成部17根 据阴影抽出部16的评价结果，进行来自低通滤波器12的输出图像 和图像合成部15的合成图像Comp的加权加法。图像合成部17，根 据是否有闪光灯，在产生影子和高光区可能性高的部分中使图像 的权重变高，在可能性低的部分中使图像Comp的权重变高。图像 合成部17从合成图像Comp去除不需要的影子和高光区，生成输出 图像OUT。\n这样，在现有的图像处理装置11中，生成对闪光灯图像的边 缘进行了合成的图像、和不参照闪光灯图像的边缘而去除了噪声 的图像的两幅图像，在由闪光灯产生影子和高光区的可能性高的 像素中使低通滤波器12的输出图像的系数变高，在由闪光灯产生 影子和高光区的可能性低的像素中使来自图像合成部15的合成图 像Comp的系数变高，从而可以得到最佳地混和了闪光灯图像的边 缘和自然光图像的色泽的图像(例如，非专利文献1)。\n发明内容\n如上所述，使用闪光灯时，图像的边缘和细节部分变得清晰， 但是会产生在自然光中不存在的影子和高光区。在图像处理装置 11中，虽然想要去除影子和高光区，同时仅留下边缘和细节部分， 但是区分它们并不容易，需要很大的运算成本。\n另外，在图像处理装置11中，需要闪光灯图像和自然光图像 的两幅图像。由于不能同时拍摄闪光灯图像和自然光图像，因此 存在不能应用于动态图像和运动的被摄体的问题。另外，也有在 禁止使用闪光灯的地点不能取得闪光灯图像的问题。\n本发明是鉴于上述问题而完成的，目的在于提供一种不使用 给图像带来影响的照明器材、降低根据自然的光拍摄的图像的噪 声的图像处理装置、图像处理方法及摄像装置。\n为了达到上述的目的，应用了本发明的图像处理装置具备： 图像取得装置，取得可见光图像、和拍摄了与可见光图像相同的 被摄体的不可见光图像；噪声降低装置，利用不可见光图像降低 可见光图像的噪声，其中，上述噪声降低装置具有：第一滤波装 置，对上述可见光图像应用低通滤波器；第二滤波装置，对上述 不可见光图像应用高通滤波器；合成装置，合成上述低通滤波器 以及上述高通滤波器的输出。\n应用了本发明的摄像装置具备：图像取得装置，取得可见光 图像和与上述可见光图像对应的不可见光图像；噪声降低装置， 利用上述不可见光图像降低上述可见光图像的噪声，上述噪声降 低装置具有：第一滤波装置，对上述可见光图像应用低通滤波器； 第二滤波装置，对上述不可见光图像应用高通滤波器；合成装置， 合成上述低通滤波器以及上述高通滤波器的输出。\n应用了本发明的图像处理方法具有：图像取得步骤，取得可 见光图像、和拍摄了与可见光图像相同的被摄体的不可见光图像； 噪声降低步骤，利用不可见光图像降低可见光图像的噪声，其中， 上述噪声降低步骤包括：第一滤波步骤，对上述可见光图像应用 低通滤波器；第二滤波步骤，对上述不可见光图像应用高通滤波 器；合成步骤，合成上述低通滤波器以及上述高通滤波器的输出。\n应用了本发明的程序，使计算机执行规定处理，具有：图像 取得步骤，取得可见光图像、和与可见光图像对应且以与可见光 图像相同的像素数拍摄的不可见光图像；噪声降低步骤，利用不 可见光图像降低可见光图像的噪声。\n应用了本发明的记录介质，记录了使计算机执行规定处理的 程序，具有：图像取得步骤，取得可见光图像、和与可见光图像 对应且以与可见光图像相同的像素数拍摄的不可见光图像；噪声 降低步骤，利用不可见光图像降低可见光图像的噪声。\n根据本发明，利用可见光图像降低不可见光图像的噪声，因 此可以不使用给图像带来影响的照明器材，降低根据自然的光拍 摄的图像的噪声。\n附图说明\n图1是表示摄像元件的结构的框图。\n图2是表示图像处理部的结构的框图。\n图3是表示低通滤波器的结构的框图。\n图4是表示低通滤波器的动作的流程图。\n图5是表示X方向的一级滤波器的动作的流程图。\n图6是表示高通滤波器的结构的框图。\n图7是表示图像处理部的第一变形例的框图。\n图8是表示图像处理部的第二变形例的框图。\n图9是表示像差校正部的结构的框图。\n图10是表示像差校正部的动作的流程图。\n图11是表示像差校正部中的比例值的算出处理的流程图。\n图12是表示现有的图像处理装置的结构的框图。\n符号说明\n1：摄像装置；2：摄像部；21：摄像元件；22：镜头；23： 马达；24：驱动器；3：图像处理部；32：像差校正部；31：增 益调整部；33：低通滤波器；34：高通滤波器；35：图像合成部。\n具体实施方式\n下面参照附图说明应用了本发明的摄像装置。图1表示摄像装 置1的结构。摄像装置1具备：摄像部2，拍摄可见光图像Visible 和红外光图像Infr双方；图像处理部3，去除可见光图像Visible的 噪声；存储器4，是图像和数据的存储区域；系统控制部8，向LCD (Liquid Crystal Display：液晶显示器)5输出图像，通过串行 接口6和USB(UniVersal Serial Bus：通用串行总线)7等的接 口与外部记录装置10进行数据收发；信号处理部9，对从摄像元件 21输入的图像执行AGC(Automatic Gain Control：自动增益控 制)以及CDS(Correlated Double Sampling：相关双采样)，输 出到图像处理部3。\n摄像部2输出可见光图像Visible和红外光图像Infr的RGB图 像。例如，摄像部2具备构成CCD(Charge Coupled Device：电 荷耦合设备)或CMOS(Complementary Metal-Oxide Semiconductor： 互补金属氧化物半导体)的摄像元件21、进行镜头22的聚焦或快 门的切换的马达23、控制马达23的驱动器24。\n摄像元件21中有用于拍摄红外线图像Infr的摄像元件21、和 用于拍摄可见光图像Visible的摄像元件21。拍摄红外光图像Infr 的摄像元件21和拍摄可见光图像Visible的摄像元件21是相同像 素数、相同视场角，在相同时刻只曝光相同时间。此外，摄像元 件21既可以分别为可见光用和红外光用，也可以对一个摄像元件 21的输出进行分光。\n图像处理部3生成保存可见光图像Visible的边缘的同时去除 了噪声的输出图像OUT。图2示出了图像处理部3的结构。图像处 理部3由以下部分构成：增益调整部31，调整可见光图像Visible 的增益；低通滤波器33，去除可见光图像Visible的噪声；高通滤 波器34，抽出红外光图像Infr的边缘及细节部分；图像合成部35， 对作为低通滤波器33的输出图像的基础图像Base和作为高通滤波 器34的输出图像的细节图像Edge进行合成。\n增益调整部31通过调整增益，增大由于曝光不足而拍摄得暗 的可见光图像Visible的像素值，设成接近以适当曝光拍摄的图像 的像素值。作为增益的调整方法具有使可见光图像的像素值为常 数倍的方法、或基于指数函数的伽马校正、基于多项式函数等的 任意的增益调整方法等。调整后的像素值的最大值被限制。\n图3示出了低通滤波器33的结构。低通滤波器33具备：X边缘 检测部41，检测出红外光图像Infr的X方向(宽度方向)的边缘； Y边缘检测部42，检测出红外光图像Infr的Y方向(高度方向)的 边缘；X评价值存储部43，存储X方向的边缘评价值；Y评价值存 储部44，存储Y方向的边缘评价值；三个X低通滤波器45a、45b、 45c，去除X方向的边缘；三个Y低通滤波器46a、46b、46c，去除 Y方向的边缘；三个X比较部47a、47b、47c，比较X边缘评价值 和阈值；三个Y比较部48a、48b、48c，比较Y边缘评价值和阈值。\nX低通滤波器是X方向的5×1接头(tap)的FIR低通滤波器。 由X低通滤波器去除可见光图像的X方向的噪声。Y低通滤波器是Y 方向的1×5分支的FIR低通滤波器。由Y低通滤波器去除可见光图 像的Y方向的噪声。\nX边缘检测部41是检测X方向的边缘的4×4的FIR滤波器，Y 边缘检测部42是检测Y方向的边缘的4×4的FIR滤波器。X评价值 存储部43对X边缘检测部41的滤波结果应用绝对值运算来算出边 缘评价值，将该值作为X边缘图像进行存储。Y评价值存储部44对 Y边缘检测部42的滤波结果应用绝对值运算来算出边缘评价值，将 该值作为Y边缘图像进行存储。\nX比较部47以及Y比较部48对边缘评价值和规定阈值进行比 较。阈值n是边缘评价值的最大值的1/2。X比较部47a比较X方向 的边缘评价值和阈值n，X比较部47b比较X方向的边缘评价值和阈 值n/2，X比较部47c比较X方向的边缘评价值和阈值n/4。Y比较部 48a比较Y方向的边缘评价值和阈值n，Y比较部48b是比较Y方向 的边缘评价值和阈值n/2的比较部，Y比较部48c比较Y方向的边缘 评价值和阈值n/4。\n低通滤波器33由一级滤波器49a、二级滤波器49b、三级滤波 器49c的三个阶段构成。低通滤波器33的级别取决于X比较部47以 及Y比较部48中的阈值大小。将阈值为n的低通滤波器称为一级滤 波器49a，将阈值为n/2的低通滤波器称为二级滤波器49b，将阈值 为n/4的低通滤波器49c称为三级滤波器。\n首先，可见光图像Visible被输出到X比较部47a。X比较部47a 比较存储在X评价值存储部43中的X方向的边缘评价值和阈值n。X 比较部47a在边缘评价值小于阈值n时，将可见光图像Visible输出 到X低通滤波器45a，在边缘评价值大于等于阈值n时，将可见光 图像Visible输出到Y比较部48a。比较部48b比较存储在Y评价值存 储部44中的Y方向的边缘评价值和阈值n。比较部48b在边缘评价 值小于阈值n时，将可见光图像Visible输出到Y低通滤波器46a， 在边缘评价值大于等于阈值n时，将可见光图像Visible输出到下面 的X比较部47b。\n同样地，在X比较部47b、Y比较部48b、X比较部47c、Y比较 部48c中比较边缘评价值和阈值，在小于阈值的时候将可见光图像 Visible输出到后级的低通滤波器，在大于等于阈值的时候将可见 光图像Visible输出到下一个比较部。\n图4示出了低通滤波器33的动作。首先，低通滤波器33输入红 外光图像Infr(步骤S1)。X边缘检测部41检测存在于红外光图像 Infr的X方向的边缘。X评价值存储部43对X方向的边缘应用规定 的绝对值运算来算出X方向的边缘评价值，将算出的边缘评价值作 为X边缘图像进行存储(步骤S2)。Y边缘检测部42检测存在于红 外光图像Infr中的Y方向的边缘。Y评价存储部44算出对Y方向的 边缘应用了规定的绝对值运算的Y方向的边缘评价值，将算出的边 缘评价值作为Y边缘图像进行存储(步骤S3)。\n低通滤波器33在从增益调整部31输入可见光图像Visible时 (步骤S4)，将输入的可见光图像Visible应用于一级滤波器49a， 进行X方向的处理(步骤S5)。\n图5示出了一级滤波器49a的X方向的处理。在一级滤波器49a 的X方向的处理中，首先，将Y方向的坐标Y初始化为0(步骤S11)， 将X方向的坐标X初始化为0(步骤S12)。X比较部47a从X评价值 存储部43输入X评价值图像。X比较部47a比较X评价值图像的坐标 (X，Y)中的X方向的边缘评价值和阈值n。坐标(X，Y)的边 缘评价值小于阈值n的时候(步骤S13；“是”)，对坐标(X，Y) 的可见光图像应用X低通滤波器45a(步骤S14)。另一方面，坐标 (X，Y)的边缘评价值不小于阈值n的时候(步骤13；“否”)，移 到步骤S15进行处理。在步骤S15中，使X坐标增加1(步骤S15)。 比较X坐标的值和可见光图像Visible的宽度，如果坐标X小于可见 光图像Visible的宽度(步骤S16；“是”)，就移到步骤S13进行处 理。另一方面，如果坐标X不小于可见光图像Visible的宽度(步 骤S16；“否”)，就使坐标Y增加1(步骤S17)。在步骤S18中，比 较与Y坐标的值和可见光图像Visible的高度。如果Y坐标小于可见 光图像Visible的高度(步骤S18；“是”)，就移到步骤S12进行处 理。另一方面，如果Y坐标不小于可见光图像Visible的高度(步 骤S18；“否”)，就结束一级滤波器的X方向的处理。一级滤波器 对构成可见光图像的各像素的边缘评价值和阈值n进行比较，如果 边缘评价值小于阈值n，就应用X低通滤波器45a去除X方向的噪 声。\n在一级滤波器中，在完成根据X方向的一级滤波器49a进行的 处理时，进行根据Y方向的一级滤波器49a的处理。在此，进行与 图5所示的X方向的一级滤波器49a大致相同的处理。在Y方向的一 级滤波器49a中，作为边缘评价图像，使用Y边缘图像来代替X边 缘图像；作为低通滤波器，使用Y低通滤波器46a来代替X低通滤 波器45a(步骤S6)。\n一级滤波器49a完成自身的处理时，将可见光图像Visible输 出到二级滤波器49b中。二级滤波器49b首先进行X方向的处理(步 骤S7)。完成X方向的处理时进行Y方向的处理(步骤S8)。三级滤 波器49c输入二级滤波器49b的输出图像时，进行X方向的处理(步 骤S9)，完成X方向的处理时进行Y方向的处理(步骤S10)。二级 滤波器和三级滤波器除了阈值不同之外，进行相同的处理。\n在低通滤波器33中，越是边缘评价值低的像素，被滤波的次 数越多，越是边缘评价值高的像素，被滤波的次数越少。即，边 缘评价值高的像素被滤波的次数少，因此边缘被保存；边缘评价 值低的像素被滤波的次数多，因此噪声被去除。将具有这样的功 能的滤波器称为边缘保存滤波器。边缘保存滤波器的种类，除了 图3所示的滤波器之外还有双向滤波器和交叉双向滤波器等。作为 低通滤波器33，也可以使用这些滤波器。\n低通滤波器33输出去除了可见光图像Visible的噪声的图像。 将该图像称为基础图像Base。基础图像Base的优点是图像的色泽 正确，缺点是带给边缘和细节部分不清楚而模糊的印象。\n高通滤波器34抽出红外光图像Infr的边缘部分。图6示出了高 通滤波器34的一个例子。图6的高通滤波器34是二维FIR滤波器。 高通滤波器34由低通滤波器71和除法部72构成。低通滤波器71例 如是边缘保存型低通滤波器。低通滤波器71去除可见光图像 Visible的噪声，将该图像输出到除法部72。除法部72从红外光图 像Infr除低通滤波器71的输出，抽出红外光图像Infr的高通分量。 从高通滤波器34输出的图像中，保存有红外光图像Infr的边缘和 细节部分。将该图像称为细节图像Edge。\n图像合成部35生成将基础图像Base和细节图像Edge相乘的 合成图像。该图像是图像处理部3的输出图像OUT。输出图像OUT 是将基础图像Base和细节图像Edge的两个图像的优点合起来的 图像，具有色泽正确、细节部分清楚的特征。\n如上所述，在应用了本发明的摄像装置1中，合成去除了可见 光图像Visible的噪声的基础图像Base、和抽出了红外光图像Infr 的边缘和细节部分的细节图像Edge，从而，可去除可见光图像 Visible的噪声，同时得到包含由噪声去除而衰减的边缘部分和细 节部分的输出图像OUT。\n另外，红外光图像Infr可以与可见光图像Visible同时拍摄， 因此，能够不发生摄像时刻的偏离，而进行动态图像和运动的被 摄体的处理。\n在现有的图像处理装置中，用闪光灯图像抽出了边缘，因此， 用于去除由照明条件的不同而产生的影子和高光区的运算成本增 大，但是红外光图像Infr可以在与可见光图像Visible相同的照明 条件下进行拍摄，因此，也可以不校正照明条件的不同。\n并且，在现有的图像处理装置中，存在如下问题：在将细节 部分和边缘误判为影子和高光区的时候，抛弃细节部分的像素。 红外光图像Infr可以在与可见光图像Visible相同的照明条件下进 行拍摄，因此，不会产生由照明条件不同而引起的影子和高光区， 也没有抛弃所需要的像素的担心。\n接着参照图7说明图像处理部3的第一变形例。该图像处理部 50利用可见光图像Visible的亮度进行边缘检测。亮度由于变量为 一个，因此与从RGB的三个变量进行边缘检测相比，运算成本降 低。人类通常对于亮度的敏感度高，对于颜色分量的敏感度不高， 因此，利用亮度的边缘检测也具有充分的效果。\n图7示出了图像处理部50的结构。图像处理部50具备：增益调 整部52、矩阵部53、颜色用低通滤波器54、亮度用低通滤波器55、 高通滤波器56、图像合成部57、以及逆矩阵部58。\n增益调整部52通过调整增益，增大因曝光不足而拍摄得暗的 可见光图像的像素值，设成接近以适当曝光拍摄的图像的像素值。 作为增益的调整方法，有使可见光图像的像素值为常数倍的方法、 基于指数函数的伽马校正、基于多项式函数等的任意的增益调整 方法等。调整后的像素值的最大值被限制。\n矩阵部53对RGB图像进行矩阵变换，变换为颜色图像Cb、Cr、 以及亮度图像Yd。颜色用低通滤波器54去除颜色图像Cb、Cr的噪 声。作为颜色用低通滤波器54，例如使用双向滤波器。双向滤波 器是从一幅图像进行边缘检测和噪声去除的滤波器。\n亮度用低通滤波器55去除亮度图像Yd的噪声。作为亮度用低 通滤波器55，例如使用交叉双向滤波器。交叉双向滤波器是保存 从边缘检测用的图像检测出的边缘，同时去除滤波器对象图像的 噪声的滤波器。在此，从红外光图像Infr检测出边缘，去除亮度图 像Yd的噪声。将从亮度用低通滤波器55输出的图像称为基础图像 Base。基础图像Base的优点是图像的亮度正确，缺点是带来边缘 和细节部分不清楚而模糊的印象。\n高通滤波器56抽出红外光图像Infr的边缘部分。从高通滤波 器输出的图像中，保存有红外光图像Infr的边缘和细节部分。将该 图像称为细节图像Edge。\n图像合成部57生成将基础图像Base和细节图像Edge相乘的 合成图像。该合成图像是将基础图像Base和细节图像Edge的优点 合起来的图像，亮度正确、细节部分和边缘清楚。逆矩阵部58对 合成图像进行逆矩阵变换，将亮度图像变换为RGB图像。该图像 是图像处理部的输出图像OUT。\n图像处理部50将RGB图像分离为颜色图像Cb、Cr、以及亮度 图像Yd，仅对亮度图像Yd进行边缘检测。人类通常对于亮度的敏 感度高，对于颜色分量的敏感度不高。不是对RGB的三个变量， 而是仅对亮度进行滤波，从而可以降低运算成本。\n接着，说明图像处理部3的第二变形例。该图像处理部30，如 图8所示，具备校正红外光图像的像差的像差校正部32。像差校正 部32以外的结构与图像处理部3相同。与图像处理部3相同的结构 元素赋予相同的符号。省略这些结构元素的说明。\n像差校正部32校正由红外光和可见光的波长差而产生的像 差。图9示出了像差校正部32的结构。像差校正部32具备：矩阵部 61、误差算出用双线性比例器62、像差校正用双线性比例器63、 参数算出部64、以及误差算出部65。\n矩阵部61生成输入的可见光图像Visible的亮度图像Yd。误差 算出用双线性比例器62根据从参数算出部64输出的比例值以及失 真值，生成5个比例变换图像以及失真变换图像。\n误差算出部65将比例变换图像和红外光图像、以及失真变换 图像和红外光图像进行比较，算出这些图像的误差值。该误差值 是PSNR值(噪声混入量；Peak Signal To Noise Ratio)。参数算 出部64参照由误差算出部65算出的PS NR值，最佳化比例值和失 真值。像差校正用双线性比例器63利用由参数算出部64进行了最 佳化的比例值和失真值，校正可见光图像Visible的像差。\n图10示出了像差校正部32的动作。像差校正部32输入可见光 图像Visiblc和红外光图像Infr。该可见光图像Visible是RGB图像 (步骤S21)。矩阵部61将可见光图像Visible和矩阵相乘，生成亮 度图像Yd(步骤S22)。参数算出部64对比例值的最大值、当前值、 最小值、以及失真值的最大值、当前值、最小值进行初始化(步 骤S23)。\n参数算出部64从误差算出部65输入PSNR值，求出使PSNR 值为最大的比例值(步骤S24)。\n图11示出了比例值的算出步骤。参数算出部64准备比例值的 最大值S1、最大值和当前值的中间值S2、当前值S3、最小值和当 前值的中间值S4、最小值S5的5个参数。误差检测用双线性比例器 62利用这5个各比例值进行亮度图像Yd的比例变换。由此，生成 与5个参数对应的5幅亮度图像Yd1～Yd5(步骤S31)。\n误差算出部65比较亮度图像Yd1～Yd5和红外光图像Infr，求 出PSNR值。比较各亮度图像和红外光图像Yd1～Yd5时，算出5个 PSNR值(步骤S32)。以最大值S1进行了比例变换的亮度图像Yd1 和红外光图像Infr的PSNR值为最大时(步骤S33；“是”)，参数算 出部64以最大值S1替换当前值S3，以从最大值S1的两倍的值减去 最小值S5的值替换最大值S1(步骤S34)。\n用最大值S1和当前值S3的中间值得到的PSNR值为最大时(步 骤S35；“是”)，参数算出部64将最小值S5替换成当前值S3，以最 大值S1和当前值S3的中间值替换当前值S3(步骤S36)。\n用当前值S3得到的PSNR值为最大时(步骤S37；“是”)，参 数算出部64以当前值S3替换最大值S1，以当前值S3和最小值S5的 中间值替换当前值S3(步骤S38)。\n用最小值S5和当前值S3的中间值得到的PSNR值为最大时(步 骤S39；“是”)，参数算出部64以最小值S5替换当前值S3，以从最 小值S5的两倍减去最大值S1的值替换最小值S5(步骤S40)。\n用最小值S5得到的PSNR值为最大时(步骤S33、步骤S35、 步骤S37、步骤S39；“否”)，参数算出部64以最小值S5替换当前 值S3，以从最小值S5的两倍减去最大值S1的值替换最小值S5(步 骤S41)。这样完成比例值的最佳化。\n接着，参数算出部64进行失真值的最佳化。失真值的最佳化 是与比例值的最佳化处理相同的处理。在失真值的最佳化中，参 数从比例值变为失真值(步骤S25)。在完成了比例值和失真值的 最佳化时，参数算出部64比较PSNR值的改进量与规定的阈值。 PSNR值的改进量不高于规定的阈值的时候(步骤S26；“否”)， 移到步骤S24进行处理，再次进行比例值以及失真值的最佳化。\n另一方面，在PSNR值的改进量高于规定的阈值的时候(步骤 S26；“是”)，参数算出部64将当前的比例值和失真值输出到像差 校正用双线性比例器63中。像差校正用双线性比例器63利用当前 的比例值和失真值进行可见光图像Visible的像差校正(步骤 S27)，将校正后的图像输出到高通滤波器56(步骤S28)。\n可通过设置像差校正部32，校正由可见光和红外光的波长的 差而产生的像差的差异。由此，被拍摄为可见光图像Visible的像 和被拍摄为红外光图像Infr的像变得一致。\n通常，红外光的折射率高，稍微被放大。校正可见光图像 Visible时，可以得到大的图像，但是变形也大。图像的大小和变 形的大小是折衷的关系，因此，根据使哪一方优先，校正的图像 不同。\n图像处理部3中的滤波处理以及像差校正处理也可以根据控 制程序执行。这样的控制程序被记录在摄像装置1的固件中。此外， 控制程序也可以通过以外部记录装置9可读取的形式记录的记录 介质而取得。作为记录控制程序的记录介质，考虑磁读取方式的 记录介质(例如，磁带、软盘、磁卡)、光学读取方式的记录介质 (例如，CD-ROM、MO、CD-R、DVD)、半导体存储器(存储 卡、IC卡)等。另外控制程序也可以通过所谓的因特网等而取得。\n非专利文献1\nGeorg Petschnigg Et al，Digital Photography with Flash and No-Flash Image pairs，acm Transaction on Graphics，Vol. 23，Number 3，pp.664-672，August 2004