一种红外与可见光伪彩色图像融合及增强方法

1.一种红外与可见光伪彩色图像融合及增强方法，其特征在于，方法包括如下具体步骤：
1)对红外图像进行分割，分割前首先对红外图像灰度的直方图分布进行统计，根据直方图得到的分布特征，按照三正态分布求取其相应的六个分布特征参数，分别为第一个正态分布的期望μ1、方差σ1以及第二个正态分布参数μ2、σ2和第三个正态分布参数μ3、σ3；
2)根据设定阈值对红外图像进行分割，并就分割后目标分别进行区域提取，将区域提取后的信息保存在自动分配空间的OBJn中，其中n＝1，2，3；
3)对图像在YUV空间下进行伪彩色的图像融合，Y分量使用可见光的背景信息和红外的目标信息以及红外的冷目标信息组合而成；U、V分量使用了可见光图像与红外图像之间的差异，它们的区别在于方向相反；
4)对图像在YUV空间下进行彩色传递和增强处理；使用了参考图像的期望和方差进行传递，该传递过程是在区域中局部完成的；先求取参考图像在YUV空间下的期望和方差；再求取伪彩色后图像在YUV空间下相关区域的期望和方差，而后进行增强，得到最终的融合图像；所述步骤1)中的六个分布特征参数算法如下：
a)给定待定系数的三正态分布函数：
(公式1)
其中λk为待定系数，k＝1，2，3，
b)给期望μ1、μ2、μ3和方差σ1、σ2、σ3进行初始化，这里假定直方图分布为 0～
100，初始化步骤采用了三等分的策略，取μ1＝17、μ2＝50、μ3＝84、 得出 初始化λk＝0.33 k＝1，2，3
c)根据期望μ1、方差σ1以及参数μ2、σ2求取两个阈值Th1和Th2：
(公式2)
也就是说，小于Th1的样本是属于第一个正态分布的，大于Th1且小于Th2属于第二个正态分布，大于等于Th2属于第三个正态分布；
d)根据分布函数公式1和样本值，重新计算第一个正态分布的期望μ1、方差σ1以及第二个正态分布参数μ2、σ2和第三个正态分布参数μ3、σ3，并对公式1进行更新：
(公式3)
公式3反映的是对于各个不同分布的期望值的计算公式，对于方差的计算公式与此相仿，公式3中num1，num2，num3分别表示了在各个分布区间的计数值，也就是样本总数；
e)将样本和分布函数的参数代入公式4，求取该三正态分布函数的似然函数，并将其保存在一个迭代变量数组QM中：
(公式4)
重复执行c)、d)、e)三步，直到阈值的变化小于一个误差ε，这里取ε＝1； 所述步骤2)中阈值分割图像按照公式5进行：
(公式5)
当红外图像IR灰度为255时，该部分为热目标；当IR图像灰度为150时，该部分图像为背景目标；当IR灰度为0时，该部分为冷目标；将这些值赋值给枚举变量OBJn，n＝1，2，
3，分别取这些值，对不同目标区域进行区域提取，区域提取的方法使用最近邻的判别方法进行增长，增长完成的判别条件是区域周围不再存在相似像素点。

一种红外与可见光伪彩色图像融合及增强方法
技术领域
[0001] 本发明涉及一种信息处理方法，特别涉及一种红外与可见光伪彩色图像融合及增强方法。
背景技术
[0002] 总体上而言，图像融合方法目前分成两大分支，一支是面向于灰度图像的融合方法，其代表性的是基于多分辨率的图像融合方法；另外一支是面向于彩色的图像融合方法，主要是对具有色彩信息的待融合图像进行融合处理，其中也包括将灰度图像进行色彩补偿的伪彩色图像融合方法。总体而言，这两种方法主要目的都是为了提高融合后图像的位置评估的准确度，从而达到无论是人眼观测还是机器识别都能达到较高的识别率。
[0003] 面向于灰度图像的融合方法，即多分辨率的图像融合方法，在边缘特征和纹理特征以及区域特征方面都有较好的解决方案。如目前具有代表性的方法有塔形变换的方法、子波变换等基于多尺度的方法。多尺度图像融合的过程是首先将配准后图像经多尺度分解，分解方法包括拉普拉斯、梯度金字塔以及小波分解等方法；分解后图像的每层看作为图像在这一尺度或波段的特征，根据这些特征所反应的能量测度进行加权平均或选择，以达到融合的目的。由于离散小波变换在提取图像低频信息的同时，又获得了三个方向的高频细节信息，在理论上，与传统的基于塔型变换的融合方法相比，具有更好的分解效果，且执行效率高。现代的多分辨率变换方法又提出了后小波理论，后小波理论具有代表性的方法有Counterlet的变换方法、Bemmlet的变换方法、Bondelet的变换方法等等。但这些方法与传统的多分辨率方法相比在重构精度和性能方面略有提升，但是在执行效率方面却远远不如传统的方法。
[0004] 最近几年由于对夜视观测的需求，红外和可见光图像融合方法越来越受到广泛关注，从前基于灰度的图像融合方法已不能完全满足人们对夜视图像的要求，因此基于色彩信息的图像融合方法应运而生。Reinhard等人首先提出了彩色变换方法，即将色彩信息从一副彩色图像传递到另一幅灰度图像；此后Toet将其应用于多波段的夜视图像融合中得到了良好的效果，从而又发展出各种各样的图像融合方法，然而这种彩色传递方法并未考虑图像的内容信息，而是全局性的将色彩从一幅图像传递给另一幅图像，这将使得最终的融合图像彩色失真。
发明内容
[0005] 本发明是针对现在的融合方法易使融合图像彩色失真的问题，提出了一种红外与可见光伪彩色图像融合及增强方法，该方法是通过将红外图像经过预先的分割处理，得出背景信息、目标信息以及冷目标信息三种不同的区域特征，保留特征信息并对红外与可见光图像在YUV的彩色空间下进行伪彩色融合，得到伪彩色融合图像后再利用给定的彩色参考图像对其进行彩色传递及色彩增强处理，得到最终的融合图像。
[0006] 本发明的技术方案为：一种红外与可见光伪彩色图像融合及增强方法，方法包括如下具体步骤：
[0007] 1)对红外图像进行分割，分割前首先对红外图像进行灰度的直方图分布进行统计，根据直方图得到的分布特征，按照双正态分布求取其相应的六个分布特征参数，分别为第一个正态分布的期望μ1、方差σ1以及第二个正态分布参数μ2、σ2和第三个正态分布参数μ3、σ3；
[0008] 2)根据设定阈值对红外图像进行分割，并就分割后目标分别进行区域提取，将区域提取后的信息保存在自动分配空间的变量X中；
[0009] 3)对图像在YUV空间下进行伪彩色的图像融合，Y分量使用可见光的背景信息和红外的目标信息以及红外的冷目标信息组合而成；U、V分量使用了可见光图像与红外图像之间的差异，它们的区别在于方向相反；
[0010] 4)对图像在YUV空间下进行彩色传递和增强处理；使用了参考图像的期望和方差进行传递，该传递过程是在区域中局部完成的；先求取参考图像在YUV空间下的期望和方差；再求取伪彩色后图像在YUV空间下相关区域的期望和方差，而后进行增强，得到最终的融合图像。
[0011] 所述步骤1)中的六个分布特征参数算法如下：
[0012] f)给定待定系数的双正态分布函数：
[0013] (公式1)
[0014] 其中λ为待定系数，
[0015] g)给期望μ1、μ2和方差σ1、σ2进行初始化，这里假定直方图分布为0～
100，初始化步骤采用了三等分的策略，取μ1＝17、μ2＝50、μ3＝84、得出 初始化λi＝0.33，i＝1，2，3；
[0016] h)根据期望μ1、方差σ1以及参数μ2、σ2求取两个阈值Th1和Th2：
[0017] (公式2)
[0018] 也就是说，小于Th1的样本是属于第一个正态分布的，大于Th1且小于Th2属于第二个正态分布，大于等于Th2属于第三个正态分布；
[0019] i)根据分布函数(公式1)和样本值，重新计算第一个正态分布的期望μ1、方差σ1以及第二个正态分布参数μ2、σ2和第三个正态分布参数μ3、σ3，并对公式1进行更新：
[0020] (公式3)
[0021] 公式3反映的是对于各个不同分布的期望值的计算公式，对于方差的计算公式与此相仿，公式3中num1，num2，num3分别表示了在各个分布区间的计数值，也就是样本总数；
[0022] j)将样本和分布函数的参数带入公式4，求取该三正态分布函数得似然函数，并将其保存在一个迭代变量数组QM中：
[0023] (公式4)
[0024] 重复执行c)、d)、e)三步，直到阈值的变化小于一个误差ε，这里取ε＝1。
[0025] 所述步骤2)中阈值分割图像按照公式5进行：
[0026] (公式5)
[0027] 当IR图像灰度为255时，该部分为热目标；当IR图像灰度为150时，该部分图像为背景目标；当IR灰度为0时，该部分为冷目标；将这些值赋值给枚举变量OBJi，i＝1，2，
3分别取这些值，对不同目标区域进行区域提取，区域提取的方法使用最近邻的判别方法进行增长，增长完成的判别条件是区域周围不再存在相似像素点。
[0028] 本发明的有益效果在于：本发明红外与可见光伪彩色图像融合及增强方法，此方法能够使得最终的融合图像具有更多的区域特征信息，并且保证了系统实时性的同时最大限度的提升了融合后图像的色彩质量。
附图说明
[0029] 图1为本发明红外与可见光伪彩色图像融合及增强方法的系统硬件结构图；
[0030] 图2为本发明红外与可见光伪彩色图像融合及增强方法的软件结构图；
[0031] 图3为本发明所用到的CCD图像中实际视频中的某一帧；
[0032] 图4为本发明所用到的红外图像中实际视频中的某一帧；
[0033] 图5为本发明对红外图像采用自适应阈值的分割结果；
[0034] 图6为本发明红外与可见光伪彩色融合结果；
[0035] 图7为本发明所使用的参考彩色图像；
[0036] 图8为本发明经过彩色传递增强后的融合效果图。
具体实施方式
[0037] 采用基于图像融合的嵌入式系统硬件结构如图1所示。其具体配置如下所述：
采用了两个成像传感器，一个是AVT工业CCD摄像头F-032B/C，另外一个是Infrared Solutions公司可提供一款基于非冷却辐射热计技术的热成像仪：IR-160型成像仪，其可输出160×120像素NTSC或PAL视频输出信号；传感器种类选择开关和DSP图像融合芯片均采用了TI公司的TMS320C6000；A/D多路采集芯片采用24位A/D转换器CS5381；ARM芯片采用了ARM公司生产的ARM940T。软件结构如图2所示，通过将红外图像经过预先的分割处理，得出背景信息、目标信息以及冷目标信息三种不同的区域特征，保留特征信息并对红外与可见光图像在YUV的彩色空间下进行伪彩色融合，得到伪彩色融合图像后再利用给定的彩色参考图像对其进行彩色传递及色彩增强处理，得到最终的融合图像。
[0038] 利用热成像仪获得的320×240(或更大分辨率)图像成像如图3所示，图像中包含了热成像热目标(图像中的人)，背景目标(图像中的草丛)以及冷目标(图像中的河流)等，其中背景目标在红外图像中反映并不清晰。可见光图像中对这些信息的分辨率不高，但背景信息的细节特征是比较清晰的，如图4所示。
[0039] 利用新的伪彩色图像融合方法能够使得最终的融合图像具有更多的区域特征信息，具体步骤：
[0040] 第一步，对红外图像进行分割，分割前首先对红外图像进行灰度的直方图分布进行统计，直方图获取方法是比较成熟常用的方法，本发明不再详述。根据直方图得到的分布特征，按照双正态分布求取其相应的六个分布特征参数，分别为第一个正态分布的期望μ1、方差σ1以及第二个正态分布参数μ2、σ2和第三个正态分布参数μ3、σ3。本发明采用了一种修正的期望值最大算法，简化了迭代过程，具体过程是：
[0041] k)给定待定系数的双正态分布函数：
[0042] (公式1)
[0043] 其中λ为待定系数，
[0044] l)给期望μ1、μ2和方差σ1、σ2进行初始化，这里假定直方图分布为0～
100，初始化步骤采用了三等分的策略，取μ1＝17、μ2＝50、μ3＝84、得出 初始化λi＝0.33，i＝1，2，3。
[0045] m)根据期望μ1、方差σ1以及参数μ2、σ2求取两个阈值Th1和Th2：
[0046] (公式2)
[0047] 也就是说，小于Th1的样本是属于第一个正态分布的，大于Th1且小于Th2属于第二个正态分布，大于等于Th2属于第三个正态分布。
[0048] n)根据分布函数(公式1)和样本值，重新计算第一个正态分布的期望μ1、方差σ1以及第二个正态分布参数μ2、σ2和第三个正态分布参数μ3、σ3，并对公式1进行更新：
[0049] (公式3)
[0050] 公式4反映的是对于各个不同分布的期望值的计算公式，对于方差的计算公式与此相仿。公式4中num1，num2，num3分别表示了在各个分布区间的计数值，也就是样本总数；
[0051] o)将样本和分布函数的参数带入公式4，求取该三正态分布函数得似然函数，并将其保存在一个迭代变量数组QM中：
[0052] (公式4)
[0053] p)重复执行c)、d)、e)三步，直到阈值的变化小于一个误差ε，这里取ε＝1；此外，由于迭代过程需要保证似然函数最大，因此最后仍然需要判断最后一步的迭代变量数组QM中的最后一项是最大，实验表明，多数情况下是成立的；
[0054] 第二步：根据阈值对红外图像进行分割，并就分割后目标分别进行区域提取，将区域提取后的信息保存在自动分配空间的变量X中。如图5为对红外图像采用自适应阈值的分割结果图。
[0055] a)阈值分割图像按照公式5进行：
[0056] (公式5)
[0057] 当IR图像灰度为255时，该部分为热目标；当IR图像灰度为150时，该部分图像为背景目标；当IR灰度为0时，该部分为冷目标。将这些值赋值给枚举变量OBJi，i＝1，
2，3分别取这些值。
[0058] b)对不同目标区域进行区域提取，区域提取的方法使用最近邻的判别方法进行增长，增长完成的判别条件是区域周围不再存在相似像素点。
[0059] 以象素点灰度值为255为例进行阐述。
[0060] 象素在进行区域提取时，首先需要给定一个初始的象素位置，将其放入到临时数组型变量TEMP中，并在该位置做一个标记，以防止下一次被用于增长，以该位置为起点，取周围3×3的8个象素点进行比较，将8个象素点中灰度值为255的位置记录下来，并在这些位置上做标记，将其放入到临时数组型变量TEMP中。
[0061] 在记录下来的象素点中任取一个点进行3×3邻域的查找，但是作有标记的点除外，找到关联的所有象素点，保存在TEMP中并作标记。重复本次操作，直到在象素点中不再有记录的点存在，循环结束。
[0062] 将TEMP中的所有点输出，即为1个热目标区域的象素点值，将其保存在热目标的区域列表中，hot＝{X1，X2，......，Xn}。
[0063] 同样对冷目标的所有区域进行提取，会得到冷目标区域列表cold＝{Y1，Y2，......，Ym}；对背景目标的所有区域进行提取，会得到背景目标区域列表bkg＝{Z1，Z2，......，Zo}。
[0064] 其伪代码如下：
[0065] for(int i＝1；i＜img.m_Size；i++)
[0066] {
[0067] for(int i＝1；i＜img.m_Size；i++)
[0068] {
[0069] CPixel px＝img.getpixel(i，j)；
[0070] if(！px.getflag())
[0071] {
[0072] img.regionGrow(px)；
[0073] }
[0074] }
[0075] }
[0076] regionGrow()是图像类对象img的成员函数，用于调用本发明区域增长的方法。
[0077] 第三步，对图像在YUV空间下进行伪彩色的图像融合，如图6为红外与可见光伪彩色融合结果。Y分量使用可见光的背景信息和红外的目标信息以及红外的冷目标信息组合而成；U、V分量使用了可见光图像与红外图像之间的差异，它们的区别在于方向相反，如公式6：
[0078] (公式6)
[0079] 第四步，对图像在YUV空间下进行彩色传递和增强处理；使用了参考图像的期望和方差进行传递，该传递过程是在区域中局部完成的；如图7所示参考图像，在某个背景区域下，求取参考图像在YUV空间下的期望和方差(对彩色图像进行YUV变换的方法是非常成熟的方法，此处不再进行阐述)；再求取伪彩色后图像在YUV空间下相关区域的期望和方差，而后进行增强，如图8是所示经过彩色传递增强后的融合效果图，其局部的增强公式如下：
[0080] (公式7)
[0081] 其中下标G表示在统一的区域下进行彩色传递和增强。
[0082] 表1利用了两种评价指标对未增强的图像、Yin方法的结果以及本发明的结果进行了评价，第一种评价指标是色彩保持度，该值反映了当前图像的色彩与参考图像色彩之间的差异ΔM，ΔM越小，色彩保持度越大。第二个评价指标是边缘互信息，也就是特征保持度，即待融合图像在融合后图像特征的保持度，该值在0～1之间变化，越大表明保持度越好。
[0083] 从表1可以看出，本发明的一种红外与可见光伪彩色图像融合及增强方法具有适用范围广、融合精度高等优点，对于图像识别等后续处理、基于特征级及决策级等人工智能的处理或者人机交互判断决策等工作具有重要意义和实用价值。
[0084] 表1
[0085]