一种对于可见光图像和红外图像的快速实时融合处理系统

1.一种对于可见光图像和红外图像的快速实时融合处理系统，其特征是，它包括至少一个可见光传感器和至少一个红外传感器，它们与数据采集设备连接，数据采集设备与计算机连接。
2.如权利要求1所述的对于可见光图像和红外图像的快速实时融合处理系统，其特征是，所述可见光传感器和红外传感器通过数据总线与数据采集设备连接。

一种对于可见光图像和红外图像的快速实时融合处理系统\n技术领域\n[0001] 本实用新型涉及一种快速图像融合处理的科学实验系统，具体地说是一种对于可见光图像和红外图像的快速实时融合处理系统。\n背景技术\n[0002] 在一般的多传感器设备观察目标时，不可避免地要进行各通道图像的切换，而在切换过程中，由于光轴的一致性，视场大小的一致性等问题导致观察有效性的降低。因此设计一套可见图像和红外图像的快速实时融合处理系统能够大大提高观察效率，并能给决策提供更有效地帮助。\n[0003] 近年来，在各行各业中，特别是基于光学传感器的计算机视觉处理领域，图像融合技术被广泛关注和研究。越来越多的基于图像处理的工业领域正在加快对图像融合技术的算法研究。图像融合属于数据融合的形态中的一类，是将多源传感器获取的多源信息在某种标准下进行匹配，自动合成以形成具有更大信息量的简约表达。这样做的主要目的是方便后期的决策如模式识别等工作任务，利于计算机和人的快速判断处理。\n[0004] 图像融合将多源传感器获得的多源图像序列的冗余信息加以删除，互补信息加以综合，最终形成对观测的目标对象们的高清晰、高分辨、高信息量的一致性描述和表达。换句话说，图像融合也可以看成是某种形式的信息归约。归约后的数据，也就是融合后的图像具有高可靠性，高画质，高信息量的特征，既减少了不必要的重复信息，又提升了单幅图像的信息容量，让图像信息更加清楚易辨识。\n[0005] 目前，对图像融合的研究已经有超过二十多年的历史，特别在近几年，随着各型传感器的发展，图像融合技术正在飞速前进。首先引导数据/图像融合发展的是军事科技方面的发展应用。美国军方的信息化作战时建立在各类信息的融合判断决策之上的高科技作战模式，这些多源信息很大一部分都来源于各类图像信息，如可见光信息，红外光信息，微光信息，激光信息，雷达成像信息等等。在融合信息基础之上所得到的多目标探测与识别，侦查监视，导航制导等应用将会更加准确。另外， 在非军事方面的应用在近十年来也正蓬勃发展，高水平的工业生产，比如智能机器人的研究方面，图像融合是建立机器人智能视觉必不可少的前提环节；在民用航拍图像处理方面，也同样要对遥感图像进行图像融合。目前，图像融合还没有建立起完备的理论研究体系。因此融合算法都只是在各种数据处理背景下的一种尝试。这些数据处理方法包括了滤波方法，如维纳滤波，卡尔曼滤波；概率统计方法，如贝叶斯极大似法；数据聚类法，如基于各种评判标准的聚类方法；智能计算方法，如基于蚁群算法、遗传算法等启发式算法的近似算法等等。\n[0006] 可见光图像和红外图像是目前应用领域中使用最为广泛的两类图像。它们能够表达被观察目标在两个频谱范围的丰富信息特征。因此，在成像系统中，两类传感器往往会被并列安装，并保证瞄准线的统一，从而能够更好地观察目标。但是，两类图像无法同时观察，只能进行相应的切换。这给观察者带来了麻烦，因此，如何将可见光图像和红外图像进行快速实时融合是多传感器成像系统所面临的难题。\n实用新型内容\n[0007] 本实用新型的目的就是为解决上述问题，提供一种对于可见光图像和红外图像的快速实时融合处理系统，它可以将从红外热像仪获取的红外图像和从CCD摄像机获取的可见光图像，进行像素层级上的实时融合，将删除冗余信息，综合互补信息的融合图像提供给用户，最终形成对观测的目标对象的高清晰、高分辨、高信息量的一致性描述和表达。\n[0008] 为实现上述目的，本实用新型采用如下技术方案：\n[0009] 一种对于可见光图像和红外图像的快速实时融合处理系统，它包括至少一个可见光传感器和至少一个红外传感器，它们与数据采集设备连接，数据采集设备与计算机连接。\n[0010] 所述可见光传感器和红外传感器通过数据总线与数据采集设备连接。\n[0011] 本实用新型在使用时，首先读入可见光和红外视频图像，经过传输环节和数据采集单元读入计算机，然后由处理软件对序列图像的进行基于图像偏移参数的配准方法来进行快速匹配，得到相应位置粗匹配的待融合图像。然后采用基于底层的像素层级的图像融合处理，其基本步骤包括以下几个方面：\n[0012] 步骤一、待融合图像的预处理工作。图像预滤波降噪增强等预处理以获得高品质的待融合图像序列。\n[0013] 步骤二、图像的校正工作。待融合图像首先需要进行基于特征的精配准等精确校正工作。根据多源传感器的成像原理采用相应的变换模型进行准确调整。\n[0014] 步骤三、图像的一致性采样。为了让像素层级的融合工作能够快速有效，对于具有不同分辨率的传感器图像，采用一致性像素插值形成相同规模尺寸的图像。\n[0015] 步骤四、像素层级的逐一融合。\n[0016] 步骤五、融合后图像的后处理工作。由于融合后图像往往在整体的灰度表现上会引入一定的噪声，因此后处理工作一般包括图像去噪，图像提升，图像裁剪等。\n[0017] 下面详细叙述步骤三至步骤五。首先，对图像分别进行多层的小波分解变换，形成塔形小波图像系数。然后，对上述分解得到的塔形小波图像系数按照某种融合算法进行融合，即对于不同频带的小波系数分别进行融合，得到具有相应块标志的融合后塔形小波图像系数。最后，对上述融合后的塔形小波图像系数进行小波反变换重构形成融合后图像。如果融合效果不够，可以进行相应的后处理。\n[0018] 在整个融合流程中，对最终融合结果影响较大的包括小波种类的选取、塔形小波分解层数的选取以及融合准则算法的选取。尤其是融合准则的选择是影响融合效果起作用最大的方面，是融合过程的核心和关键，它直接决定了融合的计算速度和融合结果的好坏。本实用新型不采用传统的单小波分解模块，而采用多维方向滤波器组（N-dimensional Directional Filter Banks，NDFB）的Surfacelet变换作为二代小波变换实现非自适应性多尺度几何分析，对任意维数的信号进行方向性分解。一般对于低频段图像的融合算法修正可以很大程度上的决定整幅图像的信息获取量，因此一个好的融合算法一定要在低频段融合算法中作出最佳选择，经过实验发现，以梯度模为块融合标志的低频融合算法充分考虑了图像的低频特性，是较佳选择。对于高频段的图像，融合算法首先必须考虑到这些方向性因素，经过实验证实，能量值作为块融合标志的高频融合算法的确使图像的精细程度有了很大的提高。\n[0019] 在基于小波的图像融合过程中，对图像进行小波分解，分解得到的系数分为低频分量和高频分量，需要根据低频分量来获得块效应所在区域，也就是重影所在区域。首先对低频分量按照融合规则获得融合标识图像，该融合标识图像为二值图像，即其中的像素值若为1，表明应该选择左源图像的低频分量；若为0，则选择右源图像的低频分量。在获得了该标识图像后，需要对标识图像进行滤波，以删除杂波区域，但保留主要信号区域，选择\n3×3的模板进行中值滤波。然后以较大的模板对标识图像再次进行滤波，以获得背景图像，我们选择16×16大小的模板。接着将滤波后的标识图像与背景图像进行想减，获得待滤波区域的图像，用以指示哪些区域需要进行滤波以消除重影，同时保证保留不需要滤波区域的绝对质量。滤波过程应沿着图像的边缘方向进行扩散，保证图像边缘不会退化模糊。\n[0020] 本实用新型的有益效果是：能够为观察者提供更加直观丰富的目标图像，能够将目标的红外特征叠加在可见光特征之上。能够对可见光视频和红外视频进行配准处理，保证视频图像瞄准线的一致，同时能够保证二者在空间上的高度一致。能够对可见光视频图像和红外视频图像进行一致性裁剪，保证二者观察视场大小的一致。能够对可见光视频图像、红外视频图像以及融合后视频图像三者进行同时数字输出。并能够在融合图像上进行操作，显示叠加和非叠加效果。本实用新型具有设计合理，操作方便，结果精确客观等特点，具有很好的推广使用价值。\n附图说明\n[0021] 图1为本实用新型的结构示意图。\n[0022] 图2为本实用新型的处理流程图。\n[0023] 其中，1.可见光传感器，2.红外传感器，3.数据总线，4.数据采集设备，5.计算机。\n具体实施方式\n[0024] 下面结合附图与实施例对本实用新型做进一步说明。\n[0025] 图1中，它包括至少一个可见光传感器1和至少一个红外传感器2，它们通过数据总线3与数据采集设备4连接，数据采集设备4与计算机5连接。\n[0026] 图2中，本实用新型的工作步骤为：\n[0027] 首先由融合处理系统读入相应的需要融合的可见光序列图像和红外序列图像。同时根据光轴调节输入参数作为依据对图像对进行粗对准，以调整相差。然后分别对可见光图像和红外图像进行相应的图像去噪预处理。接着对预处理后的图像按照基于特征角点的方法进行图像精配准。送入图像融合模块进行Surfacelet变换、融合和回复，并依据变换中获得的信息进行滤波后处理消除融合块效应。最后输出融合后图像供模式识别等后处理或观察使用。\n[0028] 除说明书所述的技术特征外，其余均为本专业人员已知技术。