红外目标检测跟踪与识别系统

1、一种红外目标检测跟踪与识别系统，包括红外成像、红外图像接收、红外图像 处理以及图像与结果显示四部分，其特征在于红外成像部分由红外成像仪构成，其串行 控制端口连接主机，一个输出端口连接视频显示器，另一个数字输出端口为差分信号 RS422数字输出，经差分转单端电路连接红外图像接收部分，红外图像接收部分采用一 套现场可编程门阵列板卡，其数字输入输出端口设置为输入模式，现场可编程门阵列板 卡读取图像数据，根据信号的时序，利用帧控制信号、行控制信号以及像素时钟信号设 置读取图像的时刻，将数据锁存到先进先出队列当中，先进先出队列每遇到一个读取使 能信号发送一次，红外图像处理部分采用双数字信号处理板卡，通过设置在图像接收部 分的寄存器读取数字信号处理数据的状态，来协调图像数据的接收与处理，当一帧的图 像处理完后将寄存器的标志位置位，以表示可以读取下一帧数据，双数字信号处理板卡 包括红外目标检测、红外目标跟踪以及红外目标识别三个模块，红外目标检测模块的输 出连接红外目标跟踪以及红外目标识别模块，红外目标检测、红外目标跟踪以及红外目 标识别三个模块的输出通过板卡间令牌总线上的先进先出队列进行传送；最后结果以及 原始图像数据通过主机的总线送到图像与结果显示部分，图像与结果显示部分将灰度分 布0～214的源图像映射为灰度分布为0～28的图像并进行显示。
2、如权利要求1的红外目标检测跟踪与识别系统，其特征在于所述的红外目标检 测模块采用基于椭圆抛物面体积的图像预处理方法提高红外目标图像的信噪比，然后通 过设置门限，经过假设检验得到检测结果，红外目标跟踪采用当前统计模型以及卡尔曼 滤波算法跟踪真实目标，红外目标识别模块采用种子点区域生长的方法进行目标图像分 割处理后进行特征提取和分类。

技术领域：\n本发明涉及一种红外目标检测跟踪与识别系统，是为了获得高性能红外目标图像， 并且对红外图像目标检测跟踪和识别而设计的硬件平台，是基于先进凝视焦平面阵列的 被动红外探测系统。可广泛应用于先进武器系统、安全监视、智能交通和工业自动化检 测等领域。\n背景技术：\n随着红外探测器技术的发展，热像仪从过去采用单元或多元分立式探测器加一维或 二维光机扫描器发展成了不用光机扫描的凝视型成像装置。基于凝视焦平面阵列的红外 热成像探测系统，无论从温度灵敏度和空间分辨率上，还是从帧频和光谱响应上，都有 了极大的提高。由于焦平面凝视热像仪所独有的优良性能，已经成为世界各国大力研发 的一项高新技术。作为智能化信息处理的关键环节之一，红外目标检测成像跟踪与识别 技术一直是困扰和制约红外成像探测实用性能的瓶颈问题和技术难点而亟待解决，目前 已引起国内外专家的高度重视，并围绕这一课题开展了深入、广泛的研究。\n在红外目标检测跟踪与识别过程中，需要尽快地检测并锁定待识别目标，但是在 对空起伏背景下低信噪比红外目标检测与识别面临着众多的技术难题。这些技术难题主 要有：\n1.目标没有尺寸、形状和纹理等信息，传统的图像处理方法无法应用；\n2.起伏背景，致使目标信号往往淹没在噪声之中；\n3.数据量大，难以实时处理。\n国内外研究人员针对低信噪比红外图像中的目标检测跟踪识别提出了一些方法，如 三维匹配滤波，截断序贯似然比检测方法、动态规划法、高阶相关法，小波分析及神经 网络方法等，但是计算量很大，难以实时处理视频图像序列。另外，显著制约上述算法 实际运用的缺陷主要在于各种算法建立在噪声分布，甚至目标分布作为先验知识的基础 上。尽管以上假设在检测算法设计、算法性能分析及结果分析带来很大便利，但由于在 实际情况中，大多数情况是不满足假设分布的，这样不可避免的引入了误差，甚至得到 错误的结论。\n发明内容：\n本发明的目的在于针对现有红外成像探测系统中存在的一些问题，提供一种红外目 标检测跟踪与识别系统，能够改善红外图像成像质量，提高红外目标检测跟踪、识别精 度，达到理想的实用效果。\n为实现这样的目的，本发明的创新点在于采用红外成像仪与高速的图像接收装置以 及实时数据处理板卡，建立了一整套红外目标检测跟踪与识别系统。\n本发明的红外目标检测跟踪与识别系统由四个部分组成：包括红外成像、红外图 像接收、红外图像处理以及图像与结果显示四部分，红外成像部分由红外成像仪构成， 其串行控制端口连接主机，一个输出端口连接视频显示器，另一个数字输出端口为差分 信号RS422数字输出，经差分转单端电路连接红外图像接收部分，红外图像接收部分 采用一套现场可编程门阵列FPGA板卡，其数字输入输出端口设置为输入模式，FPGA 板卡读取图像数据，根据信号的时序，利用帧控制信号、行控制信号以及像素时钟信号 设置读取图像的时刻，将数据锁存到先进先出队列FIFO当中，FIFO每遇到一个读取 使能信号发送一次，红外图像处理部分采用双数字信号处理DSP板卡，通过设置在图 像接收部分的寄存器读取DSP处理数据的状态，来协调图像数据的接收与处理，当一 帧的图像处理完后将寄存器的标志位置位，以表示可以读取下一帧数据，双DSP板卡 包括红外目标检测、红外目标跟踪以及红外目标识别三个模块，红外目标检测模块的输 出连接红外目标跟踪以及红外目标识别模块，红外目标检测、红外目标跟踪以及红外目 标识别三个模块的输出通过板卡间令牌总线上的FIFO进行传送；最后结果以及原始图 像数据通过主机的总线送到图像与结果显示部分，图像与结果显示部分将灰度分布0～ 214的源图像映射为灰度分布为0～28的图像并进行显示。\n系统工作时，红外图像首先通过红外成像仪得到，通过数字输出差分RS422端口以 及差分转单端电路，将数字图像数据以及输出控制信号送到FPGA板卡的数字输入输 出端口，数字输入输出端口设置为输入模式。FPGA板卡读取图像数据，通过集成在板 卡上的令牌总线将数据送到双DSP板卡系统上进行处理，处理的内容包括目标检测跟 踪、识别。目标检测跟踪、识别的结果以及原始图像数据通过计算机的PCI总线送到 显示器上显示。\n本发明的红外目标检测跟踪与识别系统具有如下有益效果：\n本发明的红外目标检测跟踪与识别系统，是基于先进凝视焦平面阵列的被动红外探 测系统，具有探测范围广、定位精度高、识别能力强、作用距离远等优点，对于应用系 统的后续处理工作具有重要意义和实用价值。\n附图说明：\n图1为本发明的红外目标检测跟踪与识别系统结构原理图。\n图2为本发明所用到红外成像仪输出信号的时序。\n图3为本发明实施例中的图像。\n图3中，(a)、(b)是实拍图像，(c)、(d)是对空拍摄的图像和采用数学形态学滤波技 术和基于局部能量最大的特点检测出的结果，(e)、(f)是对空实拍图像和面采用阈值联 合种子点生长方法分割的结果。\n具体实施方式：\n以下结合附图和实施例对本发明的技术方案作进一步描述。\n本发明的实施例中，利用高性能红外成像仪分别拍摄到图3(a)(b)的对地目标以及 人手、图3(c)、(e)拍摄的是对空目标。采用本发明的系统进行红外目标检测跟踪与识 别，各部分具体实施细节如下：\n红外目标检测跟踪与识别系统由四个部分组成：包括红外成像、红外图像接收、红 外图像处理以及图像与结果显示四部分。高性能红外成像仪所采用的红外头部是法国所 福拉德公司生产的。红外成像仪一共有两个输出端口和一个串行控制端口。两个输出端 口的其中一个是用于视频输出的，利用一台视频监视器就可以观察红外成像仪输出的视 频模拟图像；另外一个输出端口是差分信号RS422数字输出。串行控制端口与主机相 连，主要作用是调节红外成像仪的性能，如：调节数字图像的输出速率(25帧/秒、50 帧/秒和100帧/秒可选)，调节图像的积分时间以及校正图像已达到最佳的成像效果。\n红外摄像头的数字输出格式是采用RS422差分信号，这种信号可以抑止传输过程 中信号之间产生的共模干扰，进行长距离传输。端口输出14位数据和3位控制信号。3 位控制信号分别为像素时钟信号、行控制信号和帧同步控制信号。为了保证数据能够在 较低的传输误码率的情况下进行传输，必须充分利用这些控制信号，以及对这些控制信 号进行详尽地分析。它们之间的时序关系见图2所示。\n数据的传输过程采用了三组控制信号。当一帧的图像数据到达之前的某个时刻， 帧控制信号出现一个向下脉冲，用上升沿表示图像传输准备好，等待行控制信号。当第 一个行控制信号到达时，以该信号上升沿作为数据到达的标志。时钟信号的上升沿作为 对像素数据的锁存标志，一个像素对应一个时钟脉冲。两个帧控制信号之间只发送一幅 图像(76800个像素)；两个行控制信号之间只发送一行信号(320个像素)；一个时钟 周期发送一个像素。从而避免了图像数据帧与帧之间、行与行之间以及像素之间的误码， 进而保证了得到高质量的红外数字图像。\n前面提到，RS422是一种差分信号，一个信号用两条信号线表示，一条信号传输实 际信号，另一条传输实际数据的反相值。在实际信号一侧测得的控制信号以及数据信号 都具有比较好的时序特征，但是信号的共模干扰在进入FPGA板卡的系统中产生了很 大的影响，以至于像素时钟信号产生很多毛刺，使得显示的图像发生抖动。因此本系统 必须将差分信号转成单端信号。转换电路采用了芯片摩托罗拉的差分转单端芯片 MC3486。\n红外图像的接收和处理的硬件采用的是亨特公司生产的母卡HEPC9、现场可编程 门阵列板卡HERON-FPGA3S以及数字信号处理DSP板卡HERON4。HEPC9是一块母卡， 作为各种亨特公司处理板卡的载体。HERON-FPGA3S是一块FPGA板卡，负责接收红外 图像数据；HERON4是DSP板卡，负责对图像中的目标进行检测跟踪和识别。从红外成 像仪传来的差分数据通过转换电路变换成单端信号后，直接进入现场可编程门阵列FPGA 芯片。FPGA编程实现控制信号的转换，一共要考虑两组控制信号，一组信号来自于红 外成像仪，如像素时钟、行控制信号以及帧同步控制信号；另一组信号来自于数字信号 处理器DSP，DSP根据自己的运算情况设置该信号的状态，当DSP处理完一帧信号处于 等待状态时，对该信号置位，以表示可以接收数据。FPGA根据这些信号向自身开辟的 一块先进先出队列FIFO上写图像数据。图像数据写在FIFO中以后，等待DSP板卡回应 读取信号，以对FIFO中的数据进行读取操作，从而完成数据的接收。两块DSP板卡接 收到一帧的图像数据以后，要首先分配给其中的一块DSP进行目标检测跟踪，这时，另 一块DSP可能正识别上一帧图像的目标或是处于等待状态。第一块DSP用于红外目标检 测和识别，首先采用了基于椭圆抛物面体积的图像预处理方法提高红外目标图像的信噪 比，然后通过设置门限，经过假设检验最终得到检测结果。检测结果送到另一部分程序 执行目标跟踪，红外目标跟踪算法考虑了图像的帧间相关信息以及目标运动的连续性， 根据杂波和噪声分布的随机性进行数据关联，采用当前统计模型以及卡尔曼滤波算法跟 踪真实目标。当完成目标检测和跟踪以后，第一块DSP停止运算，等待下一帧的红外图 像数据。目标检测后的结果还要送到另一块DSP上进行目标识别，红外目标识别算法首 先采用种子点区域生长的方法进行图像分割，目标经分割处理后进行特征提取和分类， 采用基于旋转不变形态学神经网络对目标进行分类；样本模式库采用了标准模式库。在 完成了上述操作以后，第二块DSP等待第一块DSP的数据。\n红外图像以及处理后图像的显示部分。红外图像的显示采用的是奔腾III 866工控 机，内存128M，经DSP处理后的结果以及未处理的图像可以通过PCI总线送到显示 器上显示。显示部分采用C语言编程。由于红外摄像头的数据是14位的数据，在 WINDOWS平台上无法使用14级灰度的图像，只有将其映射到8位的图像空间，才可 以将图像显示出来供用户使用。分析14位源图像的直方图发现图像的像素分布往往集 中在一个局部，如果简单的进行图像的线性映射，由于8位像素的信息量减少，变换后 的图像往往丢失许多信息。为了克服这种图像信息不均匀分布带来影响，本系统采用了 对源图像灰度分布0～214映射到灰度分布为0～28的图像，能够反映出原图的信息。\n如图3所示，(a)、(b)是实拍图像，(c)、(d)是对空拍摄的图像和采用数学形态学滤 波技术和基于局部能量最大的特点检测出的结果，(e)、(f)是对空实拍图像和面采用阈 值联合种子点生长方法分割的结果。目标检测概率能够达到99％，虚警概率为0.1％； 目标的跟踪基本概率可以达到94％；采用基于旋转不变形态学神经网络的红外序列图 像目标识别方法，目标由点目标向面目标过渡时，当训练样本与检测样本强相关时的识 别正确率为94.9％，训练样本与检测样本弱相关时的识别正确率为91.9％。整个算法在 双DSP板卡系统上的运行速度可以达到每秒钟25帧的实时效果。从而可以看出，本发 明的系统具有探测范围广、定位精度高、识别能力强、作用距离远等优点。