一种基于Cameralink的图像融合系统及其方法

1.一种基于Cameralink的图像融合方法，其特征在于步骤如下：
第一步，两路Full模式下的Cameralink相机信号根据Cameralink协议传输给两路Cameralink视频接收系统；
第二步，两路Cameralink视频接收系统将数据实时的送入FPGA中进行融合处理，每路Cameralink视频接收系统由两个MDR26连接器、三片解差分模块、串行通信模块、差分驱动模块组成，第一MDR26连接器分别与第一、二解差分模块连接，第二MDR26连接器分别与第三解差分模块、串行通信模块、差分驱动模块连接，该第一、二、三解差分模块以及串行通信模块、差分驱动模块分别与FPGA连接；每路Full模式数据差分信号经过三片解差分模块转换成数据TTL信号，串行通信信号由串行通信模块解码，控制差分信号经差分驱动模块产生，解差分模块产生的数据TTL信号进入FPGA；
第三步，Cameralink相机信号经视频接收系统解差分模块产生的数据TTL信号进入FPGA进行融合，这些TTL数据信号包括时钟信号、有效数据信号、行同步信号和帧同步信号，这些信号时序简单，在FPGA中将两路图像加以融合容易实现，即以其中一路Cameralink相机传输的图像经视频接收系统解差分模块产生的数据TTL信号作为基准，在FPGA中对第二路的图像信号经视频接收系统解差分模块产生的数据TTL信号加以延时，使得两路行同步和帧同步信号同步，然后对对应像素做加权平均，加权平均公式为：
F(m1,m2)＝W1N1(m1,m2)+W2N2(m1,m2)    (1)
公式(1)中N1，N2分别表示第一，第二幅图像，W1，W2第一，第二幅图像对应的加权系数，并且W1+W2＝1；
第四步，存储器负责把在FPGA中融合图像数据信号读出，存入外部存储器中；或者把缓存在外部存储器的数据读出到FPGA中；
第五步，将FPGA处理后的图像数据信号通过Rapid IO送入多核DSP进行处理；
第六步，将多核DSP处理后的图像回传到FPGA中，将最终融合的结果以VGA制式的形式输出到显示器终端。

一种基于Cameralink的图像融合系统及其方法\n技术领域\n[0001] 本发明属于高速图像采集技术领域，特别是一种基于Cameralink的图像融合系统及其方法。\n背景技术\n[0002] 图像融合是信息融合的重要分支和研究热点。图像融合是把同一场景从不同特性、不同时间、不同分辨率传感器获得的多幅图像综合成一幅图像的先进图像处理技术。图像融合技术在许多领域都得到了广泛应用，包括遥感图像的分析和处理、自动识别、计算机视觉，医学图像处理等。融合图像具有较强的鲁棒性，即使个别传感器故障也不会对融合图像产生严重影响；图像融合能协同同一场景的多种传感器图像信息，输出一幅更适于人类视觉个感知或计算机进一步处理和分析的融合图像。它可明显改善单一传感器的不足，提高图像的清晰度及信息包含量。图像融合技术的研究有着重要的理论与应用价值。\n[0003] Cameralink协议是Dalsa,Basler,Coreco等相机供应商和图像采集公司在2000年\n10月联合推出旨在简化CCD和采集卡之间的连接，Cameralink可为高速高精度的数字相机提供简单灵活的连接。Cameralink接口是专为数字相机制定的一种图像数据、视频数据控制信号及相机控制信号传输的总线接口,数据传输速率最高可达2.38Gbps,足以满足数码相机在当今传输速度的要求。采用这种标准后,使得数字摄像机的数据接口输出采用更少的线数,连接电缆制造方便,更具有通用性,而且数据的传输距离比普通传输方式更远。其最主要的特点是采用了LVDS(Low Voltage Differential Signaling,低压差分信号)技术,从而简化了数转换、视频信号编译码等工作流程,使摄像机的数据传输速率大大提高。\nCameralink有Base,Medium,Full三种模式，Full模式下，可同时传输8个像素，图像分辨率可达2048*2048,帧频可达2000帧，传输带宽可达8000MB/S，该接口可通过连接图像采集设备进行数据的存储、可实时传输回地面或连接采集卡。Cameralink传输速率快、体积小、重量轻,便于检测和评价相机成像质量在图像数字领域得到越来越来越广泛的应用。\n[0004] 图像融合技术的实时实现具有相当的难度,当融合算法确定后,如果图像分辨力、灰度级数、时序控制等发生变化时,则一般情况下,系统中的相应硬件电 路、整体时序控制信号等也要进行局部或全局调整。即很难设计一个图像融合系统,能够满足各种不同的图像特性。而对于Cameralink传输的图像信号，无需改变电路硬件结构，只需在FPGA中对通过Cameralink协议中的串行通信信号发送指令，即可调整图像分辨力，和灰度级数。且经Cameralink传输的图像信号经解码芯片(DS90CR288A,DS90LV031,DS90LV019)解码后，为稳定的TTL图像数据信号，没有复杂的通讯协议，可以直接对解码后的TTL图像数据信号进行处理，更容易实现实时融合。\n[0005] 目前主流的图像融合硬件系统是两路网口传输视频加以融合，网口传输符合GigEg Vision协议，众多厂商支持，它的应用是最广泛的，但带宽小，每次只能传输一个像素，在高分辨率，高帧频的场合应用便不能达到要求。Cameralink可传输高分辨率高帧频的图像，分辨率可达4K*4K，帧频可以2000fps以上,在高分辨率，高帧频的场合提供了新的解决方法。而两路Cameralink传输的图像融合系统由于差分信号的特殊的要求在硬件实现方面很有难度。\n发明内容\n[0006] 本发明的目的在于提供一种基于Cameralink的图像融合系统及其方法，从而快速实现高分辨率高帧频图像的融合。\n[0007] 实现本发明目的的技术解决方案为：\n[0008] 一种基于Cameralink的图像融合系统，包括两路Cameralink视频接收系统、FPGA、存储器、多核DSP、显示器，两路Cameralink视频接收系统分别与FPGA连接，该FPGA分别与存储器、多核DSP、显示器连接，该Cameralink视频接收系统由两个MDR26连接器、三片解差分模块、串行通信模块、差分驱动模块组成，第一MDR26连接器分别与第一、二解差分模块连接，第二MDR26连接器分别与第三解差分模块、串行通信模块、差分驱动模块连接，该第一、二、三解差分模块以及串行通信模块、差分驱动模块分别与FPGA连接；两路Full模式下的Cameralink相机信号传输到Cameralink视频接收系统中，每路Full模式数据差分信号经过三片解差分模块转换成数据TTL信号，串行通信信号由串行通信模块解码，控制差分信号经差分驱动模块产生，解差分模块产生的数据TTL信号进入FPGA进行融合，图像处理时与存储器进行数据交换，图像预处理后经Rapid IO送入多核DSP，再经Rapid IO传回FPGA，最终把处理后的图像在VGA 接口显示器上显示。\n[0009] 一种基于Cameralink的图像融合方法，步骤如下：\n[0010] 第一步，两路Full模式下的Cameralink相机信号根据Cameralink协议传输给两路Cameralink视频接收系统；\n[0011] 第二步，两路Cameralink视频接收系统将数据实时的送入FPGA中进行融合处理，每路Cameralink视频接收系统由两个MDR26连接器、三片解差分模块、串行通信模块、差分驱动模块组成，第一MDR26连接器分别与第一、二解差分模块连接，第二MDR26连接器分别与第三解差分模块、串行通信模块、差分驱动模块连接，该第一、二、三解差分模块以及串行通信模块、差分驱动模块分别与FPGA连接；每路Full模式数据差分信号经过三片解差分模块转换成数据TTL信号，串行通信信号由串行通信模块解码，控制差分信号经差分驱动模块产生，解差分模块产生的数据TTL信号进入FPGA；\n[0012] 第三步，Cameralink相机信号经视频接收系统解差分模块产生的数据TTL信号进入FPGA进行融合，这些TTL数据信号包括时钟信号、有效数据信号、行同步信号和帧同步信号，这些信号时序简单，在FPGA中将两路图像加以融合容易实现，即以其中一路Cameralink相机传输的图像经视频接收系统解差分模块产生的数据TTL信号作为基准，在FPGA中对第二路的图像信号经视频接收系统解差分模块产生的数据TTL信号加以延时，使得两路行同步和帧同步信号同步，然后对对应像素做加权平均，加权平均公式为：\n[0013] F(m1,m2)＝W1N1(m1,m2)+W2N2(m1,m2)      (1)\n[0014] 公式(1)中N1，N2分别表示第一，第二幅图像，W1，W2第一，第二幅图像对应的加权系数，并且W1+W2＝1；\n[0015] 第四步，存储器负责把在FPGA中融合图像数据信号读出，存入外部存储器中；或者把缓存在外部存储器的数据读出到FPGA中；\n[0016] 第五步，将FPGA处理后的图像数据信号通过Rapid IO送入多核DSP进行处理；\n[0017] 第六步，将多核DSP处理后的图像回传到FPGA中，将最终融合的结果以VGA制式的形式输出到显示器终端。\n[0018] 本发明与现有技术相比，其显著优点：(1)融合的两路视频输入均为Cameralink，传输带宽可达Gpbs以上，在高分辨率高帧频图像处理中具有显著 优势；(2)两路Cameralink视频输入为Full模式，相较一般的Base模式更能满足高速图像处理的要求；(3)Cameralink相机信号经视频接收系统解差分模块产生的数据TTL信号时序简单，且同一时刻两路视频之间存在非常小的相位差，在FPGA中将两路图像加以融合实现。\n[0019] 下面结合附图对本发明作进一步详细描述。\n附图说明\n[0020] 图1是本发明基于Cameralink的图像融合系统的整体框图。\n[0021] 图2是本发明基于Cameralink的图像融合系统的实施例框图。\n[0022] 图3是相机寄存器地址。\n[0023] 图4读写指令格式。\n[0024] 图5是FPGA内部系统流程图。\n[0025] 图6是行场同步信号时序图。\n具体实施方式\n[0026] 结合图1，本发明基于Cameralink的图像融合系统，系统组成及其内部信号流向如下：\n[0027] 系统包括两路Cameralink视频接收系统、FPGA、存储器、多核DSP、显示器，两路Cameralink视频接收系统分别与FPGA连接，该FPGA分别与存储器、多核DSP、显示器连接，该Cameralink视频接收系统由两个MDR26连接器、三片解差分模块、串行通信模块、差分驱动模块组成，第一MDR26连接器分别与第一、二解差分模块连接，第二MDR26连接器分别与第三解差分模块、串行通信模块、差分驱动模块连接，该第一、二、三解差分模块以及串行通信模块、差分驱动模块分别与FPGA连接；两路Full模式下的Cameralink相机信号传输到Cameralink视频接收系统中，每路Full模式数据差分信号经过三片解差分模块转换成数据TTL信号，串行通信信号由串行通信模块解码，控制差分信号经差分驱动模块产生，解差分模块产生的数据TTL信号进入FPGA进行融合，图像处理时与存储器进行数据交换，图像预处理后经Rapid IO送入多核DSP，再经Rapid IO传回FPGA，最终把处理后的图像在VGA接口显示器上显示。\n[0028] 结合图2，本发明基于Cameralink的图像融合方法，步骤如下：\n[0029] 第一步，选用两组视频接收系统接受Cameralink接口相机传来的低压差分 信号，Full模式下一组Cameralink信号包含21对差分信号，包括12对数据差分信号、3对时钟信号、2对串行通信信号以及4对相机控制信号，经过3片解差分芯片DS90CR288A,差分数据信号差分时钟信号按7：1的比例输出TTL数据信号和时钟信号，且能通过的最高时钟频率可达\n85MHz。本硬件系统融合的两路视频输入均为Cameralink，且均可达到Full模式，以常见的\n2048*2048的8位图像为例，当拍摄帧频为100帧/秒时，需要实时传输的数据量为3200Mb/s，两路的总带宽可达到6400Mb/s。对于Full模式下的数据部分的电路由一个Cameralink接口，两片解差分芯片DS90CR288A构成，这个MDR26连接器接入相机传来的Y路的4对数据差分信号及1对时钟差分信号和Z路的4对数据差分信号及1对时钟差分信号.Y路的差分信号经DS90CR288A解码后生成29个TTL信号，Z路的差分信号经另一片DS90CR288A解码后生成29个TTL信号，电路中加在差分信号间的电阻匹配作用。\n[0030] 相机控制部分包括4对差分信号(CC1、CC2、CC3和CC4)，这里选用差分驱动芯片DS90LV031，该芯片刚好可以驱动4对差分信号。\n[0031] 串行通信部分包括2对差分信号，串行通信规定为异步通信模式，通过串行通信可以对相机的各种参数比如相机曝光时间，分辨率等进行设置。选用具有1对差分发送和1对差分接收的芯片DS90LV019就可将差分对信号转换成TTL信号，亦可将TTL信号转换为差分信号。Basler提供了两种指令库以方便相机设置及控制，一种是通过软件使用Basler pylon API函数，另一种是通过FPGA直接访问寄存器的方式来对相机进行配置.项目中选用第二种方式控制相机，Basler提供寄存器地址，指令格式等参数。寄存器地址如图3所示，读写指令格式如图4所示。\n[0032] 第二步，选用XC6SLX45T-FPGA作为数字信号处理核心芯片，因为它有4.3万个逻辑单元(LE)，190个具有多种模式的I/O口，核心电压为1.2V，低功耗，高性能，可以直接连接外围的各种接口器件，如LVDS-TTL转换器，DDR3SDRAM存储芯片等。DDR3 SDRAM容量为1024M bytes，使用了两片DDR3SDRAM存储器，Cameralink可同时传输8个像素，分辨率最大可达\n2048*2048，帧频可达100帧/秒，该容量满足设计要求。\n[0033] 第三步，Cameralink相机信号经视频接收系统解差分模块产生的数据TTL信号进入FPGA进行融合，这些TTL数据信号包括时钟信号，有效数据信号， 行同步信号和帧同步信号，这些信号时序简单，在FPGA中将两路图像加以融合容易实现，由于两路Full模式下的Cameralink相机信号同时传输给两路Cameralink视频接收分系统，所以同一时刻两路视频之间存在非常小的相位差，以其中一路camelink相机传输的图像作为基准，对第二路的图像信号加以延时，使得两路行同步和帧同步信号同步，然后对对应像素做加权平均，融合后图像标准偏差变小噪声降低。加权平均公式为:\n[0034] F(m1,m2)＝W1N1(m1,m2)+W2N2(m1,m2)     (1)\n[0035] 公式(1)中N1，N2分别表示第一，第二幅图像，W1，W2第一，第二幅图像对应的加权系数，并且W1+W2＝1。参与融合的两幅图像提供很多互补信息，提高了检测的可靠性和信噪，融合后图像标准偏差变小噪声降低。\n[0036] 第四步，设计DDR3存储器读写模块，该模块是数据缓存模块，它负责把在FPGA中融合图像数据信号读出，存入外部存储器中，由于输入的图像数据量很大，速率较快，因此系统采用两片DDR3 SDRAM实现乒乓缓机制。首先将FPGA中的图像数据缓存到DDR3 SDRAM中，写满一帧数据后开始读取，在写SDRAM2时对SDRAM1进行读操作，而在写DDR3 SDRAM1时对DDR3SDRAM2进行读操作。读写切换可以由帧有效信号FVAL来控制,将一帧完整的图像缓存到一片DDR3 SDRAM中，便于后续的处理。FPGA内部系统流程图如图5所示：开始工作后，FPGA首先进行初始化，然后存储相机数据，然后再读取相机数据，通过查表判定是否为24个像素，如果不是，继续读取相机数据，如果是进行融合处理，融合处理后送到DSP进行进一步处理。\n[0037] 第五步，由于系统中的FPGA型号为选用XC6SLX45T，该芯片包括4对高速串行收发器，这个收发器主要是用来DSP和FPGA互相交互数据，这种高速口可达Gbit的速度，在Spartan-6中Rapid收发器在BANK0上，时钟由专用的差分时钟芯片ICS844021产生一对差分时钟，再由ICS8543产生四对差分时钟，给Rapid收发器。差分时钟为125MHZ，可以满足设计中Rapid IO模块对参考时钟的要求。经FPGA处理的图像经Rapid IO送入TMS320C6678进行处理，由于经融合处理后的信息量大，可以在DSP中用一些图像处理算法实现基于Prewittz算子的边缘提取和对静态目标的减背景等功能。\n[0038] 第六步，将DSP处理后的图像回传到FPGA中。将最终融合的结果以VGA制式的形式输出到显示器终端。如选用ADV7123作为视频D/A转换器。 ADV7123是三路高速、1O位输入的视频D/A转换器，具有330MH Z的最大采样速度，与多种高精度的显示系统兼容，能够满足多方面应用需求。通过ADV7123产生三路模拟输出，同时结合行场同步信号完成图像的显示。\n如果要把缓存在SDRAM中的图像在VGA接口显示器显示，我们需要构造扫描时序。设计需要满足VGA75Hz格式的输出图像，即1024 X 768的有效像素分辨率，帧频75Hz，行频60kHz，由于晶振输入27MHz时钟信号，对其倍频后产生81MHz的像素时钟。因此，行周期＝81MHz÷\n60kHz＝1350，帧周期＝60kHz/75Hz＝800，行消隐＝1350—1024＝326，帧消隐＝800-768＝\n32。场同步、行同步信号可以由FPGA构建。选取倍频后产生的81MHz作为像素时钟输入，将其输入到模等于HP(＝1350)的像素脉冲计数器中，当脉冲计数小于HB＝326时输出低电平，其它输出高电平，以此作为行同步信号Hsys；然后以Hsys行节拍为单位进行计数，当计数值小于VB＝32时输出低电平，其它输出高电平，当计数值等于VP(＝800)个行同步信号后，计数器清零，以此作为场同步信号Vsys。行场同步信号时序图如图6所示。