基于FPGA和多核DSP的图像传输及处理系统

1.基于FPGA和多核DSP的图像传输及处理系统，包括PC、PCI桥、双通道切换开关、FPGA、多核DSP、晶振、电源以及两存储器；
PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和多核DSP，多核DSP通过HPI接口连接FPGA，电源分别连接FPGA和多核DSP；
PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存；FPGA将FIFO中的数据写入到第二存储器；第二存储器中的数据达到一定量之后FPGA通知CPLD将第二存储器的总线控制权在FPGA与多核DSP之间互换，并向多核DSP发出一个中断信号；FPGA控制双通道切换开关的开关状态以实现第一读写通道和第二读写通道的交替进行，多核DSP对读取到的数据做并行处理，并将处理结果通过HPI接口返回给FPGA；
所述第一读写通道为：FPGA将自身缓存的当前数据写入第一存储器，同时多核DSP从第二存储器读取前一时刻写入的数据；所述第二读写通道为：FPGA将自身缓存的当前数据写入第二存储器，同时多核DSP从第一存储器读取前一时刻写入的数据。
2.根据权利要求1所述的图像传输及处理系统，其特征在于，所述双通道切换开关采用CPLD实现。
3.根据权利要求1所述的图像传输及处理系统，其特征在于，所述存储器采用双倍速率同步动态随机存储器DDR。
4.根据权利要求3所述的图像传输及处理系统，其特征在于，所述第二存储器与DSP连接导通时二者之间串接有电阻。

基于FPGA和多核DSP的图像传输及处理系统\n技术领域\n[0001] 本发明属于图像传输及处理技术领域，具体说是基于FPGA和多核DSP的图像传输及处理系统。\n背景技术\n[0002] 随着科技的发展，人们的生活水平也在不断的提高，数字信息时代的到来带来了人类世界的“信息大爆炸"，使得数据量大增，与此同时，在视频检测、医疗影像等领域，越来越复杂的二维、三维甚至四维的图像处理需要能够运行复杂的算法的并行化系统，特别在视频图像处理领域，通常需要在极短的时间完成信号处理分析，此时对处理系统各方面的性能的要求是非常高的。\n[0003] 相对于单核DSP、FPGA(Field Programmable Gate Array)或ASIC架构，基于FPGA和DSP协同作业的方式具有实时性强、灵活性高和可靠性高等优势，因而在最近几年成为高速图像传输与处理系统的主流设计方式。目前有一些基于这种架构的成功案例，但都是基于FPGA和单核DSP架构。唐垚等人设计的高分辨率图像采集与压缩系统中，FPGA完成图像的采集及两块SDRAM(帧存)控制权的管理，采集到的图像通过FPGA的控制交替地存入到两块SDRAM中，然后由DSP通过EMIF扩展的形式来读取SDRAM中的数据，再进行图像的处理。该系统显得比较整洁，但在这种结构中，FPGA和DSP都要访问复杂且速度较慢的SDRAM，并且SDRAM在移交给DSP时候，还应该由DSP提供其时钟信号，因此整个电路设计非常复杂。盛磊等人设计的实时视频处理平台中，利用VHDL语言在FPGA内部实现EMIF接口，直接与DSP(C6711)的EMIF连接，并且实现EMIF到I2C的总线接口逻辑。FPGA内部的EMIF直接访问的是存有图像信息的FIFO存储器。该系统结构非常简单，但是EMIF的时序逻辑相当的复杂，给在FPGA内部实现一个高效的EMIF总线接口逻辑带来挑战。钟达熊等人在航机规划硬件平台上采用了一片FPGA和三片单核DSP的结构。三片DSP通过EMIF口与FPGA互联，并为每个DSP扩展了DDR2SDRAM（第二代双倍数据率同步动态随机存取存储器）。此系统能够实现高速的图像传输与DSP之间的并行处理，但是FPGA与三个单核DSP之间的互联逻辑复杂，增加了系统的设计的复杂性，同时FPGA还需实现三片DSP之间的仲裁，随着DSP数量的增加，这种仲裁机制将变得非常复杂。\n[0004] 多核DSP的设计思想是将多颗内核集成到单芯片上。与单核DSP相比，多核DSP内部存储空间得到有效扩展，其运算速度、处理性能较前者也有大幅提高。相对于多个单核DSP级联架构，多核DSP在功耗和芯片面积、执行效率方面具有明显优势。正是由于多核DSP诸多的优势，近些年逐渐被应用于数字信号处理的各个领域。但是，据现有的论文和专利，现阶段基于FPGA和多核DSP的架构还没有应用到图像处理领域。\n发明内容\n[0005] 本发明提供了一个基于FPGA和多核DSP的图像传输与处理系统，提高图像数据的运算速度和处理性能。\n[0006] 基于FPGA和多核DSP的图像传输及处理系统，包括PC、PCI桥、双通道切换开关、FPGA、多核DSP、晶振、电源以及两存储器；\n[0007] PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和DSP，DSP通过HPI接口连接FPGA，电源分别连决FPGA和DSP；\n[0008] PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存；FPGA控制双通道切换开关的开关状态以实现第一读写通道和第二读写通道的交替进行，多核DSP对读取到的数据做并行处理，并将处理结果通过HPI接口返回给FPGA；\n[0009] 所述第一读写通道为：FPGA将自身缓存的当前数据写入第一存储器，同时多核DSP从第二存储器读取前一时刻写入的数据；所述第二读写通道为：FPGA将自身缓存的当前数据写入第二存储器，同时多核DSP从第一存储器读取前一时刻写入的数据。\n[0010] 所述双通道切换开关采用CPLD实现。\n[0011] 所述存储器采用双倍速率同步动态随机存储器DDR。\n[0012] 所述DDR与DSP连接导通时二者之间串接有电阻。\n[0013] 本发明的技术效果体现在：\n[0014] 在基于FPGA和多核DSP架构的协同处理系统中，FPGA和DSP之间数据通信的方式是否高效，直接影响着整个系统的效率和性能。本发明在研究了现阶段几种常用的FPGA与DSP协同处理平台的系统架构及通讯机制后，结合DDR2SDRAM高数据传输速率、低功耗、高稳定性等特点，提出了一种新颖的通讯机制，采用存储器（优选DDR）作为FPGA与多核DSP之间的数据存储器，通过乒乓的方式将连续图像数据在两块DDR2SDRAM之间轮番交替存储并交替送至多核DSP进行并行处理，以获得高效和高稳定性数据传输。\n附图说明\n[0015] 图1是基于FPGA和多核DSP的图像传输及处理系统原理图；\n[0016] 图2是FPGA与DDR2SDRAM接口模块设计示意图；\n[0017] 图3是DSP与DDR2SDRAM的接口模块设计示意图；\n具体实施方式\n[0018] 下面结合附图和实施例对本发明做进一步的详细说明。\n[0019] 如图1所示，基于FPGA和多核DSP的图像传输及处理系统，包括PC、PCI桥、FPGA、双通道切换开关、多核DSP、晶振、电源以及两DDR2SDRAM。另外,串行配置芯片EPCS，用于FPGA上电的时候对其重新配置。同步动态随机存取存储器SDRAM采用多Bank结构，可有效提高存储器的访问速度。\n[0020] PC通过PCI桥连接FPGA，FPGA连接双通道切换开关，双通道切换开关连接两存储器和DSP，DSP通过HPI接口连接FPGA，电源分别连决FPGA和DSP；\n[0021] PC将图像数据通过PCI桥传送到FPGA，FPGA对图像数据进行FIFO缓存；FPGA控制双通道切换开关的开关状态以实现第一读写通道和第二读写通道的交替进行，多核DSP对读取到的数据做并行处理，并将处理结果通过HPI接口返回给FPGA；\n[0022] 所述第一读写通道为：FPGA将自身缓存的当前数据写入第一存储器，同时多核DSP从第二存储器读取前一时刻写入的数据；所述第二读写通道为：FPGA将自身缓存的当前数据写入第二存储器，同时多核DSP从第一存储器读取前一时刻写入的数据。\n[0023] 电源用于给FPGA和DSP供电，晶振用于提供基本的时钟信号以保证FPGA和DSP同步。\n[0024] 双通道切换开关可采用CPLD实现，存储器可采用双倍速率同步动态随机存储器DDR。\n[0025] 下面给出一个具体实例：\n[0026] 1.系统上电之后，FPGA（型号为EP2C35F672C6N）部分完成初始化之后就开始经过PCI桥读取图像数据缓存到内部的FIFO中。这里，选择PCI9056作为PCI桥连接PC与FPGA。将PCI9056的local端的信号（数据、地址、控制等信号）与FPGA引脚连接，便可以实现PCI9056与FPGA的接口。\n[0027] 2.FPGA将FIFO中的数据写入到与之连接的DDR2SDRAM（型号为MT47H16M16）。\nFPGA的DDR2SDRAM接口如图2所示。\n[0028] 3.DDR2SDRAM中的数据达到一定量之后FPGA通知CPLD将双通道的DDR2SDRAM的总线控制权在FPGA与DSP（型号为TMS320C6472）之间互换，并向DSP发出一个中断信号。\n这里，需要说明的是：TMS320C6472本身不直接与DDR2SDRAM连接，需要通过CPLD的切换与其中一路DDR2SDRAM连接。DDR2SDRAM的信号在与DSP连接的时候需要在二者之间串接22欧姆的电阻，以提高信号的完整性。基于上述考虑，设计了图3所示的DSP与DDR2SDRAM的接口模块。\n[0029] 4.DSP从获得总线控制权的DDR2SDRAM中读数据，分配任务到6个内核，做并行处理。计算的结果经过HPI接口交由FPGA。\n[0030] 5.DSP内部数据处理完成之后，通知FPGA计算任务完成，FPGA在空闲状态的时候通知CPLD再次切换数据通路。\n[0031] 基于上述思路，设计了FPGA与多核DSP的高速数据传输与处理系统。采用该系统对PCI9056传输数据速率进行了测试，测试结果如表1所示。从表1可看出，写数据的时候可以达到大于60Mbytes/S（61592860.5）的速度。经过PCI9056读数据的时候可以达到大于23Mbytes/S的速度。\n[0032] 表1PCI9056的写入数据量与写入速度\n[0033] \n[0034] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。