一种针对机械臂的嵌入式视觉系统及其使用方法

1.一种针对机械臂的嵌入式视觉系统，其特征在于，包括图像采集模块、现场可编程门阵列FPGA模块、工控机模块和执行终端模块；
图像采集模块由至少两个图像采集装置组成，图像采集装置以分布式网络结构搭载在执行终端模块上，获取执行终端模块捕捉到的特征对象的经过畸化处理的视觉图像，图像采集模块将视觉图像信号转化成数字图像视频信号传输给现场可编程门阵列FPGA模块进行处理；
现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接，采用初级的图像视频预处理算法，对图像采集模块采集的图像视频进行数字化、图像二值化和滤波预处理，并将处理后的数据信号封装成ROS节点，通过数据总线利用ROS通信协议，以ROS消息的形式传输至工控机模块；ROS通信协议用GigE千兆以太网接口实现图像视频的传输，I/O接口则由FPGA控制，用于FPGA向执行终端模块、工控机模块发送控制流信号；以ROS消息的形式传输至工控机模块做进一步处理分析；
工控机模块采用ARM内核处理器作为主控制器的处理器，主控制器基于开源机器人操作系统ROS框架，使用ROS通信实现模块间点对点的松耦合分布式网络连接的处理架构，并相应地执行通讯；
ARM内核处理器进行实时的多视频处理和图像处理，判断来自主控制器的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；
执行终端模块与主控制器利用通信节点进行数据传输，且根据工控机模块输出的矫正指令，调整位姿。
2.应用如权利要求1所述的一种针对机械臂的嵌入式视觉系统的使用方法，其特征在于，包括如下步骤：
步骤一、对嵌入式视觉系统离线进行初始化；
步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；
具体为：图像采集模块的工作方式为外触发方式，由现场可编程门阵列FPGA模块提供触发信号后，利用以太网接口的图像传输通路进行图像采集，将真实图像视频的模拟信号经过图像采集模块内部处理及模数转换单元转换后，转化为现场可编程门阵列FPGA模块可处理的数字图像视频信号，通过数据总线送入现场可编程门阵列FPGA模块中；
步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理后，送入工控机模块中；
具体为：通过地址总线和数据总线与ARM处理器连接进行指令和数据的交换，接收数字化图像视频信号中的行、场同步及亮度信号，进行图像预处理，图像二值化，边缘分割和滤波等预处理，并将处理后的数据信号和图像视频数据存储入SRAM中，通过嵌入式芯片的图像视频口GigE Vision接口标准和数据总线送入工控机模块中的嵌入式ARM内核处理器；
步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块；
所述的进一步处理，是指ARM内核处理器进行实时的复杂的多图像视频处理和图像处理，根据处理结果，工控机模块得出相应的执行操作目的，给出相应的指令控制操作；
步骤五、执行终端模块控制机械臂根据多图相视频处理结果的控制信号进行相应的位姿校正和调整；
工控机模块相应给出矫正指令，向执行终端模块发送控制信号，执行终端模块根据指令相应地调整位姿，完成位置校正操作。

一种针对机械臂的嵌入式视觉系统及其使用方法\n技术领域\n[0001] 本发明属于工业视觉领域，具体涉及一种针对机械臂的嵌入式视觉系统及其使用方法。\n背景技术\n[0002] 嵌入式系统ES(Embedded System)是一种用途广泛的系统，以应用为中心、计算机技术为基础，软硬件可裁剪，适用于对功能、可靠性、成本、体积和功耗严格要求的专用计算机系统。随着计算机技术和相关电子技术的发展，嵌入式系统已深入应用至社会中的各个领域，特别是工业控制领域。\n[0003] 现有的控制系统中，通常采用集中式系统，控制功能都高度集中在一台服务器或者主机上，所有的功能及处理任务都由服务器或者主机记性处理。但是，在实际应用中，集中式系统不能满足具有更庞大功能需求的工业控制领域，客户需要具有分布处理能力的、完整一体化的分布式系统。\n[0004] 分布式系统是若干计算机的集合，内部由通信网络实现，以通信为网络基础。整个分布式系统采用独立工作或者合作工作两种方式，各个操作主机可以并行操作以及分布控制。\n[0005] 在嵌入式系统中的分布式体系结构，不同的嵌入式设备之间以某种方式分布式地相互连接，彼此协作，最终达到高灵活性和高可靠性的工控系统。\n[0006] 分布式系统与传统的通信网络相比具有一定的优越性：\n[0007] 1)、分布式系统中各个操作主机并行操作，意味着实现了在物理性质上的独立性以及在逻辑性质上的合作性。\n[0008] 2)、分布式系统具有较高的可靠性，当系统中一台或者多台主机发生故障时，其余独立的主机可以自行修复，重新构成和原系统功能一致的系统，使整个分布式系统自动调节恢复到故障前状态。\n[0009] 近年来，工业控制领域中工业机器人得到了广泛地应用，传统的技术方法采用操作人员离线编程引导的方式控制工业机器人，机器人重复地执行存储在内存单元中的程序，执行所要求的操作动作。\n[0010] 这种控制方式对智能机器人限制性极强，不具备实时性，对外界信息变化的感知能力不足，不能够根据环境的变化对操作行为进行相应的调整，同时大量的功能需要大量的编程准备时间，在一定程度上大大降低了系统效率。\n[0011] 为了解决上述问题，需要在工业机器人上添加一套视觉系统，视觉系统实时地较为直观地对外界环境做出反应，并根据其变化相应地做出调整，从而最终提高机器人的灵活性和实时性。\n[0012] 传统通用的工控机器人视觉处理系统的结构如图1所示，包括：工业控制机器人模块，计算机控制器模块，图像显示器模块，大容量存储器模块，专用图像处理硬件模块，图像处理软件模块和获取图像传感器模块；\n[0013] 获取图像传感器模块捕捉特征捕捉对象的信息并传递给专用图像处理硬件模块，经过计算机控制器模块传递给图像处理软件模块进行图像处理，将处理结果返回给计算机控制器模块，控制工业控制机器人模块进行操作，同时显示在图像显示器模块和根据用户命令存储到大容量存储器模块。\n[0014] 传统的嵌入式视觉系统需要进行大量的信息处理，才能够得到较为准确的信息。\n由于计算机控制器模块中嵌入的CPU芯片计算能力有限，对于计算复杂度很高的视觉算法，嵌入式CPU芯片的处理速度很难满足工业控制的实时性要求。传统的利用专用集成电路实现视觉处理算法虽然能解决视觉系统性能、功耗以及容量等方面的矛盾，但是传统算法同样具有开发周期长、通用性较差、改进不便等缺点。\n[0015] 与此同时，传统的集中式控制器模式中存在以下缺点：所有I/O信号都集中至计算机控制器模块上，传输距离受限且布线困难；集中硬件系统数据传输带宽有限，无法完成特大规模信号处理的要求；系统更新升级困难，容量较为确定，可提升的空间范围小；维修成本高，一旦出现故障需要整机维修。\n发明内容\n[0016] 本发明的目的是为了解决上述传统系统的使用方法中的缺点，实现针对机械臂的新型嵌入式视觉系统高性能、低功耗和结构精简的功能。\n[0017] 一种针对机械臂的嵌入式视觉系统，包括：图像采集模块、现场可编程门阵列FPGA(Field Programmable Gate Array)模块、工控机模块和执行终端模块。\n[0018] 图像采集模块由多个图像采集装置组成，多个图像采集装置以分布式网络结构搭载在执行终端模块上，采集执行终端模块捕捉到的特征对象的图像，并传输给现场可编程门阵列FPGA模块进行处理。\n[0019] 现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接，负责整个嵌入式视觉系统的数字逻辑控制以及时序调整，对图像采集模块采集的图像视频进行数字化、图像二值化和滤波等预处理，并将处理后的数据信号通过数据总线传输至工控机模块。\n[0020] 工控机模块采用ARM(Advanced RISC Machines)内核处理器作为主控制器的处理器，进行实时的多视频处理和图像处理，具有强大的运算能力以及判断能力，判断来自主控制器的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；\n[0021] 执行终端模块，指模块化的机械臂，与主控制器利用通信节点进行数据传输，且根据工控机模块输出的矫正指令，调整机械臂的位姿。\n[0022] 一种针对机械臂的嵌入式视觉系统的使用方法，具体步骤如下：\n[0023] 步骤一、对嵌入式视觉系统离线进行初始化标定；\n[0024] 步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；\n[0025] 步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理，送入工控机模块中。\n[0026] 步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块。\n[0027] ARM内核处理器具有强大运算功能的算数逻辑单元，对传入的数据信号进行进一步实时的多图像视频处理和图像处理，根据处理结果，工控机模块得出相应的执行操作目的以及控制信号。\n[0028] 步骤五、执行终端模块控制机械臂根据多图相视频处理结果的控制信号进行相应的位姿校正和调整。\n[0029] 工控机模块相应给出矫正指令，向执行终端模块发送控制信号，从而使执行终端模块根据指令相应地调整位姿，完成位置校正操作。\n[0030] 本发明的优点在于：\n[0031] (1)一种针对机械臂的嵌入式视觉系统，提出新的具有分布式通信网络性质的嵌入式视觉控制系统，相较于传统的视觉控制系统而言，很好地解决了传统工业机器人领域所提出的问题和挑战，具有更高的鲁棒性，稳定性，灵活度。\n[0032] (2)一种针对机械臂的嵌入式视觉系统，高效实时地利用视觉图像信息对机械臂系统进行位姿调节，具有相应的位姿矫正功能，从而提高了系统的精确度。\n[0033] (3)一种针对机械臂的嵌入式视觉系统，采用分布式网络通信结构，大大提高了整个系统的并行性能以及处理效率。\n[0034] (4)一种针对机械臂的嵌入式视觉系统，采用现场可编程门阵列(FPGA)，通过编程修改内部的数字逻辑，从而实现并行的高速的硬件计算，从而在保持低功耗、小体积的前提下，提高嵌入式视觉系统的性能。\n[0035] (5)一种针对机械臂的嵌入式视觉系统，选用具有对称多处理(SMP)功能的双核OMAP4处理器，为德州仪器公司的首个双核处理器型号，其具有更优秀的性能和构架，更小的发热量，从而可以在更高的能效下处理高时效性应用以及任务管理工作。\n[0036] (6)一种针对机械臂的嵌入式视觉系统的使用方法，采用嵌入式系统使得图像视频数据采集、自动控制和执行操作集成得更加紧密，另外基于嵌入式系统的视觉系统具有极低的功耗。\n[0037] (7)一种针对机械臂的嵌入式视觉系统的使用方法，紧随网络化的嵌入式系统发展趋势，采用分布式网络结构，使得系统处理能力大大提高，性能也有了显著提升。\n[0038] (8)一种针对机械臂的嵌入式视觉系统的使用方法，控制部分及执行部分采用自主研发的RGMP-ROS混合操作系统框架，该框架基于开源ROS机器人操作系统，保证了控制系统的实时性和高效性。\n附图说明\n[0039] 图1是本发明领域通用的工控机器人视觉处理系统的结构示意图；\n[0040] 图2是本发明一种针对机械臂的嵌入式视觉系统的结构示意图；\n[0041] 图3是本发明一种针对机械臂的嵌入式视觉系统的使用方法流程图；\n[0042] 图4是本发明现场可编程门阵列FPGA模块与工控机模块通信的原理图；\n[0043] 图5是本发明工控机模块与执行终端模块的通信连接示意图。\n具体实施方式\n[0044] 下面结合附图对本发明的具体实施方式作进一步说明。\n[0045] 一种针对机械臂的嵌入式视觉系统及其使用方法，具有分布式网络通信结构的嵌入式视觉伺服系统，对机械臂的控制采用嵌入式内核构架的工控视觉控制，是新型的视觉控制机器人控制系统；通过将视觉系统搭载到工业机械臂上，达成控制系统对外界环境的实时性与高灵敏性控制，并利用分布式网络，使控制系统各个主机服务器在物理独立的情况下逻辑性地并行合作运行。\n[0046] 该嵌入式视觉系统其硬件结构具体包括：图像采集模块、现场可编程门阵列FPGA模块、工控机模块以及执行终端模块。\n[0047] 图像采集模块搭载在执行终端模块上，同时连接现场可编程门阵列FPGA模块，采集执行终端模块捕捉到的特征对象的图像，并传输给现场可编程门阵列FPGA模块进行处理，现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接，将处理后的数据信号通过数据总线传输至工控机模块，工控机模块作为主控制器，控制图像采集模块以及现场可编程门阵列FPGA模块完成位置获取操作过程；同时工控机模块相应给出矫正指令，传输回执行终端模块上，从而使执行终端模块根据指令相应地调整位姿，完成位置校正操作，从带动图像采集模块捕捉不同的特征对象进行图像采集。\n[0048] 图像采集模块又名视觉图像获取单元，由n个百万像素级的工业定焦相机组成一个工业相机系统，n优选4个，相邻两台相机之间的夹角为90°。，当机器人处于运动中时，由于各路相机水平视野接近90°，4路摄像机基本实现对整个视场的全覆盖。\n[0049] 4个工业相机以分布式网络结构分布在执行终端模块上，通过定焦镜头获取执行终端模块捕捉到的特征对象的视觉图像，该图像已经经过畸化处理，图像采集模块将视觉图像信号转化成数字图像视频信号传输给现场可编程门阵列FPGA模块进行处理。\n[0050] 现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接进行指令和数据的交换，实现电路接口和总线之间的转换；\n[0051] 具体为：现场可编程门阵列FPGA模块采用初级的图像视频预处理算法，将数字图像视频进行图像二值化和滤波等预处理，并将处理后的数据信号封装成ROS节点，通过数据总线利用ROS通信协议，以ROS消息的形式传输至工控机模块做进一步处理分析。ROS通信协议用GigE千兆以太网接口实现图像视频的传输，I/O接口则由FPGA控制，用于FPGA向执行终端模块、工控机模块发送控制流信号。以ROS消息的形式传输至工控机模块做进一步处理分析。\n[0052] 工控机模块，内部采用ARM内核处理器作为主控制器的处理器，优选双核OMAP4处理器，是高级精简指令集机器的处理器，可以运行实时性内核和非实时性内核，将实时性应用与非实时性应用分别在相应的内核上运行，从而进一步保证系统的实时性与高效性。主控制器基于开源机器人操作系统ROS框架，使用ROS通信实现模块间点对点的松耦合分布式网络连接的处理架构，并相应地执行若干种类型的通讯；ROS框架是利用在机器人之上的一种次级操作系统，它包含：硬件抽象描述，底层驱动程序管理，共用功能的执行，程序间的消息传递，程序发行包管理等功能，同时提供一些工具程序和相关的库程序用于获取、建立、编写和运行分布式框架网络。\n[0053] ARM内核处理器进行实时的复杂的多视频处理和图像处理，具有强大的运算能力，判断来自主控端主机的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；所述协议应与机械臂的类型相对应，如机械臂ROS通信协议。\n[0054] 执行终端模块，指模块化的机械臂，与主控制器利用通信节点进行数据传输，且根据主控制器输出的信息进行相应的位姿校正，调整机械臂的位姿。\n[0055] 一种针对机械臂的嵌入式视觉系统，通过图像采集模块获取机械臂的位姿信息或者位置信息，并传输至主控制器进行判断及计算，主控制器给出对于该位姿或位置情况下的矫正指令，位姿矫正信息基于实时获取的机械臂位姿信息计算得到，主控制器通过ROS协议，以ROS数据节点的形式传输回执行终端模块上，从而使机械臂根据主控制器的指令相应地调整位姿，通过实时调整机械臂的位姿状态，使该嵌入式视觉系统达到更高的操作精度及更小的操作误差。\n[0056] 一种针对机械臂的嵌入式视觉系统的使用方法，具体步骤如下：\n[0057] 步骤一、对嵌入式视觉系统离线进行初始化标定；\n[0058] 具体为对图像采集模块，现场可编程门阵列FPGA模块、工控机模块和执行终端模块均进行初始化设计。\n[0059] 初始化，对图像采集模块中光学参数进行初始化，现场可编程门阵列FPGA模块和工控机模块内部的ARM内核处理器控制参数，依据用户需要完成的算法目的设定初始值，执行终端模块恢复重置为原始初始位姿。\n[0060] 步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；\n[0061] 将图像采集模块的n个图像采集装置采用分布式网络结构布置，图像采集模块通过工业相机捕捉特征对象的真实图像视频的模拟信号，工作方式为外触发方式，由现场可编程门阵列FPGA提供触发信号后，利用以太网接口的图像传输通路进行图像采集，将真实图像视频的模拟信号经过图像采集模块内部处理及模数转换单元转换后，转化为现场可编程门阵列FPGA模块可处理的数字图像视频信号，通过数据总线送入现场可编程门阵列FPGA模块中。\n[0062] 步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理，送入工控机模块中。\n[0063] 现场可编程门阵列FPGA模块，为ARM内核处理器的外设，通过地址总线和数据总线与ARM处理器连接进行指令和数据的交换，负责整个嵌入式视觉系统的数字逻辑控制以及时序调整，接收数字化图像视频信号中的行、场同步及亮度信号，进行简单的图像预处理，图像二值化，边缘分割和滤波等预处理，并将处理后的数据信号和图像视频数据存储入SRAM(静态随机存储器)中，通过嵌入式芯片的图像视频口GigE Vision接口标准和数据总线送入工控机模块中的嵌入式ARM内核处理器。\n[0064] GigE Vison接口是基于千兆以太网的图像传输标准，具有传输距离长、传输效率高、通信控制方便、软硬件互换性强、可靠性高的优点。\n[0065] 现场可编程门阵列FPGA模块模块不对数据进行运算处理，仅对ARM处理器传送进来的数据进行接收，并依照处理结果输出具体的运动控制指令，通过对指令集解析，执行相应的简单逻辑算法，完成指令所需要的具体要求；起到数据缓冲，数据编码以及控制通道译码锁定的作用，实现了电路接口和总线之间的转换。\n[0066] 步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块。\n[0067] 工控机模块内部采用ARM内核处理器作为主控制器的处理器，主控制器发出指令需求，ARM内核处理器进行实时的复杂的多视频处理和图像处理，并判断来自主控制器的控制命令，进行控制命令寻址和处理，给出相应的指令控制操作，利用I/O接口，通过CAN总线以协议形式传输给执行终端模块；\n[0068] 步骤五、执行终端模块控制机械臂，根据工控机模块的控制信号进行相应的位姿校正和调整。\n[0069] 执行终端模块控制机械臂，使其根据工控机的控制指令结果执行相应的位姿校正和调整，工控机模块的控制指令结果通过对图像视频信息进行控制处理算法分析所得到。\n[0070] 作为执行终端模块的机械臂，基于ROS框架与主控制器利用通信节点进行数据传输，通过视觉图像信息流以及相应的矩阵转换处理操作，识别机械臂的位姿以及特征捕捉对象的位置信息。识别过程包括，将图像采集单元采集的特征捕捉对象信息以ROS数据节点的形式，基于一定的协议栈传入至ARM处理器进行相应的处理过程.\n[0071] 本系统采用分布式通信网络框架，其将主控制器，执行单元，视觉图像获取单元，FPGA模块化分离开使其得以并行地执行各自相应的功能，但与此同时，通信网络又允许各个独立过程之间进行双向的数据传输，构造出整个完整的系统网络。