一种果实采摘机器人的控制器

1.一种黄瓜采摘机器人的控制器，其特征在于，该控制器包括：
图像采集单元，用于采集待采摘区域的图像信息；
次处理单元，根据所述图像信息找出疑似黄瓜区域，并对疑似黄瓜区域进行标记处理和特征提取处理，以此识别有无黄瓜，并使用预设的静态定位算法计算黄瓜的位置坐标信息发送至主处理单元；采用如下方式根据所述图像信息找出疑似黄瓜区域，并对疑似黄瓜区域进行标记处理和特征提取处理，以此识别有无黄瓜：通过对所采集的一路图像进行阈值处理，根据黄瓜本身的特点，通过计算像素和的方式找到疑似黄瓜区域，再对该区域作标记处理和特征提取处理，根据黄瓜的特征设置圆形度与面积参数，最终识别出有无黄瓜；
主处理单元，接收所述位置坐标信息，通过预设在主处理单元的轨迹规划算法将所述位置坐标信息转化为对黄瓜采摘机器人机械臂的控制信息，将所述控制信息发送至机器人的机械臂，使机器人完成采摘动作；所述主处理单元的具体工作方式如下：在机械臂的运动学和动力学的基础上，建立机械臂在关节空间和笛卡尔空间的运动方程，根据采摘黄瓜的具体环境，对机械臂在运动过程中的位移，速度和加速度进行规划，所述主处理单元获得所述位置坐标信息之后，调用规划器计算出预期的运动轨迹，确定出运动到目标的路径点、持续时间、运动速度，再利用所述路径点、持续时间、运动速度计算出机械臂运动的位移、速度和加速度，最后生成运动轨迹，把所述路径点、持续时间、运动速度发到各个机械臂关节；
其中，所述主处理单元通过CAN总线将所述控制信息发送至机器人的机械臂；
所述次处理单元采用TMS320DM642处理器，所述主处理单元采用S3C2410A处理器，所述TMS320DM642处理器通过HPI接口与所述S3C2410A处理器进行通信。
2.如权利要求1所述的黄瓜采摘机器人的控制器，其特征在于，所述图像采集单元包括两路摄像头，用于两路采集图像信息。
3.一种黄瓜采摘机器人的控制方法，其特征在于，该方法包括以下步骤：
S1、图像采集单元采集待采摘区域的图像信息；
S2、根据采集的所述图像信息找出疑似黄瓜区域；
S3、通过对所述疑似黄瓜区域进行标记处理和特征提取处理，以此识别有无黄瓜，若发现黄瓜，则使用预设的静态定位算法计算黄瓜的位置坐标信息；
若未发现黄瓜，继续进行步骤S2；
S4、使用预设的轨迹规划算法将所述位置坐标信息转化为对黄瓜采摘机器人机械臂的控制信息；
S5、将所述控制信息发送至机器人的机械臂，使机器人完成采摘动作；
执行步骤S2、S3时，采用如下方式根据所述图像信息找出疑似黄瓜区域，并对疑似黄瓜区域进行标记处理和特征提取处理，以此识别有无黄瓜：通过对所采集的一路图像信息进行阈值处理，根据黄瓜本身的特点，通过计算像素和的方式找到疑似黄瓜区域，再对该区域作标记处理和特征提取处理，根据黄瓜的特征设置圆形度与面积参数，最终识别出有无黄瓜；
步骤S4、S5具体为：在机械臂的运动学和动力学的基础上，建立机械臂在关节空间和笛卡尔空间的运动方程，根据采摘黄瓜的具体环境，对机械臂在运动过程中的位移，速度和加速度进行规划，获得目标的位置坐标之后，调用规划器计算出预期的运动轨迹，确定出运动到目标的路径点、持续时间、运动速度，再利用所述运动到目标的路径点、持续时间、运动速度计算出机械臂运动的位移、速度和加速度，最后生成运动轨迹，把所述运动到目标的路径点、持续时间、运动速度发到各个机械臂关节；
其中，所述步骤S5是通过CAN总线将所述控制信息发送至机器人的机械臂；
采用TMS320DM642处理器完成所述步骤S2和步骤S3，采用S3C2410A处理器完成所述步骤S4和步骤S5，所述TMS320DM642处理器通过HPI接口与所述S3C2410A处理器进行通信。
4.如权利要求3所述的黄瓜采摘机器人的控制方法，其特征在于，所述步骤S1通过两路摄像头两路采集图像信息。

一种果实采摘机器人的控制器\n技术领域\n[0001] 本发明涉及一种农业收获机器人的控制器，具体是涉及一种在温室环境下果实采摘机器人的控制器，属于自动化以及机器人领域。\n背景技术\n[0002] 采摘机器人是21世纪精准农业的重要装备之一，是未来智能农业机械的发展方向。移动式采摘机器人由机械手、末端执行器、移动机构、机器视觉系统以及控制系统等构成。机械手的结构形式和自由度直接影响采摘机器人智能控制的复杂性、作业的灵活性和精度。移动机构的自主导航和机器视觉系统解决采摘机器人的自主行走和目标定位，是整个机器人系统的核心和关键。日本在农业机器人研究方面走在世界的前列，目前已成功研制了西瓜采摘机器人，橙子采摘机器人，嫁接机器人等。美国最新研究了太阳能除草机器人，此外，我国在农业机器人的研究也有一定的进展，上海交通大学机器人研究所已完成了智能化联合收割机，蔬菜工厂化育苗流水线样机的研制，浙江大学应一斌教授研究了水果自动分级机器人等。\n[0003] 然而，目前几乎所有农业机器人的控制系统都是通过PC来实现，这就存在成本过高，传统的PC控制系统通用性差，可扩展性不高，并且其存在功耗高，体积大，不便携等缺点。\n发明内容\n[0004] 本发明的目的就在于提供一种果实采摘机器人的控制器，以解决上述缺陷。\n[0005] 为实现上述目的，本发明的技术方案采用一种果实采摘机器人的控制器，该控制器包括：\n[0006] 图像采集单元，用于采集待采摘区域的图像信息；\n[0007] 次处理单元，根据所述图像信息找出疑似果实区域，并对疑似果实区域进行标记处理和特征提取处理，以此识别有无果实，并使用预设的静态定位算法计算果实的位置坐标信息发送至主处理单元；\n[0008] 主处理单元，接收所述位置坐标信息，通过预设在主处理单元的轨迹规划算法将所述位置坐标信息转化为对果实采摘机器人机械臂的控制信息，将所述控制信息发送至机器人的机械臂，使机器人完成采摘动作。\n[0009] 其中，所述主控制单元通过CAN总线将所述控制信息发送至机器人的机械臂。\n[0010] 其中，所述次处理单元采用TMS320DM642处理器，所述主处理单元采用S3C2410A处理器，所述TMS320DM642处理器通过HPI接口与所述S3C2410A处理器进行通信。\n[0011] 其中，所述次处理单元通过计算像素找出疑似果实区域。\n[0012] 其中，所述图像采集单元包括两路摄像头，用于两路采集图像信息。\n[0013] 一种果实采摘机器人的控制方法，该方法包括以下步骤：\n[0014] S1、图像采集单元采集待采摘区域的图像信息；\n[0015] S2、根据采集的所述图像信息找出疑似果实区域；\n[0016] S3、通过对所述疑似果实区域进行标记处理和特征提取处理，以此识别有无果实，[0017] 若发现果实，则使用预设的静态定位算法计算果实的位置坐标信息；\n[0018] 若未发现果实，继续进行步骤S2；\n[0019] S4、使用预设的轨迹规划算法将所述位置坐标信息转化为对果实采摘机器人机械臂的控制信息；\n[0020] S5、将所述控制信息发送至机器人的机械臂，使机器人完成采摘动作。\n[0021] 其中，所述步骤S5是通过CAN总线将所述控制信息发送至机器人的机械臂。\n[0022] 其中，采用TMS320DM642处理器完成所述步骤S2和步骤S3，采用S3C2410A处理器完成所述步骤S4和步骤S5，所述TMS320DM642处理器通过HPI接口与所述S3C2410A处理器进行通信。\n[0023] 其中，所述步骤S2是通过计算像素找出疑似果实区域。\n[0024] 其中，所述步骤S1通过两路摄像头两路采集图像信息。\n[0025] 本发明的果实采摘机器人的控制器作为嵌入式系统，具有功耗低，集成度高，便携性好等优点，完全能够取代传统PC系统，实现农业机器人在非结构化环境下的应用。本发明包含了TMS320DM642和S3C2410A两个处理器，其中，TMS320DM642负责大数据量的图像处理运算，S3C2410A负责控制末端执行器，两个处理器通过HPI接口进行通信。本系统充分发挥了TMS320DM642快速处理海量数据的能力和S3C2410A方便的控制能力，运算和控制可以同时进行，极大的提高了效率。另一方面，本系统有很强的可扩展性，只要对算法稍加改动就可以应用到许多相关的农业机器人中。\n附图说明\n[0026] 图1是本发明果实采摘机器人的控制器结构示意图；\n[0027] 图2是本发明果实采摘机器人的控制器实施例结构示意图；\n[0028] 图3是本发明果实采摘机器人的控制器次处理单元的程序结构示意图；\n[0029] 图4是本发明果实采摘机器人的控制器主控制单元的程序结构示意图。\n[0030] 图中：3、主处理单元；4、次处理单元；5、图像采集单元；6、图像采集单元；7、解码单元；8、CAN总线。\n具体实施方式\n[0031] 以下实施例用于说明本发明，但不用来限制本发明的范围。\n[0032] 本发明的控制器适用于各种水果，蔬菜采摘用机器人，下面以黄瓜采摘机器人进行举例说明。\n[0033] 如图1所示，次处理单元4选用高性能32位定点DSP\n[0034] TMS320DM642，DM642运算功能强大，其建立在第二代高性能超常指令字结构上，可以并行处理8条指令，非常适用于数字图像处理。在本硬件设计中，其工作主频选择为\n600MHz，根据项目的需要，硬件系统除了扩展必须的存储器部分以及视频采集与播放部分外，主要扩展了多路数字I/O和多路异步串口以及网络接口功能，方便与外部导航小车以及机械臂控制器的相互通信。\n[0035] 如图2所示，DM642通过64位的EMIF(External MemoryInterface)接口扩展外部存储器部分。在本系统中，外扩了32M Bytes的SDRAM(型号为Micron公司的MT48LC4M32B2，共计2片)，用于存放程序运行时用户的代码以及采集的图像数据。还外扩了一片4M Bytes的FLASH(型号为AMD公司的Am29LV033C，共计1片)，用于存放bootloader以及用户的应用程序。在脱离仿真的情形下，系统上电启动后，会自动将FLASH中的代码和数据加载到SDRAM中。SDRAM的数据宽度为64位，FLASH的数据宽度为8位，分别对应于DM642的用于外部扩展的CE0和CE1空间。另外，DM642还通过EMIF接口扩展了UART(Universal Asynchronous Receiver)和CPLD(Complex Programmable Logic Device)(型号为Xilinx公司的XC9572XL，共计1片)。其中，UART用来扩展了两路RS232串口，一路用于与导航小车的通信，另外一路用于与机械臂控制器的通信。CPLD用来实现FLASH和UART的粘合逻辑及外扩的数字I/O。这两部分的寄存器也被映射到了CE1空间。\n[0036] 为了完成双目识别所需的两路视频图像的采集，本系统设计了两路模拟视频输入，分别为图像采集单元5和图像采集单元6。系统将两路图像采集单元采集得到的模拟视频信号通过解码单元7(解码单元采用TI公司的TVP5150解码芯片，共计2片)按ITU-BT.656格式转化为8位的数字视频流，分别发送到DM642的VP2口的A，B两路通道中。图像的行同步，场同步信号均内嵌在视频数据流的EAV和SAV时基信号中，视频口只需视频采样时钟和采样使能信号即可。DM642可以通过编程实现数字视频图像的几帧连续采集。当有一帧图像正在处理的时候，其它剩余的缓冲区还可以实现循环采集，从而解决了恒速的视频采集与变速的图像处理之间的矛盾。本系统通过VPOA口还扩展了一路视频输出，用于实时显示当前处理帧图像，方便项目开发过程中的实时监控与处理。当项目完成后，此部分功能可以不用。视频输出由Phillips公司的SAA7121芯片(共计1片)编码实现。\nSAA7121将从DM642的VP0A口输出的数字信号编码成PAL制式的模拟信号输出给外接的显示屏。\n[0037] 如图2所示，主处理单元3采用S3C2410A处理器，通过DM642的HPI接口与DM642进行通信。主处理单元3作为系统的控制部分，主要完成两个任务，一个是通过HPI接口与DM642进行通信，另一个任务是运行机械臂的轨迹规划算法并通过CAN总线8完成对机械臂的控制。\n[0038] 为了能和DM642快速稳定的通信，我们设计S3C2410A和DM642利用HPI接口进行通信。S3C2410A作为主机，DM642作为从机。该设计采用DM642的HPI16模式，即采用\n16位的HPI接口完成二者的通信。S3C2410A的数据总线：data[15:0]，用于与DM642的数据总线data[15:0]互联收发数据；S3C2410A的地址总线(共需4根)：addr[4:1]，其中：\naddr[3:2]与DM642的HCNTRL[1:0]连接，完成对DM642的HPI寄存器的访问；addr[1]与DM642的HHWIL连接，用来表明传输的16位数据是32位数据中的高16位数据还是低16位数据；addr[4]与DM642的HPI口的HR/W连接，用来完成对DM642的读写操作；S3C2410A的存储空间组片选信号nGCSx引脚与DM642的HPI口的HCS连接，用来完成S3C2410A对DM642的片选；S3C2410A的读/写信号使能引脚nOE和nWE两个引脚分别与DM642的HDS1和HDS2连接，完成该功能；S3C2410A的nWAIT引脚与DM642的HPI口的HRDY连接，用于识别DM642目前的状态是否准备好；S3C2410A的一个外部中断引脚EINTx用于和HPI口的HINT引脚连接。\n[0039] 本发明的工作原理：\n[0040] 本系统上电以后，发送命令给导航小车，使其沿既定路线行走，DM642启动预设的动态黄瓜识别算法，对单路采集的图像进行实时分析，动态搜索黄瓜。一旦识别出黄瓜，DM642将命令小车停止。待小车完全停住，DM642启用双路摄像头同时采集当前图像，运行预设的静态黄瓜定位算法。完成对黄瓜果实三维坐标的计算之后，将该数据通过HPI口发送给S3C2410A。S3C2410A负责将此数据进行轨迹规划算法处理，最终分解计算成发送给机械手臂各关节的数据流，通过CAN总线发送给机械手臂各关节，使机械手臂到达黄瓜果实处，最后完成对黄瓜果实的切割。等切割完成后，再发命令启动小车，继续动态搜索黄瓜，如此循环。\n[0041] DM642整体程序流程图如图3所示，在动态黄瓜识别算法中，通过对所采集的一路图像进行阈值处理，根据黄瓜本身的特点，通过计算像素和的方式找到疑似黄瓜区域，再对该区域作标记处理和特征提取处理，根据黄瓜果实的特征设置圆形度与面积参数，最终识别出有无黄瓜。如果发现黄瓜，会发送命令让小车停止，运行静态定位算法；如果未发现黄瓜，会继续执行该算法。动态黄瓜识别算法在DM642上通过剪裁和优化，已经能够实现\n25fps的处理速度，能够在机器人移动过程中，实时完成对黄瓜果实的识别。\n[0042] 在静态定位算法中，要求两路摄像头同时采集图像，并分别对每路图像进行阈值处理，根据黄瓜出现区域像素和大小，找出黄瓜区域，并对黄瓜进行提取，并计算出黄瓜的平面二维坐标。在计算出两路图像的平面二维坐标后，再执行双目立体匹配算法，最终根据已做好的双目摄像头标定参数，计算出黄瓜果实的三维坐标数据，并将此数据通过HPI接口，发送给S3C2410A，以供S3C2410A作轨迹规划算法之用。\n[0043] S3C2410A整体程序框架与轨迹规划算法：结合S3C2410A自身特点，设计与实现了S3C2410A整体程序框架以及通过得到的黄瓜三维坐标数据，对机械手臂作出的轨迹规划算法。S3C2410A整体程序流程图如图4所示。\n[0044] 在机械臂的运动学和动力学的基础上，建立了机械臂在关节空间和笛卡尔空间的运动方程，根据采摘黄瓜的具体环境，对机械臂在运动过程中的位移，速度和加速度进行了规划。S3C2410A通过HPI接口获得目标的位置坐标之后，调用规划器计算出预期的运动轨迹，确定出运动到目标的路径点、持续时间、运动速度等轨迹参数，再利用这些参数计算出机械臂运动的位移、速度和加速度，最后生成运动轨迹，把这些轨迹参数通过CAN总线发到各个机械臂关节。\n[0045] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。