一种双臂果蔬采收机器人系统及其果蔬采收方法

1.一种双臂果蔬采收机器人系统的果蔬采收方法，所述双臂果蔬采收机器人系统包括双目立体视觉系统、双机械手、机器人移动平台、主控计算机；所述双目立体视觉系统包括双目摄像机、图像采集卡和智能云台，所述双目摄像机安置在智能云台上，相当于人的双眼，能够上下和左右旋转，与安装在主控计算机上的图像采集卡相连，实现两路图像采集、目标识别及坐标运算，所述双目立体视觉系统用于机器人行走运动的视觉导航和采收目标及障碍物位置信息的获取；所述双机械手用于根据采收目标及障碍物的位置信息，进行抓取分离；所述机器人移动平台用于在作业环境下自主运动；所述主控计算机：集成了控制界面及各个软件模块，用于对整个系统进行控制；
所述果蔬采收方法包括以下步骤：
步骤1:首先系统启动，主控计算机控制智能云台上的双目摄像机处于水平平视位置，识别测距定位，在避开穿行障碍的同时，顺利引导机器人移动平台靠近果蔬于采摘工作距离范围；
步骤2:主控计算机控制智能云台运动，采集图像、搜索识别果实，在识别果实的同时，识别出图像中的枝叶，为后续采摘规划提供信息；
步骤3:采用双扫描线边缘缺口检测和基于枝叶图像的区域映射相结合的方法将图像中果实分为遮挡果实和非遮挡果实；
步骤4:将图像一分为二，设定各自的图像中心，以距图像中心最近原则确定采收非遮挡目标果实，然后主控计算机通过坐标变换引导双机械手采摘各对应子图像中的目标果实；
步骤5:对于图像中剩下的遮挡果实，首先进行修复定位，然后仍以距图像中心最近原则确定采收目标果实，最后双机械手协同采收，即一机械手负责拨开果实枝叶遮挡，另一机械手负责在无遮挡状况下采收果实；
步骤6:当采集图像中的果实采收完之后，主控计算机控制智能云台运动，重新搜索识别果实，重复执行步骤2-步骤5；
步骤7:当一棵果蔬上果实采收完之后，主控计算机控制智能云台上的双目摄像机重新回到水平平视位置，识别测距定位，避开穿行障碍，引导机器人移动平台靠近另一果蔬于采收工作距离范围，重复执行步骤2-步骤6。

一种双臂果蔬采收机器人系统及其果蔬采收方法\n技术领域\n[0001] 本发明涉及智能农业机器人技术领域，特别是涉及果蔬采收机器人系统及作业流程。\n背景技术\n[0002] 在果蔬种植生产的过程中，采收作业是其重要环节，其作业质量的好坏直接关系到果蔬的储存、加工和销售，从而最终影响市场价格和经济效益。目前基本是手工作业，劳动强度大、消耗时间长，且具有一定的危险性；采用机械化采收不仅能减轻人们的劳动强度、节省人工成本、提高作业效率，而且能提高果蔬的经济效益，因此，研究开发果蔬采收机器人实现果蔬的机械自动化采收有着重要的实用价值和意义。然而，目前国内外研究开发的果蔬采收机器人基本上都是单臂作业，特别在采收遮挡果蔬时有着很大的局限性，远不如人工双臂采收那样灵活。\n发明内容\n[0003] 本发明的目的是：提供一种双臂果蔬采摘机器人，能够自动引导自身到达果蔬适当采摘距离，实现双机械臂分离采收非遮挡果蔬，协同采收遮挡果蔬，切实提高果蔬采收效率。\n[0004] 为了达到上述目的，本发明的技术方案如下：\n[0005] 一种双臂果蔬采收机器人系统，该系统包括：\n[0006] 双目立体视觉系统：用于机器人行走运动的视觉导航和采收目标及障碍物位置信息的获取；\n[0007] 双机械手：用于根据采收目标及障碍物的位置信息，进行抓取分离；\n[0008] 机器人移动平台：用于在作业环境下自主运动；\n[0009] 主控计算机：集成了控制界面及各个软件模块，用于对整个系统进行控制。\n[0010] 其中所述双目立体视觉系统包括双目摄像机、图像采集卡和智能云台。双目摄像机安置在智能云台上，相当于人的双眼，能够上下和左右旋转，与安装在主控计算机上的图像采集卡相连，实现两路图像采集，目标识别及坐标运算。\n[0011] 其中所述双机械手包括两个5自由度机械臂，第一个自由度为升降自由度，起抬升机械臂的作用；中间三个自由度为旋转自由度，分别相当于人的腰部、大臂和小臂关节；\n第四个自由度为腕关节，连接三指末端执行器采收果蔬；机械手各个关节采用霍尔元件作为限位传感器，以保护设备安全；末端执行器夹指加装压力传感器，以控制力度避免损害果蔬；机械手各个关节伺服驱动器采用RS-422总线组网后通过RS422/USB转换器与主控计算机USB口连接，进行通信控制；末端执行器则通过串口与主控计算机连接，实现通信控制；\n关节伺服驱动器根据主控计算机运动指令，带动执行电机实现相应动作以完成果蔬的抓取分离；双机械手各个传感器通过数据采集卡与主控计算机相连，数据采集卡插装在主控计算机的PCI槽中。\n[0012] 其中所述机器人移动平台包括机器人移动平台包括轮式车体；电源用于提供系统能量；动力控制设备用于驱动所述轮式车体、机械臂各个关节、末端执行器以及视觉云台；\n果蔬收集装置用于放置采收果蔬。\n[0013] 双臂果蔬采收机器人采收流程，包括以下步骤：\n[0014] 步骤1:首先系统启动，主控计算机控制智能云台上的双目摄像机处于水平平视位置，识别测距定位，在避开穿行障碍的同时，顺利引导机器人移动平台靠近果蔬于采摘工作距离范围；\n[0015] 步骤2:主控计算机控制智能云台运动，采集图像、搜索识别果实，在识别果实的同时，识别出图像中的枝叶，为后续采摘规划提供信息；\n[0016] 步骤3:采用双扫描线边缘缺口检测和基于枝叶图像的区域映射相结合的方法将图像中果实分为遮挡果实和非遮挡果实；\n[0017] 步骤4:将图像一分为二，设定各自的图像中心，以距图像中心最近原则确定采收非遮挡目标果实，然后主控计算机通过坐标变换引导双机械手采摘各对应子图像中的目标果实；\n[0018] 步骤5:对于图像中剩下的遮挡果实，首先进行修复定位，然后仍以距图像中心最近原则确定采收目标果实，最后双机械手协同采收，即一机械手负责拨开果实枝叶遮挡，另一机械手负责在无遮挡状况下采收果实；\n[0019] 步骤6:当采集图像中的果实采收完之后，主控计算机控制智能云台运动，重新搜索识别果实，重复执行步骤2-步骤5；\n[0020] 步骤7:当一棵果蔬上果实采收完之后，主控计算机控制智能云台上的双目摄像机重新回到水平平视位置，识别测距定位，避开穿行障碍，引导机器人移动平台靠近另一果蔬于采收工作距离范围，重复执行步骤2-步骤6；\n[0021] 本发明的有益效果为：能够实现自主导航行走和果蔬目标的自动采收，其特点在于模块化、开放式设计，汲取人工双臂协同灵活采收的优点，仿生拟人架构，可以分离采收非遮挡果蔬，可以协同避障采收遮挡果蔬，比人工及单臂果蔬采收机器人能够更进一步提高作业效率，减轻劳动强度，降低作业成本，提升经济效益。\n附图说明\n[0022] 图1为双臂果蔬采收机器人系统结构图；\n[0023] 图2为双臂果蔬采收机器人控制结构框图。\n[0024] 图中：1、机器人移动平台；2、双目立体视觉系统；3、第一机械手；4、第二机械手；\n5、主控计算机；6、动力控制设备；7、电源；8、智能云台；9、双目摄像机；10、果蔬收集装置；\n11、升降自由度；12、腰关节；13、肩关节；14、大臂；15、肘关节；16、小臂；17、腕关节；18、末端执行器；19、轮式车体；20、主驱动轮；21、从动轮。\n具体实施方式\n[0025] 下面结合附图对本发明的实施方式做进一步的描述。\n[0026] 如图1所示，本发明的双臂果蔬采收机器人包括机器人移动平台1，双目立体视觉系统2，双机械手(即第一机械手3、第二机械手4)，和主控计算机5。\n[0027] 机器人移动平台1包括轮式车体19、电源7、动力控制设备6和果蔬收集装置10。\n其中动力控制设备包括驱动轮式车体、机械臂各个关节和视觉云台的控制器以及相应的电机等设备(见图2)。电源为系统所有设备提供能量。果蔬收集装置用于放置采收的果蔬；\n其为活动式的，当放满后，可以替换。系统初始化后，视觉云台控制双目视觉处于平视位置，开启双目视觉，识别测距定位，由运动控制卡(见图2)计算得到两驱动轮(20为主驱动轮，\n21为从动轮)的差速值驱动车体靠近果蔬于采摘工作距离范围。\n[0028] 双目立体视觉系统2包括双目摄像机9、图像采集卡(见图2)和智能云台8。双目摄像机安置在智能云台上，相当于人的双眼。主控计算机5通过图像采集卡和云台控制器(见图2)，使得双目摄像机能够上下和左右旋转，实现两路图像采集，目标识别及坐标运算。\n[0029] 第一机械手3(第二机械手4同)包括升降自由度11、腰关节12、肩关节13、大臂\n14、肘关节15、小臂16、腕关节17和末端执行器18。机械手各个关节装有限位传感器(见图2)，以保护设备安全；末端执行器夹指加装压力传感器(见图2)，以控制力度避免损害果蔬。控制升降、各个关节及末端执行器的伺服驱动器根据主控计算机运动指令，带动执行电机实现相应动作以完成果蔬的抓取分离。\n[0030] 主控计算机5为触摸式工控机，与车体呈一定角度放置，方便调试、系统软件升级等。它是系统的控制中心，集成了控制界面及各个软件模块，对整个系统进行控制。所有的数据采集、控制指令均由此处理发出。\n[0031] 图2为双臂果蔬采收机器人控制结构框图，主控计算机为控制中心，根据通信口可分为3类，一类是通过PCI插槽，这类包括双目视觉，限位、压力传感器，车体驱动轮，双目视觉通过PCI接口的图像采集卡来实现图像的两路采集；机械手每个关节都有两个限位传感器，加上末端执行器夹指中的压力传感器，数目很多，选用PCI接口的数据采集卡综合来看是比较经济可行的方案；车体驱动轮通过PCI接口的2轴运动控制卡控制由伺服驱动器、编码器和伺服电机组成的执行机构来驱动车体移动。另一类是通过USB口，这类主要用于双机械臂，由于机械臂各个关节是通过RS422总线组网实现控制的，需要首先对其进行USB/RS422转换，转换后同样由伺服驱动器、编码器和伺服电机组成的执行机构来驱动各个关节，实现相应的动作。最后一类是通过串口，分别来控制视觉云台和末端执行器。\n[0032] 基于以上系统方案，双臂果蔬采收机器人的采收流程，包括以下步骤：\n[0033] 步骤1:首先系统启动，主控计算机5控制智能云台8上的双目摄像机9处于水平平视位置，识别测距定位，在避开穿行障碍的同时，顺利引导机器人移动平台1靠近果蔬于采摘工作距离范围；\n[0034] 步骤2:主控计算机5控制智能云台8运动，双目摄像机9采集图像、搜索识别果实，在识别果实的同时，识别出图像中的枝叶，为后续采摘规划提供信息；\n[0035] 步骤3:采用双扫描线边缘缺口检测和基于枝叶图像的区域映射相结合的方法将图像中果实分为遮挡果实和非遮挡果实；\n[0036] 步骤4:将图像一分为二，设定各自的图像中心，以距图像中心最近原则确定采收非遮挡目标果实，然后主控计算机5通过控制各个关节(11、12、13、15、17、18)引导双机械手3、4采摘各对应子图像中的目标果实，采收下的果蔬放入果蔬收集装置10；\n[0037] 步骤5:对于图像中剩下的遮挡果实，首先进行修复定位，然后仍以距图像中心最近原则确定采收目标果实，最后双机械手3、4协同采收，即一机械手3或者4负责拨开果实枝叶遮挡，另一机械手4或者3负责在无遮挡状况下采收果实；采收下的果蔬放入果蔬收集装置10\n[0038] 步骤6:当采集图像中的果实采收完之后，主控计算机5控制智能云台8运动，双目摄像机9重新搜索识别果实，重复执行步骤2-步骤5；\n[0039] 步骤7:当一棵果蔬上果实采收完之后，主控计算机5控制智能云台上的双目摄像机9重新回到水平平视位置，识别测距定位，避开穿行障碍，引导机器人移动平台1靠近另一果蔬于采收工作距离范围，重复执行步骤2-步骤6；\n[0040] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。