一种温室环境下黄瓜采摘机器人系统及采摘方法

1.一种温室环境下黄瓜采摘机器人系统，其特征在于，所述系统包括：
双目立体视觉系统，用于采集黄瓜图像，实时加以处理，获取收获目标的位置信息；
机械臂装置，用于根据所述收获目标的位置信息，进行所述收获目标的抓取和分离；
机器人移动平台，用于在温室环境下自主运动；
所述双目立体视觉系统包括：
两个黑白摄像机，用于同步获取场景中的收获目标的近红外图像，分别进行目标分割、品质分析和特征提取，确定左右图像中黄瓜的抓取点位置；
双通道视觉实时处理器，与所述两个黑白摄像机连接，用于判断摄像机公共视场范围内、左右图像中是否有彼此对应的抓取点的匹配点；当有对应匹配点时，所述双通道视觉实时处理器基于左右图像抓取点的视差，由三角法原理进行三维信息重建，并计算目标抓取点到双目立体视觉系统坐标原点的X、Y、Z坐标，将距离最近的抓取点目标作为当前采摘对象，并由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系推出与机械臂装置对应的收获目标的位置信息，并将位置信息发送至机械臂装置的运动控制卡；
所述机械臂装置包括：
执行机构；
运动控制卡，用于根据所述双通道视觉实时处理器发送的收获目标的位置信息进行轨迹规划，并下发运动指令；
关节驱动器，用于根据所述运动指令，带动所述执行机构实现所述收获目标的抓取和分离动作；
所述机器人移动平台包括：
行走机构；
电机驱动器，用于驱动所述行走机构；
云台摄像头，用于获取环境图像信息；
处理器，用于分析所述图像信息，获取并下发导航参数；
运动控制器，用于根据所述导航参数，控制所述电机驱动器驱动所述行走机构进行运动。
2.如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特征在于，所述双目立体视觉系统还包括照明装置，用于提供适于收获目标的识别采摘的光照环境；所述照明装置包括对称阵列分布的四个光源和一个自适应能量输出的直流电源模块，所述电源模块用于给所述四个光源提供电源。
3.如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特征在于，所述双目立体视觉系统还包括滤光设备，分别安装于所述两个黑白摄像机的镜头前；所述滤光设备为近红外光谱波段、峰值透过率大于90％的窄带干涉滤光器。
4.如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特征在于，所述双目立体视觉系统还包括支架，所述支架以套筒方式固定在所述机器人移动平台上，并支撑所述双目立体视觉系统，根据需要完成所述双目立体视觉系统的升降和旋转。
5.如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特征在于，所述机械臂装置采用5自由度设计，包括基座旋转、肩关节俯仰、肘关节俯仰、腕关节俯仰和腕关节旋转。
6.如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特征在于，所述双目立体视觉系统与机械臂装置之间采用网口和RS232串口连接，进行通信。
7.如权利要求1所述的温室环境下黄瓜采摘机器人系统，其特征在于，所述双目立体视觉系统与机器人移动平台之间采用RS232 串口连接，进行通信。
8.一种温室环境下黄瓜采摘方法，其特征在于，所述方法包括以下步骤：
S1.启动机器人移动平台沿导航线运动，双目立体视觉系统的右摄像机进行单通道视频实时采集；
S2.对每帧右摄像机图像快速搜索，判断视场黄瓜数量、成熟度及大小；
S3.搜索到收获目标后，机器人移动平台停止运动，启动双通道视频采集；
S4.左右摄像机同步获取场景中的收获目标的近红外图像，确定左右图像中各收获目标的抓取点位置；
S5.判断摄像机公共视场范围内、左右图像中是否有彼此对应的抓取点的匹配点；
S6.当有对应匹配点时，根据左右图像抓取点的视差进行三维信息重建；
S7.双通道视觉实时处理器计算目标抓取点到双目立体视觉系统坐标原点的坐标，将距离最近的抓取点目标作为当前采摘对象，并由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系，得出与机械臂装置对应的收获目标的位置信息，发送至机械臂装置的运动控制卡；
S8.机械臂装置的运动控制卡对所述位置信息进行轨迹规划，并给出各关节的最佳运动参数，引导执行机构进行准确采摘。
9.如权利要求8所述的温室环境下黄瓜采摘方法，其特征在于，在所述步骤S1之前，还包括：改变黄瓜采摘机器人系统的工作环境，采用斜拉线栽培模式。
10.如权利要求8所述的温室环境下黄瓜采摘方法，其特征在于，在所述步骤S8之后，还包括：重复步骤S4～S9，对所述场景范围内的多个收获目标进行连续采摘，直至无对应抓取点，重新进行步骤S1。

一种温室环境下黄瓜采摘机器人系统及采摘方法 \n技术领域\n[0001] 本发明涉及智能机器人技术领域，特别是涉及一种温室环境下黄瓜采摘机器人系统及采摘方法。 \n背景技术\n[0002] 随着计算机和自动控制技术的迅速发展，农业机械将迈入高度自动化、智能化时期。机器人已经逐步渗入到农业生产中，特别是在设施农业的生产过程中，机器人的使用将成为农业向自动化和智能化发展的重要标志。在果蔬生产作业中，收获采摘约占整个作业量的40％。采摘作业质量的好坏直接影响到果蔬的存储、加工和销售，从而最终影响市场价格和经济效益。由于采摘作业的复杂性，采摘自动化程度仍然很低，目前国内果蔬采摘作业基本上还是手工完成，尤其在温室内，工作环境较差，收获作业的劳动强度大，因此研究适用温室环境果实采摘机器人具有重要意义。 \n[0003] 果实采摘机器人的首要任务是识别和定位出目标，以便为收获机械提供可靠的运动参数，并最终完成果实的采摘。因此，视觉部分信息处理准确与否直接关系到最终收获机器人执行精度和采摘效率。农业机器人又与某种非结构环境相联系，作业空间结构复杂、信息多义及弱鲁棒性，较之一般工业机器人其应用难度更大，这对前端视觉感知提出更高的要求。加之与诸多果蔬(如苹果、西红柿、樱桃、甜橙)相比，黄瓜颜色特征更接近于瓜叶、茎秆，目标背景多元、近似信息叠加成为果实信息提取的难点。 \n发明内容\n[0004] 本发明实施例要解决的问题是提供一种温室环境下黄瓜采摘机器人系统及采摘方法，以实现机器人的自动导航和黄瓜的自动收获。 \n[0005] 为达到上述目的，本发明实施例的技术方案提供一种温室环境下黄瓜采摘机器人系统，所述系统包括： \n[0006] 双目立体视觉系统，用于采集黄瓜图像，实时加以处理，获取收获目标的位置信息； \n[0007] 机械臂装置，用于根据所述收获目标的位置信息，进行所述收获目标的抓取和分离； \n[0008] 机器人移动平台，用于在温室环境下自主运动； \n[0009] 所述双目立体视觉系统包括： \n[0010] 两个黑自摄像机，用于同步获取场景中的收获目标的近红外图像，分别进行目标分割、品质分析和特征提取，确定左右图像中黄瓜的抓取点位置； \n[0011] 双通道视觉实时处理器，与所述两个黑白摄像机连接，用于判断摄像机公共视场范围内、左右图像中是否有彼此对应的抓取点的匹配点；当有对应匹配点时，所述双通道视觉实时处理器基于左右图像抓取点的视差，由三角法原理进行三维信息重建，并计算目标抓取点到双目立体视觉系统坐标原点的X、Y、Z坐标，将距离最近的抓取点目标作为当前采摘对象，并由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系推出与机械臂装置对应的收获目标的位置信息，并将位置信息发送至机械臂装置的运动控制卡； [0012] 所述机械臂装置包括： \n[0013] 执行机构； \n[0014] 运动控制卡，用于根据所述双通道视觉实时处理器发送的收获目标的位置信息进行轨迹规划，并下发运动指令； \n[0015] 关节驱动器，用于根据所述运动指令，带动所述执行机构实现所述收获目标的抓取和分离动作； \n[0016] 所述机器人移动平台包括： \n[0017] 行走机构； \n[0018] 电机驱动器，用于驱动所述行走机构； \n[0019] 云台摄像头，用于获取环境图像信息； \n[0020] 处理器，用于分析所述图像信息，获取并下发导航参数； \n[0021] 运动控制器，用于根据所述导航参数，控制所述电机驱动器驱动所述行走机构进行运动。 \n[0022] 其中，所述双目立体视觉系统还包括照明装置，用于提供适于收获目标的识别采摘的光照环境；所述照明装置包括对称阵列分布的四个光源和一个自适应能量输出的直流电源模块，所述电源模块用于给所述四个光源提供电源。 \n[0023] 其中，所述双目立体视觉系统还包括滤光设备，分别安装于所述两个黑白摄像机的镜头前；所述滤光设备为近红外光谱波段、峰值透过率大于90％的窄带干涉滤光器。 [0024] 其中，所述双目立体视觉系统还包括支架，所述支架以套筒方式固定在所述机器人移动平台上，并支撑所述双目立体视觉系统，根据需要完成所述双目立体视觉系统的升降和旋转。 \n[0025] 其中，所述机械臂装置采用5自由度设计，包括基座旋转、肩关节俯仰、肘关节俯仰、腕关节俯仰和腕关节旋转。 \n[0026] 其中，所述双目立体视觉系统与机械臂装置之间采用网口和RS232串口连接，进行通信。 \n[0027] 其中，所述双目立体视觉系统与机器人移动平台之间采用RS232串口连接，进行通信。 \n[0028] 本发明实施例的技术方案还提供一种温室环境下黄瓜采摘方法，所述方法包括以下步骤： \n[0029] S1.启动机器人移动平台沿导航线运动，双目立体视觉系统的右摄像机进行单通道视频实时采集； \n[0030] S2.对每帧右摄像机图像快速搜索，判断视场黄瓜数量、成熟度及大小； [0031] S3.搜索到收获目标后，机器人移动平台停止运动，启动双通道视频采集； [0032] S4.左右摄像机同步获取场景中的收获目标的近红外图像，确定左右图像中各收获目标的抓取点位置； \n[0033] S5.判断摄像机公共视场范围内、左右图像中是否有彼此对应的抓取点的匹配点； \n[0034] S6.当有对应匹配点时，根据左右图像抓取点的视差进行三维信息重建； [0035] S7.双通道视觉实时处理器计算目标抓取点到双目立体视觉系统坐标原点的坐标，将距离最近的抓取点目标作为当前采摘对象，并由所述双目立体视觉系统原点与机械臂装置原点的相对位置关系，得出与机械臂装置对应的收获目标的位置信息，发送至机械臂装置的运动控制卡； \n[0036] S8.机械臂装置的运动控制卡对所述位置信息进行轨迹规划，并给出各关节的最佳运动参数，引导执行机构进行准确采摘。 \n[0037] 其中，在所述步骤S1之前，还包括：改变黄瓜采摘机器人系统的工作环境，采用斜拉线栽培模式。 \n[0038] 其中，在所述步骤S8之后，还包括：重复步骤S4～S9，对所述场景范围内的多个收获目标进行连续采摘，直至无对应抓取点，重新进行步骤S1。 \n[0039] 与现有技术相比，本发明的技术方案具有如下优点： \n[0040] 1、黄瓜采摘机器人系统采用模块化设计理念，结构简单，集成度高，有助于提高机器人的环境适应能力和工作效率。 \n[0041] 2、光照环境方案有效地减少自然光对图像的影响，提高图像获取质量。 [0042] 3、采用滤光片与高感度摄像机相结合的信息获取模式从绿色背景中提取果实特征，在很大程度上降低图像处理难度，提高检测精度。 \n[0043] 4、选用大基线距、会聚式双目立体视觉模型，提高近距离目标系统测量精度，为部分遮盖果实探测提供了一个有效解决方案。 \n[0044] 5、双目立体视觉系统和机械臂装置的设计皆基于嵌入式处理平台，更适于高温、潮湿的温室工作环境，具有集成能力强、稳定性好、运算速度快、系统成本低、功耗小等优势。 \n附图说明\n[0045] 图1是本发明实施例的一种黄瓜采摘机器人系统结构示意图； \n[0046] 图2是本发明实施例的一种双目立体视觉系统的结构示意图； \n[0047] 图3是本发明实施例的一种温室黄瓜种植模式示意图； \n[0048] 图4是本发明实施例的一种黄瓜采摘机器人功能框图； \n[0049] 图5是本发明实施例的一种温室环境下黄瓜采摘方法的流程图。 \n[0050] 其中，1、机器人移动平台；2、机械臂装置；3、双目立体视觉系统；4、支架；11、控制中心；12、履带式车体；13、云台摄像机；21、基座；22、肩关节；23、大臂；24、肘关节；25、小臂；26、腕关节；27、末端执行器；31、黑白Hyper HAD CCD摄像机(左)；32、黑白Hyper HAD CCD摄像机(右)；33、照明光源；34、窄带干涉滤光设备；35、直流电源模块；36、双通道视觉实时处理器；37、采摘对象。 \n具体实施方式\n[0051] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。 \n[0052] 如图1所示，本发明的黄瓜采摘机器人系统包括机器人移动平台1、机械臂装置2和双目立体视觉系统3。 \n[0053] 机器人移动平台1包括履带式车体12、云台摄像机13、车载PC处理器(图中未示出，放置于控制中心11内)、运动控制器(图中未示出，放置于控制中心11内)、电机驱动器(图中未示出，放置于履带式车体12内)。机器人移动平台采用电机后轮驱动方式，当本系统 接收到双目立体视觉系统3发送的启动指令后，车体12循线行走，安装于车体正前方的云台摄像机13实时获取导航线路径信息，车载PC处理器将计算所得导航线角度偏差和横向偏差输出给运动控制器，电机驱动器根据运动控制器输出的两轮差速值调整车体进行路径跟踪。 \n[0054] 机械臂装置2包括基座21、肩关节22、大臂23、肘关节24、小臂25、腕关节26、末端执行器27和ARM运动控制卡(图中未示出，放置于控制中心11内)，执行机构固定于控制中心11平台上。根据黄瓜实际采摘作业要求，机械臂选用5自由度设计，分别为基座旋转、肩关节俯仰、肘关节俯仰、腕关节俯仰、腕关节旋转。当本装置接收到双目立体视觉系统3发送的收获目标位置信息，ARM运动控制卡进行轨迹规划推算各关节的运动参数，通过CAN总线向各关节节点发送运动指令，由关节驱动器带动执行机构实现果实的抓取和分离。 [0055] 双目立体视觉系统3包括两个黑白Hyper HAD CCD摄像机(31、32)、一个四光源呈对称阵列分布的照明装置33、两个窄带干涉滤光设备34、一个直流电源模块35及一个双通道视觉实时处理器36，如图2所示。整个系统由支架4支撑，以套筒方式固定，根据需要完成系统的升降和旋转，最大升降距离为1000mm，基本满足信息获取的需求。 \n[0056] 上述的黑白Hyper HAD CCD摄像机(31、32)选用美国UNIQ公司的UM-300系列摄像机，本系列摄像机比普通摄像机在近红外波段敏感4倍。两黑白Hyper HAD CCD摄像机(31、32)通过调节机构安装在机翼形状的水平底板上，底板略宽于摄像机尺寸，调节机构用来调整摄像机的位移和偏航角，双摄像机呈会聚式双目立体视觉模型，针对近距离目标有较好的测量精度。 \n[0057] 上述的照明装置33由四盏Philips公司的摄影用卤素射灯改装而成，每盏色温为\n5500K，发光能量峰值在1000nm附近，区域覆盖可 见光到近红外波段，适用于黄瓜的采摘识别作业。照明装置独立于双摄像机(31、32)系统，四盏光源通过连接件组成一整体，根据需要相互间角度可调。 \n[0058] 上述的直流电源模块35由四组24V、10AH锂电池和感光元件组成，为照明光源提供稳定的输出电流。感光元件根据环境的照度情况，分四个等级自行调整电池的电流输出，控制视场亮度从而保证视频图像获取质量。 \n[0059] 上述的双通道视觉实时处理器36为自行开发设计的专用嵌入式图像处理平台，内核采用美国TI公司TMS320DM642数字信号处理芯片，完成两路视频并行采集、图像识别及坐标运算。 \n[0060] 上述双目立体视觉系统的图像信息获取方法： \n[0061] 适当改变机器人的工作环境和黄瓜的种植模式，如图3所示(尺寸单位：mm)。为保证机器人在作业现场行走平稳、收获便利，黄瓜种植垄间区域进行平整硬化，硬化路面宽\n900mm，黄瓜垄宽600mm，垄内作物单行栽培，株距400mm，成熟果实分布于离地面600mm以上区域。为使果实与茎叶容易分离，本发明采用一种斜拉线种植模式，即用聚丙烯塑料线，上端缠于藤架顶部木制横梁，下端被张紧绕在一固定于地面线轴上，拉线垂直高度为1800mm、倾角为70°，黄瓜藤蔓沿拉线生长，当瓜蔓接近横梁，通过下放斜拉线保证成熟果实集中在距离垂直地面600～1200mm范围内(即摄像机的视野范围)。由于拉线强度不够，黄瓜叶子因重力下垂严重，极易造成果实的遮挡，为此在高度600mm和1200mm处添加两条横杆以增加对拉线的支撑，此外介于两横杆间以斜拉线为中心的两侧15mm处各拉一条细线，将叶子隔开到横杆后方便于机器人识别采摘。 \n[0062] 为了保证图像获取质量，其一视野光照均匀，根据视场范围和目标形状，确定光源与摄像机的相对位置、光源的入射角度，采用四个光源以两摄像机公共视场为中心、两侧光源呈75°对称交向阵列分 布；其二视野光照稳定，直流电源模块中的感光元件根据自然光的强弱，按四个等级自主调整电流输出，控制光源的输出能量从而保证视场亮度。 [0063] 装有滤光设备的黑白Hyper HAD CCD摄像机获取黄瓜近红外模拟光谱图像，经双通道视觉实时处理器A/D模块转换后，以数字图像形式存储于片上SDRAM中指定的内存，供图像处理用。 \n[0064] 双通道视觉实时处理器采用多线程、多任务的系统调度方案，静态配置了4个线程，分别完成两路图像采集、图像识别及坐标运算，线程间的同步通过SCOM(同步通讯机制)模块实现，从而解决了恒速图像采集与变速图像处理之间的矛盾。 \n[0065] 双目立体视觉系统首先进行两路图像采集，存储后分别对左右摄像机图像进行二维特征提取，然后基于双目立体视觉的视差原理从二维特征中恢复出三维信息，为机械臂运动提供依据。 \n[0066] 本发明黄瓜采摘机器人系统的控制采用主从式结构，其功能框图如图4所示。双目立体视觉系统作为主控系统完成两路视频图像信息的采集、提取、分析和计算，协调好与从系统的信息交换；机械臂装置作为从系统负责执行机构的轨迹规划及控制；机器人移动平台作为另一从系统实现导航信息提取和路径跟踪。 \n[0067] 上述的双目立体视觉系统与机械臂装置之间采用网口和RS232串口作为接口实现两者的相互通信。视觉系统输出采摘目标与机械手的相对位置信息，接收目标抓取、切割启停信号。 \n[0068] 上述的双目立体视觉系统与机器人行走平台之间采用RS232串口连接，视觉系统输出车体的运动控制指令，接收车体当前运动状态信息。 \n[0069] 采用上述系统方案的一种温室黄瓜自动检测方法，参见图5，其具体步骤如下： [0070] S1、启动机器人移动平台沿导航线运动，双目视觉系统的右摄像 机进行单通道视频实时采集； \n[0071] S2、对每帧右摄像机图像快速搜索，判断果实数量、成熟度及大小； [0072] S3、确定有采摘目标后命令机器人移动平台停止，启动双通道视频采集； [0073] S4、左右摄像机同步获取场景中的黄瓜近红外图像，分别进行目标分割、品质分析和特征提取，确定左右图像中黄瓜的抓取点位置； \n[0074] S5、判断摄像机公共视场范围内、左右图像中是否有彼此对应的抓取点的匹配点； \n[0075] S6、若抓取点不满足匹配条件，结束双通道视频采集，重新步骤1)，否则基于左右图像抓取点的视差，由三角法原理进行三维信息重建； \n[0076] S7、双通道图像处理器计算目标抓取点到双目视觉系统坐标原点的X、Y、Z坐标，将距离最近的抓取点目标作为当前采摘对象，并由标定所得视觉系统原点与机械臂原点的相对位置关系推出机械臂对应的坐标信息，发送至机械臂装置的运动控制卡； [0077] S8、运动控制卡对发送的位置信息进行轨迹规划后给出各关节的最佳运动参数，从而引导机械手进行准确采摘； \n[0078] S9、重复步骤S4～S8，该停车点视野范围内的多个目标进行连续采摘，直至无可采摘目标重新步骤S1。 \n[0079] 本发明所提供的温室黄瓜自动检测方法，将黄瓜的光谱特征与形状特征结合起来实现目标分割、特征提取，再由双目立体视觉原理得出目标的空间位置，引导机械手进行采摘。 \n[0080] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。