一种枝叶遮挡果实精确识别方法

1.一种枝叶遮挡果实精确识别方法，具体包括以下步骤：
(1)图像采集步骤：基于双目视觉实时采集果实图像；
(2)目标对象提取步骤：对采集的图像进行处理，提取出图像中的果实及枝叶；
所述步骤(2)中首先采用自适应维纳滤波方法图像预处理；其次采用基于颜色特征的动态阈值层层剥离分割方法将预处理图像中的无用信息去除；然后采用基于颜色特征和纹理特征的聚类分割算法获取图像中的果实、树枝和树叶，其中纹理特征的提取采用Contourlet变换方法；分割后图像中的分割碎片则采用基于纹理特征的消噪方法去除，最后采用水平最小外接矩形法将图像中所有的连通区域框定，提取各个矩形内求补图像中的孤立区域，通过孤立区域图像与原图像叠加来修复孔洞；
(3)目标对象深度计算步骤：对目标对象区域采用组合匹配及深度校正模型来获取其深度信息；
(4)果实被枝叶严重遮挡区域确定步骤：用来完成果实被枝叶严重遮挡区域的确定；
(5)果实被枝叶严重遮挡区域修复步骤：用来实现被枝叶严重遮挡区域内的果实修复；
(6)果实边缘被枝叶遮挡区域修复步骤：用来实现果实边缘被枝叶遮挡区域的修复；
(7)果实形心及深度坐标计算步骤：通过对果实区域内所有像素点坐标求均值来获取其形心坐标，其深度也通过计算该区域深度均值来获取。
2.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(3)中基于双目视觉采用组合匹配及深度校正模型测定出各个最小外接矩形内连通区域的深度信息，对于超出采摘机器人作业深度之外的区域进行去除，此外，该深度信息还用于后续处理。
3.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(4)中首先通过几何计算方法快速检测步骤(2)中所述连通区域所在水平最小外接矩形与其他矩形有无重合或者在一定区域范围内有无其他矩形，再采用基于枝叶图像的区域映射方法来检测重合区域或者两矩形之间有无枝叶来由此粗略确定出遮挡区域的大致范围，在此基础上对区域内非果实像素点采用扩散碰撞法来进一步明确遮挡范围。
4.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(5)中采用Criminisi修复算法，修复过程采用更具灵活性的分块策略，并依据修复区域的宽度来自适应调整修复点邻域和样本块尺寸；在进行最佳匹配样本块的搜索时，通过对匹配样本块进行不同角度的旋转，来提高最佳匹配样本块的搜索成功率。
5.根据权利要求1所述的一种枝叶遮挡果实精确识别方法，其特征在于：步骤(6)中在事先建立果实不同深度不同姿态外形的参数表的基础上，采用基于同深度下果实模板配准的方法来实现果实的修复重建。

一种枝叶遮挡果实精确识别方法\n技术领域\n[0001] 本发明涉及一种枝叶遮挡果实精确识别方法，特别涉及一种对苹果、柑橘等类枝叶遮挡果实的精确识别方法。\n背景技术\n[0002] 对于采摘机器人来说，由于自然工作环境非结构化的特点，存在很多影响果实精确识别的因素，其中枝叶遮挡是主要因素之一。采摘机器人能否具备果实精确识别能力，与果实信息的完备与否有重要关系。枝叶遮挡果实，顾名思义，就是从视觉传感器图像采集方向看去由果实树枝和叶子所造成的果实遮挡，它又分为果实边缘被枝叶遮挡和果实被枝叶遮挡分割成两块或多块即被枝叶严重遮挡果实两类。被枝叶严重遮挡果实必须要完成修复后才能进行识别，不然就会出现同一果实多个拟合识别圆的错误现象。如何很好地解决枝叶遮挡这种常见生长形态果实的精确识别问题现已成为推动采摘机器人实用化亟待解决的关键问题之一。\n发明内容\n[0003] 针对现有技术中枝叶遮挡果实识别方法中存在的上述问题，本发明提供一种枝叶遮挡果实精确识别方法，首先修复果实被枝叶严重遮挡区域，然后修复被枝叶遮挡的果实边缘区域，使得采摘机器人实现对枝叶遮挡果实的精确识别，期望能够推动采摘机器人的实用化进程。\n[0004] 本发明的技术方案是：\n[0005] 一种枝叶遮挡果实精确识别方法，具体包括以下步骤：\n[0006] 1）图像采集步骤：基于双目视觉实时采集果实图像。\n[0007] 2）目标对象提取步骤：首先采用自适应维纳滤波方法图像预处理；其次采用基于颜色特征的动态阈值层层剥离分割方法将预处理图像中的无用信息去除；然后采用基于颜色特征和纹理特征的聚类分割算法获取图像中的果实、树枝和树叶，其中纹理特征的提取采用Contourlet变换方法。分割后图像中的分割碎片则采用基于纹理特征的消噪方法去除，最后采用水平最小外接矩形法将图像中所有的连通区域框定，提取各个矩形内求补图像中的孤立区域，通过孤立区域图像与原图像叠加来修复孔洞。\n[0008] 3）目标对象深度计算步骤：基于双目视觉采用组合匹配及深度校正模型测定出各个最小外接矩形内连通区域的深度信息，对于超出采摘机器人作业深度之外的区域进行去除，此外，该深度信息还用于后续处理。\n[0009] 4）果实被枝叶严重遮挡区域确定步骤：首先通过几何计算方法快速检测该连通区域所在水平最小外接矩形与其他矩形有无重合或者在一定区域范围内（取该深度距离下树枝径宽范围）有无其他矩形，再采用基于枝叶图像的区域映射方法来检测重合区域或者两矩形之间有无枝叶来由此粗略确定出遮挡区域的大致范围，在此基础上对区域内非果实像素点采用扩散碰撞法来进一步明确遮挡范围。\n[0010] 5）果实被枝叶严重遮挡区域修复步骤：采用Criminisi修复算法，修复过程采用更具灵活性的分块策略，并依据修复区域的宽度来自适应调整修复点邻域和样本块尺寸；\n在进行最佳匹配样本块的搜索时，通过对匹配样本块进行不同角度的旋转，来提高最佳匹配样本块的搜索成功率。\n[0011] 6）果实边缘被枝叶遮挡修复步骤在事先建立果实不同深度不同姿态外形的参数表的基础上，采用基于同深度下果实模板配准的方法来实现果实的修复重建。\n[0012] 7）果实形心及深度坐标计算步骤：通过对果实区域内所有像素点坐标求均值来获取其形心坐标，其深度也通过计算该区域深度均值来获取。\n[0013] 本发明的有益效果是：\n[0014] 本发明一种枝叶遮挡果实精确识别方法对于苹果、柑橘等类果实采摘机器人来说，能够实现对枝叶遮挡果实的精确识别。\n附图说明\n[0015] 图1为本发明一种枝叶遮挡果实精确识别方法的总流程图；\n[0016] 图2为本发明中目标对象提取步骤的流程图。\n具体实施方式\n[0017] 下面结合附图对本发明作进一步详细说明。\n[0018] 本发明一种枝叶遮挡果实精确识别方法的总流程如图1所示，具体包括如下步骤：\n[0019] (1) 图像采集步骤\n[0020] 图像的采集基于双目视觉系统，除了后续提取出目标对象的二维信息外，还要获取目标对象的深度信息。\n[0021] (2) 目标对象提取步骤\n[0022] 该步骤实施流程如图2所示。首先自然环境下光照的多变性，严重影响着图像的分割效果，因此本步骤采用自适应维纳滤波方法图像预处理，以消除强光、弱光等不同光照条件下所采集图像中的噪声干扰。\n[0023] 图像中除了果实、枝叶信息之外，还可能有天空，果园地膜（果园为了保墒蓄水，提高果实着色指数，通常会覆盖地膜）等无用信息，而天空又与果树枝叶相互交错在一起，所以本步骤采用基于颜色特征的动态阈值层层剥离分割方法先将其从预处理图像中去除。\n[0024] 尽管图像中果实、枝叶之间存在较大的颜色差别，但当目标与背景颜色相似时，仅利用颜色特征无法完整地将果实目标分割出来，会出现所谓的过分割或者欠分割现象，因此本步骤采用基于颜色特征和纹理特征的聚类分割算法获取图像中的果实、树枝和树叶。\n这里纹理特征的提取采用Contourlet变换的方法。通过利用Contourlet变换高频子带系数矩阵，选取高频子带各方向的梯度能量作为特征向量。梯度能量能够很好地表征纹理图像的内在连续性。\n[0025] 分割后图像中不可避免地会存在分割碎片，所以本步骤对分割出来的果实、树枝和树叶图像采用基于纹理特征的消噪（对于目标图像来说，非目标信息都可称为噪声）方法，以保证目标信息的纯粹性。\n[0026] 分割后的图像中不可避免地还会存在不同程度的孔洞现象，传统的数学形态学孔洞填充方法由于孔径大小不一其运算次数需要人工干预，因此本步骤根据后续图像处理的实际情况首先采用水平最小外接矩形法将图像中所有的连通区域框定，然后提取各个矩形内求补图像中的孤立区域，通过孤立区域图像与原图像叠加来修复孔洞。\n[0027] (3) 目标对象深度计算步骤\n[0028] 果实图像中可能有些目标果实位置已经超出了采摘机器人的作业深度，没必要再进行后续处理，因此本步骤基于双目视觉采用组合匹配及深度校正模型测定出各个最小外接矩形内连通区域的深度信息，对于超出采摘机器人作业深度之外的区域进行去除，此外，该深度信息还用于后续处理。\n[0029] (4) 果实被枝叶严重遮挡区域确定步骤\n[0030] 首先通过几何计算方法快速检测该连通区域所在水平最小外接矩形与其他矩形有无重合或者在一定区域范围内（取该深度距离下树枝径宽范围）有无其他矩形，再采用基于枝叶图像的区域映射方法来检测重合区域或者两矩形之间有无枝叶来由此粗略确定出遮挡区域的大致范围，该范围不满足遮挡修复的要求。注意到果实被枝叶严重遮挡区域一般呈现不规则长条状，因此，本步骤在前述确定的遮挡区域大致范围的基础上对区域内非果实像素点采用扩散碰撞法来进一步明确遮挡范围。所谓扩散碰撞，就是设想非目标点按一定规则沿多方向进行扩散直至碰撞到目标点，否则直至到达区域边界停止，然后统计各个方向的碰撞情况，设定阈值从而确定非目标点是否真实位于遮挡区域。\n[0031] (5) 果实被枝叶严重遮挡区域修复步骤\n[0032] 果实被枝叶严重遮挡区域就修复面积而言属于较大区域的图像修复，传统的基于偏微分方程修复方法只能对较小破损区域有较好的修复效果，对于较大区域的修复容易造成模糊，所以本步骤采用在时间和视觉上均优于传统修复方法的Criminisi算法。\nCriminisi算法是基于样本块的图像修复算法，由于该算法采用了块匹配搜索策略，所以它受块的形状、大小的影响，进而影响到图像的修复速度和修复效果，因此本步骤采用更具灵活性的分块策略，不固定于大多数所采用的正方形分块；果实被枝叶严重遮挡区域一般呈现不规则长条状，粗细不一，因此本步骤依据遮挡区域（修复区域）的宽度来自适应调整修复点邻域和样本块尺寸，以提高修复的精度。Criminisi算法是基于块修复的，其修复实质是最佳匹配样本块的复制。果实生长方向是随机的，因此在进行最佳匹配样本块的搜索时，本步骤通过对匹配样本块进行不同角度的旋转，来提高最佳匹配样本块的搜索成功率，防止错误匹配的发生，进而有效改善修复效果。\n[0033] (6) 果实边缘被枝叶遮挡修复步骤\n[0034] 果实边缘被枝叶遮挡区域形状多变，比较复杂，精确区域难以确定，应用上述果实被枝叶严重遮挡区域修复方法适用性有限，恐不能获得完好的修复效果。以往也有基于Spline轮廓差值匹配和形态学填充操作来重建完整目标果实，这种方法适用于形状比较规则的遮挡区域修复，而对于形状不确定的果实边缘被枝叶遮挡区域不适合。本步骤在事先建立果实不同深度不同姿态外形的参数表的基础上，采用基于同深度下果实模板配准的方法来实现果实的修复重建。\n[0035] (7) 果实形心及深度坐标计算步骤\n[0036] 待所有的操作完成后，由于果实形状规整，通过对区域内所有像素点坐标求均值来获取其形心坐标，其深度也可通过计算该区域深度均值来获取。\n[0037] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。