一种类球形果蔬的识别方法

1.一种类球形果蔬的识别方法，该方法包括以下步骤：
(1)、获取自然场景下的果蔬图像；
(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模型，对 2r-g-b颜色模型建立2r-g二维坐标系，LCD颜色模型建立Y-Cr二维坐 标系；
(3)、根据分类器原理，对Y-Cr二维坐标系下的特征属性Y，Cr分别 构造判别式F1、F2，设定特征属性值Y和Cr的果实目标的平均向量 mfruit、树叶的平均向量mleaf、枝干的平均向量mbranch，其算式为：(1)、 (2)：
F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruit Tmfruit)-(mleaf Tmleaf)]          (1)
F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruit Tmfruit)-(mbranch Tmlbranch)]        (2)
对2r-g二维坐标系的特征属性2r和g分别构造判别式F3、F4， 设定特征属性值2r和g的果实目标的平均向量m＇fruit、树叶的平均向量 m＇leaf、枝干的平均向量m＇branch，其算式为：(3)、(4)：
F3＝[2r，g]T(m＇fruit-m＇leaf)-1/2[(m＇fruit Tm＇fruit)-(m＇leaf Tm＇leaf)]         (3)
F4＝[2r，g]T(m＇fruit-m＇branch)-1/2[(m＇fruit Tm＇fruit)-(m＇branch Tm＇lbranch)]            (4)
根据判别式得到省去叶子和枝干的分离直线，并把输入图像分成 大小相等的小块，每块大小为L×L，L为奇数；
(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩 阵，设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝ 0，1，......，Nq-1，共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括所有 间距为d，方向为q，且灰度级为a和b的像素对出现的频率，P(d，q) 中的元素表示为P(a，b|d，q)，在区域内任选两个像素(k，l)和(m，n)，其中 k，m＝1，2，......，Nc；n＝1，2，......，Nr；
计算各个灰度共生矩阵的两个特征值：熵ENT和能量ASM，其算 式分别为(5)、(6)：
$\mathrm{ENT}=-\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}P(a,b)\log P(a,b)---\left(5\right)$
$\mathrm{ASM}=\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}{\left(P(a,b)\right)}^2---\left(6\right)$
其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；
并计算4个方向的灰度共生矩阵的特征值得到平均特征值ENT和 ASM；
(5)、对于相邻的两个小块B1和B2，如判别式F1、F2、F3和F4大于0或 者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，该小块确认 为果实；如B1和B2的ENT和ASM之差大于阈值T且判别式F1、F2、F3和 F4小于0，则丢弃整个小块B1；并将B2中相关参数赋给B1，然后将B2的 参数置为空，顺序往后取另一个小块作为B2，重复所述步骤，直到所 有小块处理完毕。
2.如权利要求1所述的一种类球形果蔬的识别方法，其特征在于：在 所述(5)中，对于最后一个小块，如果判别式F1、F2、F3和F4大于0， 可以默认为果实直接保留，否则认为是背景，直接丢弃。

(一)技术领域\n本发明涉及一种类球形果蔬的识别方法。\n(二)背景技术\n水果与蔬菜的采收是一项劳动密集型的工作。果蔬采收的季节性 强，工作环境艰苦，劳动强度大。现阶段的采收基本依靠人力，采收 的效率比较低，人力成本在整个果蔬生产成本中占了相当大的比例。 因此，实现果蔬采收的自动化具有实际应用价值。\n目前为止，国内还没有一台真正投入生产使用的果蔬采摘机器人， 主要原因之一是视觉系统技术难题尚未完全解决。通常，采摘机器人 视觉系统的工作方式：首先获取果蔬的数字化图像，然后再通过相关 图像处理算法识别并确定图像中果蔬的位置。传感器是机器视觉系统 最重要的部件，主要包括图像传感器和距离传感器等。图像传感器可 以是CCD黑白相机、彩色摄像机或者立体摄像机，一般安装于机械臂 或末端执行器上。距离传感器有激光测距、超声、无线和红外传感器 等。\n较早期的果蔬采摘机器人视觉系统大多是基于二维系统，当叶子 和果蔬的颜色对比明显时，这种二维系统可以成功地将果蔬从叶子中 检测出来；然而，若有多个果蔬重叠或者其颜色与背景色近似时，则 很难进行识别。这时，一般是根据果蔬表面不同的光谱反射特性来检 测果蔬，检测到果蔬后，利用三维视觉传感器再对果蔬进行精确识别， 这是最常用的光谱反射率法，但在自然光照情况下，由于图像中存在 噪声等各种干扰信息，这种方法往往并不理想。有研究人员利用果蔬 的形状来识别和定位果实，采用形状定位方式，一般要求目标具有完 整的边界条件，若物体被遮挡，就很难做到。又有人提出一种称为 Hough变换的新方法，它的特点是不需要整个轮廓信息，根据目标果 蔬形状的曲率信息来定位果蔬的中心，但是该方法非常耗时。总之， 由于环境的高度复杂性，目前的采摘机器人视觉系统在规则环境下， 如已知光照背景下效果比较好，但在自然环境条件，如自然光照下则 不是很成功。所以，概括起来，当前识别果蔬目标的方法，主要还是 通过颜色空间模型的变换，利用颜色特征参数来提取果蔬目标，能够 解决的识别问题非常有限。\n(三)发明内容\n为了克服已有的类球形果蔬识别方法不能有效识别类球形果蔬、 计算复杂、识别精度低的不足，本发明提供一种能够有效识别类球形果 蔬、计算简单、识别精度高的一种类球形果蔬的识别方法。\n本发明解决其技术问题所采用的技术方案是：\n一种类球形果蔬的识别方法，该方法包括以下步骤：\n(1)、获取自然场景下的果蔬图像；\n(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模型，对 2r-g-b颜色模型建立2r-g二维坐标系，LCD颜色模型建立Y-Cr二维 坐标系；\n(3)、根据分类器原理，对Y-Cr二维坐标系下的特征属性Y，Cr分别 构造判别式F1、F2，设定特征属性值Y和Cr的果实目标的平均向量 mfruit、树叶的平均向量mleaf、枝干的平均向量mbranch，其算式为：(1)、 (2)：\nF1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruit Tmfruit)-(mleaf Tmleaf)](1)\nF2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruit Tmfruit)-(mbranch Tmlbranch)](2)\n对2r-g二维坐标系的特征属性2r和g分别构造判别式F3、F4， 设定特征属性值2r和g的果实目标的平均向量m′fruit、树叶的平均向量 m′leaf、枝干的平均向量m′branch，其算式为：(3)、(4)：\nF3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruit Tm′fruit)-(m′leaf Tm′leaf)](3)\nF4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruit Tm′fruit)-(m′branch Tm′lbranch)](4)\n根据判别式得到省去叶子和枝干的分离直线，并把输入图像分成 大小相等的小块，每块大小为L×L，L为奇数；\n(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩 阵，设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝ 0，1，......，Nq-1，共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括所有 间距为d，方向为q，且灰度级为a和b的像素对出现的频率，P(d，q) 中的元素表示为P(a，b|d，q)，在区域内任选两个像素(k，l)和(m，n)，其中 k，m＝1，2，......，Nc；n＝1，2，......，Nr；\n计算和各个灰度共生矩阵的两个特征值：熵ENT和能量ASM，其 算式分别为(5)、(6)：\n$\mathrm{ENT}=-\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}P(a,b)\log P(a,b)---\left(5\right)$\n$\mathrm{ASM}=\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}{\left(P(a,b)\right)}^2---\left(6\right)$\n其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；\n并计算平均4个方向的灰度共生矩阵的特征值得到平均特征值ENT和 ASM；\n(5)、对于相邻的两个小块B1和B2，如判别式F1、F2、F3和F4大于0或 者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，该小块确认 为果实；如纹理差值大于阈值T且判别式F1、F2、F3和F4小于0，则丢 弃整个小块B1；并将B2中相关参数赋给B1，然后将B2的参数置为空， 顺序往后取另一个小块作为B2，重复所述步骤，直到所有小块处理完 毕。\n作为优选的一种方案：在所述(5)中，对于最后一个小块，如果 判别式F1、F2、F3和F4大于0，可以默认为果实直接保留，否则认为是 背景，直接丢弃。\n本发明的技术构思为：由于果实在颜色空间具有聚类性，本方案 借鉴平均距离分类器原理对自然场景下的果蔬图像进行分类识别。\n平均距离分类器通过分析不同的果蔬图像数字特征，把图像数据 归类。分类算法包括训练阶段和测试阶段。在训练阶段，区分特定图 像的特征属性，基于这些属性，产生描述特定类的唯一方法，即产生 训练集，构造判别式。一般根据特征属性m和n，利用最小距离分类 器或者平均距离分类器或者其他分类器可产生判别 式：F(m，n)＝am+bn+c。a，b，c为任意常数，只要满足F(m，n)＝0即可。 在测试阶段，利用这些特征空间，即这些判别式，每个判别式可将图 像分成两个部分，达到识别图像的目的。\n针对果实目标、叶子和枝干在每个颜色空间设计分类器，为每个 颜色空间分别构造3个判别式实现分离：F(fruit/leaf)，简写为F1，用来 分离果实和叶子；F(fruit/branch)，简写为F2，用来分离果实和枝干；F(leaf /branch)，简写为F3，用来分离叶子和枝干。由于叶子和枝干被视作背 景，故只需构造F1和F2两个判别式。\n融合2r-g-b颜色模型和LCD(luminance and color difference)颜色模 型的特点，得到一种新的颜色模型LNM(LCD color model combined with Normalized-RGB color model)。该模型避免了LCD颜色模型对光 的敏感度，同时避免了2r-g-b颜色模型无法识别红色分量值弱的果实 的弊端，LNM与RGB颜色模型的对应关系如下式所示：\n$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ C_r=R-Y\\ 2r=2R/(R+G+B)\\ g=G/(R+G+B)\end{array}\right.$\n因为融合了两种颜色空间，在实现识别的过程中，我们共构建 4个判别式。\n同时，采用灰度共生矩阵提取图像纹理特征。首先给出共生矩阵 的概念：设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝ 0，1，......，Nq-1。那么共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括 了所有间距为d，方向为q，且灰度级为a和b的像素对出现的频率。 P(d，q)中的元素可表示为P(a，b|d，q)。在区域内任选两个像素(k，l)和(m，n)， 其中k，m＝1，2，......，Nc；n＝1，2，......，Nr。则：\nP(a，b|d，q)＝∑[(k，l)，(m，n)]\n其中，如果\n|k-m|＝q，|l-n|＝d，g(k，l)＝a，g(m，n)＝b\n成立，那么\n[(k，l)，(m，n)]＝1\n否则\n[(k，l)，(m，n)]＝0\n其中函数g(k，l)代表(k，l)处像素的灰度级。另外，方向q可以取值 为0°、45°、90°、135°。所以对于一个给定的距离d，可以对应 四个灰度共生矩阵：\np(a，b|d，0°)＝∑[(k，l)，(m，n)]，k-m＝0，|l-n|＝d，(k，l)＝a，(m，n)＝b\np(a，b|d，45°)＝∑[(k，l)，(m，n)]，k-m＝d，l-n＝-d，(k，l)＝a，(m，n)＝b\n或k-m＝-d，l-n＝d，(k，l)＝a，(m，n)＝b\np(a，b|d，90°)＝∑[(k，l)，(m，n)]，|k-m|＝d，l-n＝0，(k，l)＝a，(m，n)＝b\np(a，b|d，135°)＝∑[(k，l)，(m，n)]，k-m＝d，l-n＝d，(k，l)＝a，(m，n)＝b\n或k-m＝-d，l-n＝d，(k，l)＝a，(m，n)＝b\n分别采样多种果蔬的果实和叶子，采用灰度共生矩阵提取图像特 征，得到可以区分果实和叶子的纹理特征值熵和能量，其表达式分别 为(5)、(6)：\n$\mathrm{ENT}=-\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}P(a,b)\log P(a,b)---\left(5\right)$\n$\mathrm{ASM}=\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}{\left(P(a,b)\right)}^2---\left(6\right)$\n其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵。\n然后利用基于子块的区域生长法较好地解决了利用单一颜色参数 出现欠分割的缺点。\n本发明的有益效果主要表现在：能够有效识别类球形果蔬、计算 简单、识别精度高。\n(四)附图说明\n图1是本发明一个流程示意图；\n图2是分类器示意图；\n图3是2r-g-b分类器示意图；\n图4是LCD分类器示意图；\n图5是果实和背景的属性分布图；\n图6是根据判别式得出的分割直线图。\n(五)具体实施方式\n下面结合附图对本发明作进一步描述。\n参照图1～图6，一种类球形果蔬的识别方法，该方法包括以下步 骤：(1)、获取自然场景下的果蔬图像；(2)、将获取的图像同时变换 到2r-g-b颜色模型和LCD颜色模型，对2r-g-b颜色模型建立2r-g二 维坐标系，LCD颜色模型建立Y-Cr二维坐标系；(3)、根据分类器原 理，对Y-Cr二维坐标系下的特征属性Y，Cr分别构造判别式F1、F2， 设定特征属性值Y和Cr的果实目标的平均向量mfruit、树叶的平均向量 mleaf、枝干的平均向量mbranch，其算式为：(1)、(2)：\nF1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruit Tmfruit)-(mleaf Tmleaf)](1)\nF2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruit Tmfruit)-(mbranch Tmlbranch)](2)\n对2r-g二维坐标系的特征属性2r和g分别构造判别式F3、F4， 设定特征属性值2r和g的果实目标的平均向量m′fruit、树叶的平均向量 m′leaf、枝干的平均向量m′branch，其算式为：(3)、(4)：\nF3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruit Tm′fruit)-(m′leaf Tm′leaf)](3)\nF4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruit Tm′fruit)-(m′branch Tm′lbranch)](4)\n根据判别式得到省去叶子和枝干的分离直线，并把输入图像分成 大小相等的小块，每块大小为L×L，L为奇数；\n(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩 阵，设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝ 0，1，......，Nq-1，共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括所有 间距为d，方向为q，且灰度级为a和b的像素对出现的频率，P(d，q) 中的元素表示为P(a，b|d，q)，在区域内任选两个像素(k，l)和(m，n)，其中 k，m＝1，2，......，Nc；n＝1，2，......，Nr；\n计算和各个灰度共生矩阵的两个特征值：熵ENT和能量ASM，其 算式分别为(5)、(6)：\n$\mathrm{ENT}=-\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}P(a,b)\log P(a,b)---\left(5\right)$\n$\mathrm{ASM}=\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}{\left(P(a,b)\right)}^2---\left(6\right)$\n其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；\n并计算平均4个方向的灰度共生矩阵的特征值得到平均特征值ENT和 ASM；\n(5)、对于相邻的两个小块B1和B2，如判别式F1、F2、F3和F4大于0或 者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，该小块确认 为果实；如纹理差值大于阈值T且判别式F1、F2、F3和F4小于0，则丢 弃整个小块B1；并将B2中相关参数赋给B1，然后将B2的参数置为空， 顺序往后取另一个小块作为B2，重复所述步骤，直到所有小块处理完 毕。\n在所述(5)中，对于最后一个小块，如果判别式F1、F2、F3和F4 大于0，可以默认为果实直接保留，否则认为是背景，直接丢弃。\n本实施例中的具体步骤为：\n(1)、通过数码相机或者摄像头获取自然场景下的果蔬图像。\n(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模 型。\n(3)、根据分类器原理，对2r-g-b模型的2r-g二维坐标系下的 特征属性2r，g和LCD的Y-Cr二维坐标系下的特征属性Y，Cr分别构 造判别式，产生4个判别式F1，F2，F3，F4。同时，把输入图像分成 大小相等的小块，每块大小为L×L，L为奇数。\n举例说明：\n假设每个训练类由一个平均向量表示：\n$\begin{array}{ccc}{m}_j=1/N_j\underset{x\in w_j}{\Sigma }x& \mathrm{for}& j=\mathrm{1,2},...,M\end{array}$\n这里Nj是类Wj的训练模式向量的数量。假设有基于特征属性值Y 和Cr的果实目标、树叶和枝干，假定将特征属性描述在二维特征空间 中，如图5所示。并且可以得到平均值为：mfruit＝[94.14，114.26]T，mleaf ＝[77.02，218.45]T，mbranch＝[52.88，33.67]T，如图5中用#表示。\n基于这一点，可以通过判定最接近mj的原型，分配任意给定的模 式x给类。如采用欧几里德距离作为测量相似性距离，原型距离为：\nFj(x)＝‖x-mj‖ for j＝1，2，...，M\n这相当于：\nFj(x)＝xTmj-1/2(mj Tmj)for j＝1，2，...，M\n在本例中，简单假设每个得到的fruit的平均值为[a，b]，leaf的平 均值为[c，d]，branch的平均值为[e，f]。那么可以得到\n$\left\{\begin{array}{c}{F}_{\mathrm{fruit}}=\mathrm{aY}+\mathrm{bCr}-1/2(a^2+b^2)\\ F_{\mathrm{leaf}}=\mathrm{cY}+\mathrm{dCr}-1/2\left({c^2+d}^2\right)\\ F_{\mathrm{branch}}=\mathrm{eY}+\mathrm{fCr}-1/2(e^2+f^2)\end{array}\right.$\n根据这个方法，可以计算得到以下决策函数：\n$\left\{\begin{array}{c}{F}_{\mathrm{fruit}}=94.14Y+114.26\mathrm{Cr}-10958.84\\ F_{\mathrm{leaf}}=77.02Y+218.45\mathrm{Cr}-26826.24\\ F_{\mathrm{branch}}=52.88Y+33.67\mathrm{Cr}-1964.98\end{array}\right.$\n最后，根据这些决策函数，可得分离类wi和wj的判别式满足：\nFi(x)-Fj(x)＝0\n即：\n$\left\{\begin{array}{c}{F}_{\mathrm{fruit}/\mathrm{leaf}}=(a-c)Y+(b-d)\mathrm{Cr}+1/2(a^2+b^2-c^2-d^2)=0\\ F_{\mathrm{fruit}/\mathrm{branch}}=(a-e)Y+(b-f)\mathrm{Cr}+1/2(a^2+b^2-e^2-f^2)=0\\ F_{\mathrm{leaf}/\mathrm{branch}}=(c-e)Y+(d-f)\mathrm{Cr}+1/2(c^2+d^2-e^2-f^2)=0\end{array}\right.$\n在这个例中，得到判别式F1，F2，F3如下：\n$\left\{\begin{array}{c}{F}_{\mathrm{fruit}/\mathrm{leaf}}=17.12Y-104.19\mathrm{Cr}+15867.4=0\\ F_{\mathrm{fruit}/\mathrm{branch}}=41.26Y+80.59\mathrm{Cr}-8993.86=0\\ F_{\mathrm{leaf}/\mathrm{branch}}=24.14Y+184.78\mathrm{Cr}-24861.26=0\end{array}\right.$\n根据这些判别式，可以得出分离直线，省去叶子和枝干的分离直 线，如图6所示。\n如果采用的原型距离不一样得到的判别式也是不一样的，如可以 采用标准化的欧式距离和马哈朗诺必斯距离等。\n(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度\n共生矩阵和各个灰度共生矩阵的两个特征值：：熵ENT和能量 ASM，其算式分别为(5)、(6)：\n$\mathrm{ENT}=-\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}P(a,b)\log P(a,b)---\left(5\right)$\n$\mathrm{ASM}=\underset{i=0}{\overset{N_q-1}{\Sigma }}\underset{j=0}{\overset{N_q-1}{\Sigma }}{\left(P(a,b)\right)}^2---\left(6\right)$\n其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；\n(5)、平均4个方向的灰度共生矩阵的特征值得到平均特征值 ENT和ASM作为判别的纹理特征。\n(6)、对于相邻的两个小块B1和B2，根据颜色模型构造的判别 式F1，F2，F3，F4和纹理特征值进行判断。如果判别式都大于0或者 B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，将其压入一 个堆栈。同时将B2中相关参数赋给B1，然后将B2的参数置为空。顺 序往后取另一个小块作为B2，重复上述步骤。如果纹理差值大于阈值 T并且判别式F1，F2，F3，F4都小于0，则丢弃整个小块B1。直到所 有的小块处理完毕。