基于双目视觉的机器人目标识别与抓取系统及方法

1.一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于：所述服务机器人控制平台（1）联接双目图像采集模块（2）、RFID收发模块（3）、底盘运动模块（6），壁障模块（4）和机械臂控制模块（5）；
所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发模块（3）为无源型射频标签，含有物品的位置和特征信息；所述的底盘运动模块（6）采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块（4）采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块（5）的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调动作。
2.一种基于双目视觉的服务机器人目标识别与抓取方法，采用根据权利要求1所述的基于双目视觉的服务机器人目标识别与抓取系统进行操作，其特征在于，包括以下操作步骤：
1）双目摄像机标定：利用平面模板法对双目图像采集模块（2）的双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值；
2）坐标系搭建和转换：以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值；
3）目标识别与定位：采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值；
4）自主导航和避障：控制机器人到达目标物体所在区域，通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通过驱动底盘运动模块（6）自主到达目标物体所在区域，在行走过程中机器人根据壁障模块（4）躲避障碍物；
5）控制机械臂抓取目标物体：到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确；要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。
3.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤1)双目摄像机标定：采用平面模板法对双目摄像机进行标定的具体步骤如下：
①、根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式；
②、借助8 8平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参数；
③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值；
双目摄像机的标定结果受光线和温度环境因素的影响比较严重，在标定时需要多次标定取均值；在每次试验之前，需要重新对双目摄像机进行标定。
4.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤2)机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下：
①、根据任务特点，以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值；
②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离；
③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值；
在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐标系的转换关系计算得到目标物体在机器人坐标系中的坐标值；头部转动角度和摆动角度通过安装在头部的两个角度传感器得到。
5.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤3)目标物体的识别和定位：通过基于彩色颜色分割的方法在双目摄像机的视野内识别出目标物体，并计算出目标物体在机器人空间坐标系中的坐标值，完成目标物的定位，具体步骤如下：
①、由于像素在RGB颜色空间受光源种类、光照强度等因素的影响较严重，因此在HSV颜色空间内完成对目标物体的识别；在实验前要离线学习并记录目标物体颜色的HSV阈值信息；
②、颜色空间的转换：由于采用的双目摄像机输出RGB颜色空间内的颜色，因此需要完成像素从RGB颜色空间到HSV颜色空间的转换；从RGB到HSV的转换相当于做了一个解耦的工作，具体的转换公式如下式(1)所示：

上式（1）中h代表HSV像素空间中的H部分，s代表HSV像素空间中的S部分, v代表HSV像素空间中的V部分, R代表RGB像素空间中的R部分, G代表RGB像素空间中的G部分, B代表RGB像素空间中的B部分；
③、目标物体的识别：机器人在得到寻找目标物体的指令后，就会不断通过双目摄像机采集图像，实时地将每一帧图像像素的RGB值转换成HSV值，对比通过离线学习记录的目标物体的HSV阈值，如果目标物体在该帧图像中，就提取出目标物体的轮廓，如果目标物体不在该帧图像中就转动机器人头部继续寻找目标物体；
④、目标物体的定位：机器人识别出目标物体后，首先通过图像处理得到目标物体在图像中的轮廓，计算出目标物体轮廓的中心在图像坐标系中的坐标值；根据摄像机标定后得到的转换公式计算出目标物体在以双目右眼为原点的空间坐标系中的坐标值；然后，驱动底盘运动模块（6）使机器人旋转，使机器人正对目标物体方向，经过坐标系转换得到目标物体在机器人坐标系中的坐标值；
由于在HSV颜色空间内完成对目标物体的识别，能够减小目标物体颜色种类、环境光照强度因素的影响，提高了目标物体识别的成功率；在对目标物体的定位完成后，根据目标物体在机器人空间坐标系中的位置，决定下一步的动作；如果距离较远需要借助RFID导航系统自主到达目标物体所在区域；如果距离较近，机器人可直接走到目标物体旁边，完成对目标物体的抓取任务。
6.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤4）控制机器人通过导航系统自主到达目标物体所在区域，并在行进过程中借助壁障模块（4）躲避障碍物，其具体步骤如下：
①、在机器人底部安装RFID接收器，根据房间布局特点在地板上铺设无源RFID标签，为每个标签划分管辖区域，建立导航系统；将每个标签所管辖区域内物体的特征信息添加到导航系统数据库中，并建立从其中一个标签位置到达下一个标签位置的路径信息；
②、在机器人完成目标物体的定位后，根据目标物体的颜色特征信息在导航系统数据库中查找目标物体所在的区域，结合机器人当前所在的区域，记录机器人到达目标区域所要经过的标签ID，即机器人所要经过的路径；
③、机器人根据所在区域所属标签的指示信息，驱动底盘运动模块（6）自主到达下一个标签所在的位置，以此类推，到达目标物体所在区域的标签位置；在行走过程中，要实时处理机器人腹部和裙摆部传感器的信息，避开路径中的障碍物；
所述采用彩色图像分割的方法，即颜色识别法识别目标物体，因此在导航系统的数据库内仅记录了物体的颜色特征信息；由于房间内仅有独立的柱状障碍物，路况信息比较简单，机器人仅需要根据下一个标签的方向进行三次直角变向就可以顺利躲避障碍物，回到原来的路径。
7.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤5)为控制机械臂实现对目标物体的抓取：机器人定位到目标物体后，根据导航系统自主到达目标物体所在的区域，然后控制机械臂完成对目标物体的抓取任务，其具体步骤如下：
①、利用D-H方法对机器人的6+1自由度机械臂进行建模，得到机械臂模型的逆解公式，即得到使机械臂末端到达空间中指定位置机械臂各个关节需要转动的角度；
②、机器人根据导航系统自主到达目标物体所在的区域后，还需要经过所述步骤3)的过程，重新识别出目标物体，并计算出目标物体在机器人坐标系中的坐标值；
③、根据计算得到的坐标值，通过驱动底盘运动模块（6）使机器人行走到目标物体所在的位置；根据实验过程中积累的经验，机器人与目标物体的距离在一定范围之内时，得到的目标物体的坐标值最精确，离线学习并记录达到这个距离时得到的图像中目标物体轮廓大小的阈值；在机器人靠近目标物体时，不断调整机器人与目标物体的距离，使得到的图像内目标物体的轮廓大小在阈值范围之内；在这种情况下，计算得到目标物体在机器人坐标系中的坐标值；
④、机器人如果完成抓取目标物体的任务，需要使机械臂末端夹持器的坐标值等于目标物体的坐标值；将该坐标值代入机械臂模型逆解公式，得到使夹持器完成对目标物体的抓取时机械臂各个关节需要转动的角度；夹持器到达目标物体位置后，驱动夹持器闭合，完成对目标物体的抓取任务；
由于机器人夹持器上没有安装压力传感器，因此机器人只能在开环控制模式下抓取指定宽度的物体；在机器人顺利抓取到目标物体后，根据需要指示机器人进行下一步动作，比如回到起始点、或者把目标物体放到指定位置。

暂无