基于双目视觉的人机交互式机械手控制系统和控制方法

1.一种基于双目视觉的人机交互式机械手控制系统，其特征在于，它由以下四部分组成：实时图像采集装置、激光引导装置、可编程的控制器以及驱动装置；其中：
(1)所述的实时图像采集装置由两个无线摄像机装置或USB摄像头组成；
(2)所述的激光引导装置是由一个佩戴架和设在佩戴架上的迷你型激光器构成；
(3)所述的可编程的控制器由双目立体视觉模块、三维坐标系变换模块、逆向反解机械手关节角模块和控制模块组成；其中：
(4)双目立体视觉模块用于对激光器打在无线摄像机装置或USB摄像头视野的红色激光点进行检测识别和定位；
(5)三维坐标系变换模块用于将双目立体视觉模块测得的摄像机光心坐标系与激光点坐标系之间的关系换算成机械手始端的基础坐标系与目标激光点世界坐标系之间的关系；
(6)逆向反解机械手关节角模块是一个已训练好的人工神经网络模型，其主要作用是，当机械手系统获得随机工作目标在基础坐标系的三维空间坐标值后，将该三个坐标值和某种欠定义的代偿姿态描述作为网络模型的输入，以此来快速、并行地得到机械手各关节的某种可行的求解值；该模块的具体训练方法为：
第一步、根据随机工作目标在操作空间的三维坐标值，画出多自由度上假肢的结构坐标关系图；
第二步、根据多自由度上假肢的结构坐标系关系，将其各种参数列表，表中包括：
上假肢各个连杆的扭转角度数αn
上假肢各个连杆的公垂线长度an，
上假肢相邻连杆的间距dn；
各个关节变量及其工作范围，即转动角度范围θn；
cos(αn)，sin(αn)；
第三步：根据上述列表中的αn、αn、dn、θn、cos(αn)、sin(αn)参数，列出各杆件的A矩阵和T矩阵；其中A矩阵描述的各个杆件坐标系相对于其前面一坐标系的位置与姿态，T矩阵描述的是假肢各个杆件末端的坐标系在操作空间的位置与姿态，以及假肢的手部在操作空间的位置与姿态；
第四步：按照参数列表中各个关节的取值范围、A矩阵和T矩阵，对假肢的关节空间进行扫描，在扫描关节空间过程中，将第i次扫描的关节空间的矢量值写成qi，其中i＝1，
2…，n；
第五步：将手部操作空间位置与姿态的描述简化整理写成pi(i＝1，2…，n)，简化整理方法为：
即：在pi(i＝1，2…，n)中只保留了手部Z5轴姿态和手心位置的描述；
第六步：经过足够多的n次扫描后，使得假肢或机器人各关节的各种组合空间都能被离散化扫描到，使假肢在操作空间的位置与姿态通过离散化获得；将前述的qi(i＝1，2…，n)数据整理组成集合{Q}，将前述的pi(i＝1，2…，n)中的数据整理组成集合{P}；集合{Q}将用来作为训练人工神经网络的目标样本集；集合{P}将被用来作为训练人工神经网络的输入样本集；
第七步：用集合{Q}作为训练人工神经网络的目标样本集，用集合{P}作为训练人工神经网络的输入样本集，对人工神经网络进行训练，得到训练好的人工神经网络求解模型；当人工神经网络的实际输出为 时，用误差{e}去训练人工神经网络，其中：
训练的结果使得{e}→{0}；
第八步：将多自由度上假肢关节空间参数求解模型的输入向量pn表示为：
第九步：将pn作为输入向量输入前述的人工神经网络求解模型，迅速得到多自由度上假肢关节空间的运动角度；
(7)控制模块用于发出跟踪指令、抓取目标指令、松开目标指令、手部抬升指令、手部下降指令、示教目标指令和停止指令；
(8)所述的驱动装置包括驱动器和驱动机械手的电机；当驱动器接收到控制模块发送来的动作指令时，会即刻驱动相应的电机运转，来对机械手各个关节角进行调控，最终完成对机械手的控制。
2.一种如权利要求1所述的基于双目视觉的人机交互式机械手控制系统的控制方法，其特征在于，步骤如下：
第一步：当操作人员需要对某目标进行操作时，打开控制系统开始运行，图像采集装置开始实时采集图像数据；
第二步：控制模块发出跟踪指令，操作人员打开激光器，人为地将激光束投射到需要操作的目标物体上，对目标物体进行定位，为机械手手部准确到达目标物体位置做好了铺垫；
如果目标物体发生了运动，此时，操作者能够人为地摆动激光引导装置，使激光点一直打在目标物体上，与目标随动，实现了人机交互跟踪目标物体；
第三步：双目立体视觉模块对激光器打在目标物体上的红色特征激光点进行颜色识别和三维信息定位，即对识别出的红色特征激光点进行三维坐标测量，计算出目标物体上的激光点相对于左摄像机光心点的三维坐标，并将三维坐标信息反馈给三维坐标系变换模块；
第四步：三维坐标系变换模块将反馈来的三维坐标转换为随机工作目标在基础坐标系中的三维空间坐标值，并将该三维空间坐标值反馈给控制模块和逆向反解机械手关节角模块；
第五步：逆向反解机械手关节角模块得到来自三维坐标系变换模块求得的随机工作目标在操作空间的三维信息时，将该三个坐标值和某种欠定义的代偿姿态描述作为网络模型的输入，以此来快速、并行地得到机械手各关节的某种可行的求解值，驱动器驱动各个关节电机调整到相应的角度，使机械手系统手部到激光点所在的目标位置处；
第六步：系统操作人员通过控制模块发出动作指令，由控制模块将指令发送给驱动装置，由驱动装置完成抓取目标、松开目标、假手抬升、假手下降、示教目标位置相关操作。

基于双目视觉的人机交互式机械手控制系统和控制方法\n技术领域\n[0001] 本发明涉及康复辅助器械、机器人技术等领域的机械手控制技术，尤其涉及机械手采用人机交互式的控制技术，是一种基于机器视觉识别定位的智能控制和高效方法。\n背景技术\n[0002] 随着科学技术的发展进步，机械手的应用领域逐渐延伸。机械手不仅广泛应用于传统工业，如建筑、采矿、冶金、石油、化工、船舶等领域,而且已扩大到核能、航空航天、生化等高科技领域，同时也开始应用于家庭保健,医疗护理等服务业领域，如智能上假肢、助老助残机械手等等。当前，如何方便灵活的操控机械手是机械手控制研究领域中的一个非常重要的课题内容。如今国际上用于控制机械手的仿生控制信号主要有与人体自身相关的眼动信号、脑电信号、语音信号、机电信号以及神经信号等等，其中对机械手采用的控制方式，都有很多不足之处，如控制精度低、操作繁琐复杂、非人性化应用等等。\n[0003] 所谓对机械手的控制方式一般是指对机器人的控制方式。目前，按照机器人工作目标状态的不同，分为结构化工作环境和非结构化工作环境两种模式。\n[0004] 工作在结构化工作环境中的机器人，由于其工作目标的位置与姿态是固定不变的，其工作内容也是固定不变的，所以一般都是按照事先编制好的程序对机器人进行控制，完成一些程序化的操作工作，如工作在焊接生产线上的机器人等。与本发明有关的技术是工作在非结构化环境的机器人。\n[0005] 工作在非结构化环境的机器人，其工作目标的位置与姿态往往是随时变化的，目前，这种机器人常见的工作情形有如下3种：\n[0006] 1．机器人的工作位置是固定不变的，这时可以通过某种机器人视觉系统（如双目视觉系统）。来实时检测工作目标的位置与姿态相对机器人坐标系的变化，而后根据工作目标的位置与姿态的不同，来调整机器人手部的运动位置与姿态，并按照规划好的工作路径或最终目标位置来对物体进行操作，人员不参与其已经设定好的工作过程，如工作在食品包装生产线上的机器人等。\n[0007] 2．机器人工作位置虽是变化的，但是可以对工作目标的位置与姿态事先进行检测，在其工作过程中，机器人与工作目标的位置关系相对稳定不变，这时，只需对机器人控制的某些参数做出相应的调整即可，确定好相关参数后，机器人就可以按照事先编制好的程序对机器人进行控制，完成那些程序化的操作工作，人员不参与其已经设定好的工作过程，如喷射混凝土机器人或凿岩机器人等。\n[0008] 3．机器人工作位置是变化的，而且又无法对其工作对象的位置与姿态进行准确检测，目前多采用主从式操作方式对机器人进行控制，即，通过对“主手”手柄或按键的操作，来随时调整“从手”（即实际操作工作的机械手）手部的运动位置，来使得机器人对目标实现操作，人员密切参与其操作过程，如主从式操作的防暴机器人等。\n[0009] 在上述的第3种工作模式中，怎样调整“主手”状态，以使得“从手”准确到达目标位置，全凭操作者的目测与经验来控制，这样的控制方式有以下不足：\n[0010] （1）.操作者必须操控“主手”的所有关节去动作，以使得“从手”做出相应的动作，整个控制过程复杂而且冗长。\n[0011] （2）.由于操作者目测的误差及对“主手”操作幅度不易精确控制，所以在调整“主手”过程中，往往会使得“从手”移动“不到位”或“移过位”，需要多次调整才能使得“从手”达到要求位置，很不方便。\n[0012] （3）.这种操作方式不易使得手部沿着某一随机路径进行行走、或完成下棋一类活动。\n[0013] 为了解决机械手在第3种工作模式中存在的难题，又能使得人员可以随时参与操作过程中，提出了本发明内容。\n[0014] 本发明申请人曾经申请了一种“多自由度上假肢关节空间参数的求解方法”（公开号CN101953727A，申请号201010280499.8），该方法可以在只知道工作目标的操作空间位置，而不知道所要求手部姿态情形下，对多自由度上假肢或机器人的关节空间参数获得某种可行解，以使其能完成指定的操作任务。\n发明内容\n[0015] 本发明的目的是针对现有的“主从式”机械手的操作所存在的不足，为了让机械手操控者更加方便灵活、高效且人性化的作业，结合现有实现多自由度假肢对随机目标进行空间定位的方法和多自由度上假肢关节空间参数的求解方法，提出了一种人员参与性强、人机交互效果好、可以在激光器的引导下移动手部位置的一种新型机械手控制系统和控制方法。\n[0016] 为达到上述目的，本发明的机械手控制系统由以下四部分组成：实时图像采集装置、激光引导装置、可编程的控制器以及驱动装置；其中：\n[0017] 所述的实时图像采集装置由两个无线摄像机装置或USB摄像头组成，由此形成机械手所谓的虚拟双目——“眼睛”，这双“眼睛”用于同步实时采集机械手所控范围的左右两帧图像，它具有随动性，为人机交互式控制机械手提供跟踪视野。\n[0018] 所述的激光引导装置是由一个佩戴架和设在佩戴架上的迷你型激光器构成，该装置是为双目立体视觉模块中的颜色识别模块提供红色的特征点而设立的。激光引导装置将实时图像采集模块所提供图像中的目标物体标注出来，然后激光点与运动的目标物体进行相应的随动动作；激光器打出的红色激光点必须在两个无线摄像机共同识别的区域中，否则会影响双目立体视觉系统的正常运行。\n[0019] 所述的可编程控制器由双目立体视觉模块、三维坐标系变换模块、逆向反解机械手关节角模块和控制模块组成；其中：\n[0020] 双目立体视觉模块用于对激光器打在无线摄像机装置视野的红色激光点进行检测识别和定位。激光点是作为无线摄像机视频流中一帧帧图像上的特征点，用于基于OpenCV函数库开发的双目立体视觉系统进行红色特征点识别，然后再对识别出的激光点进行三维坐标测量。\n[0021] 三维坐标系变换模块用于将双目立体视觉系统模块测得的摄像机光心坐标系与激光点坐标系之间的关系换算成机械手始端O点的基础坐标系与目标激光点世界坐标系之间的关系。\n[0022] 逆向反解假肢关节角模块是一个已训练好的人工神经网络模型，其主要作用是，当机械手系统获得随机工作目标在基础坐标系的三维空间坐标值后,将该3个坐标值和某种欠定义的代偿姿态描述作为网络模型的输入,以此来快速、并行地得到机械手各关节的某种可行的求解值，按照这些求解值来转动各个关节的角度，就可以将机械手的手部中心放置到激光点指示的位置的某个高度附近。其工作原理如现有发明专利“多自由度上假肢关节空间参数的求解方法”（公开号CN101953727A，申请号201010280499.8）所述。由此可知，当三维坐标变换模块将目标物体的三维信息传入后，所建模型便会立刻逆向反解求出机械手各关节可行的关节角度，最终假手便得以顺利到达目标物体所在位置。\n[0023] 控制模块用于发出跟踪指令、抓取目标指令、松开目标指令、手部抬升指令、手部下降指令和示教目标指令。\n[0024] 所述的驱动装置包括驱动器和驱动机械手的电机；当驱动器接收到控制模块发送来的动作指令时，会即刻驱动相应的电机运转，来对机械手各个关节角进行调控，最终完成对机械手的控制。\n[0025] 本发明控制系统的控制方法如下：\n[0026] 第一步：当操作人员需要对某目标进行操作时，打开控制系统开始运行，图像采集装置开始实时采集图像数据；\n[0027] 第二步：控制器发出跟踪指令，操作人员打开激光器，人为地将激光束投射到需要操作的目标物体上，对目标物体进行定位，为机械手手部准确到达目标物体位置做好了铺垫；如果目标物体发生了运动，此时，操作者可以人为地摆动激光引导装置，使激光点一直打在目标物体上，与目标随动，这样一来实现了人机交互跟踪目标物体；\n[0028] 第三步：双目视觉识别定位模块对激光器打在目标物体上的红色特征激光点进行颜色识别和三维信息定位，即对识别出的红色特征激光点进行三维坐标测量，计算出目标物体上的激光点相对于左摄像机光心点的三维坐标，并将三维坐标信息反馈给三维坐标系变换模块；\n[0029] 第四步：三维坐标系变换模块将反馈来的三维坐标转换为随机工作目标在基础坐标系中的三位空间坐标值，并将该三位空间坐标值反馈给控制模块和逆向反解假肢关节角模块；\n[0030] 第五步：逆向反解假肢关节角模块得到来自三维坐标系变换模块求得的随机工作目标在操作空间的三维信息时，将该3个坐标值和某种欠定义的代偿姿态描述作为网络模型的输入，以此来快速、并行地得到机械手各关节的某种可行的求解值，驱动器驱动各个关节电机调整到相应的角度，使机械手系统手部到激光点所在的目标位置处；\n[0031] 第六步：系统操作人员通过控制器发出动作指令，由控制模块将指令发送给驱动模块，由驱动模块完成抓取目标、松开目标、假手抬升、假手下降、示教目标位置相关操作。\n[0032] 上述机械手控制系统和方法采用提取双目图像中的色彩特征作为控制机械手的信号源，通过双目视觉系统和三维坐标系转换计算得出视野实时图像中红色特征激光点的三维信息，来控制机械手进行人机交互式的跟踪目标的操作。当发出跟踪指令发出时，机械手的手部就开始跟随激光点的移动而移动，当发出抓取目标指令时，机械手对目标进行抓取；当发出松开目标指令时，机械手松开目标；当发出手部抬升指令时，机械手手部垂直抬升一个设定的高度；当发出手部下降指令时，机械手手部垂直下降一个设定的高度；当发出示教目标指令时，机械手手部自动移动到某个示教好的目标位置。\n[0033] 这种控制方法能够弥补前述的工作在非结构化环境中的机器人第3种工作模式的不足，使得人员的控制紧张度大大降低，操作者的意愿更容易描述和实现，通过双目立体视觉系统识别定位激光器发出的光斑，机械手可以很方便地实现沿任意的路径进行移动，结合机械手的其它控制指令，容易控制机械手完成下棋、喝水、吃饭等动作。这种控制方法又明显不同于第1种和第2种工作模式，它增强了操作人员随时的参与性，而不仅是一个旁观者。该控制系统和方法系统结构简单、效率高、精度适合、成本低，控制方便，佩戴人性化，并且可非常有效地对运动中的目标物体进行实时跟踪抓取，应用领域十分宽广，如智能上假肢、排爆机器人、助老助残机械手等等。\n附图说明\n[0034] 图1为机械手控制系统的原理框图；\n[0035] 图2为实时图像采集装置和激光引导装置示意图，图中以残肢病人为例；\n[0036] 图3为坐标系转换与测量原理示意图；\n[0037] 图4为控制模块图；\n[0038] 图5为机械手控制方法实施例的程序框图。\n[0039] 图中：1-摄像机，2-激光器，3-假肢,4-杯子，5-桌子。\n具体实施方式\n[0040] 下面根据附图对本发明的实施做进一步说明。\n[0041] 图1为本发明系统原理框图，从图中可以看出包括四大部分，分别是：实时图像采集装置，激光引导装置，由双目立体视觉模块、三维坐标系变换模块、逆向反解机械手关节角模块和控制模块组成的可编程控制器，以及驱动模块。其中：\n[0042] 所述实时图像采集模块实施例如图2所示，它是放置在残肢病人的胸前A点处的双目摄像机1，作用一是为人机交互式控制机械手操作提供实时视频流，方便机械手控制者通过摄像机获得其前方的视野信息；二是组成双目立体视觉模块的“眼睛”，为系统的识别定位提供实时帧图像。在此，假定实时图像采集模块在A处相对胸腹是静止不动的，这两个摄像机经过标定后所得实验数据，取最适的距离并行放置在一起，构成双目立体视觉模块的眼睛；\n[0043] 所述激光引导装置实施例如图2所示，它是安置在人的左耳E点处的激光器2；其主要功能是定位跟踪放在桌子5上的杯子4，为双目立体视觉模块提供所需的特征光斑。在进行人机交互式操控机械手时，当操作者发现目标物体时，打开激光器，让激光射到目标物体上，此时激光器定位了目标,为机械手手部即假肢3手部准确到达目标物体位置做好了铺垫；如果目标物体发生了运动，此时，操作者可以人为地摆动激光引导模块，使激光点一直打在目标物体上，与目标随动，这样一来实现了人机交互跟踪目标物体。机械手置于残疾人的右臂处，即OGH段；\n[0044] 所述的双目立体视觉模块，是使用OPENCV函数库，通过VC编程，结合MFC所做的一个软件。通过上面所述的实时图像采集装置，获得摄像机装置实时同步拍摄的一定量的左右图像，然后经过软件对左右摄像机分别单独标定、双目标定后，获取左右摄像机的内部参数和外部参数；再者，软件对实时图像先后进行图像预处理、特征提取、图像立体匹配、三维恢复、深度确定等操作后，双目立体视觉模块对特征区域、特征色彩进行识别、跟踪、定位。所述的双目立体视觉模块和三维坐标系变换模块的功能实现，我们可以在系统软件里，看到实时输出目标物体相对肩关节点基础坐标系的世界坐标，即在图2中，F点相对O点的世界三维坐标。本双目视觉系统模块采用对特征红色激光光斑进行色彩识别、跟踪，当上面所述的激光引导模块的激光器对目标物体定位锁定后，实时图像采集装置的左右摄像机的视界里同时可见红色激光点F点（如图2所示）在左右同步的帧图中，当控制系统发出跟踪指令后，双目视觉系统模块立即对摄像机拍摄的区域内的同一激光点F点进行识别、跟踪、定位，同时该模块即刻输出红色激光光斑F点相对实时图像采集模块中左摄像机光心D点（如图3）为参考坐标系的世界三维坐标值，当目标物体运动且激光点也跟随时，双目视觉系统软件不断输出激光点F实时的相对世界三维坐标值，此时，F点的三维坐标值是不断发生变化的，它反映出激光点相对左摄像机光心的运动轨迹。最后，双目立体视觉系统将跟踪识别出的F点的三维世界坐标值反馈给人机交互式控制机械手系统中的三维坐标系变换模块。\n[0045] 所述的三维坐标系变换模块，主要作用是将双目立体视觉系统模块求出的左摄像机光心D点的三维坐标系和目标物体上激光点F点的三维坐标系之间位姿关系转换为基础坐标系和激光点F点三维坐标系之间的位姿关系，最后得出激光光斑F点相对基础坐标系原点O点的三维坐标。如图3所示，通过上面的描述可知，双目视觉系统模块已求得F点坐标系相对D点坐标系的位姿描述，并且求出F点相对D点的三维坐标值。左右摄像机光心线CD与OB平行，在此，忽略一些误差，则OBDC可看作大小不变的共面四边形。设四边形中的O、B、C、D四个点的坐标系方向向量一致，则D点坐标系相对O点坐标系只是做了姿态不变的纯平移变换，即改变的只是D点坐标系原点相对于参考坐标系O点坐标系的变化。假设F点相对D点坐标系的位态描述关系为矩阵T1，D点坐标系相对基础坐标系O点坐标系的关系为变换矩阵T2，则F点坐标系相对O点坐标系的位姿描述关系为：T=T1×T2，然后结合双目视觉模块求得的激光点F相对D点坐标系的三维信息，易求得F点相对基础坐标系O点的三维信息。最后，三维坐标系变换模块将目标物体F点的三维信息同时反馈给逆向反解机械手关节角模块和控制模块，以便控制系统实时获知目标物体的三维信息。\n[0046] 所述的逆向反解机械手关节角模块，利用神经网络对不完整信息独特的参数映射能力、快速并行信息处理能力和多输入输出的非线性特性，建立起一种特殊多自由度机械手关节空间参数的求解模型。其工作原理如已经申报的发明专利“多自由度上假肢关节空间参数的求解方法”（申请号201010280499.8）所述。当机械手系统获得来自三维坐标系变换模块求得的随机工作目标在操作空间的三维信息时，将该3个坐标值和某种欠定义的代偿姿态描述作为网络模型的输入，以此来快速、并行地得到机械手各关节的某种可行的求解值，让机械手系统手部到达目标物体所在的位置。当控制系统模块发出跟踪、抓取、抬手等指令后，机械手各关节会将按求得的关节角可行值扩大或缩小角度，最后实现机械手对目标的跟踪、抓取等动作。\n[0047] 如图4所示，所述的控制模块主要有跟踪、抓取目标、松开目标、手部抬升、手部下降、示教目标、停止七个控制指令。识别指令主要完成对控制指令的识别，确认指令后，向驱动模块发送识别的指令。当操控者人机交互式操作机械手系统时，通过控制模块发送所需的操作指令，机械手系统各个模块即刻按照相应的指令进行工作，来完成对机械手的控制。\n[0048] 1).当控制模块发出跟踪指令时，双目视觉系统模块和三维坐标系变换模块将识别定位出的激光点的三维信息实时反馈给控制系统，驱动模块则根据逆向反解机械手关节角模块返回的可行解值，不断调整机械手各个关节的角度，以使得机械手的手部中心不断调整位置，实现对激光器指定的目标物体进行跟踪，当激光光斑的指示的目标物体不停的移动时，机械手的手部就会跟随激光点的移动而移动。\n[0049] 2).当控制模块发出抓取目标指令时，驱动模块会通过驱动机械手的手部电机进行关节的闭合，来对目标物体进行抓取动作。\n[0050] 3).当控制模块发出松开目标指令时，驱动模块会通过驱动机械手的手部电机进行关节的张开，来对目标物体进行松开动作。\n[0051] 4).当控制模块发出手部抬升指令时，驱动模块则通过驱动机械手手部抬升一个设定的高度，来完成手部抬升动作。\n[0052] 5).当控制模块发出手部下降指令时，驱动模块会通过驱动机械手相关的关节电机运转，垂直下降一个设定的高度。\n[0053] 6).当控制模块发出示教目标指令时，驱动模块会驱动机械手相关关节电机运转，使得机械手手部移动到某个示教好的目标位置。在此，示教位置可以随意的设置，其个数不是唯一的，这主要是来满足一些特定的动作。\n[0054] 7).当控制模块发出停止指令时，驱动模块便立即驱动机械手各关节电机停止运转。而且，停止指令优先于其他指令的识别。\n[0055] 所述的驱动模块包括驱动器和驱动机械手的电机；当驱动器接收到控制模块发送来的动作指令时，会即刻驱动相应的电机运转，来对机械手各个关节角进行调控，最终完成对机械手的控制。\n[0056] 这种用双目视觉的人机交互式跟踪目标的机械手控制系统的控制方法实施例流程图，如图5所示，其包括以下几个步骤：控制系统开始运行；实时采集图像；目标跟踪命令检测；激光指示目标；双目识别定位激光点；目标世界坐标系变换；神经网络反解机械手关节角；人机交互式控制机械手；控制系统停止工作，详细步骤如下：。\n[0057] 首先，步骤1，控制系统开始运行。控制人发现环境中的随机目标物体并确认进行控制操作后，启动该人机交互式控制机械手的控制系统。\n[0058] 步骤2，实时采集图像。控制系统打开后，实时图像采集模块中的双目摄像机同步采集实时图像数据，既为控制人提供实时目标物体所在环境的视野信息，又为双目视觉系统的即时运行打好基础。该步骤在控制系统运行时，需要一直进行。\n[0059] 步骤3，目标跟踪命令检测。当该人机交互式控制机械手的系统运行时，系统时刻处于对控制模块是否发出目标跟踪指令的检测状态。如果没有接收到控制系统发出的目标跟踪指令，则机械手保持一定的初始状态，继续等待跟踪指令信息。若接收到目标跟踪指令，则进入步骤4。\n[0060] 步骤4，激光指示目标。当系统接收到目标跟踪指令后，进行人机交互控制机械手的操控人需要人工将激光引导模块的激光器打开，并将激光打在双摄像机视界内所要跟踪的目标物体上，为接下来步骤5的双目识别定位起到引导作用。\n[0061] 步骤5，双目识别定位激光点。当步骤4完成后，双目立体视觉系统模块立即对目标物体上的红色特征激光点进行色彩识别和三维信息定位，在此，所测的三维信息是激光点相对左摄像机光心而言的。双目视觉系统将输出的三维信息传送给目标世界坐标系转换模块，即进行步骤6。\n[0062] 步骤6，目标世界坐标系变换。双目视觉系统传入的激光点相对左摄像机光心的三维坐标值，经过矩阵变换公式换算为激光点相对基础坐标系原点的三维坐标值（在上面已有具体叙述）。然后，该坐标系变换模块将目标的三维信息反馈给控制系统和逆向反解机械手关节角模块。在此，将目标的实时三维信息反馈给控制系统是为了操作者更好的了解所跟踪目标物体的运动轨迹，于此同时，实时进行着步骤7的操作。\n[0063] 步骤7，神经网络反解机械手关节角。当步骤6得出的跟踪目标相对基础坐标系原点的三维坐标值反馈到逆向反解机械手关节角模块后，该模块立即获得机械手各个关节角的可行值，然后驱动器驱动各个关节电机运转调整到相应的角度，使得机械手手部运动至激光点所在的目标位置处。而且，机械手末端手部跟随着激光点一起运动。最终，以人机配合的方式实现了对目标物体的实时跟踪。\n[0064] 步骤8，人机交互式控制机械手。机械手控制系统经过以上几个步骤，实现了对随机目标的实时跟踪定位（如果使机械手继续保持跟踪目标状态，则跳至步骤3，进行步骤循环）。于此同时，再通过系统对机械手各关节位置信息的采集，以及对上述几个步骤所得控制输出量的信息反馈，操作者可通过控制指令进行人机交互式的控制机械手来实现相应的动作，如控制机械手实现抓取目标、抓取随机目标目标松开、手部抬起、手部放下、到达示教目标位置、停止机械手等等。\n[0065] (1).当操作者通过控制模块发出抓取目标指令时，驱动器则驱动跟踪目标物体的机械手手部关节电机运转，使机械手对目标物体进行抓取动作；\n[0066] (2).当操作者通过控制模块发出松开目标指令时，驱动模块便驱动手部关节张开；\n[0067] (3).当机械手手部处于抓取状态或张开状态时，操作者都可通过控制模块发送手部抬起指令、手部下降指令以及示教目标指令等来控制机械手手部完成抬起、下降以及到达示教目标位置的动作；\n[0068] (4).如果操作者在控制过程中发生误操作或是控制系统本身产生错误或是为了需要而须立即停止机械手所有动作，操作者此时可通过控制模块发出优先执行的停止指令，驱动器立即驱使所有关节电机立即停止运转，使得机械手保持一定状态。\n[0069] (5).如果再次接收指令，则继续执行相应动作，在没有接收到新指令时，机械手一直执行当前动作，直至收到停止指令。若操作者想停止机械手抓取目标、手部升降、示教目标位置等工作事件，则可以通过控制系统发送停止指令，然后令其执行返回初始状态指令，驱动器便立即驱动各关节电机运转调节各自角度值，直至各个电机角度返回最初的大小值。\n[0070] 步骤9，控制系统停止工作。通过以上八个步骤，本系统对双目视觉系统模块跟踪、定位、识别出的随机目标物体，进行了一系列的控制操作处理，如果想结束控制系统的工作，则退出循环，然后再断电。此时，需保证系统断电前机械手已处于初始化状态，否则，会对机械手系统有关模块造成不良的硬件影响。\n[0071] 以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体详细，但并不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求书为准。