基于视觉测量的机械臂运动路径补偿方法

1.一种基于视觉测量的机械臂运动路径补偿方法，包括如下步骤：
1)在机械臂末端执行器或者在负载附近便于操作的位置设置双目视觉传感器，双目视觉传感器与机械臂的控制系统进行电连接；
2)采用双目视觉传感器标定方法，对两个位置相对固定的视觉传感器相对位置相互姿态进行标定，确定一个视觉传感器相对另一个视觉传感器的相对坐标位置与角度，即得到双目视觉测量系统的内部参数，进而得到双目视觉测量系统的双目测量坐标系，根据此坐标系，对应得到被测点在其中的坐标值；
3)采用机械臂手眼标定的方法，确定双目测量坐标系相对于机械臂第六轴即机器人末端所在关节的位置和角度关系；
4)测量航天器相对机械臂的距离，将此距离值输入机械臂控制系统，由控制系统驱动机械臂末端运动至航天器附近；
5)通过机械臂所携带的双目视觉传感器对航天器表面特征点进行拍照测量；根据步骤
2)、3)已标定的相对关系，经过坐标转换计算得到航天器表面特征点在机械臂的基坐标系即与机械臂基座固连的空间直角坐标系下的坐标值；
6)在航天器的理论三维模型中，读取航天器表面特征点在航天器坐标系下的理论坐标值，根据航天器表面特征点在航天器坐标系下的理论坐标值与第5)步实际测量的航天器表面特征点在机械臂基坐标系下的实际坐标值，对模型位置进行拟合，得到航天器坐标系在机械臂基坐标系下的三个坐标值及三个角度值，即修正航天器理论模型相对机械臂固定基座的实际位置；
7)在航天器坐标系相对机械臂基坐标系的相对位置明确的情况下，与航天器坐标系固定在一起的航天器内部的各仪器设备的突出物即障碍物在机械臂基坐标系下的坐标值也随之确定，即对机械臂运动路径附近航天器内部的难以测量的突出物实际位置进行修正；
8)根据修正的航天器位置和突出物的位置，重新对机械臂路径进行规划，去除与障碍物干涉的路径，修正不干涉的路径，使机械臂末端既可将工件运送至目标位置，又避免了运动过程机械臂各关节与航天器突出物间的干涉；
9)当机械臂末端进入航天器内部后，重复以上步骤5)-8)，对航天器内部的第一次观察不到的运动路径附近的内部特征点或突出点，进行再次双目测量，修正内部突出物的位置，对机械臂进一步探伸进航天器内部的路径进行修正；反复迭代以上过程，直到双目视觉传感器观测到工件的待装位置，识别待装位置的特征点即安装的定位销孔或螺钉孔，修正最后一步运动路径，驱动工件至目标位置结束装配。
2.如权利要求1所述的补偿方法，其中，所述机械臂是串联式的机器人，具有6个自由度。
3.如权利要求1所述的补偿方法，其中，所述双目视觉传感器为CMOS工业相机。
4.如权利要求1-3任一项所述的补偿方法，步骤4)中，采用米尺测量工具进行测量。
5.如权利要求1-3任一项所述的补偿方法，其中，航天器表面特征点为航天器表面的圆孔中心或矩形的棱角。
6.如权利要求1-3任一项所述的补偿方法，其中，所述机械臂基坐标系为与机械臂基座固连的空间直角坐标系，机械臂末端的运动在机械臂基坐标系中进行定义。
7.如权利要求1-3任一项所述的补偿方法，其中，机械臂基坐标系与双目测量坐标系的转换关系易通过几何连接关系及机械臂当前的空间姿态进行确定，并将目标特征点信息由双目视觉传感器自身坐标系换算至机械臂基坐标系下。

基于视觉测量的机械臂运动路径补偿方法\n技术领域\n[0001] 本发明属于机械臂控制技术领域，具体涉及一种利用视觉测量对机械臂运动路径的补偿方法。\n背景技术\n[0002] 航天器研制具有单件小批量的特点，目前的装配作业大量依赖人工操作，并辅以吊具、升降车、架梯等简易工具进行不同航天器的装配工作。这种装配方式存在一定的局限性：对于大纵深零部件的安装，由于操作人员臂展的限制，难以完成安装工作；对于大质量的零部件，人工长时间托举，容易造成疲劳，影响操作的安全性；对于操作空间狭小的情况，人工托举难以在狭小的空间对被安装件进行位姿调整，且易与周围物体发生磕碰；对于安装精度要求较高的零部件，人工安装难以控制安装精度，调整时间长。\n[0003] 在装配作用中，通常会使用机械臂(或称工业机器人，如市场上常见的ABB机器人、库卡机器人)，机械被具有载重量大、定位精度高、响应速度快等特点，应用于航天器装配可以实现大尺寸、大重量零部件的位姿保持与调整，无需人力进行托举；与人工调整相比，机械臂具有较高的运动定位精度，可以对被安装件进行高精度的位姿调整，将被安装件快速调整到位，缩短安装时间；对于狭小空间的装配操作，可以通过机械臂的运动控制避免被安装件与周围物体磕碰，保证操作的安全。因此，采用机械臂对航天器进行装配，可以提高航天器总装的装配质量、装配效率和安全性。\n[0004] 目前，机械臂在工业应用中所采用的控制方式主要有以下几种：\n[0005] 1)预先通过编程或示教确定机械臂的运动路径，机械臂在生产操作中不断重复完成相同的动作。\n[0006] 然而这种装配方式需要如下工况：机械臂的工位固定，待装配产品的装配工位固位，待装配产品形状一致，每个被装配的工件一致。因此，每次装配时机械臂的运动的目标相同，路径相同，不断重复即可，适用于批量较大产品的生产或搬运，如汽车生产线中的机械臂。而航天器属于单件小批量生产不适合这种 方式：航天器需要在不同试验在不同的工位间转运，因此航天器的工位不固定；每个航天器形状各不相同，即使同一航天器根据试验要求不同，航天器表面及内部的状态不同，因此，每次装配的条件不同；航天器基本极少两个一样的工件，极少有相同的工件装配不同的航天器，因此每个工件的形状各不相同。因此，这种固定路径式的控制方式不适合航天器装配。\n[0007] 2)通过视觉引导机械臂的运动，即采用图像传感器采集机械臂周围环境的图像，系统自动对图像中的目标进行识别定位，据此控制机械臂的运动。\n[0008] 然而这种装配方式需要如下工况：机械臂的工位固定，待装配产品形状基本一致且简单易于识别，待装配产品周围无障碍物，只需要控制机械臂末端可达即可，对到达的过程中的运动路径并无避障要求。因此，这种控制方式适用于目标简单易于识别，目标大体位置明确，中间运动过程并无严格要求的生产中，通常被应用在自动化焊接系统中。而航天器属于单件小批量生产不适合这种方式：除航天器的工位不固定、每个工件均不相同外；航天器工件通常安装航天器的内部，周围有各种复杂的仪器设备和电缆，构成了机械臂装配路径上的障碍物，安装环境复杂；此外，需要安装在航天器内部的目标位置，在航天器外部难以直接观察到，视觉传感器难以直接观测和识别目标位置。因此，这种视觉引导的控制方式不适合航天器装配。\n[0009] 3)通过示教器、操纵杆等控制终端手动控制机械臂的运动。\n[0010] 这种方式通常被用于机械臂自身的调试，或远程控制机械臂完成相关操作。此类操作的装配质量受操作人员的个人技术水平，工作状态影响较大。且航天器内部仪器设备精密，对装配精度要求较高，人工操作精度不易量化和保证；同时航天器内部仪器设备较为贵重，且安装空间狭小，若发生碰撞等损伤除产生巨额经济损失外，还将严重影响型号研制进度和发射日期，对操作的安全性要求非常高。因此，这种控制方式存在因人为因素导致航天器产品碰伤或擦伤的风险。不适合航天器装配高可靠性安全性的装配要求。\n发明内容\n[0011] 针对如上所述的技术问题，本发明从航天器装配的需求出发，结合机械臂常用的控制方式，提出一种利用视觉测量对机械臂运动路径补偿的方法，用于视觉引导机械臂的运动。采用这种方法，可以对航天器实际位置与理想模型理论 位置间存在误差进行识别，对机械臂运动路径进行补偿，使位置及路径控制更为精确，达到安全进出狭小空间的控制效果。本发明的测量方法适用范围广，可用于不同型号，不同装配工况的航天器总装过程。\n[0012] 因此，本发明的目的在于提供一种基于视觉测量的机械臂运动路径补偿方法，旨在通过视觉测量识别机械臂、航天器、待装位置三者位置与理论模型中理论位置存在差异，补偿机械臂路径规划偏差，达到安全进出狭小空间的控制效果，满足航天器高精度高可靠性的装配需求。\n[0013] 为达到以上目的，本发明采用的技术方案是：\n[0014] 一种基于视觉测量的机械臂运动路径补偿方法，包括如下步骤：\n[0015] 1)在机械臂末端执行器或者在负载附近便于操作的位置设置双目视觉传感器，双目视觉传感器与机械臂的控制系统进行电连接；\n[0016] 2)采用双目相机标定方法，对两个位置相对固定的相机相对位置互姿态进行标定，确定一个相机相对另一个相机的相对坐标位置与角度，即得到双目视觉测量系统的内部参数，进而得到双目测量系统的测量坐标系，根据此坐标系，对应得到被测点在其中的坐标值；\n[0017] 3)采用机械臂手眼标定的方法，确定双目测量坐标系与机械臂第六轴之间的位置关系即双目测量坐标系相对于机械臂第六轴(机器人末端所在关节)之间位置和角度关系；\n[0018] 4)测量航天器相对机械臂的距离，将此距离值输入机械臂控制系统，由控制系统驱动机械臂末端运动至航天器附近；\n[0019] 5)通过机械臂所携带的双目视觉传感器对航天器的特征点进行拍照测量；根据步骤2)、3)已标定的相对关系，经过坐标转换计算得到目标特征点在机械臂的基座坐标系即与机械臂基座固连的空间直角坐标系下的坐标值；\n[0020] 6)在航天器的理论三维模型中，读取航天器表面的特征点在航天器坐标系下的理论坐标值(如Pro/E模型中的测量功能)，根据目标航天器的理论模型特征点在航天器坐标系下的理论坐标值与第5)步实际测量的特征点在机械臂基坐标系下的实际坐标值，对模型位置进行拟合，得到航天器坐标系在机械臂基坐标系下的三个坐标值及三个角度值(即6个自由度)，即修正航天器理论模型相对机械臂固定基座的实际位置；\n[0021] 7)在航天器坐标系相对机械臂基坐标系的相对位置明确的情况下，与航天器坐标系固定在一起的航天器内部的各仪器设备的突出物即障碍物在机械臂基坐标系下的坐标值也随之确定，即对机械臂运动路径附近航天器内部的难以测量的突出物实际位置进行修正；\n[0022] 8)根据修正的航天器位置和突出物(障碍物)的位置，重新对机械臂路径进行规划，去除与障碍物干涉(即碰撞)的路径，修正不干涉的路径，使机械臂末端既可将工件运送至目标位置，又避免了运动过程机械臂各关节与航天器突出物间的干涉；\n[0023] 9)当机械臂末端进入航天器内部后，重复以上步骤5)-8)，对航天器内部的特征点(即第一次观察不到的运动路径附近的内部特征点)或突出点，进行再次双目测量，修正内部突出物(障碍物)的位置，对机械臂进一步探伸进航天器内部的路径进行修正；反复迭代以上过程，直到双目视觉传感器观测到工件的待装位置，识别待装位置的特征点(即安装的定位销孔或螺钉孔)，修正最后一步运动路径，驱动工件至目标位置结束装配。\n[0024] 上述技术方案中，所述机械臂是串联式的机器人，通常具有6个自由度，也可直接采用成熟的工业机器人。\n[0025] 上述技术方案中，所述双目视觉传感器是一种业内人员熟知的工业相机，容易购买获得，例如CMOS工业相机。\n[0026] 上述步骤4)中，采用米尺测量工具进行测量。\n[0027] 其中，特征点为航天器表面的圆孔中心、矩形的棱角等简单规则的几何图形特征。\n[0028] 上述技术方案中，所述机械臂基坐标系为与机械臂基座固连的空间直角坐标系，机械臂末端的运动通常在机械臂基坐标系中进行定义。\n[0029] 其中，机械臂基坐标系与双目视觉传感器自身测量坐标系的转换关系易通过几何连接关系及机械臂当前的空间姿态进行确定，进而可以将目标特征点信息由双目视觉传感器自身坐标系换算至机械臂基坐标系下。\n[0030] 与现有方法相比，本发明提出的机械臂控制方法具有下列优点：\n[0031] 1)充分利用了机械臂的灵活性，搭载双目视觉传感器，对航天器内不易直接测量的特征点进行测量，并结合航天器理论模型，对航天器的实际位置进行修 正，解决了航天器工位不固定的应用难题；\n[0032] 2)充分利用航天器理论三维模型，对无法直接测量的内部对复杂环境进行间接的测量，并进行了路径规划，解决了航天器装配工况各不相同、内部装配环境复杂且难以测量的难题；\n[0033] 3)通过对航天器内部一步步的测量以及机械臂的路径的反复修正，使得机械臂运动更安全更可靠，避免与周围环境发生碰撞，安全性更高。\n[0034] 本发明提出的方法将机械臂稳定可靠、精度高的特点，双目视觉高精度，便于搭载的特点与机械臂控制系统内计算机模型拟合路径修正相结合，有效解决航天器复杂工况的装配难题。\n附图说明\n[0035] 图1是本发明的基于视觉测量的机械臂应用于航天器装配的操作示意图。\n[0036] 其中，1－机械臂、2－双目视觉传感器、3－被装配工件、4－末端执行器(即夹具)、\n5－航天器表面特征点、6－航天器突出物特征点、7－航天器工件目标装配位置特征点、8－航天器。\n具体实施方式\n[0037] 下面结合附图对本发明的基于视觉测量的机械臂运动路径补偿方法进行进一步说明，该说明仅仅是示例性的，并不旨在限制本发明的保护范围。\n[0038] 参见图1，图1显示了本发明的基于视觉测量的机械臂应用于航天器装配的操作过程，其中，双目视觉传感器2安装在机械臂1的末端执行器4，被装配工件3被末端执行器4夹持，被装配工件3的目标装配位置在航天器8的内部目标装配位置特征点7处，沿途机械臂1要深入航天器8内部，并避免与航天器突出物特征点6发生碰撞。航天器表面特征点5可通过双目视觉传感器2进行观测。本发明的补偿方法的实施例如下，包括以下步骤：\n[0039] 1)在机械臂1末端执行器4或者在被装配工件3附近便于操作的位置设置双目CMOS工业相机(业内人员熟知的工业相机，容易购买获得)，双目视觉传感器2与机械臂1的控制系统(图中未给出，为常用的计算机控制系统)进行电连接；\n[0040] 2)采用业内人员熟知的标定方法，例如Zhang Z.Y.提出了基于2D平面靶标的摄像机标定方法，对两个位置相对固定的相机的相对位置相互姿态进行标 定，确定一个相机相对另一个相机的相对坐标位置与角度，即得到双目视觉测量系统的内部参数，进而得到双目测量系统的测量坐标系(根据此坐标系，可以得到被测点在此坐标系下的坐标值)；\n[0041] 3)采用两步法的机械臂手眼标定的方法，确定双目测量坐标系与机械臂第六轴之间的位置关系，也就是双目测量坐标系相对于机械臂第六轴之间位置和角度关系。其中，本文所述第六轴指市场通用的自由工业机器人从基座数起第六关节，即机器人末端所在关节。各轴的位置由机器人自身自带编码器读取，对于机器人任何一个势态，机器人控制系统均可通过各轴编码器及自身结构尺寸确定机器人末端相对机器人基座坐标系的位置与角度关系。因此，确定了双目测量坐标系相对于机械臂第六轴之间的位置和角度关系，即可确定双目测量坐标系相对于机械臂基座坐标系之间的位置和角度关系；\n[0042] 4)采用米尺等简单测量工具，测量航天器8相对机械臂1的位置，将此位置输入机械臂控制系统，由控制系统驱动机械臂末端运动至航天器附近。\n[0043] 5)通过机械臂1所携带的双目视觉传感器2对航天器8表面的圆孔中心、矩形的棱角进行拍照测量；根据步骤2)、3)的标定的相对关系，经过坐标转换可以计算得到目标特征点在机械臂基坐标系(与机械臂基座固连的空间直角坐标系)下的坐标值。\n[0044] 6)在航天器设计文件中的理论三维模型中，通过Pro/E模型中的测量功能读取航天器表面特征点5在航天器坐标系下的理论坐标值。根据航天器表面特征点5在航天器坐标系下的理论坐标值与第5)步实际测量的航天器表面特征点5在机械臂基坐标系下的实际坐标值，对模型位置进行拟合(拟合的方法为业内人员熟知的成熟方法)，得到航天器坐标系在机械臂基坐标系下的三个坐标值及三个角度值(即6个自由度)，即修正航天器理论模型相对机械臂固定基座的实际位置；\n[0045] 7)由于航天器坐标系相对机械臂基坐标系的相对位置已经明确，与航天器坐标系固定在一起的航天器内部的各仪器设备的航天器突出物特征点(即障碍物)6在机械臂基坐标系下的坐标值也随之确定，即对机械臂运动路径附近的航天器内部的难以测量的航天器突出物特征点6实际位置进行修正；\n[0046] 8)根据修正的航天器8位置和航天器突出物特征点(障碍物)6的位置，重 新对机械臂1路径进行规划，去除与障碍物干涉(即碰撞)的路径，修正不干涉的路径，不但使机械臂末端4可将工件运送至目标位置，而且避免运动过程机械臂各关节与航天器突出物6间的干涉；\n[0047] 9)当机械臂末端4进入航天器1内部后，重复以上步骤5)～8)，对航天器内部的航天器突出物特征点6(即第一次观察不到的运动路径附近的内部特征点)或突出点，进行再次双目测量，修正内部突出(障碍物)的位置，对机械臂进一步探伸进航天器内部的路径进行修正；反复迭代以上过程，直到双目视觉传感器可以观测到工件的待装位置，识别待装位置的特征点7(即安装的定位销孔或螺钉孔)，修正最后一步运动路径，驱动工件至目标位置结束装配。\n[0048] 尽管上文对本发明的具体实施方式给予了详细描述和说明，但是应该指明的是，我们可以依据本发明的构想对上述实施方式进行各种等效改变和修改，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，均应在本发明的保护范围之内。