基于三维模型与机器视觉的自动焊接方法

1.一种基于三维模型与机器视觉的自动焊接方法，其特征在于包括如下步骤：
1）将工件三维模型导入视觉处理软件，将工件三维模型生成与其对应的二维匹配图像库；所述二维匹配图像库包括以一个虚拟相机按照相对于X、Y、Z轴以设定的偏转角度范围获取工件的多个投影图形；所述投影图形与工件三维模型在虚拟相机坐标系中的位姿信息一一对应，所述位姿信息包含工件在虚拟相机坐标系中的三维坐标位置和工件相对于虚拟相机坐标系X、Y、Z轴的偏转角度；
2）以工业相机采集工件的实时图像，再将工件的实时图像与所述二维匹配图像库进行匹配，以确定工件在工业相机坐标系中的位姿信息；
3）根据标定的工业相机与机械臂之间的位姿信息和工件在工业相机坐标系中的位姿信息，通过坐标变换，确定工件在机械臂坐标系中的位姿信息；再结合焊缝在工件上的位姿信息确定焊缝在机械臂坐标系中的位姿信息；
4）根据焊缝在机械臂坐标系中的位姿信息对机械臂进行路径规划，使其能够无碰撞跟踪焊缝；
5）机械臂带动焊枪按照规划的路径进行焊接作业，利用在焊枪前面的结构光传感器沿着焊缝轨迹对焊缝进行精确定位，并将焊缝的精确位置反馈给计算机，对机械臂的运动路径进行调整，使机械臂所带焊枪精确对焊缝进行焊接，直至完成焊接。
2.根据权利要求1所述的基于三维模型与机器视觉的自动焊接方法，其特征在于：步骤
1）中工件三维模型为solidworks模型，工件三维模型导入视觉处理软件halcon，使用halcon中的函数inspect_object_model_3d程序将工件的三维模型生成对应的二维匹配图像库。
3.根据权利要求1或2所述的基于三维模型与机器视觉的自动焊接方法，其特征在于：
步骤2）中工业相机采集工件的实时图像时，使用halcon函数find_shape_model_3d将工件的实时图像与步骤1）中生成的二维匹配图像库进行匹配，以确定工件在工业相机坐标系中的位置与姿态。

基于三维模型与机器视觉的自动焊接方法\n技术领域\n[0001] 本发明涉及一种焊接装置及焊接方法，属于焊接技术领域。\n背景技术\n[0002] 现有技术中，国内外所使用的焊接机器人多属于智能水平较低的示教再现和少量的离线编程机器人。这两种形式的焊接机器人都不具有实时调整控制的功能，无法适应工件加工和装配的误差及焊接引起的热变形（参见“许燕玲，基于视觉及电弧传感技术的机器人GTAW三维焊缝实时跟踪控制技术研究，上海，上海交通大学博士论文，2013年出版”）。目前，已研究出具有实时跟踪功能的智能化焊接系统，但是这些系统都需要将焊枪移动到焊缝起始点附件进行初始化，不具备大范围自动寻找焊缝位置的功能（参见“吴林，陈善本，智能化焊接技术，国防工业出版社，2000年出版”）。\n[0003] 目前的焊缝视觉跟踪技术，存在的一大缺陷是需要将焊枪位置进行人工干预初始化，使其在焊接起始点附近。\n发明内容\n[0004] 本发明的目的之一在于提供一种基于三维模型与机器视觉的自动焊接方法，使得焊枪能够自动找到焊缝的初始位置，并能根据焊缝位置进行自动焊接。\n[0005] 本发明的目的是这样实现的：一种基于三维模型与机器视觉的自动焊接方法，包括如下步骤：\n[0006] 1）将工件三维模型导入视觉处理软件，将工件三维模型生成与其对应的二维匹配图像库；所述二维匹配图像库包括以一个虚拟相机按照相对于X、Y、Z轴以设定的偏转角度范围获取工件的多个投影图形；所述投影图形与工件三维模型在虚拟相机坐标系中的位姿信息一一对应，所述位姿信息包含工件在虚拟相机坐标系中的三维坐标位置和工件相对于虚拟相机坐标系X、Y、Z轴的偏转角度；\n[0007] 2）以工业相机采集工件的实时图像，再将工件的实时图像与所述二维匹配图像库进行匹配，以确定工件在工业相机坐标系中的位姿信息；\n[0008] 3）根据标定的工业相机与机械臂之间的位姿信息和工件在工业相机坐标系中的位姿信息，通过坐标变换，确定工件在机械臂坐标系中的位姿信息；再结合焊缝在工件上的位姿信息确定焊缝在机械臂坐标系中的位姿信息；\n[0009] 4）根据焊缝在机械臂坐标系中的位姿信息对机械臂进行路径规划，使其能够无碰撞跟踪焊缝；\n[0010] 5）机械臂带动焊枪按照规划的路径进行焊接作业，利用在焊枪前面的结构光传感器沿着焊缝轨迹对焊缝进行精确定位，并将焊缝的精确位置反馈给计算机，对机械臂的运动路径进行调整，使机械臂所带焊枪精确对焊缝进行焊接，直至完成焊接。\n[0011] 上述步骤1）中工件三维模型为solidworks模型，工件三维模型导入视觉处理软件halcon，使用halcon中的函数inspect_object_model_3d程序将工件的三维模型生成对应的二维匹配图像库。\n[0012] 上述步骤2）中工业相机采集工件的实时图像时，使用halcon函数find_shape_model_3d将工件的实时图像与步骤1）中生成的二维匹配图像库进行匹配，以确定工件在工业相机坐标系中的位置与姿态。\n[0013] 本发明的突出特点是采用工业相机采集工件图像，通过将采集的图像与工件的三维模型生成的二维匹配库进行匹配，确定工件的位置，再确定焊缝位姿信息，通过机械臂带动焊枪沿焊缝进行焊接。与现有技术相比，本发明能自动找到焊缝的位置进行自动焊接，其对焊缝定位准确，焊接质量好，降低了人为设定焊缝初始位置时的不确定性，保证焊缝质量好，定位速度快。该装置尤其适用于对多个工件进行自动焊接。对于焊接过程中由于热变形引起的工件翘曲等影响焊接精度的问题，本发明能够很好地进行调节和适应，提高焊接的质量。\n[0014] 本发明的目的之二是提供一种基于三维模型与机器视觉的自动焊接装置，使其可以利用上述方法，对工件进行自动焊接。\n[0015] 为此，本发明提供的一种基于三维模型与机器视觉的自动焊接装置，包括带有六个自由度的机械臂，机械臂上夹持有焊枪，机械臂端部设有结构光传感器，还包括有工业相机，工业相机采集的工件图像信号传递给控制计算机，控制计算机根据工件三维模型转换成的平面图形与工业相机采集的图像信号进行比对，得到工件在工业相机坐标系中的位姿信息，再根据该位姿信息确定工件在机械臂坐标系中的位姿信息；并进一步确定焊缝在机械臂坐标系中的位姿信息；计算机根据焊缝在机械臂坐标系中的位姿信息对机械臂进行路径规划后，对焊缝进行焊接；所述结构光传感器将焊缝位置实时反馈给控制计算机，控制计算机对机械臂的运动路径进行调整，使机械臂所带焊枪精确对焊缝进行焊接。\n[0016] 作为本发明的进一步改进在于，所述工业相机设置在工件正上方或斜上方。\n[0017] 作为本发明的进一步改进在于所述工业相机、结构光传感器、机械臂与控制计算机之间均通过接口电路相连。\n[0018] 本发明不需要对机械臂进行示教，也不需要将焊枪移动到焊接起始点附近进行焊位初始化，能够在较大空间中自动定位焊缝，并进行跟踪；本发明采用工业相机和结构光传感器相结合的方法，既能提高焊缝定位的自动化程度，又能对焊缝实时精确的位置检测，克服工件的加工和装配的误差及焊接引起的热变形，实现高精度的焊接作业。\n附图说明\n[0019] 图1为本发明的方法流程图。\n[0020] 图2为本发明的结构示意图。\n[0021] 其中，1工业相机，2结构光传感器，3焊枪，4机械臂，5控制计算机，6接口电路。\n具体实施方式\n[0022] 如图2所示，为一种基于三维模型与机器视觉的自动焊接装置，其结构主要包括带有六个自由度的机械臂4，该六个自由度分别为X、Y、Z轴方向上的直线运动，以及绕X、Y、Z轴的旋转运动；机械臂4上夹持有焊枪3，机械臂4端部设有结构光传感器2，该装置还包括有工业相机1，工业相机1采集的工件图像信号传递给控制计算机5，控制计算机5根据工件三维模型转换成的平面图形与工业相机采集的图像信号进行比对，得到工件在工业相机坐标系中的位姿信息，再根据该位姿信息确定工件在机械臂坐标系中的位姿信息；并进一步确定焊缝在机械臂坐标系中的位姿信息；控制计算机5根据焊缝在机械臂坐标系中的位姿信息对机械臂4进行路径规划后，对焊缝进行焊接；结构光传感器2将焊缝位置实时反馈给控制计算机5，控制计算机5对机械臂4的运动路径进行调整，使机械臂所带焊枪3精确对焊缝进行焊接。工业相机1设置在工件正上方或斜上方，工业相机1安装于天花板上，其视野覆盖待焊接工件。工业相机1、结构光传感器2、机械臂4与控制计算机之间通过接口电路6相连。\n[0023] 机械臂4选用ESTUN ER-16-1600，结构光传感器2选用Meta SLS50LR，工业相机1选用Manta G-125B，控制计算机5选用无风扇工控机Neousys Novo-1300af。\n[0024] 上述装置在进行工作时，按如下步骤进行：\n[0025] 1）将利用计算机制图获得的工件三维软件模型导入视觉处理软件，使工件三维模型生成与其对应的二维匹配图像库；所述工件三维软件模型包含工件上各个位置点在设定的三维坐标系X、Y、Z轴方向上的位置信息，同时也包括焊缝所在位置信息；工件三维软件模型是工件焊接完成后的虚拟图像，例如将A工件和B工件进行焊接时，工件三维软件模型是指焊接在一起的A工件和B工件整体的模型；所述二维匹配图像库包括以一个虚拟相机相对于X、Y、Z轴在设定偏转角度范围内获得的工件的多个投影图形；所述投影图形与工件三维模型的位姿信息一一对应，所述位姿信息包含工件在虚拟相机坐标系中的三维坐标位置和工件相对于虚拟相机坐标系X、Y、Z轴的偏转角度；该工件三维模型为solidworks模型，工件三维模型导入视觉处理软件halcon，使用halcon中的函数inspect_object_model_3d程序将工件的三维模型生成对应的二维匹配图像库；偏转角度是人为设定的角度，例如角度设置在－30°～30°范围内，采样精度设置在1/100°，工件实际焊接时，其位置可能与给定的坐标轴之间存在一定的角度偏转，因此，给出多个角度相对应的二维投影图形，在随后的匹配中才可以找到最接近的实时图形；上述角度和采样精度以X轴为例，其含义表示为：工件在空间中的位姿固定不动，虚拟相机中心与工件质心的连线以工件质心为固定点绕X轴从－\n30°向+30°角度进行旋转，每旋转1/100°，虚拟相机则会获得工件的一幅二维平面投影图；Y轴、Z轴可依此类推；虚拟相机同时可绕X、Y、Z轴偏转，因此，上述二维匹配图像库形成的是虚拟相机绕X、Y、Z轴偏转±30°角度范围内所获取的工件的所有二维投影图像的结合，各二维投影图像均带有位置信息和角度信息；\n[0026] 2）以工业相机采集工件的实时图像，再将工件的实时图像与所述二维匹配图像库进行匹配，以确定工件在工业相机坐标系中的位姿信息；匹配时，使用halcon函数find_shape_model_3d将工件的实时图像与步骤1）中生成的二维匹配图像库进行匹配，匹配时，通过图形的比对，在二维匹配图像库中找到最接近的二维投影图形，该二维图形图所对应的位置和姿态就是工件在工业相机坐标系中的位置与姿态；\n[0027] 3）根据标定的工业相机与机械臂之间的位姿信息和工件在工业相机坐标系中的位姿信息，通过坐标变换，确定工件在机械臂坐标系中的位姿信息；再结合焊缝在工件上的位姿信息确定焊缝在机械臂坐标系中的位姿信息；\n[0028] 4）根据焊缝在机械臂坐标系中的位姿信息对机械臂进行路径规划，使其能够无碰撞跟踪焊缝；\n[0029] 5）机械臂带动焊枪按照规划的路径进行焊接作业，利用在焊枪前面的结构光传感器沿着焊缝轨迹对焊缝进行精确定位，并将焊缝的精确位置反馈给计算机，对机械臂的运动路径进行调整，使机械臂所带焊枪精确对焊缝进行焊接，直至完成焊接。\n[0030] 经实际应用证明，本发明自动化程度高，能够自动实现对焊缝的定位与跟踪，可以满足小批量多型号的工件自动焊接的需要。\n[0031] 本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。