一种焊缝自动跟踪系统

1.一种焊缝自动跟踪系统，其特征在于包括：置于焊枪臂上的摄像机组(1)、图像采集卡(2)、图像显示和识别装置(3)、自动控制装置(4)；
摄像机组(1)采集焊缝图像，图像显示和识别装置(3)通过图像采集卡(2)获取该焊缝图像并存于图像显示和识别装置(3)中，在图像显示和识别装置(3)中利用自身模板法在该焊缝图像中搜索和匹配焊缝中心当前位置，根据匹配到的焊缝中心当前位置生成控制信号并输出给自动控制装置(4)，自动控制装置(4)依据给控制信号调整焊枪臂的位置，以将焊枪移动到焊缝中心位置；图像显示和识别装置(3)利用自身模板法在焊缝图像中搜索和匹配焊缝中心当前位置的步骤包括：
步骤一：设置三个图像序列变量，记为Qi、Ci和 其中i＝1,2,...，U，U＝L/b，L为连续焊接过程中焊缝经过视场的总长度；其中，当摄像机组(1)为一台摄像机时，Qi(i＝1,2,...，U)为该摄像机组采集的连续帧焊缝图像依次顺序排列所得到的图像序列；当摄像机组(1)为两台摄像机时，该图像序列中的奇数帧为一台摄像机采集的焊缝图像，该图像序列的偶数帧为另一台摄像机采集的焊缝图像，用Qi(x,y)(i＝1,2,...，U)表示Qi中位于焊缝图像中坐标点上的像素灰度值序列，(x,y)，x＝1,2,...,N,y＝1,2,...,M,N＝a/px,M＝b/py，px和py是x和y方向的图像分辨率，也即像素的尺寸；Ci为光标图像序列，Ci(x,y)(i＝1,2,...，U)表示Ci中焊缝图像中(x,y)坐标点的光标灰度值序列； (i＝1,2,...，U)表示加上了光标的图像序列， 表示
中位于焊缝图像(x,y)坐标点上的像素灰度值序列；对于一帧图像中所有的x和y，执行运算将光标序列叠加到焊缝图像帧中，⊕表示异或运算；
步骤二：由操作者对焊缝中心进行初始化定位；
步骤三：在当前帧的焊缝图像Qj的后半部分取一个矩形区域作为自身模板Pj，其中Qj属于图像序列Qi中的一幅图像，公式表示为Qj∈Qi,j∈i，Pj(x,y)x,y表示模板Pj中的坐标值，Pj的中心定在焊缝中心上，将此中心坐标记录在中间变量Co中；Pj的尺寸的确定原则是：设dpx为垂直于焊缝走向上的模板长度，满足： dpx≥dw+2(d'w-dw)，dw为焊缝的平均宽度，d'w为焊缝的最大宽度，dpy为沿焊缝走向上的模板长度，
步骤四：用Pj在下一帧焊缝图像帧Qj+1中的前半部分，通过使用搜索和匹配算法，完成对焊缝图像帧Qj+1中焊缝中心当前位置的定位；
步骤五：检查是否有停止命令；如有，则停止上述运算和操作，否则回到步骤三，重做取模板、搜索匹配、改写光标位置、送 显示和发出控制命令操作，发出停止命令有二种情况：(1)系统发出故障报警，(2)人为停止工作。
2.根据权利要求1所述的系统，其特征在于一帧焊缝图像视场的尺寸为Fv＝a×b，a为垂直于焊缝前进方向的长度，其坐标方向定为x，b为沿焊缝前进方向的长度，其坐标方向定为y，一帧焊缝图像持续时间TV，焊缝在y方向移动速度Sw，当满足关系 时，摄像机组为一台摄像机，此时相邻二帧图像就会有1/2以上的重叠；而当 时，也要保证相邻二帧图像有1/2以上的重叠，则要求摄像机组为2台摄像机，该2台摄像机分别采集两相邻帧的焊缝图像；该两个摄像机视场中心的沿焊缝走向的距离为LVF，要求LVF≤TV×Sw；
其中，在PAL制下TV＝40ms，在NTS制下，TV＝30ms。
3.根据权利要求1所述的系统，其特征在于步骤四还包括：
步骤1：在Qj+1帧焊缝图像上半部分的中间区域确定一个搜索匹配区，设搜索匹配区为矩形，左上角在图象帧中的坐标为(xs0,ys0)，右下角坐标
(xs0+Lsx,ys0+Lsy)，Lsx和Lsy分别为x和y方向的长度；
步骤2：设置两个中间数组变量M1(z)和M2(z)，其中，z＝1,...,Z，分别记录匹配运算结果，以及Qj+1帧焊缝图像上当前匹配到的位置坐标；
步骤3：将自身模板Pj的左上角放在Qj+1帧焊缝图像的(xs0,ys0)上，从z＝1开始，先x方向再y方向以一个像素为步距移动自身模板Pj，每移动一步做z＝z+1直到z＝Z止去循环地做如下匹配运算：
M1(z)＝Pj(x,y)-Qj+1(x,y)
运算结果记录在M1(z)中，Z的取值要保证自身模板Pj的右下角能最终到达坐标(xs0+Lsx,ys0+Lsy)，这一运算产生一个数据序列M1(z),z＝1,...,Z；
步骤4：求得序列M1(z),z＝1,...,Z的最小值，同时记录对应此最小值的匹配 坐标点，并用M2(z)记录，即令M2(z)＝(x,y)，从而给出Qj+1帧焊缝图像上准确匹配的位置，则此位置上自身模板Pj的中心就是焊缝的中心；
步骤5：做焊缝偏差运算ΔC＝Co-M2(z)，根据 ΔC记录的偏差值改变
Cj+1(x,y)中光标的位置同时向控制装置发出移动焊枪的控制命令，接着做运算 之后将 送显示器显示。
4.根据权利要求3所述的系统，其特征在于步骤1中搜索匹配区的大小和位置按下述原则确定：搜索匹配区满足Lsx≥d'+kx1Δdwm+kx2和Lsy≥dpy+2ΔSwTV+3py，Δdwm>0为在整个跟踪过程中允许的最大焊缝偏差，kx1和kx2为设置的可调参数，其位置在一帧图像的前半部分的中央即可，ΔSw≥0为焊缝移动速度的最大偏差。

一种焊缝自动跟踪系统\n技术领域\n[0001] 本发明属于焊接自动化中焊缝自动跟踪技术领域，特别是一种利用图像识别方法的焊缝自动跟踪系统。\n背景技术\n[0002] 在大型钢结构体（如：石油天然气钢管、船体、压力容器等）的生产中，广泛应用自动焊接技术。为了实现自动焊接，需要通过焊缝自动跟踪方法使得焊枪与焊缝的相对位置稳定地保持准确。\n[0003] 已有的焊缝自动跟踪方法包括：靠模跟踪方法、涡流跟踪方法、电磁跟踪方法、光电跟踪方法、图像跟踪方法等。其中的图像跟踪方法是利用摄像机实时获取焊缝图像，利用模式识别的理论和方法在当前图像中寻找焊缝，将焊缝当前位置传输给自动控制环节，再发出调整位置的命令，实现焊缝位置的自动跟踪。\n[0004] 图像跟踪方法又包括两大类：一类是基于结构光方法。其原理是，发出一束与焊缝走向成垂直方向的窄条光线，保持摄像机的视线在一个平面上，该平面与包含焊缝中心线的切平面垂直，视线还要与焊缝走向呈一定角度，从而获取反映焊缝横截面形状的图像，这种形状一般有V字形和U字形两种。于是V字形或U字形就作为识别用的特征。由于特征简单明显，便于识别，在工艺条件保证的条件下，能保证可靠跟踪。但是，这种方法容易受到干扰。当焊缝不规则时，或较大的外部光线干扰时，无法呈现明显的V字形或U字形时，就会造成识别失败。另一类是基于非结构光方法。其原理是，直接获取焊缝图像，提取焊缝的多种特征，构成特征向量，再构建复杂的识别方法，实现焊缝的寻找。这种方法的难点在于特征向量的提取，最简单的特征提取方式是，在一幅标准的焊缝图像中取一个包含焊缝的窗口作为模板，在当前图像中进行窗口图像匹配，当匹配误差最小时，认为找到焊缝。由于焊缝表面并不平整和清洁，再加上外界光线的干扰，实际上很难得到一个合适的“标准焊缝图像”，所取模板图像与当前图像常常会有较大的差别，因而使识别失败。\n发明内容\n[0005] 针对上述已有两类图像跟踪方法存在的问题，本发明提出了一种焊缝自动跟踪系统，该系统同样基于图像跟踪方法，利用自身模板与自身图像做匹配寻找焊缝的当前位置，以提高跟踪过程的抗干扰能力。\n[0006] 本发明采用的技术手段是：一种焊缝自动跟踪系统，其特征在于包括：置于焊枪臂上的摄像机组、图像采集卡、图像显示和识别装置、自动控制装置；\n[0007] 摄像机组采集焊缝图像，图像显示和识别装置通过图像采集卡获取该焊缝图像，利用自身模板法在该焊缝图像中搜索和匹配焊缝中心当前位置，根据匹配到的焊缝中心当前位置生成控制信号并输出给自动控制装置，自动控制装置依据给定的控制信号调整焊枪臂的位置，以将焊枪移动到焊缝中心位置。\n[0008] 本发明的系统利用自身模板法实现焊缝的中心定位；具体是，在摄像机组所获得的图像序列中，要保证在焊缝前进方向上的相邻两帧图像有大约一半区域重叠，也就是说，在前一帧图像的后半部分会移动到在当前帧图像的前半部分；于是，在前一帧图像的后半部取包含一定长度焊缝的一个窗口图像并作为模板，在当前一帧图像的前半部分进行匹配，当最好匹配时就找到了模板本身的图像，则焊缝的横向偏移值就被确定；由于在前一幅图像中所取得模板内的图像一定会在当前一帧的前半部图像中重复出现，考虑到连续两帧的时间间隔很小，外界环境不会有太大的变化，因此所做的是自身与自身的图像匹配，提高了识别过程的抗干扰能力，从而提高识别成功率。\n附图说明\n[0009] 以下结合附图及实施例，对本发明进行进一步详细说明：\n[0010] 图1为本发明焊缝自动跟踪系统原理图；\n[0011] 图2为提取自身模板进行搜索匹配的示意图；\n[0012] 图3为数据传输图；\n[0013] 图4为实施例的示意图。\n具体实施方式\n[0014] 如图1所示，本发明焊缝自动跟踪系统包括：置于焊枪臂上的摄像机组1、图像采集卡2、图像识别装置3、自动控制装置4。摄像机组1采集焊缝图像，图像识别装置3通过图像采集卡2获取该焊缝图像，利用自身模板法在该焊缝图像中搜索和匹配焊缝中心当前位置，根据匹配到的焊缝中心当前位置和随动系统控制原理生成控制信号并输出给自动控制装置4，自动控制装置4依据给定控制信号调整焊枪臂的位置，以将焊枪移动到焊缝中心位置。\n[0015] 其中摄像机组可以包含一个或二个，设一帧焊缝图像视场的尺寸为Fv=a×b，a为垂直于焊缝前进方向的长度，其坐标方向定为x，b为沿焊缝前进方向的长度，其坐标方向定为y，选择一个或二个摄像机的原则是：设焊缝移动速度Sw、一帧焊缝图像持续时间TV，当Sw、b和TV之间满足关系 时，在一帧焊缝图像的持续时间TV内，焊缝仅在视场内移动距离小于b/2，因此可只用一台摄像机为自身模板法提供了足够的图像重叠部分。当Sw、b和TV之间满足关系 时，需要采用两台摄像机分别采集两帧相邻的焊缝图像，而为了应用自身模板法，需要相邻的两帧焊缝图像至少有一半的重叠，为此，两个摄像机视场中心在焊缝走向上的距离为LVF，则有：LVF≤TV×Sw。\n[0016] 其中的TV有两种标准：在PAL制下，TV=40ms；在NTS制下，TV=30ms。a、b、x和y的具体值由分辨率和电视制式决定；分辨率定义为焊缝图像中一个像素代表实际焊件上的尺寸，其具体值由生产工艺对控制精度的要求；设px为像素在x方向的分辨率，允许的最大控制误差为±Erc，则px≤Erc/2，x的取值范围为x=1,…,N；设py为像素在y方向的分辨率，y的取值为y=1,…,M。常用图像采集卡是N=768像素，M=572像素；于是a=N·px，b=M·py；\n常用摄像机的画面长宽比是4.8/3.6，4.8/3.6≈768/572≈1.3，于是py=px/1.3；在现场确定实际位置时的办法是灵活的，本发明推荐的方法是：根据上述原则计算出a、b的实际值，将一个标准的长度尺放置在摄像机下方，调整摄像机的位置和聚焦镜头，观察显示屏中的图像，使a尽量充满整个视频显示器的宽度。\n[0017] 下面对图像识别装置3利用自身模板法在焊缝图像中搜索和匹配焊缝中心当前位置的过程详细说明如下：\n[0018] 步骤一：设置三个图像序列变量，记为Qi、Ci和 i=1,2,…，U，U=L/b，L为连续焊接过程中焊缝经过视场的总长度。其中，当摄像机组1为一台摄像机时，Q（i=1,…i ,U）为该摄像机组采集的连续帧焊缝图像依次顺序排列所得到的图像序列；当摄像机组1为两台摄像机时，该图像序列中的奇数帧为一台摄像机采集的焊缝图像，该图像序列的偶数帧为另一台摄像机采集的焊缝图像，用Qi(x,y)（i=1,…,U）表示Qi中位于焊缝图像中(x,y)坐标点上的像素灰度值序列；C（i=1,…i ,U）为光标图像序列，Ci(x,y)（i=1,…,U）表示焊缝图像中(x,y)坐标点的光标灰度值序列，光标的形状由设计者决定，常用十字形；\n表示加上了光标的图像序列， 表示 中位于焊缝图像(x,y)坐标点\n上的像素灰度值序列。对于一帧图像中的所有的x和y，执行 运\n算即可将光标序列叠加到焊缝图像帧中，⊕表示异或运算。以下统称βi和βi+1分别为当前帧和下一帧，β在不同表示处可以分别代表Q、 和C；需要说明的是，在算法的角度上，上述三个序列的层数可以由设计者根据焊接系统的工作周期设置，也即i的最大取值U可以有较大的变化。在实际实现中，如果用计算机实现，摄像机与图像卡相连，计算机通过设置多线程从图像卡的帧存储器读取数据，上述的三个序列组成队列方式；如果自制由DSP和FPGA组成的处理器，则为了节省存储器空间，上述图像序列可以只设二层，即U=2，并采用传统的双体交叉结构的帧存取器来实现存储器空间的压缩，当一个摄像机时，用两个存储器的双体交叉的结构，当二个摄像机时，用4个帧存取储器组成两对双体交叉的结构（在多种存储器结构的文献中都有介绍）；\n[0019] 步骤二：由操作者对焊缝中心进行初始化定位：操作者在视频显示器上通过如键盘、鼠标之类的人工输入设备移动光标至焊缝中心位置，图像识别装置3读取光标指示的位置，将此位置作为焊缝中心的初始化定位。\n[0020] 操作者做初始化定位可有两种规则：第一，由一个操作者定位，又分为：1.具有长期操作经验的操作者，可通过观察视频显示器上的图像，移动光标到所看到的焊缝中心；\n2.在移动光标的同时图像识别装置3将光标的移动信号发送给自动控制装置4,由自动控制装置4控制焊枪对准焊缝中心;或者将图像识别装置3的视频显示器放到焊枪附近，由一个操作者一面调整焊枪位置，使其对准焊缝中心，一面在视频显示器上观察并移动光标位置，完成初始光标定位的工作；第二，由两个操作者的配合来定位：第一个操作者在焊枪附近直接测量焊枪与焊缝中心的相对偏差，同时指挥显示器前的第二个操作者移动光标向焊缝中心靠近，当第一个操作者确定焊枪对准焊缝中心时，同时指挥第二个操作者停止移动光标，则完成光标的初始定位，并将当前的光标值存储。当然，完成初始光标定位后即启动自动跟踪系统。初始定位帧作为后续算法中的第一个当前帧的焊缝图像Qj。\n[0021] 步骤三：在当前帧的焊缝图像Qj的后半部分取一个区域作为自身模板Pj。Pj的中心定在焊缝中心上，将此中心坐标记录在中间变量Co中；Pj的尺寸的确定原则是：设dpx为垂直于焊缝走向上的模板长度，满足：dpx≥dw+2(d'w-dw)，dw为焊缝的平均宽度，d'w为焊缝的最大宽度；dpy为沿焊缝走向上的模板长度，其取值焊缝的速度稳定性，本发明推荐[0022] 步骤四：用Pj在下一帧焊缝图像Qj+1中的前半部分，通过使用搜索和匹配算法，完成对Qj+1帧焊缝图像中焊缝中心的当前位置的定位。其中的搜索指的是移动自身模板Pj，匹配指的是用自身模板Pj与Qj+1帧焊缝图像中搜索到的位置上的子图像作比较并记录比较结果。自身模板Pj的移动要按一定的路径顺序进行，不同的设计者可采用不同路径顺序；\n多数采用采用先沿x方向移动再在y方向上移动一行，如此重复，形成“之”字形路径顺序；\n也可以采用x和y交换的顺序；或者由设计者设计出特殊的路径顺序，本发明以“之”字形路径顺序为例；步骤四又包括的具体步骤：\n[0023] 步骤1：在下一帧焊缝图像Qj+1的前半部分中间区域，确定一个搜索匹配区，设搜索匹配区起点坐标为(xs0,ys0)，终点坐标(xs0+Lsx,ys0+Lsy)。该搜索匹配区的大小按下述原则确定：搜索匹配区规定为矩形，其尺寸应保证在搜索匹配过程中做到过搜索，所说的过搜索指的是，在得到最佳匹配之后还要继续做若干次搜索匹配，然后通过回朔，真正找到正确匹配位置；设x方向的长度为Lsx，为了保证做到过搜索，则要求Lsx≥d'w+kx1Δdwm+kx2，Δdwm>0为在整个跟踪过程中允许的最大焊缝偏差，设kx1和kx2作为可调参数设置在视频显示器上的人机界面中或特别设置调整键，由操作者调整kx1和kx2的值;kx1是为补偿系统工作稳定性而设置的，在系统工作稳定的状况下，kx1可小，在系统工作不太稳定的状况下，kx1要取大的值；kx2是为保证实现过搜索而设置的，理论上只要令kx2=py，但考虑噪声干扰，要求kx2>py，在实际系统上可通过试运行将kx2调整到合理的值；y方向的长度为Lsy，Lsy取值与焊缝移动速度的稳定性有关，建议Lsy≥dpy+2ΔSwTV+3py，ΔSw≥0为焊缝移动速度的最大偏差，这个值在自动焊接系统设计和运行中是给定的。\n[0024] 步骤2：设置两个中间数组变量M1(z)和M2(z)，其中，z=1,…,Z，分别记录匹配运算之和，以及Qj+1帧焊缝图像上当前匹配到的位置坐标。\n[0025] 步骤3：将自身模板Pj的左上角放在(xs0,ys0)上，从z=1开始，先x方向再y方向以一个像素为步距移动自身模板Pj，每移动一步做z=z+1直到Z止去循环地做如下匹配运算：\n[0026] M1(z)=Pj(x,y)-Qj+1(x,y)\n[0027] 这一运算产生一个数据序列M1(z),z=1,…,Z，Z的取值要保证自身模板Pj在移动过程中覆盖整个搜索匹配区,即要保证自身模板Pj的右下角能最终到达坐标(xs0+Lsx,ys0+Lsy)，Lsx和Lsy分别为x和y方向的长度。\n[0028] 其中，自身模板Pj移动的步距有两种：一种是最小步距，即一个像素作为一个步距单位；另一种是大步距，是若干个像素为一个步距单位。在运算时间能够满足要求的情况下一般用最小步距，在运算时间过长时要大步距和最小步距相结合，称为结合算法。结合算法是先用大步距做粗定位再用最小步距做精确定位。运算时间的长短由生产工艺和图像处理装置的能力决定；当图像处理装置的运算能够以最小步距在生产工艺要求所要求两次控制命令的间隔内完成一次搜索匹配运算时，就用最小步距，否则用结合算法。\n[0029] 步骤4：求得序列M1(z),z=1,…,Z的最小值，这个最小值对应于准确匹配，同时记录对应此最小值的匹配坐标点，即M2(z)=(x,y)给出焊缝图像Qj+1上准确匹配的位置，则此位置上自身模板Pj的中心就是焊缝的中心。\n[0030] 步骤5：做焊缝偏差运算ΔC=Co-M2(z)，根据ΔC记录的坐标值改变Cj+1(x,y)中光标的位置同时向控制装置发出移动焊枪的控制命令，接着做运算之后将 送显示器显示。\n[0031] 步骤五：检查是否有停止命令，如有，则停止上述运算和操作，否则回到步骤三，重做取模板、搜索匹配、改写光标位置、送 显示和发出控制命令等操作。发出停止命令有二种情况：（1）系统发出故障报警，（2）人为停止工作。\n[0032] 如图2给出了提取自身模板进行搜索匹配的示意图，焊缝沿Y轴方向前进，沿X方向会出现偏差。图中画出了三个坐标平面，它们分别记为x(tj-1),y(tj-1)，x(tj),y(tj)，x(tj+1),y(tj+1)，在空间上，这三个平面实际上在一个平面上，只是在时间轴（记为t）上表示为三个平面，其时间坐标记分别为(tj-1),(tj),(tj+1)。在三个坐标平面上分别画出了三帧焊缝图像Qj-1，Qj，Qj+1；图中焊缝边缘在y方向上分成多段，各段用不同的线型表示，这是为了表明焊缝移动过程中位置变化的对应关系（由实线双箭头进一步指出），从这种对应关系中可以看出，三帧焊缝图像之间相邻二帧有约一半图像重叠；Pj和Pj-1分别表示Qj和Qj-1帧中的模板， 字符号表示匹配中心，其中Pj-1在Qj-1后半部取得，在Qj的前半部做搜索匹配，Pj在Qj后半部取得，在Qj+1的前半部做搜索匹配，这种搜索匹配的变化关系由虚线双箭头指出。图中，xj-1,xj,xj+1分别表示焊缝中心的坐标。\n[0033] 本发明的图像识别装置3是可以订购或定制的，目前一般有两种形式的结构，一种是基于工控机的通用结构，另一种是基于DSP、FPGA、单片机等器件的组成的专用结构。专用结构的具体构成方式多种多样，但图像的获取和传输流与前述的通用结构基本一致。图\n1展示了通用结构的示意图，在结构示意图中只画出了与本发明有关的部件。\n[0034] 在图1中，将订购或定制的带有双摄像机接口的图像采集卡插入工控机相应的插槽中。图像识别装置3又包括：内存、视频显示器和处理器；内存又包括内存缓冲区1、内存缓冲区2和内存缓冲区3。内存缓冲区1存储一台摄像机采集的焊缝图像帧Q2n+1，内存缓冲区2存储另一台摄像机采集的焊缝图像帧Q2n，内存缓冲区3存储光标图像，图形的更新由算法决定；处理器利用上述自身模板法在该焊缝图像中搜索和匹配焊缝中心当前位置，根据匹配到的焊缝中心当前位置生成控制信号，并输出给自动控制装置4。如前面的叙述中所指出的那样，内存缓冲器1、2、3的层数是可以减少到二层。上述的相关参数可放在其余的存储空间。\n[0035] 图3示出了图像数据和识别结果产生的控制信号的传输路径。\n[0036] 图4是一个实施例的演示图。其中左图是前一帧焊缝图像，右图是相邻的后一帧图像。右图中可见前一帧图像的下半部被模板所框的焊缝图像在相邻的后一帧图像中移到了上半部，为了指明这一点，我们人为地在焊缝旁边贴上一个白色三角。从图中可以看出，焊缝中心大约向左偏移了4毫米（注：这只是演示图，而且没有加控制反馈来调整偏差。实际中不可能允许相邻两帧焊缝偏移这么多。）