一种基于激光跟踪仪的双目视觉拼接方法

暂无

一种基于激光跟踪仪的双目视觉拼接方法\n技术领域\n[0001] 本发明属于计算机视觉测量技术领域，涉及一种基于激光跟踪仪的双目视觉拼接方法\n背景技术\n[0002] 在航空航天等领域，为保证零部件装配连接的准确性与可靠性，通常需要对零部件的外形进行三维高精度测量。目前，机器视觉法凭借其非接触、测量速度快、精度高等优点已逐步应用于航空航天等大型零部件的测量中。航空航天零部件的尺寸通常能够达到3m以上，大大超过视觉测量的单视场测量范围，且这些零部件通常摆放在特定的型架上，在一些方向可能存在遮挡等现象，因此仅凭一个视场无法完成整个零部件的三维全局测量。需要利用多个视场进行数据测量，并把多个视场的测量数据转换至同一个坐标系下，即多视数据拼接。\n[0003] 经文献检索，中国发明专利号：CN 102155923 A，吕乃光、娄小平、林义闽等人发明的发明专利“基于立体靶标的拼接测量方法及系统”提出了一种四目拼接方法，该方法通过放置于测量后方的双目视觉传感器测量固定于前方的视觉传感器上的立体靶标来获取当前前方视觉传感器的位置，从而求得前方视觉传感器坐标系到后方视觉传感器坐标系的转换关系，从而将前方视觉传感器获得的三维数据转换至后方视觉传感器坐标系下。重复上述步骤直至所有区域测量完毕，最终完成拼接。该方法能够有效解决基于精密转台拼接成本高、基于标志点拼接手动布置标志点繁琐等问题，但是受限于后双目视觉传感器的测量视场和精度，对于筒段零件等的内表面无法实现高精度的测量。中国发明专利号：CN \n103424087 A，史金龙、钱强、胖林斌等人发明的发明专利“一种大尺度钢板三维测量拼接系统及方法”提出了基于三维数据自身特征的拼接方法，该方法先利用三维扫描仪器测量钢板局部数据，采用SIFT算法提取每一部分钢板与其相邻钢板的特征匹配点，最后采用RANSAC方法获得整个钢板的三维数据。该发明能够自动、方便的对大尺度船体等大型零件进行三维测量，然而其算法耗时，效率较低。\n发明内容\n[0004] 本发明为克服现有技术的缺陷，发明一种基于激光跟踪仪的双目视觉拼接方法，该方法采用双目视觉加激光跟踪仪的方式对大型航空零部件进行测量，测量过程中不需要人工布置标记点，测量效率高且范围大，充分结合了视觉测量速度快和激光跟踪仪测量精度高的优势，通过将不同位置获得的测量数据根据其转换矩阵统一至全局坐标系下，完成三维数据拼接。能够实现大型航空零部件的高精度快速全局测量，并且坐标转换链简单，多区域测量无累积误差，适用性广。\n[0005] 本发明采用的技术方案是一种基于激光跟踪仪的双目视觉拼接方法，其特征是，该方法采用激光跟踪仪和双目视觉系统进行三维数据拼接，并将激光跟踪仪自身坐标系作为全局坐标系，双目视觉坐标系作为局部坐标系和控制点坐标系；整个拼接过程包括双目视觉系统自身的标定、双目视觉测量系统与控制点的标定、数据获取、转换矩阵求解步骤；\n通过将不同位置获得的测量数据根据其转换矩阵统一至全局坐标系下，完成三维数据拼接；该方法的具体步骤如下：\n[0006] 第一步、安装测量拼接系统并建立坐标系\n[0007] 首先，将左相机支座2和右相机支座8固定在连接杆9上，再分别将左、右相机3、7固定在相机支座上；把激光器4通过螺钉固定在激光器转台11上，再把转台11固定在连接杆9上；将靶座6固定在连接杆9上，保证其位置不变；将连接杆11固定在三脚架10上，把激光跟踪仪的左上、右上、左下、右下反射球12、13、14、15分别安装到靶座6上作为控制靶点；并调整左、右相机3、7的位置及激光器4的位置，以左相机3的光心作为局部坐标系的原点，相机成像平面的u方向为x方向，光轴方向为z轴方向，建立右手坐标系；将激光跟踪仪反射球的靶座6固定在双目视觉测量系统上，把激光跟踪仪的左上、右上、左下、右下反射球12、13、\n14、15分别安装到靶座6上作为控制靶点，用于确定双目视觉测量系统的位姿，选取激光跟踪仪的左上反射球12的中心作为控制点坐标系的原点，将激光跟踪仪的左上、右上反射球\n12、13中心连接作为控制点坐标系x轴，再选激光跟踪仪左下反射球14与激光跟踪仪的左上、右上反射球12、13构成一平面，其法线方向为z轴方向，建立控制点坐标系；并将激光跟踪仪放置合适的位置，调节其为基本水平状态，连接激光跟踪仪，建立激光跟踪仪坐标系作为全局坐标系；\n[0008] 第二步、标定全局测量拼接系统\n[0009] 1)双目视觉测量系统的标定\n[0010] 根据被测件5及测量精度要求调节双目相机的视场大小，利用与视场大小相匹配的棋盘格标定板放置于双目视觉系统的测量范围内的不同位置，左右相机同步触发采集多张标定板图片，采用张氏标定方法标定相机，得到双目视觉系统的内外参数。\n[0011] 2)双目视觉测量系统与控制点的标定\n[0012] 标定双目视觉测量系统的局部坐标系与控制靶点坐标系之间的转换关系，用已经标定好的双目视觉测量系统拍照得到其所有视觉反射球的像素坐标，左相机像素坐标为右相机像素坐标为 根据双目测量系统的内外参数计算得到反\n射球中心点 在局坐标系下的三维坐标 计算公式如下：\n[0013]\n[0014] 其中，c1和c2分别为左右相机的有效焦距， 与 分别为\n左相机坐标系到右相机坐标系的旋转矩阵与平移向量，最终得到点集pv：\n[0015]\n[0016] 依次测量激光跟踪仪反射球的球心点 在全局坐标系下的三维坐标\n得到点集pt， 和 对应同一点：\n[0017]\n[0018] 根据下面的公式求得该位置下局部坐标系到全局坐标系的旋转矩阵 和平移向量\n[0019]\n[0020] 取i>3，即在视觉视场内布置三个以上的靶点，对局部坐标系到全局坐标系的旋转矩阵 和平移向量 进行优化，先利用上式求出旋转矩阵和平移向量的初值 和 再利用四元数法优化矩阵，得到最终的 和\n[0021] 再次利用激光跟踪仪测量固定于双目测量系统上的控制靶点 的三\n维坐标 控制靶点 在控制靶点坐标系中的坐标值为 根据下面的\n公式利用上面同样的方法求得控制靶点坐标系到全局坐标系的旋转矩阵 和平移向量[0022]\n[0023] 设局部坐标系到控制靶点坐标系之间的旋转矩阵和平移向量分别为 和 若已知一点a在局部坐标系的坐标表示为av，在控制点坐标系下的坐标表示为ac，则其在全局t\n坐标系下的坐标a可表示为：\n[0024]\n[0025] 或\n[0026]\n[0027] 将式(6)的第一个公式带入到第二个公式中得到：\n[0028]\n[0029] 联立式(7)和式(8)，即可求得局部坐标系到控制靶点坐标系的旋转矩阵 和平移向量\n[0030]\n[0031] 从而完成拼接系统的标定。\n[0032] 第三步、数据获取\n[0033] 1)将双目测量系统移动至被测件的第一个合适位置，开启激光器，对被测件型面进行自动扫描并拍摄图像，提取光条灰度重心的像素坐标，并根据公式(1)重建得到被测件表面在局部坐标系下的三维数据点1pv的坐标；\n[0034] 2)激光跟踪仪1测量双目测量系统上控制点qc，得到该位置下控制点在全局坐标系下的三维坐标1qt；\n[0035] 3)移动双目测量系统至下一测量位置，即第i个位置，重复步骤1，2，得到在当前位置下被测件型面的三维数据点的局部坐标ipv及控制点在全局坐标系下的三维坐标iqt；直至将整个被测件的型面全部测量完获得所有的数据点ipv和iqt为止。\n[0036] 第四步、数据拼接\n[0037] 根据第二步的标定结果，先将各个位置下型面的三维点ipv在局部坐标系下的坐标转换到控制靶点坐标系下，公式如下：\n[0038]\n[0039] 然后利用各个位置下激光跟踪仪测得的控制靶点的坐标值iqt及控制靶点在控制靶点坐标系下的坐标qc根据公式(5)求得第i个位置控制靶点坐标系到全局坐标系的旋转矩阵 和平移向量 利用下述公式将各个位置型面三维点在控制靶点坐标系下的坐标值ipc转换至全局坐标系下：\n[0040]\n[0041] 则最终整个型面可表示为pt：\n[0042] pt＝[1pt，2pt，…，ipt，…]  (12)\n[0043] 从而实现被测件整个型面的测量，完成拼接。\n[0044] 本发明的有益效果是该方法采用双目视觉加激光跟踪仪的方式对大型航空零部件进行测量，测量过程中不需要人工布置标记点，提高了拼接测量的范围，且激光跟踪仪测点精度高，速度快，解决了传统大型航空零部件中测量精度不足及效率低的问题。同时，邻近区域不需要有重叠区域，且无累积误差。能够实现大型航空零部件的高精度快速全局测量，并且坐标转换链简单，多区域测量无累积误差，适用性广。\n附图说明\n[0045] 图1为基于激光跟踪仪的双目视觉拼接方法系统图。其中，1-激光跟踪仪，2-左相机支座，3-左相机，4-激光器，5-被测件，6-靶座，7-右相机，8-右相机支座，9-连接杆，10-三脚架，11-激光器转台，12-激光跟踪仪左上反射球，13-激光跟踪仪右上反射球，14-激光跟踪仪左下反射球，15--激光跟踪仪右下反射球。\n[0046] 图2为双目视觉拼接方法流程图。\n具体实施方式\n[0047] 下面结合附图和技术方案详细说明本发明的具体实施方式。\n[0048] 实施例1，如附图1所示，激光跟踪仪测头1选用Leica AT960MR，测量范围为1-20m。\n左、右相机3、7选用VC-12MC-M，分辨率3072*4096，最高帧频60Hz。\n[0049] 首先搭建全局测量拼接系统，按要求将被测物5放置于合适的位置固定不动，保证双目视觉测量系统在测量过程中始终处于其测量范围内。将左相机支座2和右相机支座8固定在连接杆9上，再分别将左、右相机3、7固定在相机支座上；把激光器4通过螺钉固定在激光器转台11上，再把转台11固定在连接杆9上；将靶座6固定在连接杆9上，保证其位置不变；\n将连接杆11固定在三脚架10上，把激光跟踪仪的左上、右上、左下、右下反射球12、13、14、15分别安装到靶座6上作为控制靶点，用于确定双目视觉测量系统的位姿，完成双目视觉测量系统的安装。调整相机支座2和8以使被测区域位于两个相机的公共视场内，固定两相机的相对位置，准备标定及测量。\n[0050] 附图2为双目视觉拼接方法流程图，拼接方法通过双目相机加激光扫描的方式测量大型零件局部型面，得到局部坐标系下三维点云数据；同时激光跟踪仪测量固定于双目视觉系统上的控制靶点的三维坐标值，获得控制靶点坐标系到全局坐标系的转换关系，再根据提前标定好的局部坐标系与控制靶点坐标系的关系，进而可以计算局部坐标系到全局坐标系的转化关系，从而确定局部坐标系下三维数据点在全局坐标系中的坐标值，完成数据拼接。整个拼接过程包括双目视觉系统自身的标定、双目视觉测量系统与控制点的标定、数据获取、转换矩阵求解步骤。通过将不同位置获得的测量数据根据其转换矩阵统一至全局坐标系下，完成三维数据拼接。实施例的具体步骤如下：\n[0051] 第一步建立全局测量拼接系统的坐标系\n[0052] 全局测量拼接系统搭建好后，以左相机3的光心作为局部坐标系的原点，相机成像平面的u方向为x方向，光轴方向为z轴方向，建立右手坐标系；选取激光跟踪仪的左上反射球12的中心作为控制点坐标系的原点，将激光跟踪仪的左上、右上反射球12、13中心连接作为控制点坐标系x轴，再选激光跟踪仪左下反射球14与激光跟踪仪的左上、右上反射球12、\n13构成一平面，其法线方向为z轴方向，建立控制点坐标系；连接激光跟踪仪，根据测量需要建立激光跟踪仪坐标系作为全局坐标系。\n[0053] 第二步、标定全局测量系统\n[0054] 1)双目视觉测量系统的标定\n[0055] 根据本文的测量视场，本文选用300*400mm的棋盘格标定板对双目视觉测量系统进行标定，标定结果如下：\n[0056] 左相机3的内参：fx＝6122.26，fy＝6119.40，cx＝2060.05，cy＝1536.93；\n[0057] 右相机7的内参：fx＝6151.31，fy＝6150.80，cx＝2056.23，cy＝1585.32；\n[0058] 左相机3到右相机7坐标系的转换矩阵为：\n[0059]\n[0060] T＝[-552.4321608617736 14.7445531486439 151.6604994217049]-1[0061] 2)双目视觉测量系统与控制点的标定\n[0062] 首先在双目视觉测量系统视场内放置2个以上的固定靶座，并将激光跟踪仪反射球放置在靶座上，用双目视觉测量系统拍摄图像并提取得到所有控制靶点的左右相机像素坐标，并根据公式(1)重建得到点集pv在局部坐标系下的坐标。利用激光跟踪仪直接获得点集pt在全局坐标系下的坐标。然后根据公式(4)计算得到该位置下局部坐标系到全局坐标系的旋转矩阵 和平移向量\n[0063]\n[0064]\n[0065] 接着，利用激光跟踪仪测量固定于双目测量系统靶座6上激光跟踪仪反射球的球心位置在全局坐标系下的三维坐标，得到点集qt，设控制靶点在控制靶点坐标系中点集qc的坐标值为 根据公式(5)即可求得控制靶点坐标系到全局坐标系的旋转矩阵\n和平移向量\n[0066]\n[0067]\n[0068] 最后根据公式(9)求得局部坐标系到控制靶点坐标系的旋转矩阵 和平移向量[0069]\n[0070]\n[0071] 从而完成测量拼接系统的标定。\n[0072] 第三步、数据获取\n[0073] 1)将双目测量系统移动至零部件的第一个合适位置，开启激光器，对零部件型面进行自动扫描并拍摄图像，提取光条灰度重心的像素坐标，并根据公式(1)重建得到零部件表面在局部坐标系下的三维数据点1pv的坐标；\n[0074] 2)激光跟踪仪测量固定在双目视觉测量系统上控制点qc，得到该位置下控制点在t\n全局坐标系下的三维坐标1q；\n[0075] 3)移动双目测量系统至下一测量位置，即第i个位置，重复步骤1，2，得到在当前位置下被测件型面的三维数据点的局部坐标ipv及控制靶点在全局坐标系下的三维坐标iqt；\n直至将整个被测件的型面全部测量完获得所有的数据点ipv和iqt为止。\n[0076] 第四步、数据拼接\n[0077] 根据第二步的标定结果，先将各个位置下型面的三维点ipv在局部坐标系下的坐标根据公式(10)转换到控制靶点坐标系下，得到ipc；然后利用各个位置下激光跟踪仪测得的控制点的坐标值iqt及控制靶点在控制靶点坐标系下的坐标qc根据公式(5)求得第i个位置控制靶点坐标系到全局坐标系的旋转矩阵 和平移向量 利用公式(11)将各个位置型面三维点在控制靶点坐标系下的坐标值ipc转换至全局坐标系下，得到ipt，则最终整个型面可根据公式(12)表示为pt,从而完成大型被测件的三维拼接测量。\n[0078] 本发明的一种基于激光跟踪仪的双目视觉拼接方法，该方法充分结合了视觉测量速度快、跟踪仪测量精度高的优势，实现了大型航空零部件的高精度三维拼接测量。同时测量过程中无需人工布置标记点，效率高，且多次测量无累积误差。