三维主动视觉传感器的多视点姿态估计和自标定方法

暂无

技术领域\n本发明涉及一种三维主动视觉传感器的多视点姿态估计和自标定方法，属于三维数字 成像及造型技术。\n背景技术\n三维数字成像及造型(3DIM-3D Digital Imaging and Modeling)是近年来国际上活跃 研究的一个新兴交叉学科领域。它被广泛的应用到反向工程，文物保护，医学诊断，工业 检测以及虚拟现实等诸多方面。作为获取三维信息的主要手段之一，基于相位映射的三维 主动视觉传感器具有速度快、分辨率高、非接触、和全场数据获取等优点而受到广泛关注 和研究。求解传感器的运动方向，估计传感器在不同视点的位置姿态是一项重要工作。由 于深度传感器的视场有限，并且受到观察方向和物体本身形状的限制，不可能一次得到描 述物体形状的全部信息。在实际应用中，需要把物体放在传感器前的工作区域内，从一个 视点得到描述物体形状的深度图像，然后移动传感器，在新的视点得到物体其他部分的深 度信息。重复此过程，直到获得物体的全部深度信息为止。因此，准确提供各个视点的位 置姿态信息是保证在统一坐标系中校准和融合多视点采集的深度图像数据的关键。\n另外，在使用三维视觉传感器进行三维测量之前，传感器必须经过精确的标定以获得 传感器的内部参数和传感器的结构参数。传统的标定方法自动化程度低，需要一个已知精 确坐标的二维标定靶，和一个高精度的平移台沿二维标靶的垂直方向移动，以完成三维空 间的标定。Hu等人(Optical Engineering，Vol.42，No.2，2003，pp487-493)和邵双运等(光 学学报，Vol.25，No.2，2005，pp 203-206)都采用了该方法。对于这类方法，如果测量系统 的结构参数发生变化，例如工作距离发生变化，则整个传感器必须重新进行标定，从而无 法实现方便的、流动式的测量。而这对于需要经常性调整传感器位置来进行多视点测量的 场合，频繁的重复标定使这样的传感器几乎很难实用。\n因此，我们希望三维视觉传感器能够具有同步自动姿态估计和自动标定的功能，不再 需要使用标准标定设备获取外部的三维数据。有了这样的能力，无论视觉传感器移动到任 何视点，都能够自动得到该视点的姿态位置，并且自动完成标定，使三维测量可以不中断 地进行下去。\n近年来，对视觉传感器的自标定技术的研究受到很大关注，但这些可行方法中的多数 是对被动视觉传感器标定方法(如立体视觉)和基于运动的深度感知的发展。而对基于相 位映射的三维主动视觉传感器，标定方法大多是静态的人工操作，而且现有的摄像机自标 定方法，如Zhang(IEEE Transactions on Robotics and Automation，Vol.12，No.1，1996，pp 103-113)，也不能直接应用在三维主动视觉传感器。\n发明内容\n本发明的目的在于提供一种三维主动视觉传感器的多视点姿态估计和自标定方法，该 方法能够提高三维主动视觉传感器的多视点姿态估计的精度及同步自标定传感器参数，改 善和提高了三维主动视觉传感器的实用性。\n本发明是通过以下技术方案加以实现的：一种三维主动视觉传感器的多视点姿态估计 和自标定方法，所述的视觉传感器是由数字投影仪和摄像机组成，它们位置相对固定，在 测量范围内对放置物体进行测量，其特征在于包括以下步骤：\n1.传感器在V1视点位置上，顺序进行如下投射和采集过程：\n1)由摄像机采集被测物体的纹理图像，并存储到计算机中；\n2)由计算机生成一组竖直条纹图像，用数字投影仪向被测物体投射，由于物体 的深度变化导致编码条纹图像的产生，由摄像机采集竖直编码条纹图像，并存储到计算机 中，然后通过条纹自动分析技术，解码获得物体的相对相位图像；\n3)由计算机生成一幅位于图像的横向中心处且只有一条竖直线的图像，用数字 投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中，通过这条辅助 的竖直中心线，将相对相位图像转换为绝对相位图像；\n4)将竖直条纹图像，旋转90度成水平条纹图像，再由数字投影仪向被测物体投 射，摄像机采集该水平编码条纹图像，存储到计算机中；\n5)同样，将竖直中心线图像，旋转90度成水平中心线图像，用数字投影仪将该 图像投射到被测物体表面，并用摄像机采集后存储到计算机中；\n2.对步骤1得到的物体的纹理图像、竖直编码条纹图像、竖直中心线图像、水平编 码条纹图像以及水平中心线图像，进行如下处理：\n1)对纹理图像进行特征分析：提取物体特征点M的二维图像坐标，即特征点M 在摄像机成像平面上的坐标(u，v)；\n2)对竖直编码条纹图像进行条纹自动分析：用FFT方法从变形条纹图中解调出 主值范围内相位函数，然后用相位展开算法提取展开相位图Φu；\n3)对竖直中心线图像进行特征分析：对图像二值化后，提取中心线所占的二维 图像坐标；\n4)利用相位到坐标的变换算法，得到特征点在投影仪投射平面上的横向坐标， 该算法为：先将竖直条纹图像的展开相位图Φu结合竖直中心线图像，变换为绝对相位图 Φa，${\Phi }_a(x,y)={\Phi }_u(x,y)-{\Phi }_u^k(i,j),$其中Φu k(i，j)为中心线所在象素位置(i，j)的相位值；然 后，得到任意特征点M在投影平面上的对应位置的横坐标u′，$u^{\prime }=\frac{{\Phi }_a^M(u,v)}{2\pi }p,$其中 Φa M(u，v)为特征点M的绝对相位，p是投射条纹的空间周期；\n5)同理，重复本步骤的2)、3)、4)过程，处理水平编码条纹图像以及水平中心线 图像，得到任意特征点M在投影平面上的对应位置的纵坐标v′，$v^{\prime }=\frac{{\Phi }_a^M(u,v)}{2\pi }p,$此处的 Φa M(u，v)通过处理水平编码条纹图像以及水平中心线图像得到；\n6)至此，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u，v)和 (u′，v′)，为利用极线几何约束，作好数据的初始化准备；\n3.在传感器测量范围内，且确保与前一个视点采集的图像有重合区域的前题下，自 由移动传感器到新的视点V2，对物体进行投射和采集过程，重复步骤1和步骤2，在视点 V2下，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u2，v2)和(u2′，v2′)；\n4.两个视点V1和V2，共有摄像机的2个成像平面，投影仪的2个投射平面，则空间 任意点在4个平面上都有对应点，利用极线几何约束，即以极线方程：${\tilde{m}}_2^{T}F{\tilde{m}}_1=0,$其中 和是成像平面和投影平面上的对应点的齐次坐标表示，F称为基本矩阵， $F=K_p^{-T}{\left[t\right]}_{x}R{K}_c^{-1},$在考虑数据噪声影响下建立优化方程：\n$\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R_i,t_i}{\min }\left[\underset{j=1}{\overset{p}{\Sigma }}\left[\begin{array}{c}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{3j}^T{F}_{13}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{14}{\tilde{m}}_{1j}\right)}^2\\ +{\left({\tilde{m}}_{3j}^T{F}_{23}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{24}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{34}{\tilde{m}}_{3j}\right)}^2\end{array}\right]\right],$其中p表示特征点的个数， F12，F13，F14，F23，F24，F34表示两两平面之间的基本矩阵，是对应点的齐次坐标表 示，得到两个视点分别相对于物体坐标系的姿态位置(R1，t1)和(R2，t2)，传感器的内部参 数(Kc，Kp)，以及传感器的结构参数(R＊，t＊)，其中求解Kc，Kp，R＊，t＊称为传感器参数的 自标定，求解(R1，t1)和(R2，t2)称为视点姿态估计；\n5.将多视点位置姿态进行存储，用于后续的多视点深度图像匹配及合成使用。\n本发明的优点是：本发明首次将极线几何约束原理，应用到基于相位映射的三维主动 视觉传感器的多视点姿态估计和同步自动标定传感器参数的研究上。提出了“相位-坐标” 的变换方法，利用投射正交的条纹图像，快速寻找成像平面和投影平面上的对应点。在此 基础上将极线约束应用于主动三维视觉传感器，建立了优化方程的数学模型，求解传感器 在多视点运动姿态和三维传感器结构参数。本方法不需要辅助标定设备，可以提高标定效 率，特别适合于三维视觉传感器的现场多视点姿态估计和自标定传感器参数。另外，该方 法对诸如复杂物体的自动化检验、机器人定位等领域的应用都有重要意义。\n附图说明\n图1是实现本发明方法的三维主动视觉传感器布置示意图。图中，101为数字投影仪， 103为摄像机，102为数字投影仪101的投影镜的出瞳P，104为摄像机103的成像透镜的 入瞳E，调节杆105用来调节摄像机103的高度和角度，106为计算机。\n图2是在立体视觉里极线几何约束图。\n图3是竖直条纹图像。\n图4是水平条纹图像。\n图5是竖直中心线图像。\n图6是水平中心线图像。\n图7实例纹理图像。\n图8是两个视点对物体进行测量的示意图。图中V1和V2表示两个视点，在第一个视 点V1，摄像机和投影仪的成像平面和投影平面分别为I1，I2，在第二个视点V2，相应的成 像平面和投影平面为I3，I4。C1和C3表示摄像机的入瞳，C2和C4表示投影仪的出瞳，mi(i ＝1，...，4)，表示空间点M在4个平面上的对应点。(R＊t＊)表示摄像机与投影仪之间的 传感器结构参数，(Rltl)表示深度传感器由视点V1变换到视点V2时，摄像机的位置变 换，(Rrtr)表示深度传感器由视点V1变换到视点V2时，投影仪的位置变换。\n图9视点V1的采集得到的点云图像(深度图像)。\n图10视点V2的采集得到的点云图像(深度图像)。\n图11为变换到同一个坐标系下，匹配后的网格图像。\n具体实施方式\n下面对本发明方法做进一步详细说明。极线约束是立体视觉的重要原理之一。但是它 不能直接应用到主动视觉传感器。本发明首次将极线几何约束原理，应用到基于相位映射 的三维主动视觉传感器的多视点姿态估计和同步自动标定传感器参数上。如图2所示，在 双目立体视觉里极线几何约束的图示。当两个摄像机同时对物体拍摄时，获得图像I1和I2。 如果m1和m2是空间一点M在两图像上的投影点，称m1和m2为对应点。令C1和C2分别 是两个摄像机的光心，点m2在线l2上，称l2为在图像I2上对应于点m1(位于图像I1上) 的极线。点m1在线l1上，称l1为图像I1上对应于点m2的极线。令(Rt)为第二个摄像机相 对于第一摄像机的位置变换，K1，K2分别为两摄像机的内参矩阵，R，K1，K2是3×3的 矩阵，t是3×1的矩阵。由针孔模型推出\n${\tilde{m}}_2^{T}F{\tilde{m}}_1=0---\left(1\right)$\n$F=K_2^{-T}{\left[t\right]}_x{\mathrm{RK}}_1^{-1}---\left(2\right)$\n公式(1)称为极线方程。和是对应点m1和m2的齐次表示。m1的极线l2表示为 $l_2=F{\tilde{m}}_1=(\alpha ,\beta ,\gamma ),$m2的极线l1表示为$l_1=F^T{\tilde{m}}_2.$可以看出，只要知道空间任意点在两 个摄像机成像平面上的对应点，就可以利用极线几何约束求出两个摄像机的内部参数K1， K2和两个摄像机的相对姿态位置Rt。\n相位到坐标的变换：因为投影仪的投射过程是摄像机的成像过程的逆过程，因此，我 们可以将极线几何约束原理应用到三维主动视觉传感器。而空间任意点在投影仪的投射平 面和摄像机的成像平面上的对应点，可以通过相位到坐标的变换方法求出。我们利用5幅 图像(物体的纹理图像，竖直编码条纹图像，竖直中心线图像，水平编码条纹图像以及水 平中心线图像)，就可以确定出空间任意点在投影仪的投射平面和摄像机的成像平面上的 对应点。\n纹理图像提供物体上特征点的二维图像坐标(u，v)。由竖直编码条纹图像和竖直中心线 图像，计算绝对相位图像Φa，${\Phi }_a(x,y)={\Phi }_u(x,y)-{\Phi }_u^k(i,j),$进而得到特征点在投影仪投 射平面上的横坐标u′，$u^{\prime }=\frac{{\Phi }_a^M(u,v)}{2\pi }p.$同理，由水平编码条纹图像和水平中心线图像， 再次计算绝对相位图像Φa，进而得到特征点在投影仪投射平面上的纵坐标v′。从而得到 空间任意点在投影仪的投射平面和摄像机的成像平面上的对应点(u，v)和(u′，v′)。\n多视点姿态估计和自标定：KcKp，摄像机和投影仪的内部参数；R＊t＊，摄像机和 投影仪的相对位置关系；Riti，各个视点的运动参数。如图8，以两个视点为例。共有 摄像机的2个成像平面，投影仪的2个投射平面。则空间任意点在4个平面上都有对应点， 可以利用极线几何约束，在任意两个平面间的建立优化方程\n$\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R,t}{\min }\left[\underset{j=1}{\overset{p}{\Sigma }}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2\right]---\left(3\right)$\n将4幅图像，两两组合后，6个优化方程(3)累加到一起组成方程组，用Levenberg-Marquart (LM)优化方法求解。可以得到每一个视点位置的姿态位置和传感器的参数。\n本发明方法的具体步骤如下：\n以实物(如图7)为例，在两个视点进行采集。求解出视点的姿态位置，同时标定传 感器参数。\n1.传感器在第1个视点位置上，顺序操作如下投射，采集过程：\n1)由摄像机采集被测物体的纹理图像，并存储到计算机中(如图7)；\n2)由计算机生成一组竖直条纹图案(如图3)。用数字投影仪向被测物体投射， 由于物体的深度变化导致编码条纹图像的产生，由摄像机采集竖直编码条纹图，并存储到 计算机中。然后通过条纹自动分析技术解码可以获得物体的相对相位图像；\n3)由计算机生成一幅位于图像的横向中心处且只有一条竖直线的图像(如图5)。 用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中。通过这 条辅助的中心线，将相对相位图像转换为绝对相位图像；\n4)将竖直的条纹图案，旋转90度成水平，即正交方向(如图4)。再由数字投影 仪向被测物体投射，摄像机采集水平编码条纹图像，存储到计算机中；\n5)同样，将竖直中心线图像，旋转90度成水平中心线图像(如图6)。用数字投 影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中；\n2.对步骤1得到的物体的纹理图像，竖直编码条纹图像，竖直中心线图像，水平编 码条纹图像以及水平中心线图像，然后对图像进行处理：\n1)对纹理图像进行特征分析：提取物体特征点M的二维图像坐标，即特征点M 在摄像机成像平面上的坐标(u，v)；\n2)对竖直编码条纹图像进行条纹自动分析：用FFT方法从变形条纹图中解调出 主值范围内相位函数，然后用相位展开算法提取展开相位图Φu；\n3)对竖直中心线图像进行特征分析：对图像二值化后，提取中心线所占的二维 图像坐标；\n4)利用相位到坐标的变换算法，得到特征点在投影仪投射平面上的横向坐标。 该算法为：先将竖直条纹图像的展开相位图Φu结合竖直中心线图像，变换为绝对相位图 Φa，${\Phi }_a(x,y)={\Phi }_u(x,y)-{\Phi }_u^k(i,j),$Φu k(i，j)为中心线所在象素位置(i，j)的相位值。然后， 可以得到任意特征点M在投影平面上的对应位置的横坐标u′，$u^{\prime }=\frac{{\Phi }_a^M(u,v)}{2\pi }p,$其中 Φa M(u，v)为特征点M的绝对相位，p是投射条纹的空间周期；\n5)同理，重复本步骤的2)、3)、4)过程，处理水平相位图和水平中心线，可以得 到任意特征点M在投影平面上的对应位置的纵坐标v′，$v^{\prime }=\frac{{\Phi }_a^M(u,v)}{2\pi }p,$此处的Φa M(u，v)通 过处理水平编码条纹图以及水平中心线图像得到；\n6)至此，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u，v)和 (u′，v′)，为利用极线几何约束，作好数据的初始化准备；\n3.在传感器测量范围内，且确保与前一个视点采集的图像有重合区域的前题下，自 由移动传感器到新的视点V2并对物体进行采集，重复步骤1和步骤2得到新的视点下， 特征点在成像平面和投影平面上的对应坐标(u2，v2)和(u2′，v2′)；\n4.两个视点，共有摄像机的2个成像平面，投影仪的2个投射平面。则空间任意点 在4个平面上都有对应点，利用极线几何约束，建立优化方程\n$\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R_i,t_i}{\min }\left[\underset{j=1}{\overset{p}{\Sigma }}\left[\begin{array}{c}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{3j}^T{F}_{13}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{14}{\tilde{m}}_{1j}\right)}^2\\ +{\left({\tilde{m}}_{3j}^T{F}_{23}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{24}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{34}{\tilde{m}}_{3j}\right)}^2\end{array}\right]\right]---\left(4\right)$\n(其中p表示特征点的个数，F12，F13，F14，F23，F24，F34表示两两平面之间的基本 矩阵，是对应点的齐次坐标表示)，得到两个视点分别相对于物体坐标系的姿态位置(R1， t1)和(R2，t2)，传感器的内部参数(Kc，Kp)，以及传感器的结构参数(R＊，t＊)。\n5.存储两个视点位置姿态，以备后续的多视点深度图像匹配及合成使用。\n实施例\n实际设计的三维视觉传感器的结构如图1所示。101为数字投影仪，103为摄像机。 102为数字投影仪101的投影镜的出瞳P，104为摄像机103的成像透镜的入瞳E。调节杆 105用来调节摄像机103的高度和角度，106为计算机。\n按照上面叙述的步骤，在两个视点对实物(如图7)进行采集。求解出视点的姿态位 置，同时标定传感器参数。\n标定的结果为：\n(1)摄像机的内部参数：$K_c=\left(\begin{array}{ccc}3564.36& -5.99209& 252.127\\ 0& 3552.63& 229.525\\ 0& 0& 1\end{array}\right)\mathrm{pixel}$\n投影仪的内部参数：$K_p=\left(\begin{array}{ccc}3044.83& -5.30216& 366.425\\ 0& 3023.41& 176.327\\ 0& 0& 1\end{array}\right)\mathrm{pixel}$\n投影仪和摄像机之间的传感器结构参数\n$R^{*}=\left(\begin{array}{ccc}0.9896& 0.0117& 0.1437\\ -0.0032& 1& -0.0585\\ -0.1434& -0.0524& 0.9880\end{array}\right)$ $t^{*}=\left(\begin{array}{c}-15.0004\\ 40.366\\ 0.085\end{array}\right)$\n(2)视点1的姿态位置为\n$R_1=\left(\begin{array}{ccc}0.991861& -0.0128653& 0.126676\\ -0.00945275& -0.999577& -0.0275033\\ 0.126977& 0.026082& -0.991563\end{array}\right)$ $t_1=\left(\begin{array}{c}-26.3503\\ -43.8632\\ 1277.3\end{array}\right)$\n视点2的姿态位置为\n$R_2=\left(\begin{array}{ccc}0.999781& -0.0118122& -0.017255\\ -0.0123243& -0.999478& -0.0298786\\ -0.0168931& 0.0300847& -0.999405\end{array}\right)$ $t_2=\left(\begin{array}{c}-52.1421\\ -41.2982\\ 1332.25\end{array}\right)$\n(3)设定一个精确的三维标定参照物，检验标定的结果。在x，y，z三个方向的误差标 准差分别为0.0927mm，0.0750mm和0.2562mm。\n(4)对一个真实物体在两个视点测量，利用求得的视点姿态，将两个视点的图像，变换 到同一坐标系内。图9和图10分别为两个视点的采集得到的点云图像(深度图像)。图11 为变换到同一个坐标系下，匹配后的网格图像。\n可对比的技术文献有下以五篇：\n[1]发明专利：申请号02156599.6\n[2]发明专利：申请号200510061174.x\n[3]Hu Q.，Huang P.S.，Fu Q.，et al.Calibration of a three-dimensional shape measurement system[J].Opt.Eng.，2003，42(2)：487-493\n[4]邵双运，苏显渝，王华等.调制度测量轮廓术的系统标定.光学学报，2005，25(2)：203- 206\n[5]Zhang Z.，Luong Q.，Faugeras O..Motion of an uncalibrated stereo rig：self-calibration and metric reconstruction.IEEE Transactions on Robotics and Automation，1996，12(1)：103-113