一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法

1.一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法，其特征在于，基于视觉不变量的新型标志点图形为一个带有黑色或白色圆形标志的五边形，该五边形各顶点的位置可根据需要任意选择只要保证任意三个顶点不共线即可；并且该新型标志点不限制五边形的凹凸特性，即五边形可以是凸五边形也可以是凹五边形；其中圆形标志用于确定五边形的第一个顶点；若五边形是凸五边形则圆形标志为白色位于五边形内部，若五边形是凹五边形则圆形标志为黑色位于五边形外部；确定了五边形的顶点顺序，就可以确定特征点的匹配关系；利用五边形的五条边计算其交比不变量(I1，I2)并结合顶点的凹凸性对图形进行编码；基于视觉不变量的新型标志点的识别、跟踪定位算法流程如下：
(1)提取所采集图像中的所有黑色区域；
(2)检测提取到的黑色区域的连通区域；
(3)五边形检测；
(4)提取五边形边缘；
(5)边缘细化得到单像素宽度边缘；
(6)直线拟合算法获得直线参数；
(7)检测标志点图形中的圆形标记获得其顶点的顺序排列；
(8)对所有候选五边形区域进行误差检测，若误差检测结果小于设定的阈值，将被识别为正确的标志点图形；若没有检测到则退出；
(9)检测五边形的凹凸特性；
(10)计算由五边形的边所构成的交比不变量；
(11)利用凹凸特征矢量以及交比不变量与数据库中的标志点特征信息进行比较，确定标志点的编码；
(12)重复(9)-(11)步骤，直到检测出当前图像中所有的标志点；
(13)采用基于平面特征点的增强现实注册算法进行姿态计算；
(14)实现真实与虚拟场景的融合。

技术领域\n本发明涉及一种基于视觉不变量的标志点图案设计，尤其是涉及一种利用该特殊标志点的增强现实跟踪注册算法，属于虚拟现实领域。\n背景技术\n基于人工标志点的跟踪注册技术是当前增强现实系统中最为成熟和实际应用最为广泛的注册技术。所谓“标志点”，是指由人工设计印制的特殊图形图案。由于其图形图案的特殊性，很难与各种场景中的环境背景类似，因此便于从环境中区分出来。标志点经过识别定位算法可以得到其空间三维坐标与其投影图像的对应点集，通过姿态估计算法计算得到摄像机相对于真实场景的六自由度姿态信息。\n国外许多实验室都在基于人工标志点跟踪注册技术方面做出了重要成果。如美国华盛顿大学的HTL实验室设计开发了ARToolKit软件包。该软件包中使用的方形标志点是当前AR系统中最经常被采用的标志点样式。由于ARToolKit处理过程采用二值图像，精度比较低，同时由于在编码匹配方面采用了图形相关性匹配，匹配效率和编码数量都受到制约。日本Sony计算机实验室1998年发表了一种与ARToolKit比较类似的标志点系统，对其编码算法进行了一定的改进，使其可以更方便的设计编码。西门子研究院的X.Zhang和N.Navab对ARToolKit样式的标志点系统进行了重要改进，大幅提高了其跟踪精度。这个标志点系统的算法具有很优秀的性质，对于基于标识的AR注册技术贡献很大。而美国密西根州立大学的Charles B.等人在分析了内部图案编码方法后，给出了理论上可以获得最大编码数量的图形设计方法。此后，M.Fiala在2005年发表了ARTag标志点跟踪注册系统。该标志点系统对于标志点注册的识别、特征定位和二维条形码编码解码算法都有很重要的贡献。除了以上的类似于ARToolKit样式的方形标志点，目前也有一些圆形的标志点系统公开发表。其中较有代表性的是InterSense公司的Leonid Naimark等人在2002年发表的圆形标志点系统以及Diego López de等在2002年发表的TRIP系统。\n然而在这些标志点系统中，标志点图案的设计往往分为两个独立的部分，一部分专门用于标志图形的编码，另一部分用于特征点的提取与姿态计算。这样分离的结果是造成标志点图案需要大面积的编码区域，不利用减小标志点图形的尺寸，提高单位面积可提供的精度。同时在跟踪注册过程中需要对编码进行解码，增加了计算机的计算负担。\n发明内容\n为了克服现有基于标志点的增强现实跟踪注册技术方面的缺点，本发明所述系统包含一种基于视觉不变量的新型标志点图形及其识别、跟踪定位算法，可应用于增强现实跟踪注册系统中。本发明有益效果在于，基于视觉不变量的新型标志点充分利用了标志点图形自身所具有的视觉不变量信息，节省了编码图案所需的面积，近而减小了标志点图形的空间尺寸，提高了单位面积可提供的精度。基于该视觉不变量标志点的增强跟踪注册系统，对大视角变化具有较高的鲁棒性。\n本发明提出一种采用黑色带有白色圆形标记的五边形作为标志点图形的增强现实跟踪注册系统。五边形的顶点作为进行姿态估计的匹配特征；同时选择构成该五边形的五条边计算其交比射影不变量以及其凹凸性，用以编码和识别标志点。为解决特征点顺序匹配的问题，在五边形图形中加入圆形标记，用于识别五边形的第一个顶点。识别了五边形的第一个顶点，就确定了其顶点的顺序方向，从而可以确定特征点的匹配关系。参照图1，基于视觉不变量的新型标志点图形为一个带有黑色或白色圆形标志的五边形，该五边形各顶点的位置可根据需要任意选择只要保证任意三个顶点不共线即可。并且该新型标志点不限制五边形的凹凸特性，即五边形可以是凸五边形也可以是凹五边形。圆形标志用于确定五边形的第一个顶点。若五边形是凸五边形则圆形标志为白色位于五边形内部，若五边形是凹五边形则圆形标志为黑色位于五边形外部。确定了五边形的顶点顺序，就可以确定特征点的匹配关系。利用五边形的五条边计算其交比不变量(I1，I2)并结合顶点的凹凸性对图形进行编码。\n$I_1=\frac{\left|M_{431}\right|\left|M_{521}\right|}{\left|M_{421}\right|\left|M_{531}\right|},$ $I_2=\frac{\left|M_{431}\right|\left|M_{532}\right|}{\left|M_{432}\right|\left|M_{521}\right|}---\left(1\right)$\n其中Mijk＝(li，lj，lk)，(l＝(l1，l2，l3)l表示直线方程：l1x+l2y+l3＝0)，|M|为矩阵的行列式\n图2是标志点中圆形标记放置位置的设计。为了解决特征点顺序匹配的问题，在五边形中加入了一个圆形标记，用于识别五边形的第一个顶点。识别了五边形的第一个顶点，就确定了其上各顶点的顺序(其它顶点沿顺时针方向进行选取)，从而可以确定特征点的匹配关系。圆形标记的圆心位置位于(x0，y0)。其中：\n$x_0=\frac{x_1+x_c}{2}---\left(2\right)$\n$y_0=\frac{y_1+y_c}{2}$\n(x1，y1)为五边形第一个顶点的坐标，(xc，yc)为由与五边形第一个顶点相邻的两个顶点所构成的三角形的重心坐标。\n本发明所设计的基于视觉不变量的新型标志点的识别、跟踪定位算法流程如下：\n(1)提取所采集图像中的所有黑色区域；\n(2)检测提取到的黑色区域的连通区域；\n(3)五边形检测；\n(4)提取五边形边缘；\n(5)边缘细化得到单像素宽度边缘；\n(6)直线拟合算法获得直线参数；\n(7)检测标志点图形中的圆形标记获得其顶点的顺序排列；\n(8)对所有候选五边形区域进行误差检测。若误差检测结果小于设定的阈值，将被识别为正确的标志点图形；若没有检测到则退出；\n(9)检测五边形的凹凸特性；\n(10)计算由五边形的边所构成的交比不变量；\n(11)利用凹凸特征矢量以及交比不变量与数据库中的标志点特征信息进行比较，确定标志点的编码；\n(12)重复(9)-(11)步骤，直到检测出当前图像中所有的标志点；\n(13)采用基于平面特征点的增强现实注册算法进行姿态计算；\n(14)实现真实与虚拟场景的融合。\n根据对本发明的上述描述，本发明能够有效的解决当然标志点图形占用面积大，编码复杂的缺点，充分利用图形自身的特征实现基于该新型标志点的增强现实跟踪注册。\n附图说明\n图1为本发明中的基于视觉不变量的标志点图形设计；图1a.-凹五边形标志点，图1b.-凸五边形标志点；\n图2为标志点中圆形标记的设计。\n具体实施方式\n下面结合具体实施实例对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。\n在真实场景中放置本发明所设计的五边形标志点，利用摄像机拍摄该场景获取场景的图像信息。识别、跟踪定位算法的具体实施流程如下：\n(1)提取所采集图像中的所有黑色区域，该处并不限定采用何种图像二值化算法；\n本实施例中采用分水岭自适应阈值算法进行黑色区域提取，以保证算法对光照变化的自适应性。\n(2)检测提取到的黑色区域的连通区域，该处并不限定采用何种连通区域检测算法；\n本实施例中采用label连通区域检测算法。\n(3)利用五边形检测算法检测五边形，并提取五边形边缘，将其细化到单像素宽度；\n(4)接着采用直线拟合算法获得直线参数，该处并不限定采用何种直线拟合算法；\n本实施例中采用了最小二乘法进行直线拟合。\n(5)利用图形中的白色或黑色圆形确定五边形的第一个顶点，并按顺时针方向选取五边形上的其他顶点；\n(6)对所有选取的候选区域进行单应性误差检测。若误差检测结果小于设定的阈值，将被识别为正确的匹配标志点，没有检测到则退出；\n(7)依次检测标志点各顶点的凹凸特性，并构成凹凸特征矢量(a1，a2，a3，a4，a5)，如果是凹顶点表示为“1”，凸顶点表示为“0”。如图1a样式的凹五边形标志点，其凹凸特征矢量为(1，0，0，0，0)。\n(8)计算由五边形的边所构成的交比不变量(I1，I2)；利用交比不变量和凹凸矢量作为特征矢量，采用马氏距离与数据库中的标志点信息进行比对，若小于设定的阈值系统认为正确的识别出来标志点；若大于阈值则对其他的候选区域进行检测直至检测出当前图像中的所有标志点；\n(9)采用基于平面特征点的增强现实注册算法进行姿态计算，计算出摄像机相对于标志点世界坐标系的旋转矩阵R和平移矩阵T。\n(10)将旋转和平移矩阵值赋值给虚拟摄像机，使其沿该轨迹运动，完成虚拟与真实场景的融合。\n以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。