带有交互功能的增强现实的方法及其系统

1、一种带有交互功能的增强现实的方法，其特征在于包括以下步骤：
步骤10)、初始化系统环境、配置系统参数；
步骤20)、选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；
步骤30)、计算标志物图像的相机内部参数并进行校正；
步骤40)、对摄像头拍摄到的真实环境中的每一帧，利用步骤30)中的数据进行校正，再 基于步骤20)中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中 的相对位置矩阵，并通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处 环境的光照信息；
步骤50)、通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模 型的位置；
步骤60)、在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型；
步骤70)、在标志物附近设置交互区域，通过检测交互区域内是否被手覆盖，实现与用户 的交互。
2、根据权利要求1所述的带有交互功能的增强现实的方法，其特征在于，所述步骤70) 交互步骤具体包括以下步骤：
步骤71)、从摄像头取入当前帧；
步骤72)、判断是否识别出标志物，如果是，执行步骤73)，如果否，转步骤71)；
步骤73)、判断当前帧的交互区域内有无肤色，如果有，执行步骤74)，如果无，执行步 骤71)；
步骤74)、启动交互效果。
3、根据权利要求2所述的带有交互功能的增强现实的方法，其特征在于，在所述步骤73) 之后所述步骤74)之前，还包括以下步骤：
判断交互区域被手覆盖是否连续且达到一定帧数，如果是执行步骤74)，如果否，转步骤 71)。
4、根据权利要求3所述的带有交互功能的增强现实的方法，其特征在于：所述步骤73) 中采用色度阈值判定方法检测是否存在肤色，通过统计多次采集当前光线下的肤色值，为肤 色的r、g、b值确定一个阈值范围，然后对每个交互区域内的像素进行判断，若该像素值在 肤色的阈值范围内，即认定检测到一个像素的肤色值。
5、根据权利要求4所述的带有交互功能的增强现实的方法，其特征在于：所述肤色色度 中的r分量统一为值200，g分量阈值范围为[120，190]，b分量为[100，160]，当检测到肤 色的像素值总数达到设定数目后，判定这一帧内的交互区域内有手覆盖于其上。
6、根据权利要求1至5中任一权利要求所述的带有交互功能的增强现实的方法，其特征 在于，所述步骤20)具体包括以下步骤：
步骤21)、将彩色图转化为灰度图；
步骤22)、初步提取特征点，具体提取特征点的方法如下：
对于图片上的每个象素m，若以m为中点、围绕着m的八个象素中的任意两个满足以下两 个条件，则排除这个像素m：
a、这两个像素处于以m为中点的这圈像素的某条直径两端，
b、这两个像素的灰度值均与m接近；
步骤23)、把灰度图进行正视图视角变换，在变换后的视图中提取特征点，用来得到更为 稳定的特征点；
步骤24)、将所有经不同角度的透视变换的正视图中的同一个特征点取出，构成一个“特 定视点集合”，得到N个“特定视点集合”，每个“特定视点集合”对应一个稳定特征点；
步骤25)、构建随机树用以特征点分类和识别。
7、根据权利要求6所述的带有交互功能的增强现实的方法，其特征在于，所述步骤24) 中“特定视点集合”的构成方法为：
将原始正视图分别绕x轴、y轴按(-π，+π)的范围旋转进行透视变换，将绕x轴的转 向均分为Lx个角度，将绕y轴的转向均分为Ly个角度，得L＝Lx×Ly幅变换视图，将所有变 换视图中编号相同的特征点取出，得到N个集合Vn＝{vn1，vn2……vnL}，1≤n≤N，每个Vn就是对 应一个特征点的“特定视点集合”，该集合中的每个元素包含了在不同视角变换下同一特征点 的不同位置。
8、根据权利要求7所述的带有交互功能的增强现实的方法，其特征在于，所述步骤23) 具体为：
对于一幅给定的标志物的正视图，用步骤22)中的方法提取出M个特征点，按特征点的 坐标位置顺序编号，构成一个特征点集合K＝{k1，k2……kM}，集合中每个元素表示相应编号的 一个特征点；
对该标志物原始正视图进行多个不同角度的透视变换，并给变换后的正视图加上白噪声， 之后再利用步骤22)中的方法提取变换后的视图的特征点，再利用反变换将提取出的特征点 还原为相应的正视图特征点；统计多个经过不同角度变换的视图经上述“变换-提取-还原” 后的特征点仍能找到原始正视图相对应特征点的概率，概率最高的N个点被确认为“稳定” 的特征点，集合K的元素数由M减为N，即K＝{K1，K2……KN}。
9、根据权利要求8所述的带有交互功能的增强现实的方法，其特征在于，所述步骤25) 中构建随机树用以特征点分类和识别，具体如下：
随机树采用二叉树结构，输入的数据为32×32像素的面片，在训练时将大量包含“特定 视点集合”中的特征点的面片输入随机树，让每个面片进入某一片树叶，当所有的面片都进 入树叶后，计算每片叶子对应所有“稳定”的特征点的概率分布，某片树叶包含的概率分布 可由如下公式表示：
Pη(l，p)(Y(p)＝c)
其中，p代表32×32像素的一块面片，Y(p)是该面片所包含的特征点对应的特征点标 号，c∈{-1，1，2……N}，其中-1表示不包含任何特征点的面片，1为随机树的编号，η代表 p面片投入第1棵树所到达的那片树叶；
为每个结点选取的判断公式如下，

其中，I(p，m)表示面片p在m点的亮度，m1，m2，m3，m4为面片p中随机挑选的四个位置不 同像素。
所述步骤40)具体包括以下步骤：
将采集的一帧图像分解为32×32像素的面片，将每片面片输入步骤25)中构建的不同的 随机树；
表示面片p所包含特征点经估算得到的特征点标号，利用以下公式算得：

该公式是将面片p在不同树中所到达的叶片的概率分布相加取平均值，得到一个平均概率 分布，将这个平均概率分布中概率最大的那个稳定特征点的标号，作为面片p对应的特征点 的标号；利用该公式建立新采集图像特征点和原始正视图特征点的对应。
10、一种带有交互功能的增强现实的系统，其特征在于包括：
视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；
视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并 进行校正；
视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍 摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频 帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的 相对位置矩阵，并通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处环 境的光照信息；
虚实合成模块，与视频帧捕获模块相连接，用于通过识别出的标志物寻找对应虚拟模型， 利用提取出的标志物位置矩阵确定模型的位置，在真实拍摄的视频帧上根据计算出的相对位 置绘制虚拟模型；
交互模块，与所述虚实合成模块相连接，用于在标志物附近设置交互区域，通过检测交互 区域内是否被手覆盖，实现与用户的交互。

暂无