一种基于机器视觉的虚拟现实交互系统及方法

暂无

一种基于机器视觉的虚拟现实交互系统及方法\n技术领域\n[0001] 本发明涉及一种虚拟现实交互系统，具体涉及一种基于机器视觉的虚拟现实交互系统及方法。\n背景技术\n[0002] 虚拟现实技术(Virtual Reality，VR)，是集成计算机图形学、多媒体、人工智能、多传感器、网络和并行处理等技术的一项最新技术，以模拟方式为使用者创造一个实时反映实体对象变化与相互作用的三维图像世界。在视、听、触和嗅等感知行为的逼真体验中，使参与者可以直接参与虚拟对象在所处环境中的作用和变化，令人仿佛置身于一个虚拟世界中，产生身临其境的感觉，即：浸没感(Immersion)。\n[0003] 虚拟现实技术除具有浸没感的特征外，还具有交互性，即：参与者可操纵虚拟环境。为实现参与者和虚拟环境之间交互性，必须跟踪参与者头部和分离部的姿态，现有技术中，采用复杂的外围器件，例如，陀螺仪、加速度计以及旋转向量传感器等，对参与者头部和分离部进行跟踪，因此，既加大了系统成本，又具有跟踪精度有限的问题，从而降低了参与者体验感。\n发明内容\n[0004] 针对现有技术存在的缺陷，本发明提供一种基于机器视觉的虚拟现实交互系统及方法，可有效解决上述问题。\n[0005] 本发明采用的技术方案如下：\n[0006] 本发明提供一种基于机器视觉的虚拟现实交互系统，包括：虚拟环境生成控制器(1)、头盔设备(2)和分离部交互系统(3)；\n[0007] 其中，所述头盔设备(2)包括头盔式显示器、固定安装于所述头盔式显示器的第二图像采集设备(2.1)和通信模块；所述第二图像采集设备(2.1)通过所述通信模块与所述虚拟环境生成控制器(1)通信；\n[0008] 所述分离部交互系统(3)包括分离部交互设备(3.1)、固定设置于所述分离部交互设备(3.1)的第二辅助识别模块(3.2)和指令发送器(3.3)；所述分离部交互设备(3.1)通过所述指令发送器(3.3)与所述虚拟环境生成控制器(1)通信；\n[0009] 此外，所述第二图像采集设备(2.1)为摄像机，随着参与者头部运动而运动；所述第二图像采集设备(2.1)用于采集所述第二辅助识别模块(2.2)的图像信息，并将采集到的所述图像信息上传给所述虚拟环境生成控制器(1)。\n[0010] 优选的，还包括头部姿态采集系统；\n[0011] 所述头部姿态采集系统为姿态传感器；或者，所述头部姿态采集系统包括第一图像采集设备(4)和固定设置于所述头盔式显示器的第一辅助识别模块(2.2)；所述第一图像采集设备(4)的数量为至少一个，固定安装于参与者视线的前方、左侧或右侧；当所述第一图像采集设备(4)的数量为两个以上时，形成一个无盲区的采集区域；\n[0012] 所述第一图像采集设备(4)与所述虚拟环境生成控制器(1)通信。\n[0013] 优选的，所述姿态传感器为陀螺仪和/或加速度计和/或磁力计。\n[0014] 优选的，所述第一辅助识别模块(2.2)和所述第二辅助识别模块(3.2)为带特征标记的多面体，所述多面体为四面体、六面体或者球体。\n[0015] 优选的，所述第一辅助识别模块(2.2)为设置于所述头盔式显示器中远离参与者眼部外表面的具有一定规则的纹理图案；所述第二辅助识别模块(3.2)为设置于所述分离部交互设备(3.1)外表面的具有一定规则的纹理图案。\n[0016] 优选的，所述分离部交互设备(3.1)为仿真模型和/或玩具；所述指令发送器(3.3)为所述仿真刀具的手柄，或者，所述指令发送器(3.3)为所述仿真枪具的扳机。\n[0017] 优选的，所述指令发送器(3.3)为有线指令发送器和/或无线指令发送器。\n[0018] 本发明还提供一种基于机器视觉的虚拟现实交互方法，包括以下步骤：\n[0019] S1，初始时刻，头盔设备(2)固定设置有第二图像采集设备(2.1)以及配有图案和/或人工标记的第一辅助识别模块(2.2)；\n[0020] 在分离部交互设备(3.1)上固定设置有配有图案和/或人工标记的第二辅助识别模块(3.2)；\n[0021] 在参与者视线的前方固定安装第一图像采集设备(4)；\n[0022] 在初始时刻，即t＝0时，虚拟环境生成控制器(1)生成初始的虚拟环境；同时，所述虚拟环境生成控制器(1)预存储第一辅助识别模块(2.2)在头盔真实场景坐标系下的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0；还存储第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下的初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息P0；\n[0023] 根据第一辅助识别模块(2.2)所在头盔真实场景坐标系的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0，通过三维注册技术解算得到初始时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵M0；\n[0024] 以及，根据第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，解算得到初始时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵W0；\n[0025] 其中，当分离部交互设备(3.1)和/或头盔设备(2)运动时，A0、C0均为常量；\n[0026] S2，在下一时刻，当头盔设备(2)和/或分离部交互设备(3.1)运动时，固定安装于参与者前方的第一图像采集设备(4)，采集当前时刻固定安装于所述头盔设备(2)的第一辅助识别模块(2.2)的第一图像信息，并实时将所述第一图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第一辅助识别模块(2.2)具有一定排列规则的特征点；\n[0027] 同时，固定安装于所述头盔设备(2)的第二图像采集设备(2.1)实时采集当前时刻所述分离部交互设备(3.1)中第二辅助识别模块(3.2)的第二图像信息，并实时将所述第二图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第二辅助识别模块(3.2)具有一定排列规则的特征点；\n[0028] S3，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第一图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1；\n[0029] 其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1的计算方法为：\n[0030] 1)采用三维注册技术计算当前时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵Mt；三维注册的任务是实现对使用者头部姿态变换的计算，算法的基本步骤为：\n[0031] (1)已知标志点在场景中的坐标(xi，yi，zi)\n[0032] (2)测定标志点在图像平面坐标系的坐标(ui,vi)\n[0033] (3)利用透视投影方程建立图像平面点与场景点的联系。\n[0034] (4)求解出标志点所在场景坐标系xyz与摄像头坐标系x’y’z’之间的变换矩阵B。\n[0035] 三维注册理论推导如下：\n[0036] 从场景坐标系到摄像头坐标系的关系如式(1)\n[0037] (x，,y，,z，)＝R(x,y,z)T+T  (1)\n[0038]\n[0039] x，＝rxxx+rxyy+rxzz+tx\n[0040] y，＝ryxx+ryyy+ryzz+ty  (2)\n[0041] z，＝rzxx+rzyy+rzzz+tz\n[0042] 在摄像头坐标系中，虽然场景点的位置是未知的，但是点在图像平面上的投影可以由透视投影方程来确定\n[0043]\n[0044]\n[0045] 其中F为摄像头的焦距(这里假设摄像头内部参数已知，即F已知)，联立式(2)、(3)、(4)可知，每一个标志点可以确定如下两个独立的约束方程\n[0046] u(rzxx+rzyy+rzzz+tz)-F(rxxx+rxyy+rxzz+tx)＝0  (5)\n[0047] v(rzxx+rzyy+rzzz+tz)-F(ryxx+ryyy+ryzz+ty)＝0\n[0048] 显然，由6个标志点可以产生12个方程，从而可以解出变换矩阵B中的12个参数。\n[0049] 实际上，如果使用旋转矩阵规范化正交约束，只需4个点就可以解出矩阵B中的12个参数，其中 由于标志点都在同一个平面内，4个标志点的绝对坐标为(xi,yi,0)(i＝1,2,3,4)，所以式(5)可简化为\n[0050] u(rzxx+rzyy+1)-F(rxxx+rxyy+tx)＝0  (6)\n[0051] v(rzxx+rzyy+1)-F(ryxx+ryyy+ty)＝0\n[0052] 其实，由于tz只是各参数的比例因子，所以可以设tz＝1，同时由于式(6)中有8个参数，而且由4个标志点可以得到8个方程，因此解这个线性方程组可以求出8个参数：rzx,rzy,rxx,rxy,ryx,ryy,tx和ty。\n[0053] 因为旋转矩阵R是正交规范化矩阵，所以RTR＝I一定成立，利用这一特性可以计算如下参数\n[0054]\n[0055]\n[0056]\n[0057] 这样，就完成了三维注册任务。\n[0058] 2)又Mt-1为上一时刻第一辅助识别模块(2.2)所在坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵是已知的，则通过公式Mt＝Tt-1Mt-1可结算出Tt-1；\n[0059] S4，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第二图像信息进行解算，得到上一时刻第二辅助识别模块(3.2)所在分离部交互设备相对于第二图像采集设备(2.1)的分离部姿态变化矩阵St-1；\n[0060] 其中，分离部姿态变化矩阵St-1的计算方法为：\n[0061] 1)采用三维注册技术计算当前时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵Wt；\n[0062] 2)又Wt-1为上一时刻第二辅助识别模块(3.2)所在坐标系相对于第一图像采集设备(2.1)所在坐标系的变换矩阵是已知的，则通过公式Wt＝St-1Wt-1可计算出St-1；\n[0063] S5，所述虚拟环境生成控制器(1)根据上一时刻分离部姿态变化矩阵St-1，根据公式Pt＝St-1Pt-1，解算出当前时刻分离部交互设备相对于第二图像采集设备(2.1)的姿态信息，并结合S2中所述分离部交互系统(3)中的指令收发器，向虚拟环境生成控制器(1)发送当前时刻分离部交互设备的瞄准方向和对虚拟环境的交互指令；\n[0064] 其中，Pt-1表示上一时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，Pt表示当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息；\n[0065] S6，所述虚拟环境生成控制器(1)根据S3得到的所述上一时刻参与者头部的头部姿态变化矩阵Tt-1以及上一时刻分离部交互设备的分离部姿态变化矩阵St-1，再结合S5中分离部交互设备的瞄准方向和对虚拟环境的交互指令，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，并将新的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；\n[0066] S7，当下一时刻到达时，重复S2-S6，由此实现参与者与虚拟环境的虚拟现实交互。\n[0067] 优选的，S6中，所述对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，具体为：\n[0068] 对于上一时刻的虚拟环境中的任意一个像素点，首先使用头部姿态变化矩阵Tt-1，对该像素点的三维坐标进行坐标变换，得到第一次变化后的虚拟动画；再进一步使用分离部姿态变化矩阵St-1，对所述第一次变化后的虚拟动画的分离部交互设备的三维坐标进行坐标变换，得到第二次变化后的虚拟动画，该第二次变化后的虚拟动画即为最终需要输出的虚拟动画。\n[0069] 本发明提供的基于机器视觉的虚拟现实交互系统及方法具有以下优点：\n[0070] (1)能够精确对参与者头部和分离部进行跟踪，从而提高参与者与虚拟环境的交互体验，最终提高参与者体验感；\n[0071] (2)可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。\n[0072] (3)此外，由于采用机器视觉识别技术，不需要布置复杂的外围器件，从而减化了系统成本。\n[0073] (4)为一种比较廉价、便捷、逼真的虚拟现实交互系统，可大范围推广使用。\n附图说明\n[0074] 图1为本发明提供的基于机器视觉的虚拟现实交互系统的结构示意图。\n具体实施方式\n[0075] 以下结合附图对本发明进行详细说明：\n[0076] 结合图1，本发明提供一种基于机器视觉的虚拟现实交互系统，包括：虚拟环境生成控制器1、头盔设备2和分离部交互系统3；\n[0077] 其中，头盔设备2包括头盔式显示器、固定安装于头盔式显示器的第二图像采集设备2.1和通信模块；第二图像采集设备2.1通过通信模块与虚拟环境生成控制器1通信；\n[0078] 实际应用中，第二图像采集设备2.1为摄像机，由于其固定安装于头盔上，因此，能够随着参与者头部运动而运动；第二图像采集设备2.1用于采集第二辅助识别模块3.2的图像信息，并将采集到的图像信息上传给虚拟环境生成控制器1；\n[0079] 分离部交互系统3包括分离部交互设备3.1、固定设置于分离部交互设备3.1的第二辅助识别模块3.2和指令发送器3.3；分离部交互设备3.1通过指令发送器3.3与虚拟环境生成控制器1通信；实际应用中，分离部交互设备包括但不限于手持交互设备。本发明中，分离部可以为布置在人手上或胳膊上、或者固定在动物身体上的交互设备。\n[0080] 还包括头部姿态采集系统；头部姿态采集系统为姿态传感器；或者，头部姿态采集系统包括第一图像采集设备4和固定设置于头盔式显示器的第一辅助识别模块2.2；第一图像采集设备4的数量为至少一个，固定安装于参与者视线的前方、左侧或右侧；当第一图像采集设备4的数量为两个以上时，可形成一个无盲区的采集区域；第一图像采集设备4与虚拟环境生成控制器1通信，用于采集第一辅助识别模块2.2的图像信息，并将采集到的图像信息上传给虚拟环境生成控制器1。\n[0081] 其中，姿态传感器为陀螺仪和/或加速度计和/或磁力计。第一图像采集设备4的数量为至少一个，可采用固定式摄像机，固定安装于参与者视线的前方、左侧或右侧，当第一图像采集设备4为两个以上时，可形成一个无盲区的采集区域；\n[0082] 本发明中，第一辅助识别模块2.2和第二辅助识别模块3.2为带特征标记的多面体，多面体包括但不限于四面体、六面体或者球体。或者，第一辅助识别模块2.2为设置于头盔式显示器中远离参与者眼部外表面的具有一定规则的纹理图案；第二辅助识别模块3.2为设置于分离部交互设备3.1外表面的具有一定规则的纹理图案。由于第一辅助识别模块\n2.2固定设置于头盔，因此，当人的头部运动时，头盔进行同步运动，从而使第一辅助识别模块2.2进行同步运动，因此，第一辅助识别模块2.2的姿态信息即反应了头部姿态信息；同样的，由于第二辅助识别模块3.2固定设置于分离部交互设备3.1的外表面，因此，当分离部交互设备3.1运动时，第二辅助识别模块3.2进行同步运动，因此，第二辅助识别模块3.2的姿态信息即反应了分离部交互设备的姿态信息。而对于第一辅助识别模块2.2和第二辅助识别模块3.2的识别方法，可采用基于机器视觉的特征点识别算法实现，具体实现原理在后面介绍。\n[0083] 分离部交互设备3.1为模型和/或玩具，包括但不限于仿真刀具或仿真枪具；指令发送器3.3可采用有线指令发送器和/或无线指令发送器，更具体的，指令发送器为仿真刀具的手柄，或者，指令发送器3.3为仿真枪具的扳机。\n[0084] 以下介绍基于机器视觉的虚拟现实交互系统的一个具体实例：\n[0085] 虚拟环境生成控制器包括两个核心功能模块，一个为头戴摄像机姿态变换计算模块，另一个为分离部交互设备姿态变换计算模块，这两个功能模块既可以整合为一体，也可以分开设置，当分开设置时，可以分别采用嵌入在台式机、笔记本、手机、芯片、智能眼镜上的具有姿态变换计算的功能模块。下面以这两个功能模块分开设置为例，进行介绍：\n[0086] 本系统空间位置划分包括头戴设备部分、分离部交互设备部分和固定摄像机部分三大部分：\n[0087] 头戴设备部分由显示装置固定架、支架主体、影像观察窗、双目透镜、摄像机采集模块、分离部交互设备姿态变换计算模块、无线和/或有线指令接收器、显示设备组成。\n[0088] 双目透镜安装在支架主体的一侧；支架主体的另一侧设置有显示装置固定架；双目透镜为具有放大功能的透镜或具有放大功能的组合透镜；接口电路与分离部交互设备姿态变换计算模块、头戴摄像机姿态变换计算模块相连，接口电路还连接有无线通讯模块和/或有线通讯插口，支架主体与使用者相对的一侧，设置有与使用者的左右眼睛相对应的两个影像观察窗，双目透镜安装在两个影像观察窗上，两个影像观察窗之间设置有可调节两个影像观察窗之间距离的结构，两个影像观察窗之间设置有与使用者鼻梁相对应的凹入部。带图案或人工标记的多面体位于支架主体上侧正中心，其中，多面体可以为四面体、六面体或者球体，带图案或人工标记的多面体用于记录头部的姿态变换。可移动摄像固定在支架主体外侧的正中心，但能随着头部运动作相应的运动，用于采集分离部交互设备运动视频流。支架主体外侧刻有一定规则的纹理形状，用于辅助记录头部的姿态变换。头带摄像机姿态变换模块为嵌入在台式机、笔记本、手机、芯片、智能眼镜上的具有姿态变换计算的功能模块。\n[0089] 分离部交互设备部分包括手持交互设备(仿真刀、枪)、带图案或人工标记的多面体、纹理、有线和/或无线指令发射器(扳机、手柄)。其中，分离部交互设备上方为带图案或人工标记多面体，用于记录分离部交互设备的姿态变换。分离部交互设备上还有无线和/或有线指令发射器，用于发送特定的交互式命令。分离部交互设备上刻有的具有一定规则的纹理形状，用于辅助记录分离部交互设备的姿态变换。\n[0090] 固定摄像机部分包括一或两个固定的摄像机和头带摄像机姿态变换计算模块。其中，固定摄像机个数为一或者两个，位于距离玩家适当距离的上前方，固定在墙壁或者支架上。头戴摄像机姿态变换计算模块为嵌入在台式机、笔记本、手机、芯片、智能眼镜上的具有姿态变换计算的功能模块。\n[0091] 头戴设备部分中接口电路分别与无线和/或有线指令发射器、头戴摄像机姿态变换计算模块、分离部交互设备姿态变换计算模块、显示器、可移动摄像机相连，一或者两个固定摄像机与头戴摄像机姿态变换计算模块相连。\n[0092] 其工作原理为：头戴设备姿态变换计算模块、分离部交互设备姿态变换计算模块通过接口电路将头戴设备姿态变换矩阵、分离部交互设备姿态变换矩阵传给显示设备，并且分离部交互系统中指令收发器发射交互指令给显示设备，分离部交互设备的瞄准方向信息传给显示设备，显示设备通过这些控制信息显示相应的虚拟环境。\n[0093] 本发明还提供一种基于机器视觉的虚拟现实交互方法，其大致原理思想为：\n[0094] 在头盔设备上固定设置配有图案和/或人工标记的标记体A；在分离部交互设备上固定设置配有图案和/或人工标记的标记体B；因此，当头盔设备运动时，标记体A进行同步运动，标记体A的姿态变换即为头盔设备的姿态变换；同样的，当分离部交互设备运动时，标记体B进行同步运动，因此，标记体B的姿态变换即为分离部交互设备的姿态变换；\n[0095] 为实现对头盔设备和分离部交互设备的姿态变换计算，本发明中，共设置两类摄像机，第一类摄像机固定安装于参与者视线的前方，并且，第一类摄像机的位置不发生改变，因此，当头盔设备运动时，通过第一类摄像机采集头盔设备的图像，并基于机器视觉识别算法对图像中标记体A中的特征点进行识别，通过三维注册技术，可计算当前时刻头盔设备所在坐标系相对于第一类摄像机所在坐标系的变换矩阵，，再与前一时刻头盔设备所在坐标系相对于第一类摄像机所在坐标系的变换矩阵进行对比，能够得到头盔设备相对于第一类摄像机的姿态变化信息；\n[0096] 此外，在头盔设备上固定安装第二类摄像机，当头盔设备和分离部交互设备均运动，并且运动不同步的情况下，通过第二类摄像机采集分离部交互设备的图像信息，再结合三维注册技术，计算当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，并结合当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，求得上一时刻分离部姿态变化矩阵。也就是说，本发明中，当头盔设备和分离部交互设备均运动的情况下，能够实时识别出分离部交互设备的姿态变化信息和头盔设备的姿态变化信息，进而生成在头盔设备运动、分离部交互设备也运动的情况下的叠加虚拟动画。\n[0097] 例如，当虚拟环境场景为打飞机游戏场景时，当玩家瞄准虚拟环境场景中某架飞机后，通过指令发射器，向虚拟环境控制系统发送“攻击”指令，虚拟环境控制系统计算得到当前时刻分离部交互设备的姿态变化信息和头盔设备的姿态变化信息；然后，通过计算分离部交互设备与游戏场景中目标的位置关系，生成相应的游戏场景动画，并与通过计算机图形学技术生成的仿真分离部交互设备动画叠加，最终将叠加后的动画输出到位于头盔设备前端卡槽内的显示屏上。\n[0098] 现有技术中，通常只能实现头盔设备单独运动时，根据头盔设备运动变化信息，对虚拟场景进行相应改变，使虚拟场景跟随头盔运动而变化；或者，在分离部交互设备单独运动的情况下，使虚拟环境进行相应的改变。而本发明中，通过额外增加一个固定在适当位置的固定摄像机，其中，需要保证固定摄像机能够拍摄到人头盔设备的画面；再借助上述原理，即可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。\n[0099] 具体的，本发明提供的基于机器视觉的虚拟现实交互方法包括以下步骤：\n[0100] S1，初始时刻，头盔设备2固定设置有第二图像采集设备2.1以及配有图案和/或人工标记的第一辅助识别模块2.2；\n[0101] 在分离部交互设备3.1上固定设置有配有图案和/或人工标记的第二辅助识别模块3.2；\n[0102] 在参与者视线的前方、左侧或右侧固定安装第一图像采集设备4，当第一图像采集设备4为多个时，可形成一个无盲区的采集区域；\n[0103] 在初始时刻，即t＝0时，虚拟环境生成控制器1生成初始的虚拟环境；同时，虚拟环境生成控制器1预存储第一辅助识别模块2.2在头盔真实场景坐标系下的初始三维坐标A0、以及第一辅助识别模块2.2中各个特征点在图像平面坐标系下的初始二维坐标B0；还存储第二辅助识别模块3.2所在分离部交互设备真实场景坐标系下的初始三维坐标C0、第二辅助识别模块3.2中各个特征点在图像平面坐标系下的初始二维坐标D0，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息P0；\n[0104] 根据第一辅助识别模块2.2所在头盔真实场景坐标系的初始三维坐标A0、以及第一辅助识别模块2.2中各个特征点在图像平面坐标系下的初始二维坐标B0，通过三维注册技术解算得到初始时刻第一辅助识别模块2.2所在头盔真实场景坐标系相对于第一图像采集设备4所在坐标系的变换矩阵M0；\n[0105] 以及，根据第二辅助识别模块3.2所在分离部交互设备真实场景坐标系下初始三维坐标C0、第二辅助识别模块3.2中各个特征点在图像平面坐标系下的初始二维坐标D0，解算得到初始时刻第二辅助识别模块3.2所在分离部交互设备真实场景坐标系相对于第二图像采集设备2.1所在坐标系的变换矩阵W0；\n[0106] 其中，当分离部交互设备3.1和/或头盔设备2运动时，A0、C0均为常量；\n[0107] S2，在下一时刻，当头盔设备2和/或分离部交互设备3.1运动时，固定安装于参与者前方的第一图像采集设备4，采集当前时刻固定安装于头盔设备2的第一辅助识别模块\n2.2的第一图像信息，并实时将第一图像信息上传给虚拟环境生成控制器1；其中，第一辅助识别模块2.2具有一定排列规则的特征点；\n[0108] 同时，固定安装于头盔设备2的第二图像采集设备2.1实时采集当前时刻分离部交互设备3.1中第二辅助识别模块3.2的第二图像信息，并实时将第二图像信息上传给虚拟环境生成控制器1；其中，第二辅助识别模块3.2具有一定排列规则的特征点；\n[0109] S3，虚拟环境生成控制器1基于机器视觉的特征点识别技术，对第一图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1；\n[0110] 其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt-1的计算方法为：\n[0111] 1、采用三维注册技术计算当前时刻第一辅助识别模块2.2所在头盔真实场景坐标系相对于第一图像采集设备4所在坐标系的变换矩阵Mt；\n[0112] 2、又Mt-1为上一时刻第一辅助识别模块2.2所在坐标系相对于第一图像采集设备4所在坐标系的变换矩阵是已知的，则通过公式Mt＝Tt-1Mt-1可结算出Tt-1；\n[0113] S4，虚拟环境生成控制器1基于机器视觉的特征点识别技术，对第二图像信息进行解算，得到上一时刻第二辅助识别模块3.2所在分离部交互设备相对于第二图像采集设备\n2.1的分离部姿态变化矩阵St-1；\n[0114] 其中，分离部姿态变化矩阵St-1的计算方法为：\n[0115] 1、采用三维注册技术计算当前时刻第二辅助识别模块3.2所在分离部交互设备真实场景坐标系相对于第二图像采集设备2.1所在坐标系的变换矩阵Wt；\n[0116] 2、又Wt-1为上一时刻第二辅助识别模块3.2所在坐标系相对于第一图像采集设备\n2.1所在坐标系的变换矩阵是已知的，则通过公式Wt＝St-1Wt-1可计算出St-1；\n[0117] S5，虚拟环境生成控制器1根据上一时刻分离部姿态变化矩阵St-1，根据公式Pt＝St-1Pt-1,解算出当前时刻分离部交互设备相对于第二图像采集设备2.1的姿态信息，并结合S2中分离部交互系统3中的指令收发器，向虚拟环境生成控制器1发送当前时刻分离部交互设备的瞄准方向和对虚拟环境的交互指令；\n[0118] 其中，Pt-1表示上一时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，Pt表示当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息；\n[0119] S6，虚拟环境生成控制器1根据S3得到的上一时刻参与者头部的头部姿态变化矩阵Tt-1以及上一时刻分离部交互设备的分离部姿态变化矩阵St-1，再结合S5中分离部交互设备的瞄准方向和对虚拟环境的交互指令，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，并将新的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；\n[0120] 本步骤中，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，具体为：\n[0121] 对于上一时刻的虚拟环境中的任意一个像素点，首先使用头部姿态变化矩阵Tt-1，对该像素点的三维坐标进行坐标变换，得到第一次变化后的虚拟动画；再进一步使用分离部姿态变化矩阵St-1，对第一次变化后的虚拟动画的分离部交互设备的三维坐标进行坐标变换，得到第二次变化后的虚拟动画，该第二次变化后的虚拟动画即为最终需要输出的虚拟动画。\n[0122] S7，当下一时刻到达时，重复S2-S6，由此实现参与者与虚拟环境的虚拟现实交互。\n[0123] 由此可见，本发明提供的基于机器视觉的虚拟现实交互系统，具有以下优点：\n[0124] (1)能够精确对参与者头部和分离部进行跟踪，从而提高参与者与虚拟环境的交互体验，最终提高参与者体验感；\n[0125] (2)可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。\n[0126] (3)此外，由于采用机器视觉识别技术，不需要布置复杂的外围器件，从而减化了系统成本。\n[0127] (4)为一种比较廉价、便捷、逼真的虚拟现实交互系统，可大范围推广使用。\n[0128] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。