增强现实中对象的识别方法及系统和计算机

1.一种增强现实中对象的识别方法，其特征在于，该方法包括：
计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；
所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象；
所述计算机对待操作对象执行对应的操作之前，所述方法还包括：
所述计算机接收输入设备输入的视差图像，对外部世界建模，判断所述双眼视线焦点处是否有真实对象，在确定所述双眼视线焦点处有真实对象之后，识别出所述真实对象的属性。
2.根据权利要求1所述的方法，其特征在于：
所述计算机确定出用户待操作的虚拟对象之后，所述方法还包括：
所述计算机接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。
3.根据权利要求2所述的方法，其特征在于：
所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：
双眼视线滑动对应于：改变当前输入焦点；
左眼闭合且右眼视线滑动对应于：拖拽操作；
左眼闭合且右眼眨眼对应于：点击操作；
右眼闭合且左眼视线滑动对应于：放大或缩小操作；
右眼闭合且左眼眨眼对应于：右键点击操作；
双眼快速连续眨眼对应于：弹出菜单操作；
单眼凝视对象2秒以上对应于：长按操作；
双眼凝视对象2秒以上对应于：删除操作；以及
双眼闭合2秒以上对应于：关闭菜单操作。
4.根据权利要求2所述的方法，其特征在于：
所述待操作对象包括识别出属性的真实对象。
5.根据权利要求1-4任一权利要求所述的方法，其特征在于：
所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。
6.根据权利要求1所述的方法，其特征在于：
所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标，包括：
所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。
7.一种计算机，其特征在于，应用与增强现实中，该计算机包括：
图像识别模块，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块；
所述图像分析模块，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块；
所述景深恢复计算模块，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块；以及
所述对象匹配模块，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象；
所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；
所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。
8.根据权利要求7所述的计算机，其特征在于，所述计算机还包括：
对象操控命令输出模块，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。
9.根据权利要求8所述的计算机，其特征在于：
所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：
双眼视线滑动对应于：改变当前输入焦点；
左眼闭合且右眼视线滑动对应于：拖拽操作；
左眼闭合且右眼眨眼对应于：点击操作；
右眼闭合且左眼视线滑动对应于：放大或缩小操作；
右眼闭合且左眼眨眼对应于：右键点击操作；
双眼快速连续眨眼对应于：弹出菜单操作；
单眼凝视对象2秒以上对应于：长按操作；
双眼凝视对象2秒以上对应于：删除操作；以及
双眼闭合2秒以上对应于：关闭菜单操作。
10.根据权利要求8所述的计算机，其特征在于：
所述对象操控命令输出模块，还用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。
11.一种增强现实中对象的识别系统，其特征在于，该系统包括输入设备和计算机，其中：
所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标；
所述计算机为权利要求7-10任一权利要求所述的计算机。
12.根据权利要求11所述的系统，其特征在于：
所述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；或者，所述输入设备提供的语音信息和/或视差图像；或者，所述输入设备提供的按键信息和/或视差图像。
13.根据权利要求11或12所述的系统，其特征在于：
所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。

增强现实中对象的识别方法及系统和计算机\n技术领域\n[0001] 本发明涉及一种增强现实技术，尤其涉及一种增强现实中对象的识别方法及系统和计算机。\n背景技术\n[0002] 增强现实(Augmented Reality，简称AR)，也被称之为混合现实，是通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的对象实时地叠加到了同一个画面或空间同时存在。\n[0003] 增强现实技术可应用到如下领域：\n[0004] 医疗领域：医生可以利用增强现实技术，轻易地进行手术部位的精确定位；军事领域：部队可以利用增强现实技术，进行方位的识别，获得目前所在地点的地理数据等重要军事数据；古迹复原和数字化文化遗产保护：文化古迹的信息以增强现实的方式提供给参观者，用户不仅可以通过HMD看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构；工业维修领域：通过头盔式显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等；网络视频通讯领域：该系统使用增强现实和人脸跟踪技术，在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟对象，在很大程度上提高了视频对话的趣味性；电视转播领域：通过增强现实技术可以在转播体育比赛的时候实时地将辅助信息叠加到画面中，使得观众可以得到更多的信息；娱乐、游戏领域：增强现实游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式，进行网络对战；旅游、展览领域：人们在浏览、参观的同时，通过增强现实技术将接收到途经建筑的相关资料，观看展品的相关数据资料；市政建设规划：采用增强现实技术将规划效果叠加到真实场景中以直接获得规划的效果。\n[0005] 对于增强现实的显示技术实现原理基本上是将左右两眼看到的真实场景图像之上叠加上生成的虚拟图像。目前已经有类似头盔的产品出售.谷歌(Google)眼镜也是类似产品，但由于虚拟信息叠加在单眼，不能实现立体的虚拟场景。\n[0006] 现有技术对于虚拟3D空间内对象与图片的展现技术目前已经相对比较成熟，但交互技术目前仍存在一些障碍，具体表现为计算机无法很方便地获知人对于3D空间内的哪个对象感兴趣，想操纵哪个对象或虚拟对象。对于这方面现有技术主要有以下几种：\n[0007] 头盔上装有传感器，实现对头盔在3D空间中的定位和方向定位；\n[0008] 通过外部传感器跟踪人眼动作，确定视线方向，但因为空间是3D，该方法不能够定位对象景深；\n[0009] 通过手势识别方式，判断想要操作的对象位置，同样缺乏景深信息，如果有多个景深的对象处于相同方位，就无法正确识别。\n[0010] 现有的双目视觉基本上是通过两个平行轴摄像机拍摄对象，然后用本领域熟知的深度恢复和三维重建方法(Ramesh Jain，Rangachar Kasturi，Brain G Schunck，Machine Version，McGraw Hill，1995)进行三维重建。\n发明内容\n[0011] 本发明实施例提供了一种增强现实中对象的识别方法及系统和计算机，以解决如何在三维空间中识别出用户的关注对象，并与该关注对象进行交互的问题。\n[0012] 本发明实施例提供了一种增强现实中对象的识别方法，该方法包括：\n[0013] 计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；\n[0014] 所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。\n[0015] 优选地，所述计算机确定出用户待操作的虚拟对象之后，所述方法还包括：\n[0016] 所述计算机接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。\n[0017] 优选地，所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：\n[0018] 双眼视线滑动对应于：改变当前输入焦点；\n[0019] 左眼闭合且右眼视线滑动对应于：拖拽操作；\n[0020] 左眼闭合且右眼眨眼对应于：点击操作；\n[0021] 右眼闭合且左眼视线滑动对应于：放大或缩小操作；\n[0022] 右眼闭合且左眼眨眼对应于：右键点击操作；\n[0023] 双眼快速连续眨眼对应于：弹出菜单操作；\n[0024] 单眼凝视对象2秒以上对应于：长按操作；\n[0025] 双眼凝视对象2秒以上对应于：删除操作；以及\n[0026] 双眼闭合2秒以上对应于：关闭菜单操作。\n[0027] 优选地，所述计算机对待操作对象执行对应的操作之前，所述方法还包括：\n[0028] 所述计算机接收输入设备输入的视差图像，对外部世界建模，确定所述双眼视线焦点处有真实对象，识别出所述真实对象的属性；所述待操作对象包括识别出属性的真实对象。\n[0029] 优选地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。\n[0030] 优选地，所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标，包括：\n[0031] 所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。\n[0032] 本发明实施例还提供了一种计算机，应用与增强现实中，该计算机包括：\n[0033] 图像识别模块，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块；\n[0034] 所述图像分析模块，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块；\n[0035] 所述景深恢复计算模块，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块；以及\n[0036] 所述对象匹配模块，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。\n[0037] 优选地，所述计算机还包括：\n[0038] 对象操控命令输出模块，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。\n[0039] 优选地，所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种或几种：\n[0040] 双眼视线滑动对应于：改变当前输入焦点；\n[0041] 左眼闭合且右眼视线滑动对应于：拖拽操作；\n[0042] 左眼闭合且右眼眨眼对应于：点击操作；\n[0043] 右眼闭合且左眼视线滑动对应于：放大或缩小操作；\n[0044] 右眼闭合且左眼眨眼对应于：右键点击操作；\n[0045] 双眼快速连续眨眼对应于：弹出菜单操作；\n[0046] 单眼凝视对象2秒以上对应于：长按操作；\n[0047] 双眼凝视对象2秒以上对应于：删除操作；以及\n[0048] 双眼闭合2秒以上对应于：关闭菜单操作。\n[0049] 优选地，所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；\n[0050] 所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。\n[0051] 优选地，所述对象操控命令输出模块，还用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。\n[0052] 本发明实施例还提供了一种增强现实中对象的识别系统，该系统包括输入设备和计算机，其中：\n[0053] 所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标；\n[0054] 所述计算机为上述计算机。\n[0055] 优选地，所述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；\n或者，所述输入设备提供的语音信息和/或视差图像；或者，所述输入设备提供的按键信息和/或视差图像。\n[0056] 优选地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。\n[0057] 本发明实施例，通过检测双眼瞳孔位置，实现三维视线的建模，并将三维视线与三维空间进行叠加匹配，解决了在三维空间中识别出用户的关注对象的问题，并可以与该关注对象进行交互。\n附图说明\n[0058] 图1为本发明增强现实的场景示意图；\n[0059] 图2为本发明计算机实施例的结构示意图；\n[0060] 图3为本发明增强现实中对象的识别系统实施例的结构示意图；\n[0061] 图4为本发明眼球坐标的示意图；\n[0062] 图5为本发明空间模型的示意图。\n具体实施方式\n[0063] 为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。\n[0064] 本发明实施例通过输入设备检测使用者双眼的位置及视线方向，利用双眼立体视觉效应判断出使用者注视点在空间中的位置，并在距离用户一定距离的空间内投射出虚拟增强现实影像或对象；将双眼注视点坐标与虚拟增强现实屏幕或对象的坐标进行比对，控制虚拟空间内的鼠标或增强显示效果，用于实现用户虚拟世界与现实空间的交互，或利用眨眼、语音、手势等辅助手段实现对虚拟空间内对象的操作。\n[0065] 如图1所示，为本发明增强现实的场景示意图，其中，眼球检测设备用于检测眼球视线方向；投影屏幕在双眼投射不同图片，实现增强现实的虚拟立体视觉；与双眼方向一致的对外摄像头，拍摄外部真实世界，通过计算机实现对外部世界的建模，计算机计算双眼视线焦点(用户的注视点)的空间坐标；计算机将用户注视点坐标与虚拟世界对象坐标，以及真实世界的对象坐标比较；眼球检测设备捕获眼部动作，实现对虚拟世界或真实世界注视点处对象的操作。\n[0066] 通过上述技术可以实现：主动感知用户的空间注视点，并通过计算机反馈实现与虚拟世界的交互；使用双眼操作距离用户一定距离虚拟屏幕上的应用或菜单；以主动感知方式获取人机指令信息，真正做到所见所得，因此具有广阔的应用场景和范围。\n[0067] 对应上述场景，本发明实施例提供了一种增强现实中对象的识别方法，该方法从计算机侧进行描述，该方法包括：\n[0068] 步骤一、计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；\n[0069] 该输入设备可以为摄像头；该步骤可以具体为：计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标；\n[0070] 步骤二、计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。\n[0071] 该步骤中的输入设备可以为虚拟模型系统；\n[0072] 另外，计算机在确定出用户待操作的虚拟对象之后，所述方法还包括：所述计算机接收输入设备例如眼球检测设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，对待操作对象执行对应的操作；所述待操作对象包括所述用户待操作的虚拟对象。当然，还可以使用手持设备进行按键或鼠标输入，或通过语音输入方法来替代操作待操作对象。\n[0073] 进一步地，所述计算机对待操作对象执行对应的操作之前，所述方法还包括：所述计算机接收输入设备例如摄像头输入的视差图像，对外部空间建模，确定所述双眼视线焦点处有真实对象，识别出所述真实对象的属性；所述待操作对象包括识别出属性的真实对象。\n[0074] 与上述方法实施例相对应，本发明实施例还提供了一种计算机，该计算机包括：\n[0075] 图像识别模块11，用于分别接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并输出至图像分析模块12；\n[0076] 所述图像分析模块12，用于分别根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标，并输出至景深恢复计算模块13；\n[0077] 所述景深恢复计算模块13，用于根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块14；以及\n[0078] 所述对象匹配模块14，用于接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。\n[0079] 另外，所述计算机还包括：对象操控命令输出模块15，用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操控命令。\n[0080] 进一步地，为了判断双眼视线焦点是否有真实对象，所述景深恢复计算模块，还用于接收输入设备输入的视差图像，对外部空间建模，判断所述双眼视线焦点处是否有真实对象；所述图像识别模块，还用于在所述景深恢复计算模块确定所述双眼视线焦点处有真实对象之后，识别所述景深恢复计算模块确定的所述真实对象的属性。此后，所述对象操控命令输出模块，还可以用于接收输入设备输入的动作信息，根据所述动作信息和预保存的动作和操作的一对一映射关系，为所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。\n[0081] 另外，本发明实施例还提供了一种增强现实中对象的识别系统，如图3所示，该系统包括图2所示结构的计算机和输入设备，所述输入设备，用于为所述计算机提供输入信息，所述输入信息包括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虚拟对象的空间坐标。\n[0082] 上述输入信息还包括所述输入设备获得的眼部动作信息和/或视差图像；或者，所述输入设备提供的语音信息和/或视差图像；或者，所述输入设备提供的按键信息和/或视差图像。对应地，所述输入设备为以下设备中的一种或多种：眼球检测设备、手持设备、语音输入设备、摄像头和虚拟模型系统。\n[0083] 该系统的工作原理为：\n[0084] 步骤101、系统校准(特征点标定)：在虚拟空间内距离人2米位置，投射虚拟的X焦点对象，要求用户注视该焦点数秒。为达到精确计算瞳孔位置的目的，可以在虚拟影像的边界点分别布置虚拟焦点图片，并要求重复四次校准动作：左上，右上，左下，右下，如图4所示；\n[0085] 当然，在该步骤之前，需要分别将两个摄像头对准用户的两只眼睛；\n[0086] 经过校准，每只眼能够得到四个坐标位置真实对象的空间坐标为(x0，y0，2)，(x1，y1，2)，(x2，y2，2)，(x3，y3，2)，对应左眼瞳孔坐标(x0’，y0’)(x1’，y1’)(x2’，y2’)(x3’，y3’)，对应右眼瞳孔坐标(x0”，y0”)(x1”，y1”)(x2”，y2”)(x3”，y3”)；\n[0087] 步骤102、立体视觉计算：双眼注视三维空间内一个对象P，图5为空间模型：\n[0088] 左眼线性方程：Z＝(X)*m+(Y)*n\n[0089] 右眼线性方程：Z＝(X+a)*m1+Y*n1\n[0090] a为瞳距，可以测量得到，一般为55-60mm；\n[0091] 步骤103、根据校准特征点坐标及眼球坐标，可以计算出m，n，m1，n1的数值；\n[0092] 步骤104、用户注视对象，测量瞳孔位置，并计算出视线方向信息；\n[0093] 根据已知的m，n，m1，n1，代入公式，并输入x1，y1，x2，y2信息，可以得到注视点X，Y，Z坐标；\n[0094] 步骤105、将注视点X，Y，Z坐标与增强现实内对象坐标进行匹配，找到接近的虚拟对象；\n[0095] 可选地，通过与视线同方向的对外摄像设备，获取外部的视差图像，经过计算实现对外部世界的建模，并将注视点坐标与外部世界坐标进行匹配；\n[0096] 步骤106、如果注视点与虚拟对象匹配，通过眼部动作或语音，按键操作等对虚拟对象进行控制；\n[0097] 类似地，如果注视点与真实对象匹配，通过眼部动作或语音，按键操作等对真实对象进行控制。\n[0098] 上述系统的工作流程为：\n[0099] 步骤201、左右眼摄像头对准人的左右眼，检测眼球瞳孔位置，通过与标定图片瞳孔位置的比较，获取瞳孔相对坐标值；\n[0100] 步骤202、将左右眼瞳孔坐标位置输入景深恢复计算模块，计算得到用户视线焦点的空间坐标(X，Y，Z)；\n[0101] 步骤203、通过虚拟模型系统获取三维增强现实显示各虚拟对象的空间坐标位置，并与视线焦点坐标进行比对，如果视线焦点在某个虚拟对象(图标，按钮或菜单等)附近，则认为该用户准备操作该虚拟对象；\n[0102] 步骤204、眼球检测设备同时通过分析前后帧眼球的图片差别，检测用户眼睛动作，典型如眨眼，长闭眼，单眼开闭，视线滑动等；每个动作对应的命令含义预先定义，并将分析出的用户动作输入对象操控命令输出模块，对视线内对象进行操控动作。\n[0103] 进行双眼协调控制可以包括多种动作，各种动作及其对应的命令如下：\n[0104] (1)双眼视线滑动：改变当前输入焦点；\n[0105] (2)左眼闭合，右眼视线滑动：拖拽；\n[0106] (3)左眼闭合，右眼眨眼：点击；\n[0107] (4)右眼闭合，左眼视线滑动：放大/缩小；\n[0108] (5)右眼闭合，左眼眨眼：右键点击；\n[0109] (6)双眼快速连续眨眼：弹出菜单；\n[0110] (7)单眼凝视对象2秒以上：长按；\n[0111] (8)双眼凝视对象2秒以上：删除；\n[0112] (9)闭合双眼2秒以上：关闭菜单；\n[0113] 这些组合动作可以通过自定义映射，定义为不同的操作方法，用于计算机设备的界面操作；上述映射关系仅为示例，可灵活设置；\n[0114] 步骤205、可选地，前向左摄像头和前向右摄像头分别获取差值图像，交给景深恢复计算模块，该景深恢复计算模块同时输入视线焦点坐标，由该景深恢复计算模块判断是否在视线焦点处存在真实对象，如果存在真实对象，由后续的图像识别模块识别对象属性，并将识别出的对象返回给对象操控命令输出模块实现对象操作命令输出。\n[0115] 上述前向左、前向右摄像头部件为可选组件，没有该组件只能实现虚拟对象操控，存在该组件后可以实现虚拟对象和真实对象的协同操控。\n[0116] 采用本发明所述方法和系统，与现有技术相比，通过双眼跟踪，实现对注视点的三维建模和景深恢复，对增强现实场景的操控，不仅仅能够操作指定方向的对象，更可以操作同一方向不同距离的多个虚拟对象或真实对象，提高了对操作对象的识别精度，让用户对虚拟或真实场景内的操作更加真实。\n[0117] 本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，上述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。\n[0118] 以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。