著录项信息
专利名称 | 光学跟踪方法 |
申请号 | CN201410404481.2 | 申请日期 | 2014-08-15 |
法律状态 | 授权 | 申报国家 | 中国 |
公开/公告日 | 2014-11-12 | 公开/公告号 | CN104144329A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04N7/18 | IPC分类号 | H;0;4;N;7;/;1;8;;;H;0;4;N;1;3;/;0;0查看分类表>
|
申请人 | 中国商用飞机有限责任公司北京民用飞机技术研究中心;中国商用飞机有限责任公司 | 申请人地址 | 北京市昌平区昌平镇超前路9号301室
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 中国商用飞机有限责任公司北京民用飞机技术研究中心,中国商用飞机有限责任公司 | 当前权利人 | 中国商用飞机有限责任公司北京民用飞机技术研究中心,中国商用飞机有限责任公司 |
发明人 | 许澍虹;薛阳;王子路;王大伟 |
代理机构 | 北京品源专利代理有限公司 | 代理人 | 胡彬;邓猛烈 |
摘要
本发明实施例提供一种光学跟踪方法,本方法中,通过红外反射膜的反射形成发出红外光的被跟踪点的像点,设置多台摄像机来摄取被跟踪点的图像,每台摄像机摄取到的图像包括物点图像和/或像点图像,其中物点图像为被跟踪点的实际图像,像点图像为所述像点的图像;根据摄取到的被跟踪点的至少两个物点图像、至少两个像点图像、或至少一个物点图像和至少一个像点图像确定被跟踪点的真实坐标以实现位置跟踪。当该系统应用于沉浸式虚拟现实环境时,摄像机可以放置在环境的入口处,红外反射膜设置在环境内的屏幕上,解决了在对被跟踪点的位置进行运动跟踪过程中的光线遮挡问题,并保持了沉浸式虚拟现实环境屏幕的完整性,提高了沉浸感。
1.一种光学跟踪方法,其特征在于,应用于包括被跟踪点、至少两台摄像机以及红外反射膜的系统中,所述被跟踪点通过所述红外反射膜形成像点,每台摄像机用于摄取所述被跟踪点的图像,该图像包括物点图像和/或像点图像,所述物点图像为所述被跟踪点的实际图像,所述像点图像为所述像点的图像;该方法包括:
A、每台摄像机将自身摄取到的所述被跟踪点的图像对应的图像文件发送给处理器;
B、所述处理器根据得到的各图像文件选取所述被跟踪点的至少两个图像,所述至少两个图像为至少两个物点图像,至少两个像点图像,或至少一个物点图像和至少一个像点图像;
步骤B具体包括:所述处理器对于接收到的每个图像文件,确定该图像文件所包含的图像的数量;
所述处理器判断包含物点图像和像点图像的图像文件的数量是否不小于2;
若是,所述处理器从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少两个物点图像,或从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少两个像点图像,或从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少一个物点图像以及与选取的物点图像来自不同摄像机的至少一个像点图像;
C、所述处理器根据所述至少两个图像确定所述被跟踪点的真实坐标。
2.根据权利要求1所述的方法,其特征在于,所述系统为沉浸式虚拟现实系统,所述红外反射膜设置于所述沉浸式虚拟现实系统内的屏幕上,所述至少两台摄像机设置于所述沉浸式虚拟现实系统的入口处。
3.根据权利要求1所述的方法,其特征在于,在所述处理器判断包含物点图像和像点图像的图像文件的数量小于2时,还包括:
增加摄像机,以使总摄像机的数量不小于2;重复执行步骤A-步骤C。
4.根据权利要求1所述的方法,其特征在于,所述处理器根据所包含的图像的数量等于
2的图像文件中所包含的两个图像的亮度,选取所述被跟踪点的至少两个物点图像,至少两个像点图像,或至少一个物点图像和至少一个像点图像。
5.根据权利要求1或2所述的方法,其特征在于,所述处理器根据得到的各图像文件选取所述被跟踪点的至少两个像点图像或至少两个物点图像,根据所述至少两个像点图像或至少两个物点图像确定所述被跟踪点的真实坐标,包括:
所述处理器对于各图像文件,确定该图像文件中是否包含物点图像;
所述处理器根据确定结果判断包含物点图像的图像文件的数量是否不小于2;
若是,所述处理器选取包含物点图像的至少两个图像文件,根据选取的至少两个图像文件所包含的物点图像确定所述被跟踪点的真实坐标。
6.根据权利要求5所述的方法,其特征在于,在所述处理器判断包含物点图像的图像文件的数量小于2时,还包括:
所述处理器对于各图像文件,确定该图像文件中是否包含像点图像,根据确定结果判断包含像点图像的图像文件的数量是否不小于2;
若包含像点图像的图像文件的数量不小于2,所述处理器选取包含像点图像的至少两个图像文件,根据选取的至少两个图像文件所包含的像点图像确定所述被跟踪点的真实坐标。
7.根据权利要求6所述的方法,其特征在于,在所述处理器判断包含像点图像的图像文件的数量小于2时,还包括:
增加摄像机,以使总摄像机的数量不小于2;重复执行步骤A-步骤C。
8.根据权利要求1所述的方法,其特征在于,所述处理器根据得到的各图像文件选取所述被跟踪点的至少一个物点图像和至少一个像点图像,根据所述至少一个物点图像和至少一个像点图像确定所述被跟踪点的真实坐标,包括:
所述处理器判断接收到的图像文件中包含物点图像的图像文件的数量是否不小于1,若是,则选取至少一个包含物点图像的图像文件;判断剩余的图像文件中包含像点图像的图像文件的数量是否不小于1,若是,则从剩余的图像文件中选取至少一个包含像点图像的图像文件;
所述处理器根据选取的包含物点图像的图像文件中的物点图像、以及选取的包含像点图像的图像文件中的像点图像,确定所述被跟踪点的真实坐标。
9.根据权利要求8所述的方法,其特征在于,在所述处理器判断接收到的图像文件中包含物点图像的图像文件的数量小于1,或判断剩余的图像文件中包含像点图像的图像文件的数量小于1时,还包括:
增加摄像机,以使总摄像机的数量不小于2;重复执行步骤A-步骤C。
光学跟踪方法\n技术领域\n[0001] 本发明实施例涉及位置跟踪技术领域,尤其涉及一种光学跟踪方法。\n背景技术\n[0002] 虚拟现实通过集成计算机三维模型处理、立体显示、自然人机交互等技术,提供高真实感的虚拟仿真环境,使用户能够沉浸其中,与虚拟物体和场景进行自然交互,能够消除人与虚拟环境间的隔膜,并激发用户的主动性和想象力。虚拟现实技术结合了计算机图形学、计算机仿真技术、人机接口技术、多媒体技术以及传感技术等多种技术。虚拟现实技术已被广泛应用于军事模拟、医学训练、科学计算可视化、虚拟制造、人机工效评估等领域。根据应用的不同需求,产生了数据头盔、半沉浸式、沉浸式等不同的虚拟现实产品和系统。\n[0003] 沉浸式虚拟现实系统是一种高级的虚拟现实系统,能为观察者提供一种完全沉浸的体验。沉浸式虚拟现实技术在产品设计阶段,能实时仿真模拟出产品及产品制造的全过程,仿真模拟可以缩短产品开发周期,节约成本,具有很大的经济效益和广阔的应用前景,例如应用于航空、军事等大型复杂产品的研制和模拟等领域。\n[0004] 沉浸式虚拟现实系统利用运动跟踪系统实时检测位于沉浸式虚拟现实系统中的被跟踪点的位置,利用控制系统将被跟踪点的位置数据生成随视线变化的仿真图像。常用的运动跟踪技术包括电磁式、超声波式和红外光学式:电磁式和超声波式对系统结构和安装环境有较高的要求,难以应用于沉浸式虚拟现实系统;基于红外光学式的光学运动跟踪系统具有跟踪精度高、跟踪稳定性好和跟踪实时性好的特性,被广泛应用于沉浸式虚拟现实系统中。\n[0005] 下面结合图1对光学运动跟踪的原理进行简述。请参阅图1,对于空间物体任意一个被跟踪点P,如果用摄像机Cl观察,被跟踪点P在摄像机Cl的摄像平面上的图像为图像P1,但无法由图像Pl的位置得知被跟踪点P的三维位置。但是,如果采用摄像机Cl和摄像机C2同时观察所述被跟踪点P,并且如果能确定被跟踪点P在摄像机Cl的摄像平面上的图像P1的位置与在摄像机C2的摄像平面上的图像P2的位置,即可获得所述被跟踪点P的真实坐标。由此可知,至少需要采用两台摄像机才能确定空间点的三维位置坐标。\n[0006] 然而由于沉浸式虚拟现实系统中遮挡物(通常为观察者)会对被跟踪点产生光线遮挡,影响光学运动跟踪系统对被跟踪点的位置的实时跟踪,从而影响将被跟踪点的位置数据生成随视线变化的仿真图像的效果。\n[0007] 典型的沉浸式虚拟现实系统包括五面沉浸式虚拟现实空间,由于立体图像的显示环境几乎是封闭的,给光学运动跟踪系统的安装带来了很大挑战。现有的应用于沉浸式虚拟现实系统的光学运动跟踪系统一般通过在沉浸式虚拟现实系统的屏幕的外侧按不同角度安装多台摄像机来解决光线遮挡问题,但是截至目前,已建成的沉浸式虚拟现实系统基本上都不得不采取了开孔的方式在沉浸式虚拟现实系统中安装光学位置跟踪系统,需要将屏幕上与各摄像机对应的部分开孔,以通过摄像机实现对被跟踪点的位置的实时跟踪,光学运动跟踪系统损害了沉浸式虚拟现实系统的屏幕的完整性,同时降低了沉浸感。\n[0008] 目前,沉浸式虚拟现实系统实际的推广与应用受到光学位置跟踪系统损害了沉浸式虚拟现实系统的屏幕的完整性,从而降低沉浸感的制约,进而影响仿真模拟效果,因此保持沉浸式虚拟现实系统的屏幕的完整性,并实现对被跟踪点的位置的无遮挡运动跟踪是沉浸式虚拟现实系统对产品及产品制造的全过程进行仿真模拟取得广泛应用必须面对的问题。同样的,在其他容易引起光学遮挡的空间定位和运动跟踪系统(例如驾驶舱人机功效评估、虚拟装配校验等系统)中也存在着类似问题。\n发明内容\n[0009] 本发明实施例提供一种光学跟踪方法,以解决在对被跟踪点的位置进行实时跟踪过程中的光线遮挡问题,提高定位成功率。\n[0010] 本发明实施例提供了一种光学跟踪方法,应用于包括被跟踪点、至少两台摄像机以及红外反射膜的系统中,所述被跟踪点通过所述红外反射膜形成像点,每台摄像机用于摄取所述被跟踪点的图像,该图像包括物点图像和/或像点图像,所述物点图像为所述被跟踪点的实际图像,所述像点图像为所述像点的图像;该方法包括:\n[0011] A、每台摄像机将自身摄取到的所述被跟踪点的图像对应的图像文件发送给处理器;\n[0012] B、所述处理器根据得到的各图像文件选取所述被跟踪点的至少两个图像,所述至少两个图像为至少两个物点图像,至少两个像点图像,或至少一个物点图像和至少一个像点图像;\n[0013] C、所述处理器根据所述至少两个图像确定所述被跟踪点的真实坐标。\n[0014] 本发明实施例提供的物体位置的实时跟踪方法中,通过在系统中增加红外反射膜,使得被跟踪点通过红外反射膜形成被跟踪点的像点,系统中的多台摄像机摄取被跟踪点的图像,每台摄像机摄取到的图像包括物点图像和/或像点图像,根据摄取到的被跟踪点的至少两个物点图像、至少两个像点图像、或至少一个物点图像和至少一个像点图像确定被跟踪点的真实坐标,从而实现了对被跟踪点的位置跟踪。本方案中可以根据被跟踪点通过红外反射膜形成的像点图像确定被跟踪点的真实坐标,从而解决了在对被跟踪点的位置进行实时跟踪过程中的光线遮挡问题,提高了定位成功率。\n附图说明\n[0015] 为了更清楚地说明本发明,下面将对本发明中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。\n[0016] 图1为现有技术中光学运动跟踪的原理图;\n[0017] 图2为本发明实施例一提供的一种光线跟踪方法的流程图;\n[0018] 图3a为本发明实施例二中适用的一种沉浸式虚拟现实系统的结构示意图;\n[0019] 图3b为本发明实施例二提供的一种适用于图3a所示的沉浸式虚拟现实系统的光线跟踪方法的流程图;\n[0020] 图3c为本发明实施例二中适用的图像坐标系和物理坐标系的示意图;\n[0021] 图3d为本发明实施例二中适用的摄像机坐标系和物理坐标系的示意图;\n[0022] 图3e为本发明实施例二中适用的摄像机拍摄到的图像为被跟踪点的像点图像的示意图;\n[0023] 图4a为本发明实施例三提供的一种光线跟踪方法的流程图;\n[0024] 图4b为本发明实施例三中适用的一种被跟踪点和遮挡物的位置关系的示意图;\n[0025] 图4c为本发明实施例三中适用的另一种被跟踪点和遮挡物的位置关系的示意图;\n[0026] 图4d为本发明实施例三中适用的再一种被跟踪点和遮挡物的位置关系的示意图;\n[0027] 图5为本发明实施例四提供的一种光线跟踪方法的流程图;\n[0028] 图6为本发明实施例五提供的一种光线跟踪方法的流程图。\n具体实施方式\n[0029] 为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案作进一步详细描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定,基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。\n[0030] 实施例一\n[0031] 本发明实施例提供的光线跟踪方法,应用于包括被跟踪点、至少两台摄像机以及红外反射膜的系统中,所述被跟踪点通过所述红外反射膜形成像点,每台摄像机用于摄取所述被跟踪点的图像,该图像包括物点图像和/或像点图像,所述物点图像为所述被跟踪点的实际图像,所述像点图像为所述像点的图像;也即,对于设置的任一摄像机来说,根据摄像机的位置该摄像机可能摄取到物点图像,或者摄取到像点图像,或者同时摄取到物点图像和像点图像。参见图2,该方法包括以下步骤:\n[0032] 步骤210:每台摄像机将自身摄取到的所述被跟踪点的图像对应的图像文件发送给处理器;\n[0033] 在本步骤中,摄像机可以为电荷耦合器件(Charge Coupled Device,CCD)摄像机,CCD摄像机具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。\n[0034] 步骤220:所述处理器根据得到的各图像文件选取所述被跟踪点的至少两个图像,所述至少两个图像为至少两个物点图像,至少两个像点图像,或至少一个物点图像和至少一个像点图像;\n[0035] 需要说明的是,在所述至少两个图像为至少一个物点图像和至少一个像点图像时,至少一个物点图像和至少一个像点图像来源于不同的摄像机。\n[0036] 步骤230:所述处理器根据所述至少两个图像确定所述被跟踪点的真实坐标。\n[0037] 本步骤具体是根据步骤220获取的被跟踪点的至少两个图像确定被跟踪点的真实坐标,从而实现对被跟踪点位置的实时跟踪。\n[0038] 本步骤可以有多种实施方式,所述处理器可以根据被跟踪点的至少两个物点图像确定被跟踪点的真实坐标;所述处理器也可以根据被跟踪点的至少两个像点图像确定被跟踪点的真实坐标;所述处理器还可以根据被跟踪点的至少一个像点图像和至少一个物点图像,确定所跟踪点的真实坐标。\n[0039] 本发明实施例提供的光线跟踪方法中,通过在系统中增加红外反射膜,使得被跟踪点通过红外反射膜形成被跟踪点的像点,系统中的多台摄像机摄取被跟踪点的图像,每台摄像机摄取到的图像包括物点图像和/或像点图像,根据摄取到的被跟踪点的至少两个物点图像、至少两个像点图像、或至少一个物点图像和至少一个像点图像确定被跟踪点的真实坐标,从而实现了对被跟踪点的位置跟踪。本方案中可以根据被跟踪点通过红外反射膜形成的像点图像确定被跟踪点的真实坐标,从而解决了在对被跟踪点的位置进行实时跟踪过程中的光线遮挡问题,提高了定位成功率。\n[0040] 需要说明的是,本实施例的方法既可以实时跟踪一个被跟踪点,也可以实时跟踪多个被跟踪点,其中,在被跟踪点为多个时,每台摄像机通过摄取到的图像的光线波长,区分摄取到的图像对应的被跟踪点。换言之,不同的被跟踪点发出的红外光的光线波长不同,导致摄取到的被跟踪点的图像的光线波长不同,因此基于摄取到的被跟踪点的图像的光线波长,能够确定图像对应的被跟踪点,从而根据各被跟踪点对应的至少两个图像,即可确定各被跟踪点对应的真实坐标,实现对多个被跟踪点位置的实时跟踪。\n[0041] 还需要说明的是,本实施例所应用的系统包括沉浸式虚拟现实系统、驾驶舱人机功效评估、虚拟装配校验等具有对物体进行实时跟踪需求的系统中,下面的实施例二以沉浸式虚拟现实系统为例进行说明。\n[0042] 实施例二\n[0043] 本实施例所提供的光线跟踪方法可适用于如图3a所示的沉浸式虚拟现实系统,如图3a所示,该系统包括:屏幕31、被跟踪点A、至少两台摄像机32以及红外反射膜33。\n[0044] 其中,所述红外反射膜33设置于沉浸式虚拟现实系统的屏幕31上。所述至少两台摄像机32设置于所述沉浸式虚拟现实系统的入口处;所述被跟踪点A通过所述红外反射膜\n33形成像点A';每台摄像机32用于:摄取所述被跟踪点A的图像,该图像包括物点图像和/或像点图像,所述物点图像为所述被跟踪点A的实际图像,所述像点图像为所述像点A'的图像;以及,将自身摄取到的所述被跟踪点A的图像对应的图像文件发送给处理器;所述处理器用于:根据得到的各图像文件选取所述被跟踪点A的至少两个图像,所述至少两个图像为至少两个物点图像,至少两个像点图像,或至少一个物点图像和至少一个像点图像;以及,根据所述至少两个图像确定所述被跟踪点A的真实坐标。\n[0045] 本实施例中,沉浸式虚拟现实系统具体可以是一个多面体(比如六面体),其中一个面作为系统入口,剩余的面上均设置有屏幕,由各个屏幕所形成的空间为沉浸式虚拟现实空间,各摄像机安装在作为系统入口的面的上边缘位置。红外反射膜具体可以设置在与沉浸式虚拟现实系统的入口相对的屏幕上。\n[0046] 需要说明的是,沉浸式虚拟现实系统的形状、屏幕的数量不局限于上述描述的内容,其他形式的沉浸式虚拟现实系统(比如球幕系统、柱幕系统等)也在本发明的保护范围内。\n[0047] 本实施例中,被跟踪点A可以为发射红外光的主动式被跟踪点。具体地所述红外反射膜33可以采用对可见光的透过率为95%以上、对红外光的反射率为98%以上的红外截止滤光片。\n[0048] 请参阅图3b,为本发明实施例二提供的一种适用于图3a所示的沉浸式虚拟现实系统的光线跟踪方法的流程图。\n[0049] 如图3b所示,该方法包括:\n[0050] 步骤310、至少两台摄像机分别摄取位于所述沉浸式虚拟现实空间内的被跟踪点的图像,并将自身摄取到的图像对应的图像文件发送到处理器;\n[0051] 其中,每台摄像机32发送的图像文件中包含被跟踪点A的物点图像和/或像点图像;所述被跟踪点A通过所述红外反射膜33形成像点A'。\n[0052] 所述摄像机可以为电荷耦合器件(Charge Coupled Device,CCD)摄像机,CCD摄像机具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。\n[0053] 步骤320、所述处理器根据得到的所述图像文件选取所述被跟踪点的至少两个图像;\n[0054] 其中,所述至少两个图像可以为至少两个物点图像,至少两个像点图像,或至少一个物点图像和至少一个像点图像。需要说明的是,在所述至少两个图像为至少一个物点图像和至少一个像点图像时,至少一个物点图像和至少一个像点图像来源于不同的摄像机。\n[0055] 步骤330、所述处理器根据所述至少两个图像确定所述被跟踪点的真实坐标。\n[0056] 在本步骤中,所述处理器可以根据所述至少两个物点图像确定所述被跟踪点的真实坐标;所述处理器也可以根据所述至少两个像点图像确定所述被跟踪点的真实坐标;所述处理器还可以根据至少一个像点图像和至少一个物点图像,确定所述被跟踪点的真实坐标。\n[0057] 下面对上述三种情况分别进行说明,假设摄像机32的摄像平面与红外反射膜33平行。\n[0058] 请参阅图3c,对于每台摄像机采集的图像在计算机内为M×N数组,在图像上定义直角坐标系。每一像素的坐标(u,v)分别是该像素在数组中的列数和行数。所以(u,v)是以像素为单位的图像坐标系的坐标。而物理坐标系原点是摄像机光轴与图像平面的交点,一般处于图像中心处,图像坐标系与物理坐标系的关系如下式所示:\n[0059]\n[0060] 式中,dx和dy分别为每一个像素在x和y方向的物理长度。\n[0061] 由于摄像机可安放在环境中的任何位置,设置一个基准坐标系来描述相机的位置,称为世界坐标系。摄像机坐标系和世界坐标系关系如下式所示:\n[0062]\n[0063] 式中, 为摄像机坐标系, 为世界坐标系,R为3×3正交单位矩阵,t为三维平移向量,O=[0,0,0]T。\n[0064] 请参阅图3d,被跟踪点A(XC,YC,ZC)在图像上的成像位置可以用针孔模型近似表示,即被跟踪点A在图像上的投影位置A0,A0为光心O与A点的连线OA与图像平面的交点,这种关系也称为中心摄影或透视投影,由此可得到摄像机坐标系和物理坐标系的关系如下式所示:\n[0065]\n[0066] 基于上述各式,可以得到像点在图像坐标系和世界坐标系的关系,如下式所示:\n[0067]\n[0068] 式中, u0,v0,f,R,OT以及t都是在相机校准过程中得到的已知量,u,v是图像中拍到的点的位置,也是已知量;其中f为焦距,XW,YW,ZW为被跟踪点A在世界坐标系的位置,即为待求量。\n[0069] 当第一台摄像机的焦距为f1时,根据 可得到\n一个3×4的矩阵 上标为该摄像机的编号;类似地,当第二台摄像机\n的焦距为f2时,根据 可得到一个3×4的矩阵\n上标为该摄像机的编号。\n[0070] 具体地,当两台摄像机拍摄到的被跟踪点的图像都为被跟踪点的物点图像时,可以得到,第一台摄像机拍摄到的被跟踪点的物点图像满足如下关系式:\n[0071]\n[0072] 类似地,可以得到,第二台摄像机拍摄到的被跟踪点的物点图像满足如下关系式:\n[0073]\n[0074] 因此,所述处理器根据第一台摄像机拍摄到的被跟踪点的物点图像,以及第二台摄像机拍摄到的被跟踪点的物点图像,即可得到被跟踪点的真实坐标XW,YW和ZW。\n[0075] 同理,当两台摄像机拍摄到的被跟踪点的图像为被跟踪点的一个物点图像和一个像点图像时,以第一台摄像机拍摄到被跟踪点的物点图像,以及第二台摄像机拍摄到被跟踪点的像点图像为例进行说明。可以得到,第一台摄像机拍摄到的被跟踪点的物点图像满足如下关系式:\n[0076]\n[0077] 可以得到,第二台摄像机拍摄到的被跟踪点的像点图像满足如下关系式:\n[0078]\n[0079] 其中,如图3e所示,根据反射定理可知,被跟踪点A的坐标为XW,YW和ZW,被跟踪点A的像点A'的坐标为XW,YW和2Z0-Zw。\n[0080] 因此,所述处理器根据第一台摄像机拍摄到的被跟踪点的物点图像以及第二台摄像机拍摄到的被跟踪点的像点图像,即可得到被跟踪点的真实坐标XW,YW和ZW。\n[0081] 同理,当两台摄像机拍摄到的被跟踪点的图像都为被跟踪点的像点图像时,可以得到,第一台摄像机拍摄到的被跟踪点的像点图像满足如下关系式:\n[0082]\n[0083] 类似地,可以得到,第二台摄像机拍摄到的被跟踪点的像点图像满足如下关系式:\n[0084]\n[0085] 因此,所述处理器根据第一台摄像机拍摄到的被跟踪点的像点图像以及第二台摄像机拍摄到的被跟踪点的像点图像所满足的关系式,即可得到被跟踪点的真实坐标XW,YW和ZW。\n[0086] 本发明实施例提供的光学跟踪方法中,通过在沉浸式虚拟现实系统中增加红外反射膜,使得被跟踪点通过红外反射膜形成被跟踪点的像点,该系统入口处的多台摄像机摄取被跟踪点的图像,每台摄像机摄取到的图像包括物点图像和/或像点图像,根据摄取到的被跟踪点的至少两个物点图像、至少两个像点图像、或至少一个物点图像和至少一个像点图像确定被跟踪点的真实坐标,从而实现了对被跟踪点的位置跟踪。本方案中可以根据被跟踪点通过红外反射膜形成的像点图像确定被跟踪点的真实坐标,从而解决了在对被跟踪点的位置进行实时跟踪过程中的光线遮挡问题,提高了定位成功率;同时避免了在屏幕上通过开孔实现对被跟踪点的位置的运动跟踪,保持了沉浸式虚拟现实空间的完整性,从而提高了沉浸感。\n[0087] 实施例三\n[0088] 请参阅图4a,为本发明实施例三提供的一种光线跟踪方法的流程图。本实施例在上述实施例的基础上,提供了处理器根据得到的所述图像文件选取所述被跟踪点的至少两个图像这一操作的优选方案。如图4a所示,该方法包括:\n[0089] 步骤400:至少两台摄像机分别摄取位于沉浸式虚拟现实空间内的被跟踪点的图像,并将自身摄取到的图像对应的图像文件发送到处理器;\n[0090] 步骤410、所述处理器对于接收到的每个图像文件,确定该图像文件所包含的图像的数量;\n[0091] 步骤420、所述处理器判断包含物点图像和像点图像的图像文件的数量是否不小于2,若是,执行步骤430;若否,执行步骤450;\n[0092] 需要说明的是,每个图像文件所包含的图像的数量可以为2、1或0。\n[0093] 当图像文件所包含的图像的数量为2时,两个图像分别为被跟踪点的物点图像和像点图像。示例性地,以图4b所示的实例进行说明。如图4b所示,虽然遮挡物位于沉浸式虚拟现实空间中,但对于摄像机所在的位置,所述遮挡物并未对所述被跟踪点A构成遮挡,因此所述摄像机所摄取的图像文件中包含所述被跟踪点A的物点图像和像点图像,也就是说,这种情况下,所述摄像机既可以跟踪被跟踪点A,又可以跟踪像点A'。其中,遮挡物一般为人,例如位于沉浸式虚拟现实空间中的观察者。\n[0094] 当图像文件所包含的图像的数量为1时,图像可以为被跟踪点的物点图像或被跟踪点的像点图像。\n[0095] 示例性地,以图4c所示的实例进行说明。如图4c所示,虽然遮挡物位于沉浸式虚拟现实空间中,但对于图中左上方的摄像机,所述遮挡物并未对所述被跟踪点A构成遮挡,因此该摄像机所摄取的图像文件中包含所述被跟踪点A的物点图像和像点图像,也就是说,这种情况下,该摄像机既可以跟踪被跟踪点A,又可以跟踪像点A';但对于图中左下方的摄像机,由于所述遮挡物对所述被跟踪点A的遮挡,因此该摄像机所摄取的图像文件中只包含所述被跟踪点A的像点图像,也就是说,这种情况下,该摄像机只能跟踪像点A',不能跟踪被跟踪点A。\n[0096] 示例性地,当图像文件所包含的图像的数量为1时,图像也可以为被跟踪点的物点图像。\n[0097] 当图像文件所包含的图像的数量为0时,表明所述摄像机既接收不到被跟踪点的物点图像,又接收不到被跟踪点的像点图像。示例性地,以图4d所示的实例进行说明。如图\n4d所示,对于摄像机所在的位置,由于所述遮挡物对所述被跟踪点A构成遮挡,因此所述摄像机所摄取的图像文件中既不包含所述被跟踪点A的物点图像,也不包含所述被跟踪点A的像点图像,也就是说,这种情况下,所述摄像机既不能跟踪被跟踪点A,又不能跟踪像点A'。\n[0098] 步骤430、所述处理器从所包含的图像的数量等于2的图像文件(即包含物点图像和像点图像的图像文件)中选取所述被跟踪点的至少两个物点图像,或所述处理器从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少两个像点图像,或从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少一个物点图像以及与选取的物点图像来自不同摄像机的至少一个像点图像;\n[0099] 进一步地,所述处理器根据所包含的图像的数量等于2的图像文件中所包含的两个图像的亮度,从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少两个物点图像,或从所包含的图像的数量等于2的图像文件中选取所述被跟踪点的至少两个像点图像,或至少一个物点图像和至少一个像点图像。\n[0100] 也就是说,由于被跟踪点通过所述红外反射膜形成像点,在反射时,会产生能量损失,导致被跟踪点的物点图像的亮度大于被跟踪点的像点图像的亮度,因此可以利用所包含的图像的数量等于2的图像文件中所包含的物点图像和像点图像的亮度的差异,进行物点图像和像点图像的判别。\n[0101] 在本步骤中,优选地,所述处理器根据所包含的图像的数量等于2的图像文件确定所述被跟踪点的物点图像。需要说明的是,由于被跟踪点的像点图像是由被跟踪点通过反射形成的,即被跟踪点的像点图像的误差大于被跟踪点的物点图像的误差,因此通过被跟踪点的至少两个物点图像实现对被跟踪点的位置的实时跟踪的精度更高,误差更小。\n[0102] 步骤440、所述处理器根据选取的图像确定所述被跟踪点的真实坐标,本流程结束。\n[0103] 步骤450、增加摄像机,以使总摄像机的数量不小于2;并返回步骤400,及至少两台摄像机分别摄取位于所述沉浸式虚拟现实空间内的被跟踪点的图像,并将自身摄取到的图像对应的图像文件发送到所述处理器的步骤。\n[0104] 本实施例提供的技术方案,通过处理器对同时包含被跟踪点的物点图像和像点图像的至少两个图像文件进行物像判别,并利用处理器根据被跟踪点的至少两个物点图像,或至少两个像点图像,或至少一个物点图像和至少一个像点图像,实现对被跟踪点的位置的运动跟踪。\n[0105] 实施例四\n[0106] 请参阅图5,为本发明实施例四提供的一种光线跟踪方法的流程图,该实施例的方法适用于实施例二中的沉浸式虚拟现实系统。如图5所示,所述方法可以包括:\n[0107] 步骤510、至少两台摄像机分别摄取位于沉浸式虚拟现实空间内的被跟踪点的图像,并将自身摄取到的图像对应的图像文件发送到处理器;\n[0108] 其中,每台摄像机发送的图像文件中包含所述被跟踪点的物点图像和/或像点图像。\n[0109] 步骤520、所述处理器对于各图像文件,确定该图像文件中是否包含物点图像;\n[0110] 在本步骤中,可以根据被跟踪点的物点图像和像点图像的光学特性进行物像判别。\n[0111] 下面以根据被跟踪点的物点图像和像点图像各自的像点半径为例说明对被跟踪点的物点图像和像点图像的判别。摄像机成像大小与被跟踪点到摄像机平面距离有关,被跟踪点到摄像机平面距离越远,成像越小。对于一个给定的沉浸式虚拟现实空间,摄像机和沉浸式虚拟现实空间的位置固定,因此可以测得被跟踪点所成最小的物点图像的半径,而通过红外反射膜反射所成的像点图像延长了光线传输距离,因此相当于被跟踪点距离摄像机的距离大于摄像机到屏幕的距离,因此被跟踪点的像点图像的半径小于被跟踪点所成最小的物点图像的半径,从而通过将被跟踪点所成最小的物点图像的半径作为一个阈值,据此可以区分出被跟踪点的物点图像和像点图像。\n[0112] 步骤530、所述处理器根据确定结果判断包含物点图像的图像文件的数量是否不小于2;若是,执行步骤540;若否,执行步骤550;\n[0113] 步骤540、所述处理器选取包含物点图像的至少两个图像文件,根据选取的至少两个图像文件所包含的物点图像确定所述被跟踪点的真实坐标,本流程结束;\n[0114] 步骤550、所述处理器对于各图像文件,确定该图像文件中是否包含像点图像,根据确定结果判断包含像点图像的图像文件的数量是否不小于2;若是,执行步骤560;若否,执行步骤570;\n[0115] 步骤560、所述处理器选取包含像点图像的至少两个图像文件,根据选取的至少两个图像文件所包含的像点图像确定所述被跟踪点的真实坐标,本流程结束;\n[0116] 步骤570、增加摄像机,以使总摄像机的数量不小于2;并返回步骤510。\n[0117] 本实施例与上述实施例的相似之处不再赘述。本实施例的技术方案与上述实施例的技术方案的区别在于,上述实施例中被跟踪点的至少两个物点图像或至少两个像点图像的获取依赖于同时包含被跟踪点的物点图像和像点图像的至少两个图像文件;而本实施例中被跟踪点的至少两个物点图像或至少两个像点图像的获取可以通过包含被跟踪点的物点图像和/或被跟踪点的像点图像的图像文件实现。\n[0118] 本实施例提供的技术方案,通过处理器对图像文件中的被跟踪点的物点图像和像点图像进行物像判别,并利用处理器根据被跟踪点的至少两个物点图像或至少两个像点图像实现对被跟踪点的位置的实时跟踪。\n[0119] 需要说明的是,在步骤520中可以根据被跟踪点的物点图像和像点图像的光学特性进行物像判别。\n[0120] 利用被跟踪点的物点图像和像点图像的光学特性进行物像判别,处理器也可以根据得到的所述图像文件选取所述被跟踪点的至少一个物点图像和至少一个像点图像,从而可以确定所述被跟踪点的真实坐标。\n[0121] 实施例五\n[0122] 请参阅图6,为本发明实施例五提供的一种光线跟踪方法的流程图,该实施例的方法可以适用于实施例二中的沉浸式虚拟现实系统。本实施例在实施例二的基础上,提供了处理器根据得到的各图像文件选取所述被跟踪点的至少一个物点图像和至少一个像点图像,根据所述至少一个物点图像和至少一个像点图像确定所述被跟踪点的真实坐标这一操作的优选方案。\n[0123] 如图6所示,该方法包括:\n[0124] 步骤600:至少两台摄像机分别摄取位于沉浸式虚拟现实空间内的被跟踪点的图像,并将自身摄取到的图像对应的图像文件发送到处理器;\n[0125] 步骤610、处理器判断接收到的图像文件中包含物点图像的图像文件的数量是否不小于1,若是,执行步骤620;若否,执行步骤630;\n[0126] 步骤620、选取至少一个包含物点图像的图像文件,并执行步骤621;\n[0127] 本步骤的目的是获取被跟踪点的至少一个物点图像。\n[0128] 步骤621、判断剩余的图像文件中包含像点图像的图像文件的数量是否不小于1,若是,执行步骤622;若否,执行步骤630;\n[0129] 步骤622、从剩余的图像文件中选取至少一个包含像点图像的图像文件;执行步骤\n623;\n[0130] 本步骤的目的是在获取被跟踪点的至少一个物点图像之后,获取被跟踪点的至少一个像点图像。\n[0131] 步骤623、所述处理器根据选取的包含物点图像的图像文件中的物点图像、以及选取的包含像点图像的图像文件中的像点图像,确定所述被跟踪点的真实坐标,本流程结束;\n[0132] 步骤630、增加摄像机,以使总摄像机的数量不小于2,并返回步骤600,即至少两台摄像机分别摄取位于所述沉浸式虚拟现实空间内的被跟踪点的图像,并将自身摄取到的图像对应的图像文件发送到所述处理器的步骤。\n[0133] 需要说明的是,上述各实施例中判别被跟踪点的物点图像和像点图像的方法同样适用于本实施例,此处不再赘述。\n[0134] 本实施例提供的技术方案,通过处理器从被跟踪点的图像文件获取被跟踪点的至少一个物点图像和至少一个像点图像,基于此实现对被跟踪点的位置的实时跟踪。\n[0135] 最后应说明的是:以上各实施例仅用于说明本发明的技术方案,而非对其进行限制;实施例中优选的实施方式,并非对其进行限制,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
法律信息
- 2017-12-19
- 2014-12-10
实质审查的生效
IPC(主分类): H04N 7/18
专利申请号: 201410404481.2
申请日: 2014.08.15
- 2014-11-12
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2009-01-07
|
2007-07-04
| | |
2
| |
2014-02-19
|
2013-11-22
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |