用于呈现与虚拟图像合成的图像的信息处理装置及方法

暂无

技术领域\n本发明一般涉及一种信息处理装置和信息处理方法，特别涉 及一种用于将拍摄真实空间的图像与虚拟图像合成的图像呈现给 使用者的信息处理装置及方法。\n背景技术\n虚拟现实(VR)系统通过向使用者呈现由计算机产生的三维 计算机图形(CG)来向使用者提供虚拟现实。近年来，已经开发 了一种技术，其通过将真实空间的图像与三维图形合成，来向使 用者呈现真实空间中不存在的信息。这种系统称为扩展现实 (augmented reality，AR)系统或混合现实(mixed reality， MR)系统。\n在MR系统中，使用者可以观看叠加到真实物体上的三维CG。 已经提出了一种使用者能通过将虚拟物体叠加到真实物体上来自 由操作虚拟物体的MR系统(参考例如日本特开平11-136706，其 对应于美国专利6,522,312号)。\n通常，由于MR系统在真实图像上显示CG，CG掩盖使用者的 手和脚的某些部分，因此，使用者无法看到这些部分。例如，在 允许使用者体验虚拟建筑的内部环境的MR系统中，当使用者在虚 拟建筑内移动时，虚拟地面和虚拟墙壁覆盖使用者的整个周围。 因此，在这种系统中，CG覆盖使用者的手部的周围，因此，使用 者在操作时感觉不便。\n另外，如果CG遮盖使用者脚部周围的区域，使用者可能会感 到害怕。\n发明内容\n本发明提供一种信息处理装置和信息处理方法，用于避免使 用者因CG掩盖真实空间导致其脚部周围的区域不可见而在虚拟 空间中感到害怕。\n本发明进一步提供一种允许使用者观看其脚部周围的真实空 间的信息处理装置和信息处理方法。\n根据本发明的一个方面，一种信息处理方法用于生成虚拟现 实的图像，并将该虚拟现实的图像与真实空间图像进行合成，以 向使用者呈现合成图像，该信息处理方法包括：获取步骤，用于 获取使用者的位置和姿势；生成步骤，用于根据使用者的位置和 姿势、以及虚拟现实的计算机图形数据，来生成对应于使用者的 位置和姿势的虚拟图像；以及呈现步骤，用于向使用者呈现叠加 到真实空间图像上的虚拟图像；其中，在所述生成步骤中生成虚 拟图像，使得在向使用者呈现叠加到真实空间图像上的虚拟图像 时，使用者能看见在使用者脚部处的真实空间图像。\n根据本发明的另一方面，一种信息处理装置用于生成虚拟现 实的图像，并将该虚拟现实的图像与真实空间图像进行合成，以 向使用者呈现合成图像，该信息处理装置包括：获取单元，用来 获取使用者的位置和姿势；生成单元，用来根据使用者的位置和 姿势、以及虚拟现实的计算机图形数据，来生成对应于使用者的 位置和姿势的虚拟图像；以及呈现单元，用来向使用者呈现叠加 到真实空间图像上的虚拟图像；其中，所述生成单元生成虚拟图 像，使得在所述呈现单元向使用者呈现叠加到真实空间图像上的 虚拟图像时，使用者能看见在使用者脚部处的真实空间图像。\n通过以下参考附图的典型实施例的说明，本发明的其它特征 是显而易见的。\n附图说明\n图1示出根据本发明的典型实施例的系统的方框图。\n图2示出根据典型实施例的虚拟现实的场景图。\n图3示出根据典型实施例的允许使用者体验MR系统的空间。\n图4是根据典型实施例的处理的流程图。\n图5示出使用者站立在合成真实空间的图示。\n图6示出在合成真实空间中的使用者垂直向下看的图示。\n图7示出使用者站立在具有透明对象的合成真实空间中的的 图示。\n图8示出在具有透明对象的合成真实空间中的使用者垂直向 下看的图示。\n图9～11示出具有不同形状的典型透明对象。\n具体实施方式\n以下结合附图来详细说明本发明的典型实施例。\n第一实施例\n在第一实施例中，说明一种允许使用者体验虚拟建筑的内部 环境的MR系统。\n接下来说明整个系统结构。\n图1示出根据本发明第一实施例的系统的方框图。如图1所示， 系统控制单元101执行系统的总体控制。系统控制单元101包括： 图像输入单元102、图像合成单元103、图像输出装置104、摄像 机位置和姿势测量单元105、以及虚拟现实生成单元106。\n视频透视(video see-through)头戴式显示器(HMD)132 包括：摄像机133、图像输出单元134、图像输入单元135、以及 图像显示单元136。提供两个摄像机133以对应使用者的左、右眼。 图像显示单元136包括对应于使用者左、右眼的两个显示部分。\n接下来说明具有这种结构的系统中的数据流。\n安装在使用者头部的HMD 132的摄像机133拍摄从使用者的 左、右眼观看到的真实空间的图像。图像输出单元134将摄像机133 拍摄到的真实空间的图像传送到系统控制单元101的图像输入单 元102。\n摄像机位置和姿势测量单元105使用例如磁位置和姿势传感 器(未示出)、或者从所输入的图像估计摄像机133的位置和姿势， 以测量摄像机133的位置(即，使用者的位置)和摄像机133的姿 势(即，使用者的姿势或视线的方向)。虚拟现实生成单元106根 据由摄像机位置和姿势测量单元105测量到的位置和姿势信息、和 预先存储的场景图，来生成从摄像机133的位置和姿势观看的三维 CG。\n这里，场景图表示虚拟现实的结构。例如，场景图定义CG对 象之间的位置关系和几何信息。在本实施例中，除了定义使用者 所体验的虚拟现实的对象之外，为了在使用者的脚部显示真实空 间的图像，场景图还描绘透明地面对象。\n图像合成单元103将由图像输入单元102接收到的真实空间的 图像与由虚拟现实生成单元106生成的虚拟现实图像(三维CG图 像)进行合成，以生成复合真实空间图像。然后，图像合成单元 103将所生成的复合真实空间图像传送到图像输出单元104。图像 输出单元104将由图像合成单元103形成的复合真实空间图像传送 到HMD 132的图像输入单元135。图像输入单元135接收从图像输 出单元104传送的复合真实空间图像。图像显示单元136在使用者 左、右眼的显示部分显示由图像输入单元135接收到的复合真实空 间图像。因此，使用者可以观察该复合真实空间图像。\n在该系统中，可根据头部佩戴HMD的使用者的位置和姿势来 显示复合真实空间图像。因此，使用者可以自由地体验MR空间环 境。\n图2示出在本实施例中使用的场景图的树形结构。\n由于在本实施例中说明了能够使使用者体验虚拟建筑的MR 系统，因此，该MR系统包括：虚拟现实场景202，其表示虚拟建 筑的对象；透明地面201，其是用于通过使CG地面透明来显示真 实空间图像的对象。\n虚拟现实场景202包括，例如，虚拟建筑内部的地面对象203、 墙壁对象204、和屋顶对象205，以及虚拟建筑外部的其它对象 206。因此，当使用者进入虚拟建筑时，与墙壁和屋顶的CG一样， 存在使用者脚部的地面的CG。\n透明地面201的对象是具有透明属性的对象。透明地面201存 在于先于被显示的虚拟现实场景202被搜索的路径上。对象的平面 的尺寸被设置为MR系统的设计者希望通过使虚拟现实图像透明 来显示真实世界的尺寸。对象的平面的高度被设置为等于或略大 于场景中的地面的厚度。\n例如，当地面对象203的厚度为10mm，并且设计者希望在直 径为1m的圆形区域内显示真实图像时，透明地面201的对象被确 定为高12mm、直径1m的圆柱体。\n当对对象进行描绘(render)时，这种场景图形允许透明地 面201在地面对象203的上面。因此，图像合成单元103合成真实 图像和透明图像。因此，真实图像显示在透明地面201的区域内。\n此外，透明对象跟随摄像机133的平移(即，使用者的移动)。 MR系统根据从摄像机位置和姿势测量单元105输出的位置信息， 来判定透明对象的水平位置。MR系统还将透明对象的高度(垂直 高度)确定为与虚拟现实的地面高度相同。因此，尽管透明对象 与虚拟现实的地面在同一平面上，但只有水平位置能跟随摄像机 133的平移。即，因为透明对象总是直接设在使用者的下面，因此 使用者可以观看他们脚部处的真实空间。如果虚拟现实的地面的 高度改变，则透明对象的高度也随着虚拟现实的地面的高度的改 变而改变。因此，即使在改变地面的高度的应用中，虚拟地面的 区域总是透明的。\n因为透明对象的厚度大致与虚拟地面的厚度相同，因此，透 明对象不会使直接位于透明对象之上的对象透明和不可见。\n一些图形库自动将对象显示的次序改变为在透明对象之前显 示对象。当使用这种库时，可以选择不改变对象的显示顺序而直 接合成和显示对象的方法。\n接下来说明使用者可体验根据本实施例的MR系统的空间。图 3示出根据实施例，允许使用者体验MR系统的空间。\n图3所示的空间被真实空间中的地面、墙壁、和屋顶所包围。 虚拟建筑显示在区域301中。当使用者位于区域301的外面时(即， 在位置302处)，该使用者能观看虚拟建筑的外部。当使用者位于 区域301的里面时(即，在位置303处)，该使用者能观看虚拟建筑 的内部。\n接下来参考图4所示的流程图来说明本实施例的处理。\n在步骤S100中，摄像机位置和姿势测量单元105测量摄像机 133的位置和姿势(即，使用者的位置和姿势)。在步骤S110中， 虚拟现实生成单元106根据测量到的位置和姿势，判定使用者是否 定位于虚拟建筑的内部。如果虚拟现实生成单元106判定使用者位 于虚拟建筑的内部，则虚拟现实生成单元106根据建筑物中的透明 对象，生成虚拟现实图像(步骤S120)。如果虚拟现实生成单元106 判定使用者没有位于虚拟建筑的内部，则虚拟现实生成单元106 根据建筑外面的对象生成虚拟现实图像。\n随后，在步骤S140中，图像合成单元103将步骤S120或S130 中生成的虚拟现实图像，与从图像输入单元102接收到的真实空间 图像进行合成。在步骤S150中，图像输出单元104将合成后的图 像输出至HMD 132。之后，在步骤S160中，HMD 132分别将图 像显示在图像显示单元136的右眼和左眼显示部分上。重复步骤 S100～S160的处理，直到在步骤S170中判定为停止。当在步骤 S170中判定为停止时，图4所示的处理结束。\n参考图3和图5～图8来说明根据本实施例的结果显示和效果。\n参考图3和图5来说明已知的MR系统(即，不具有透明对象的 MR系统)。\n图3所示的地面区域301是显示现实世界中的虚拟建筑的区 域。图5示出虚拟现实的地面重叠在真实世界的地面区域301上， 并且使用者站在地面区域301中的图示。这时，当使用者通过HMD 垂直向下看时，使用者仅看到地面的CG，如图6所示。这是因为 地面的CG掩盖了真实空间的图像。通常，如果CG掩盖了使用者 的脚部周围，则体验MR系统的使用者可能会感到害怕。\n接下来说明根据本实施例的MR系统(即，具有透明对象的 MR系统)。在本实施例中，将透明对象设在与虚拟现实的地面相 同的平面上。因此，圆柱形透明对象直接设在使用者的下面，因 此，使用者通过该透明对象能观看真实世界的图像。\n图7示出虚拟现实的地面和透明对象501重叠在真实世界的地 面区域301上，并且使用者站在地面区域301内的图示。这时，如 图8所示，当使用者通过HMD 132垂直向下看时，使用者可以在 透明对象501的形状中看到包括该使用者的脚部的真实空间。因 此，体验MR系统的使用者不会由于其脚部周围不可见而感到害 怕。\n此外，使用者能看到其手部的周围，如果该周围在真实世界 的图像区域内。因此，使用者可以在观看真实世界的图像的同时， 用他们的手进行操作。因此，与手部周围被CG掩盖的情况相比， 使用者能更容易地用他们的手进行操作。\n这里使用的“使用者的脚部周围”是指使用者位于中心的预 定区域。如下所示，使用者的脚部周围也指从使用者的位置开始 沿使用者的移动方向的预定区域，或者距使用者预定距离的预定 区域。\n其它实施例-透明对象的变形\n在上述实施例中，透明对象具有圆柱形。然而，透明对象可 以具有其它形状，例如矩形平行六面体。\n此外，透明对象的形状可以根据使用者的移动速度而改变。 例如，如图9所示，透明对象的形状可以是椭圆柱体。该椭圆柱体 的长轴朝向使用者的移动方向(图9所示的箭头与使用者的移动方 向一致)。长轴的方向用作使用者向前移动的参考方向。椭圆柱体 的长轴和短轴的长度与移动速度成比例地改变，以使该长度用作 使用者获得其当前移动速度的参考值。\n另外，椭圆柱体的长轴可以朝向使用者的视线方向(如图9所 示的箭头与使用者的视线方向一致)。\n在图9中，虚线所示的圆表示使用者的位置。如图所示，使用 者的位置可以从椭圆柱体的中心沿使用者的移动方向或视线方向 偏移。\n此外，除了圆柱体和椭圆柱体的形状以外，透明对象可以具 有如图10和图11所示的形状。\n在图11中，示出具有环形的透明对象。在使用者的位置处描 绘虚拟地面，而在使用者周围的环形区域中描绘真实世界的地面。 通过将透明对象确定为环形，使用者能观看其位置处的图像，而 不感到害怕。\n上述实施例中的MR系统是使用者体验虚拟建筑的内部环境 的系统。然而，该MR系统可以是仅当系统将CG重叠在使用者的 脚部周围之上时，使用者才能体验其它虚拟世界的系统。\n另外，如果透明地面位于与虚拟现实的地面大致相同的平面， 则透明地面可以位于任何位置。即，该位置可以根据来自摄像机 的位置和姿势信息、以及与虚拟现实的地面有关的位置信息来动 态确定。例如，透明地面的位置可被确定为比虚拟现实的地面略 微接近视点(eye point)的位置。\n另外，可以通过控制透明对象边缘的阿尔法混合(alpha blending)，来增加使透明对象与地面对象之间的界线模糊的处 理。\n本发明可以由与可被操作、以实现上述实施例的功能的各种 装置相连接的装置来实现。本发明还可以这样实现：将实现上述 实施例的功能(即，图像合成单元103和虚拟现实生成单元106的 功能)的软件程序代码提供给系统或装置，并使该系统或装置的 计算机(中央处理单元(CPU)或微处理单元(MPU))根据所 存储的程序代码来操作上述各种装置。\n在这种情况下，软件的程序代码本身实现上述实施例的功能。 因此，程序代码本身和用于向计算机提供程序代码的装置(例如， 储存程序代码的记录介质)能实现本发明。\n储存程序代码的记录介质的例子包括：软盘、硬盘、光盘、 磁光盘、CD-ROM(光盘只读存储器)、磁带、非易失性存储卡、 以及ROM(只读存储器)。\n此外，除了通过计算机执行所提供的程序代码来实现上述实 施例的功能之外，上述实施例的功能还可以通过与运行在计算机 上的OS(操作系统)或其它应用软件协作的程序代码来实现。\n另外，上述实施例的功能可以由这样的处理来实现：在将所 提供的程序存储到计算机的附加扩展板的存储器、或与计算机相 连的附加扩展单元的存储器中以后，附加扩展板或附加扩展单元 中的CPU执行上述实施例的部分或全部功能。\n尽管参考典型实施例说明了本发明，但应当理解，本发明不 局限于所公开的典型实施例。以下权利要求的范围符合最宽的解 释，以便包含全部修改、等同结构和功能。