利用图像分析和超声波通信对控制器三维定位的确定

1.一种控制器，其包括：
具有第一端部和第二端部的主体，一握把区域设置在所述主体的所述第一端部用于由用户的单手握持；
具有允许对控制器位置进行检测的形状的对象，所述对象处于所述主体的所述第二端；
在所述对象内部的一个或多个光发射器，其中来自所述光发射器的光通过由图像捕捉设备实现的图像识别便于对所述控制器位置进行检测；
用于在玩游戏期间获得用户输入的位于所述控制器的所述主体上的一个或多个按钮；
用于跟踪惯性活动的一个或多个惯性传感器，所述一个或多个惯性传感器为所述控制器提供6个自由度上的信息；以及
一个或多个无线通信模块，其中所述一个或多个无线通信模块向计算设备传送惯性活动。
2.根据权利要求1所述的控制器，其中所述形状是易于检测且被制成为手持控制器的一部分、与手持控制器连接或与手持控制器结合的任何类型的形状。
3.根据权利要求1所述的控制器，其中所述控制器可操作用于将来自所述惯性传感器的数据传送至计算系统。
4.根据权利要求1所述的控制器，其中所述一个或多个惯性传感器包括一个或更多个加速度计或者机械陀螺仪或者环形激光陀螺仪中的任何一种，或者任何组合。
5.根据权利要求1所述的控制器，其中所述控制器中的惯性分析仪可操作用于将惯性数据传达至计算系统。
6.根据权利要求1所述的控制器，其中所述一个或多个光发射器是发光二极管(LED)。
7.根据权利要求1所述的控制器，其中所述一个或多个光发射器处于红外光谱中，使得所述对象发出红外光，从而使通过红外摄像机进行检测成为可能。
8.根据权利要求1所述的控制器，其中所述一个或多个无线通信模块包括Bluetooth或者Wi-Fi或者802.11中的一个或多个。
9.根据权利要求1所述的控制器，其还包括：
可更换面板。
10.一种用于确定控制器的定位的方法，其包括：
接收由捕捉区域的图像捕捉设备获取的图像，预期系统的用户在其与该系统互动的同时处在所述捕捉区域中，其中所述控制器包括主体，所述主体具有带有握把区域的第一端部和带有对象的第二端部，其中所述对象具有当用户的单手握持所述主体的所述握把区域时允许对控制器位置进行检测的形状，其中所述控制器包括在所述对象内部的一个或多个光发射器，其中来自所述光发射器的光通过使用所述图像捕捉设备来跟踪所述对象而便于对所述控制器位置进行检测；
从所述控制器接收控制器的惯性活动；以及
分析所接收的图像和所接收的惯性活动以确定所述控制器的所述定位。
11.如权利要求10所述的方法，其还包括：
在所接收的图像中检测人的特征以考虑玩家和控制器的位置作为游戏的输入。
12.如权利要求10所述的方法，其中所述分析还包括：
分析所述惯性传感器信息以确定所述控制器在玩视频游戏期间的运动和定向。
13.如权利要求10所述的方法，其中所述惯性活动由所述控制器中的一个或多个惯性传感器捕捉。
14.如权利要求13所述的方法，其中所述一个或多个惯性传感器包括一个或更多个加速度计或者机械陀螺仪或者环形激光陀螺仪中的任何一种，或者任何组合。
15.如权利要求10所述的方法，其中所述图像捕捉设备是着重于对正被检测的对象的特定特征进行检测的专用设备。
16.如权利要求15所述的方法，其中所述专用设备是彩色数字摄像机、黑白数字摄像机、或者红外摄像机中的一种。

利用图像分析和超声波通信对控制器三维定位的确定
[0001] 本申请是申请日为2009年4月30日、申请号为200980130723.0、发明名称为“利用图像分析和超声波通信对控制器三维定位的确定”的专利申请的分案申请。
技术领域
[0002] 本发明大体上涉及计算设备与握在用户手中的控制器之间的通信，并且更具体地涉及利用计算设备与控制器之间的通信来确定控制器在三维空间中的定位(location)。
背景技术
[0003] 这些年来视频游戏产业发生了许多变化。随着计算能力的扩张，视频游戏的开发者同样创造出了利用计算能力上的这些提高的游戏软件。为此，视频游戏开发者已经编写了并入复杂的操作和数学以产生非常逼真的游戏体验的游戏。
[0004] 游戏平台的例子可以是Sony Sony (PS2)以及
Sony (PS3)，其各自均以游戏机(game console)的形式出售。众所周知，游戏机被设计成与监视器(通常为电视机)连接，并且通过手持控制器而允许用户互动。游戏机设计有专用处理硬件、固件以及软件，所述专用处理硬件包括CPU、用于处理密集的图形操作的图形合成器、用于执行几何变换的向量单元以及其他中间硬件。游戏机还设计有用于容纳游戏压缩盘的光盘托盘以通过游戏机在本地玩。也有可能进行在线游戏，其中用户可以通过因特网互动地与其他用户进行比赛或一起玩。
[0005] 随着游戏复杂度持续引起玩家的兴趣，游戏和硬件制造者不断创新以允许附加的互动性和计算机程序。
[0006] 计算机游戏产业的发展趋势是开发出增加用户与游戏系统之间的互动的游戏。实现更加丰富的互动体验的一种方式是使用无线游戏控制器，游戏系统跟踪无线游戏控制器的运动(movement)，从而跟踪玩家的运动并且将这些运动用作游戏的输入。一般来说，手势输入是指使诸如计算系统、视频游戏机、智能电器等电子设备对由跟踪对象的摄像机所捕捉到的某个手势作出反应。
[0007] 然而，当前的对象跟踪在捕捉精度上受到制约。出现这个问题的原因在于：常规的图像分析仅可对用户在两个维度上的定位进行较可靠的测量。由于朝向或远离摄像机的运动所引起的微小的形状变化无法提供足够的信息来可靠地计算摄像机与控制器之间的距离，因此难以确定摄像机与正被跟踪的对象之间的距离。在实验室设定中，有些采用了深度感测设备。然而，这些深度感测设备依赖于双向回弹，其试图根据从位于这样的设备前方的对象反射的光来勾勒某些图像的轮廓。尽管这样的传感器具有一定的应用，但其应用于游戏仍在一定程度上受到限制，这是因为需要费用、复杂度以及额外的处理来将深度数据与二位图像数据组合。因此，深度数据与互动游戏控制器的集成不断延迟，产生少于所希望的结果，并且尚未在实验室之外被广泛接受。
[0008] 本发明的实施例在这个背景下产生。
发明内容
[0009] 广义而言，本发明通过提供下述方法和系统来满足这些需要：所述方法和系统在计算系统中的计算机程序与用户所握(hold)的控制器之间建立通信来确定控制器的三维定位。应当理解的是，本发明可以诸如过程、装置、系统、设备或计算机可读介质上的方法等众多方式来实现。以下描述本发明的若干具有创造性的实施例。
[0010] 在一个实施例中，提供了在计算系统中的计算机程序与握在用户手中的控制器之间建立通信的方法。该方法在显示器上显示图形用户界面并且捕捉所述显示器前方的区域的图像数据。所述显示器前方的区域也被称为捕捉区域，并且包围预期与所述计算系统进行互动的用户所处的空间。也可对所述捕捉区域进行调整，以便缩小或扩大该区域。诸如由数码摄像机提供的数据等所捕捉到的图像数据被用于识别所述控制器相对于所述捕捉区域的二维定位。所述方法还捕捉最接近于(proximate to)所述显示器的定位(诸如麦克风)与所述控制器处的定位之间的单向声音通信。经由该声音通信所获得的信息被用于计算所述控制器在所述捕捉区域内的第三维定位。
[0011] 另一实施例描述了在计算机程序与控制器之间建立通信的系统。该系统包括用于呈递(render)图形用户界面的显示器、图像捕捉设备、声音捕捉设备以及用于执行所述计算机程序的计算系统。所述图像捕捉设备捕捉所述显示器前方的区域中的图像数据，该区域在这里被称为捕捉区域。所述声音捕捉设备类似地捕捉所述捕捉区域中的声音数据。所述计算系统与所述显示器、所述图像捕捉设备以及所述声音捕捉设备连接。所述控制器被构造为由用户用单手握住，并且包括具有第一端部和第二端部的主体；位于所述第一端部附近的握把区域(grip area)；位于所述两个端部之间用于输入输入数据的输入板(input pad)；位于所述第二端部的球形部分；以及位于所述第二端部附近的声音发射设备。所述球形部分便于所述图像捕捉设备进行图像辨识，并且所述声音发射设备提供与所述声音捕捉设备的单向声音通信，该声音发射设备在被握住时朝着远离用户的方向。所述计算机程序基于所捕捉到的图像数据识别所述控制器的二维定位，并且基于所捕捉到的声音数据识别所述控制器的第三维定位。
[0012] 此外，在另一实施例中，提供了在计算机程序与控制器之间建立通信的系统。该系统包括显示器、位于所述显示器附近并且面向所述显示器前方的捕捉区域的两组光发射器、诸如麦克风等声音捕捉设备以及用于执行所述计算机程序的计算系统。所述计算系统与所述显示器和所述声音捕捉设备连接。在所述系统中，所述控制器将由用户用单手握住，并且所述控制器包括具有第一端部和第二端部的主体、处于所述第一端部附近的握把区域、位于所述第一端部与所述第二端部之间的输入板、处于所述第二端部附近的图像捕捉设备以及处于所述第二端部附近的声音发射设备。该声音发射设备在被握住时朝着远离用户的方向并且被构造为用于与所述计算系统附近的声音捕捉设备进行单向声音通信。在这个系统内，所述计算机程序基于所捕捉到的图像数据识别所述控制器的二维定位并且基于所捕捉到的声音数据识别所述控制器的第三维定位。
[0013] 通过以下具体说明将更加明了本发明的其他方面，该具体说明是结合附图所得到的并且其通过举例的方式示出了本发明的原理。
附图说明
[0014] 参考以下结合附图所得到的说明可以最佳地理解本发明，在所述附图中：
[0015] 图1示出了具有多个玩家的互动游戏环境。
[0016] 图2A-2D示出了根据一个实施例的多玩家环境以及使用视频和声音数据来确定玩家所握的不同控制器的定位的示意图。
[0017] 图3A-3B描述了具有球形部分和超声波能力的单手控制器的实施例。
[0018] 图4示出了根据一个实施例的具有被一个或更多个内部光发射器照亮的球形部分的控制器的示意性表示。
[0019] 图5包括了根据一个实施例的在球形部分内部具有光发射器的控制器，其中光发射器从控制器外部可见。
[0020] 图6描述了具有超声波能力和球形部分的控制器，其中球形部分部分地由定向反射(retro-reflective)材料覆盖。
[0021] 图7描述了具有可更换面板的单手控制器的一个实施例。
[0022] 图8示出了根据一个实施例的两个单手控制器的示意性表示，所述两个单手控制器通过插入板结合在一起而形成旨在用两只手使用的控制器。
[0023] 图9A-9B描绘了一个实施例中在底部结合而形成一个单手控制器的两个单手控制器。
[0024] 图10示出了根据一个实施例的对控制器和用户特征的视觉跟踪。
[0025] 图11示出了一个实施例中的控制器运动跟踪。
[0026] 图12A-12B示出了玩家所握的单手控制器的不同视图。
[0027] 图13示出了根据一个实施例的使用单手控制器的玩家的示意性表示以示出使用超声波来确定相对距离。
[0028] 图14A-14B示出了根据一个实施例的使用视频和超声波对两个控制器的三维定位的确定。
[0029] 图15描述了根据本发明的一个实施例的利用超声波来测量两个控制器之间的距离而确定这两个控制器的定位。
[0030] 图16示出了根据一个实施例的利用与两个控制器分别相关的信息对通过结合这两个控制器所形成的控制器(如图9a所示)的定位的确定。
[0031] 图17示出了包括具有内置式摄像机602和超声波通信的控制器600的实施例的俯视图。
[0032] 图18示出了根据一个实施例的使用具有视频和声音能力的单手控制器的两个玩家。
[0033] 图19A-19D示出了具有视频和超声波能力的单手控制器的不同实施例。
[0034] 图20是娱乐系统中的不同单元的框图。
[0035] 图21描绘了利用位于玩家手脚附近的四个控制器进行互动游戏的实施例。
[0036] 图22示出了根据本发明的一个实施例的可被用于确定控制器定位的硬件和用户接口。
[0037] 图23示出了根据本发明的一个实施例的可被用于处理指令的附加硬件。
[0038] 图24示出了描述根据一个实施例的用于使单手控制器与计算系统通信从而确定控制器的三维定位的方法的流程图。
具体实施方式
[0039] 用于在计算系统中的计算机程序与握在用户手中的控制器之间建立通信的方法和系统被提供，以便确定用户所握的控制器的三维定位。该方法在显示器上显示图形用户界面，然后从位于显示器前方的捕捉区域捕捉图像数据，预期与计算系统互动的用户存在于所述捕捉区域中。所捕捉到的图像数据被用于识别控制器在捕捉区域中的二维定位。所述二维定位描述了控制器的水平和垂直位置。另外，该方法使用最接近于显示器的定位与控制器处的定位之间的单向声音通信来捕捉声音数据。所述声音数据被用于计算从控制器到显示区域之间的距离。二维定位与所述距离的组合定义了控制器所位于的捕捉区域中的点。
[0040] 如本文所使用的，单向声音通信指的是利用声波从发送器向接收器传送信息。在一些实施例中，声波是超声波，因此人无法听得到。在一些实施例中，发送器对应于声音通信的第一端，而接收器对应于第二端。在其他实施例中，两者角色互换，其中第一端对应于接收器，而第二端对应于发送器。此外，一些实施例包括在第一端与第二端之间的双向或往复的(bi-directional)通信，其中在任何时间第一端或第二端都可充当发送器或接收器。
[0041] 声音通信被用于通过检验与声音通信相关联的信息来估量从一端到另一端的距离。例如，发送器向接收器发送声脉冲，并且测量声音信号从一端传播到另一端所用的时间，以便基于声音的速度来检查距离。在一个实施例中，应注意的是发送器和接收器对应于不同的实体而不是同一实体，或者换句话说，对于本文所描述的方法和装置不考虑信号返回发送器所用的时间。除了使用声脉冲之外，可以结合声音通信使用其他操作，只要能得到从发送器到接收器的距离的测量结果。其他操作的实例为分析相位相干性、改变波信号的相位、改变波信号的频率、改变波信号的振幅等。
[0042] 然而，对于本领域的技术人员来说将显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践本发明。在其他情况下，未对公知的过程操作作详细描述以便不会无谓地混淆本发明。
[0043] 图1示出了具有多个玩家的互动游戏环境。娱乐系统100包括运行计算机程序的计算系统102，所述计算机程序包括用于与玩家A、B和C所握的控制器C1-C5进行通信的指令。计算系统100与图像捕捉设备106、声音捕捉设备108、显示器104以及控制器C1-C5进行通信。计算系统100经由直接有线连接或者经由无线通信与娱乐系统100中的其他实体进行通信，所述无线通信可包括 Wi-FiTM、802.11等。典型的构造包括计算系统102与诸如图像捕捉设备106、显示器104以及声音捕捉设备108等计算系统附近的固定单元之间的直接有线连接，而与控制器的通信为利用Wi-FiTM的无线通信。尽管特别提到Wi-FiTM，但应理解的是也可使用其他通信标准，包括非标准的无线通信协议和算法。
[0044] 捕捉区域118是预期娱乐系统100的用户在其与该系统互动的同时所处的三维空间。图像捕捉设备106获取捕捉区域的图像，并且将这些图像发送到计算系统102。在一个实施例中，图像捕捉设备106是数码摄像机。其他实施例使用其他类型的图像捕捉设备，诸如彩色数字摄像机、黑白数字摄像机、红外摄像机或者着重于检测诸如预定颜色等正被检测的对象的特定特征的专用设备。
[0045] 可以压缩格式或者以原始格式对所捕捉到的图像数据进行处理(manipulate)和分析。原始的图像格式包含来自图像捕捉设备的最少被处理的数据。由具有宽色域的内部颜色空间的原始变换器生成经处理或压缩的图像数据，以在变换成诸如标签图像文件格式(TIFF)、联合图像专家组(JPEG)、便携式网络图形(PNG)、图形交换格式(GIF)、Windows位图文件格式(BMP)等红-绿-蓝(RGB)文件格式之前进行精确的调整。经处理的图像的颜色深度可从黑白变为灰度、网页调色板(web-palette)、每像素24位等。在一个实施例中，对原始图像数据进行分析以在图像数据内定位控制器的形状，然后对应于在图像数据中所定位的形状来分派控制器定位。在另一实施例中，代替地使用经处理的图像数据在所捕捉到的图像内定位控制器。
[0046] 使用所捕捉到的图像数据来确定控制器的二维定位。根据两个坐标x和y(x，y)来识别这个定位，这两个坐标定义平面上的点或诸如捕捉区域的三维空间上的线。有时，水平位置和垂直位置被用于指x和y值。另外，使用诸如源于原点的角度以及向量值等其他类型的坐标。类似地，在三维空间内，可以使用不同的坐标系来识别空间中的点，诸如x、y、z直角坐标、x和y坐标加上源于原点的向量、或两个角度和一个向量等。
[0047] 声音捕捉设备108从捕捉区域中获取声音数据。在一个实施例中，使用单向通信，其中由声音捕捉设备108接收在控制器中发出的声音。超声波通信避免干扰玩家的体验。在一个实施例中，控制器包括发出声音的扬声器，并且声音捕捉设备包括针对捕捉区域的接收麦克风。在一个实施例中，可以使用滤波技术来细化对捕捉区域的关注，以避免捕捉到来自捕捉区域外部的外来噪声。另外，声音捕捉设备可以对没有在超声波通信中被使用的频率进行过滤，以进一步减少来自不期望的声源的干扰。此外，声音通信可能由于声音从游戏区域附近的表面被反射而具有错误读数。在一个实施例中，计算系统102包括避免由声音反射而引起的错误读数的机制，诸如定向滤波、声波分析等。
[0048] 在另一实施例中，控制器与图像捕捉设备106之间的通信是往复的，其中控制器或声音设备传送或接收超声波消息。此外，在另一实施例中，单向通信在相反方向上流动，其中在每个控制器中有超声波麦克风并且声音发射设备位于显示器附近。
[0049] 超声波通信被用于通过分析声音信号到达其目的地所用的时间来测量控制器与声音捕捉设备之间的距离，称为dz。另外，也可分析所接收到的信号的相位相干性来更好地确定距离。当使用单向超声波通信时，需要精确的时钟同步，以便执行对声音从源传播到目的地所用的时间的准确测量。本领域的技术人员将容易理解获得时钟同步的已知方法。例如，可以使用控制器与计算设备之间的WiFiTM信道来同步时钟。Zalewski的美国专利5,991,
693(以引用的方式并入本文)提供了本发明所采用的跟踪模式。
[0050] 基于所捕捉到的图像数据所获得的点(x，y)连同距离dz一起定义了三维捕捉区域内的单个点。有时将dz称作第三维，这是由于可以将dz转换成与先前所描述的x轴和y轴正交的z轴内的值。该z测量结果被称为捕捉区域内的深度。例如，dz5对应于z5的深度值。下面相对于图2D更详细地描述这种几何变换。
[0051] 在一个实施例中，通过由图像捕捉设备106所限定的捕捉区域边界114a和114b以及处于预定景深的背线(back line)来限定捕捉区域118。最大深度的典型值介于3至10英尺的范围之间，但也可有可能是其他值。在其他实施例中，捕捉区域不必为金字塔形的，而可以是立方体、球体、椎体形状或任何其他形状，只要能够保持本发明的原理。
[0052] 图2A-2D示出了根据一个实施例的多玩家环境以及使用视频和声音数据来确定玩家所握的不同控制器的定位的示意图。图2A描绘了具有两个玩家的游戏环境的三维视图。
图像捕捉设备被用于获得控制器C1、C2、C4以及C5的x和y坐标。利用由声音捕捉设备108接收到的超声波通信计算距离dz1、dz2、dz4以及dz5。如图1所示，计算系统102使用所获得的坐标和距离在屏幕上产生各玩家的表示，分别为具象112a和112b。
[0053] 图2B提供了对应于图2A的玩家A的游戏环境的俯视图。捕捉区域118限定了用于控制器检测的边界。在一个实施例中，控制器C1和C2被构造为用于双向超声波通信，由此允许控制器测量它们之间的距离，即dRS1。控制器被构造为在控制器的侧面有声音接口(sound interface)以允许控制器间的通信。在一个实施例中，距离dRS1对应于物理值X，其被转换为在显示器上捕捉到的距离，即X屏幕。在一个实施例中，对于具象112a在屏幕上的表示不考虑垂直分量。在另一实施例中，根据dRS1来计算x和y分量两者，其中屏幕表示包括3-D游戏场地(未示出)的透视图。
[0054] 图2C示出了处于不同时间点的、图2B中的同一玩家，其中控制器C1与C2分开距离dRS2，而其中dRS2大于图2B的dRS1。距离dRS2对应于新的水平分隔(x+Δx)。新的(x+Δx)转换为控制器在显示器上的改变了成比例的量的新的相对位置，即(x+Δx屏幕)。
[0055] 图2D示出了从距离测量结果到绝对深度(z)的测量结果的变换。dz是从控制器124到坐标为(x0，y0，z0)的声音捕捉设备108的距离。利用图像捕捉数据来计算控制器124的水平坐标(x1)和垂直坐标(y1)(未示出)。计算控制器124的z1值包括：使三维空间中坐标为(x1，y1)的任何点所限定的线与以声音捕捉设备为中心且半径为dz1的球体相交。该线由下述方程表达式定义
[0056] {x＝x1；y＝y1}
[0057] 这个方程假定了没有透视变形的空间。其他实施例会补偿由于从图像捕捉设备角度看的透视图而产生的可能变形。所述球体由下述方程定义
[0058] (x-x0)2+(y-y0)2+(z-z0)2＝dz12
[0059] 以x1替换球体方程中的x并且以y1替换球体方程中的y可得到对应于深度值z1的z值。应注意的是该方程将得到两个z值，但仅有一个将落入捕捉区域内。
[0060] 图3A-3B描述了具有球形部分132和超声波能力的单手控制器的实施例。球形部分
132的球形允许通过分析由图像捕捉设备所捕捉到的图像来检测控制器位置。
[0061] 应理解的是，如本文所使用的，术语“球形”并不限于理想的球体。相反，术语“球形”还应包括具有类似外观的任何形状，诸如卵形、部分球面、椭圆形状、地球形状、圆球形状、气球形状、隆起形状、突出形状、扩大形状、延伸形状等，或者易于检测且被制成为手持控制器的一部分、与手持控制器连接或与手持控制器结合的任何类型的形状，或者仅是基本的物理对象。
[0062] 在其他实施例中，如在下文中所描述的，向球形部分添加附加特征以便利用图像数据更好地检测控制器。控制器130被构造为用于双向超声波通信。设置声音接口136用于朝向控制器前方的超声波通信，而设置声音接口134用于朝向控制器侧面的声音通信。如前所述，正面的通信被用于确定从控制器到另一端上的声音接收器的距离dz。
[0063] 声音接口134被用于与握住控制器130的同一玩家的另一只手所握的第二控制器进行通信。还使用侧向声音通信来与不同玩家所握的其他控制器进行通信，由此提高确定不同玩家和控制器的定位的准确度。在一个实施例中，如在下文中相对于图3B所描述的，控制器内部的声室为声音提供渠道(conduit)。在另一实施例中，声音接口134包括滑动门，该滑动门在不需要侧向通信时关闭声音接口136，由此增大朝向控制器前方的声音通信的功率。输入板区域138包括用于在玩游戏期间获得用户输入的按钮。控制器130包括适应用户的手的握把区域140。
[0064] 图3B描绘了具有内部声室150的如图3A所示的控制器130。内部声室朝向控制器的外部传送去往和来自声音发射器154和声音接收器152的超声波。在一个实施例中，声室150在前部和侧面具有声音接口。使用声室允许仅用一个发射器和一个接收器进行多方向的声音通信。在另一实施例中，未使用声室，并且在发生声音通信的、控制器的每一例放置一对发射器和接收器。在另一实施例中，声音通信可穿过球形部分，由此声音在多个方向上扩散，即使当控制器没有正好面向处于另一端的声音捕捉设备时也允许声音通信。多个声音接口散布在整个球形部分上，每个声音接口与声室连接。各声音接口还可包括有助于识别声音传来的方向或声音接口的声音传感器，从而产生提高的准确度。
[0065] 图4示出了根据一个实施例的具有被一个或更多个内部光发射器172照亮的球形部分的控制器170的示意性表示。当执行图像数据分析时来自光发射器172的光照亮球形部分174以便于检测控制器，这是因为计算设备使用球形部分的额外亮度来更加容易地区分球形部分的细节和轮廓与背景图像。在一个实施例中，光发射器172是发光二极管(LED)。在另一实施例中，光发射器172处于红外光谱中，使得球形部分发出红外光，从而使得通过红外摄像机来检测成为可能。
[0066] 尽管优选的是跟踪控制器的摄像机以IR频率操作(或者具有切换至IR模式的能力)，但控制器的球形部分也可着色为亮霓虹橙色或霓虹绿色，以允许摄像机在可见光谱中操作来跟踪x、y位置。
[0067] 图5包括了根据一个实施例的在球形部分182内部有红外光发射器184的控制器，其中光发射器从控制器外部可见。球形部分让红外光以最小的变形穿过，从而允许红外摄像机通过检测红外光来检测控制器180的定位。在另一实施例中，光源为在可见光谱中操作的LED，通过分析由数码摄像机拍摄的可见光谱中的图像数据来检测所述光源。在又一实施例中，光源频率被混合，从而实现可见光和IR输出。
[0068] 图6描绘了具有超声波能力和球形部分192的控制器190，其中所述球形部分被定向反射材料194部分地覆盖。定向反射器是沿平行于入射角但是在方向上与入射角相反的向量反射回波前的器件或表面。这不同于反射镜，反射镜只有当正好垂直于波前时才会这样。通过使球形部分192定向反射或者至少部分地定向反射，来自处于远处的光捕捉设备旁边的源的光将朝向该光捕捉设备而反射回去，如图14B所示。与非定向反射器相比，这样增加了反射回的光的量，从而允许实现更高的图像对比度并且在所捕捉到的图像中更好地辨识控制器。在另一实施例中，球形部分192完全被定向反射材料覆盖以实现最大程度的光反射。
[0069] 应理解的是，本发明的每个实施例的每个特征可与另一实施例的特征混合从而生成混合的实施例。例如，具有定向反射涂层的球形部分也可在其中包含有IR源，其允许IR光从球形部分内部穿过球体上的不存在定向反射材料的透射区域。
[0070] 图7描绘了具有可更换面板的单手控制器210的一个实施例。诸如220a和220b的不同的面板允许独特的键盘构造并且使得用户在玩不同游戏时可更加灵活地选择输入方法。
在图7所示的实施例中，用户可以选择使用面板A220a或面板B220b，其中面板A220a包括方向键(directional pad)，而面板B220b包括4个按钮。
[0071] 图8示出了根据一个实施例的通过插入板302结合在一起而形成旨在用两只手使用的控制器的两个单手控制器300a和300b的示意性表示。该插入板为用户添加了输入选择。通过在控制器之间使用面板，控制器之间的距离固定且已知。远处的计算系统跟踪两个控制器的运动以得到提高的准确度。另外，通过考虑控制器之间的固定距离，计算系统可以利用三角测量技术进一步细化定位检测和控制器定向。
[0072] 图9A-9B描绘了一个实施例中在底部结合而形成一个单手控制器的两个单手控制器。锁定机构322允许单手控制器320a和320b在底部连接。在一个实施例中，控制器320a和
320b的形状被构造为允许控制器的联锁(interlock)。在另一实施例中，使用适配器来连接各控制器。适配器可以是刚性的，从而与各控制器组合形成刚性结构，或者适配器可以是挠性的，从而允许该组合具有不同且可变的形状。例如，适配器可包括绳索状的机构，其中在游戏中可将其与两个控制器的组合用作双截棍。此外，在另一实施例中，适配器可通过伸缩机构沿纵向延伸，从而形成类似长剑或标枪的组合。在另一实施例中，在各控制器之间形成电连接，从而计算系统可以检测到控制器已连接，或者允许控制器之间直接进行通信。这种组合可称为“刀剑(sword)”或“棍棒(wand)”构造。类似于图8的控制器组合，“刀剑”构造允许远处的计算系统同时跟踪两个控制器以得到提高的准确度。
[0073] 图9B示出了包括“刀剑”控制器的三维游戏环境。摄像机322和声音捕捉设备324跟踪两个控制器。例如，使用超声波通信来确定从控制器到声音捕捉设备321的距离dz1和dz2。
计算系统检测空间中的位置并且计算两个控制器的端部的定位。在一个实施例中，将连结两个控制器的线转换为工具或武器在屏幕上的类似定位。
[0074] 图10示出了根据一个实施例的对控制器360和对用户特征的视觉跟踪。对由摄像机362捕捉的图像数据进行分析，从而不仅计算控制器的(x，y)位置，而且还检测人的特征，以便考虑玩家和控制器的位置作为游戏的输入。在一个实施例中，跟踪头部区域350和上身(torso)区域352。在其他实施例中，跟踪玩家的眼睛(未示出)。线354示出了朝向用户脸部的方向，线356示出了朝向用户上身的方向，并且线358示出了朝向控制器的方向和到控制器的距离。不同线之间的角度θ1和θ2的变化指示玩家相对于控制器的位置的相对变化。
[0075] 图11示出了一个实施例中的控制器运动跟踪。除了球形部分和超声波通信之外，控制器380包括跟踪控制器380以得到惯性活动的惯性分析仪388。将来自惯性分析仪388的数据传送382至计算系统。可使用各种类型的惯性传感器设备来提供6个自由度(例如x、y、z平移以及绕x轴、y轴、z轴的转动)上的信息。用于提供6个自由度上的信息的合适的惯性传感器的实例包括加速度计、一个或更多个单轴加速度计、机械陀螺仪、环形激光陀螺仪或者这些中的两个或更多个的组合。在玩视频游戏期间，对来自惯性分析仪388的信号进行分析以确定控制器的运动和定向。在一个实施例中，经由WiFiTM382无线通信将惯性分析数据传达至计算系统。可替换地，有线通信、或有线通信与无线通信的组合也是有可能。此外，尽管特别指出了WiFiTM，但其他无线模式或标准也可用于实现通信。
[0076] 图12A-12B示出了玩家所握的单手控制器的不同视图。图12A示出了从面向玩家的摄像机的角度看到的典型视图。在这个实施例中，控制器400包括用于反射来自于处于摄像机旁边或周围的源的光的定向反射材料402，使得所反射的光在相反方向上反弹回去，从而使朝向摄像机传播回去的光的量最大化。从摄像机的角度来看，声音接口404也是可见的。
[0077] 图12B示出了包括球形部分400和声音接口404和406的控制器的侧视图，其中所述球形部分具有定向反射材料402。
[0078] 图13示出了根据一个实施例的使用单手控制器420a和420b的玩家的示意性表示以示出使用超声波来确定相对距离。这两个控制器都支持其与声音接收器422以及它们自己之间的双向超声波通信。在一个实施例中，控制器420a和420b发送和接收声音信息。所捕捉到的声音信息被发送到计算机程序进行处理以便计算出控制器之间的距离dRS。在另一实施例中，在控制器中的一个的内部的处理器测量声音在各控制器之间的传播时间以计算dRS，然后将dRS发送到远处的计算机程序，该计算机程序使用这个信息来计算各控制器在三维捕捉区域中的位置。如先前相对于图1所描述的，使用超声波测量结果来计算距离需要同步。
[0079] 图14A-14B示出了根据一个实施例的使用视频和超声波对两个控制器的三维定位的确定。图14A描绘了经过一些时间之后的图13中的同一用户，其中用户手部发生了移动并且将控制器放置在了比图13中更远的距离dRS处。在这个实例中，更宽的手部间隔反映为具象在屏幕中更宽的手部间隔。在图14B所描绘的实施例中，控制器420b包括定向反射材料，所述定向反射材料被用于反射在红外光发射器433处发出的红外光。由红外摄像机326捕捉所反射的光以产生图像数据，然后对图像数据进行分析以确定控制器的定位。在其他实施例中，摄像机436既是红外摄像机又是可见光谱摄像机。摄像机436交替获取来自红外光谱和可见光谱的图像数据。然后，计算系统使用这两种类型的测量结果来计算x，y位置。通过使用两种方法对控制器进行定位，实现了更高的准确度。
[0080] 图15描述了根据本发明的一个实施例的利用超声波来测量两个控制器450a、450b之间的距离而确定这两个控制器的定位。
[0081] 图16示出了根据一个实施例的利用与两个控制器分别相关的信息对通过结合这两个控制器所形成的控制器(如图9A所示)的定位的确定。如先前相对于图9A和9B所述的，控制器500a和500b被结合在一起。单独计算每个控制器的定位，然后在定位计算中包括各控制器之间的距离dRS以提高准确度。由于dRS已知，因此将控制器之间的测量距离与已知距离进行比较，从而可以对控制器的位置进行调整。
[0082] 在一个实施例中，跟踪一组若干个连续的测量结果以消除测量结果中的偏差或假信号(glitch)。不同测量结果的采样频率随着所需精度和计算资源的可用性而变化。例如，格斗互动游戏将比互动的棋类游戏需要更高频率的测量结果。
[0083] 图17示出了包括具有内置式摄像机602和超声波通信的控制器600的实施例的俯视图。在这个实施例中，摄像机位于控制器处而不是显示器区域附近。光发射器606a和606b大约位于显示器的不同端部。由摄像机602捕捉图像数据，而来自光发射器606a和606b的光有助于识别控制器的定位。光发射器定位610a和610b代表光发射器在x轴和y轴内的定位。
麦克风604与控制器600之间的超声波通信被用于从计算控制器到麦克风的距离dz。
[0084] 在一个实施例中，摄像机602所捕捉的图像被传送至计算设备PS3，然后计算设备对所捕捉到的图像进行处理以计算控制器的x和y定位。在另一实施例中，控制器600中的处理器对图像数据进行处理并且计算控制器位置，然后将计算得到的控制器位置传送至计算设备PS3。在其他实施例中，控制器600对图像数据进行部分处理，然后将数据的子集发送到计算设备PS3用以进行最终处理。
[0085] 图18示出了其中摄像机位于控制器处的另一实施例，其示出了根据一个实施例的使用具有视频和声音能力的单手控制器600a和600b的两个玩家。
[0086] 由于摄像机位于控制器处，因此在控制器的前部无需具有球形部分或任何其他易于辨识的形状，从而形成更纤细的设计。图19A-19D示出了具有视频和超声波能力的单手控制器的不同实施例。控制器650的基本构造为在前部具有摄像机652和超声波接口。控制器
660还包括侧向声音接口662，该侧向声音接口662可被用于与其他控制器进行通信，或者甚至在互动游戏期间控制器朝着远离屏幕的方向时与显示系统附近的声音捕捉接口进行通信。
[0087] 图19C的控制器670包括被构造为在玩家使用控制器时适应玩家手部的手柄676、操纵杆674以及用于输入项目的键盘672。控制器680添加了类似于图19B的控制器660中的侧向声音接口的侧向接口622。
[0088] 图20是娱乐系统中的不同单元的框图。计算系统及其组件位于图20的左例，并且在右侧示出了玩家环境。计算系统700包括处理器、存储区域、时钟以及通信接口。通信接口包括用于与控制器进行无线通信的射频(RF)接口，诸如使用WiFiTM协议的通信。其他通信方法包括图像捕捉、声音传输和接收(在这个实施例中为超声波)以及光发射器。
[0089] 连接于计算系统700的不同通信设备与计算系统内部相应的控制器连接。存储区域包括正在运行的程序、图像处理区域、声音处理区域以及时钟同步区域。正在运行的程序包括游戏程序、图像处理程序、声音处理程序、时钟同步程序等。这些程序使用存储器的对应区域，诸如包含图像数据的图像处理区域、包含超声波通信数据的声音处理区域以及用于与远处的设备同步的时钟同步区域。
[0090] 在玩家环境区域中示出了控制器构造的若干实施例。控制器A代表具有许多前述特征的“满载”控制器。控制器A包括：时钟同步(CS)模块，该模块被用于与计算系统700的时钟同步；声音接收器(SRx)，其用于接收超声波数据；声音发射器(SRx)，其用于发送超声波数据；WiFi(WF)模块，其用于与计算系统700进行WiFi通信；声室(AC)，其用于指挥去往以及来自控制器的前部和/或侧面的声音；诸如数码摄像机等的图像捕捉(IC)设备，其用于捕捉图像数据；以及处于红外或可见光谱中的光发射器(LE)，其用于更容易地从计算系统700的图像处理模块进行图像辨识。
[0091] 另外，控制器A包括球形部分(未示出)以改进由远处的捕捉设备进行的图像辨识。
球形部分包括定向反射材料，所述定向反射材料增加由图像捕捉设备旁边的光发射器发送然后朝向图像捕捉设备反射回去的光的量。由光发射器产生的光可以处在红外或可见光谱中，因此图像捕捉设备将在同一光谱中工作。控制器A中的不同组件可以被实现为控制器A内部的单独器件或模块。在另一实施例中，控制器A中的不同组件被集合成更少数量的集成组件，以允许更加紧凑的实现。各种控制器也可包括一个或更多个USB插头，以允许控制器在连接至游戏站或计算机时进行充电。
[0092] 根据给定控制器的预定用途，可以使用具有与针对控制器A所描述的相比更少特征的更简单的构造。相对于控制器B-E示出了更简单的设备的一些实施例，这些控制器采用针对控制器A所描述的特征的子集。本领域的技术人员将容易理解的是，通过添加或删减组件有可能在本发明的主旨范围内实现类似的构造，只要能够保持本发明的原理。
[0093] 具有三维定位能力的两个控制器的概念可以扩展为位于玩家身体上或附近的多个控制器或者用于对控制器的三角测量和始终更佳的观察的多个传感器。在一个实施例中，将多个麦克风放置在捕捉区域周围，以便获取控制器定位的不同几何读数，从而允许三角测量计算以得到提高的准确度。图21描绘了利用位于玩家手脚附近的四个控制器进行互动游戏的实施例。在这个实施例中，两个控制器绑在玩家的臂部或手部，还有两个控制器绑在玩家的脚部或腿部。该实例示出了玩家正在踢倒钩球，其转换成对应的具象在计算机游戏中的倒钩球。在一个实施例中，将来自面向玩家的摄像机的图像与被添加至游戏的其他虚拟对象混合地显示在显示器中，由此使玩家成为游戏场景的部分。在这个实施例中，将球、球门、球场、其他玩家、公众等添加至玩家的图像，并且该玩家踢假想的球的运动在游戏世界中被转换成在显示器中踢假想的游戏球的运动。在多玩家环境中，其他玩家基于混合有虚拟对象的所捕捉到的图像数据而被引入虚拟世界。其他玩家可以与正在踢球的玩家处于同一捕捉区域中，或者可以远程地连接至游戏以允许分布式的多玩家游戏。其他类似的应用包括格斗、赛车、跳舞以及训练游戏，还有诸如足球、网球、拳击、棒球、篮球、曲棍球等许多其他的体育游戏。
[0094] 图22示出了根据本发明的一个实施例的可被用于确定控制器定位的硬件和用户接口(user interface)。图22示意性地示出了 娱乐设备，即可适
于实现根据本发明的一个实施例的三维控制器定位系统的控制台(console)的整体系统架构。系统单元1400设置有可连接至系统单元1400的各种外围设备。系统单元1400包括：细胞处理器(Cell processor)1428； 动态随机存取存储器(XDRAM)单元1426；具有专用的视频随机存取存储器(VRAM)单元1432的真实合成处理器(Reality Synthesizer)图形单元1430；以及I/O桥1434。系统单元1400还包括可通过I/O桥1434访问的用于从盘1440a读取的Blu Disk 光盘阅读器1440以及可拆卸的吸入式硬盘驱动器(HDD)
1436。可选地，系统单元1400还包括类似地可通过I/O桥1434访问的用于读取压缩闪存卡、Memory 存储卡等的存储卡阅读器1438。
[0095] I/O桥1434还连接至六个通用串行总线(USB)2.0端口1424；千兆比特以太网端口
1422；IEEE802.11b/g无线网络(Wi-Fi)端口1420；以及能够支持多达七个蓝牙连接的无线链路端口1418。
[0096] 在操作中，I/O桥1434处理包括来自一个或更多个游戏控制器1402-1403的数据在内的所有无线、USB和以太网数据。例如，当用户正在玩游戏时，I/O桥1434经由蓝牙链路从游戏控制器1402-1403接收数据，并且将数据引导至细胞处理器1428，该细胞处理器相应地更新当前的游戏状态。
[0097] 除了游戏控制器1402-1403之外，无线、USB和以太网端口还为其他外围设备提供连接，诸如：遥控器1404；键盘1406；鼠标1408；诸如Sony Playstation 娱乐设备的便携式娱乐设备1410；诸如 摄像机的摄像机1412；麦克风耳机1414；以及麦克风1415。因此，这样的外围设备原则上可以无线地连接至系统单元1400；例如，便携式娱乐设备1410可经由Wi-Fi自组网连接(ad-hoc connection)进行通信，而麦克风耳机1414可经由蓝牙链路进行通信。
[0098] 设置这些接口意味着Playstation3设备潜在地也可与其他外围设备兼容，诸如数字录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、IP语音电话、移动电话、打印机以及扫描仪。
[0099] 另外，旧版的存储卡阅读器1416可经由USB端口1424连接至系统单元，从而允许读取 或Playstation 设备所使用的类别的存储卡1448。
[0100] 在本实施例中，游戏控制器1402-1403可操作用于经由蓝牙链路与系统单元1400无线通信。然而，游戏控制器1402-1403可代替地与USB端口连接，由此还提供用于对游戏控制器1402-1403的电池充电的电力。游戏控制器1402-1403还可包括存储器、处理器、存储卡阅读器、诸如闪存等永久性存储器、诸如LED或红外线灯等光发射器、用于超声波通信的麦克风和扬声器、声室、数码摄像机、内部时钟、诸如面向游戏机的球形部分等可辨识的形状以及使用诸如 WiFiTM等协议的无线通信。
[0101] 游戏控制器1402是被设计成由两只手使用的控制器，而游戏控制器1403是先前如图1-21所描述的单手控制器。除了一个或更多个模拟操纵杆和常规的控制按钮之外，游戏控制器容许三维定位确定。因此，除了常规的按钮或操纵杆命令之外或者代替常规的按钮或操纵杆命令，可将游戏控制器的用户的手势和运动转换为游戏的输入。可选地，诸如PlaystationTM便携式设备的其他允许无线通信的外围设备可被用作控制器。在PlaystationTM便携式设备的情况下，可在所述设备的屏幕上设置附加的游戏或控制信息(例如控制指令或生命数)。也可使用其他可替换的或补充的控制设备，诸如跳舞毯(未示出)、光枪(未示出)、方向盘及踏板(未示出)，或者诸如用于快速反应问答比赛的单个或若干个大按钮等定制的控制器(同样未示出)。
[0102] 遥控器1404也可操作用于经由蓝牙链路与系统单元1400无线通信。遥控器1404包括适用于操作Blu RayTM Disk BD-ROM阅读器1440以及适用于导航光盘内容的控制器。
[0103] 除了常规的预录和可记录的CD以及所谓的超级音频(Super Audio)CD之外，Blu RayTM Disk BD-ROM阅读器1440可操作用于读取与Playstation和PlayStation 2设备兼容的CD-ROM。除了常规的预录和可记录的DVD之外，阅读器1440还可操作用于读取与Playstation2和PlayStation 3设备兼容的DVD-ROM。阅读器1440进一步可操作用于读取与PlayStation 3设备兼容的BD-ROM以及常规的预录和可记录的蓝光光盘(Blu-Ray Disk)。
[0104] 系统单元1400可操作用于通过音频和视频连接器向具有显示器1444和一个或更多个扩音器1446的诸如监视器或电视机等显示和声音输出设备1442提供音频和视频，所述音频和视频由Playstation 3设备经由真实合成处理器图形单元1430生成或解码。音频连接器1450可包括常规的模拟输出和数字输出，而视频连接器1452可不同地包括分量视频输出、S视频输出、合成视频输出以及一个或更多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以诸如PAL或NTSC等格式，或者以720p、1080i或1080p的高清晰度。
[0105] 由细胞处理器1428执行音频处理(生成、解码等)。Playstation3设备的操作系统支持 5.1环绕立体声、 影院环绕(DTS)以及从 光盘解码7.1环
绕立体声。
[0106] 在本实施例中，摄像机1412包括单个电荷耦合器件(CCD)、LED指示器以及基于硬件的实时数据压缩编码装置，使得压缩的视频数据可以诸如基于图像内的MPEG(动态图像专家组)标准等适当的格式被传送以便于系统单元1400解码。摄像机LED指示器被布置用于响应来自系统单元1400的适当的控制数据而发光，所述控制数据例如表明不利的照明条件。摄像机1412的实施例可经由USB、蓝牙或Wi-Fi通信端口而不同地连接至系统单元1400。
摄像机的实施例可包括一个或更多个相关联的麦克风，并且还能够传送音频数据。在摄像机的实施例中，CCD可具有适合于高清晰度视频捕捉的分辨率。在使用时，摄像机所捕捉到的图像可例如被并入游戏内或被解释为游戏控制输入。在另一实施例中，摄像机是适合于检测红外光的红外摄像机。
[0107] 通常，为了能经由系统单元1400的各通信端口中的一个与诸如摄像机或遥控器等外围设备成功进行数据通信，应当设置诸如设备驱动程序等适当的软件。设备驱动程序技术是已知的，这里将不再详细描述，除了要说明技术人员将意识到所描述的本实施例可能需要设备驱动程序或类似的软件接口。
[0108] 图23示出了根据本发明一个实施例的可被用于处理指令的附加硬件。细胞处理器
1428的架构包括四个基本组件：包括存储器控制器1560和双总线接口控制器1570A、B的外部输入和输出结构；称为超级处理单元(Power Processing Element)的主处理器1550；称为协同处理单元(SPE)的8个协处理器1510A-H；以及称为单元互连总线的连接上述各组件的循环数据总线1580。与Playstation2设备的情感引擎(Emotion Engine)的6.2GFLOPs相比，细胞处理器的总浮点性能为218GFLOPS。
[0109] 超级处理单元(PPE)1550基于以3.2GHz的内部时钟运行的与双向同时多线程Power1470兼容的PowerPC核(PPU)1555。其包括512kB的2级(L2)高速缓存和32kB的1级(L1)高速缓存。PPE1550每时钟周期能够进行8个单位置操作(single position operation)，以
3.2GHz转换成25.6GFLOPs。PPE1550的主要作用是充当协同处理单元1510A-H的控制器，所述协同处理单元处理大部分的计算工作负荷。在操作中，PPE1550保持作业队列，为协同处理单元1510A-H调度作业并且监视它们的进程。因此，每个协同处理单元1510A-H运行这样的内核：即其作用是取回作业、执行该作业并且与PPE1550同步。
[0110] 每个协同处理单元(SPE)1510A-H包括相应的协同处理单元(SPU)1520A-H以及相应的存储器流量控制器(MFC)1540A-H，而MFC1540A-H又包括相应的动态存储器存取控制器(DMAC)1542A-H、相应的存储器管理单元(MMU)1544A-H以及总线接口(未示出)。每个SPU1520A-H是时钟频率为3.2GHz且包括256kB(原则上可扩展至4GB)的局部RAM1530A-H的RISC处理器。每个SPE提供理论上的25.6GFLOPS的单精度性能。SPU可以在单个时钟周期内对4个单精度浮点成员、4个32位数字、8个16位整数或16个8位整数进行操作。在相同的时钟周期中，SPU也可执行存储操作。SPU1520A-H不直接访问系统存储器XDRAM1426；由SPU1520A-H形成的64位地址被传到MFC1540A-H，所述MFC命令它的DMA控制器1542A-H经由单元互连总线1580和存储器控制器1560访问存储器。
[0111] 单元互连总线(EIB)1580是细胞处理器1428内部的逻辑循环通信总线，其将上述处理器单元，即PPE1550、存储器控制器1560、双总线接口1570A、B以及8个SPE1510A-H，总共
12个参与者连接在一起。这些参与者可以每时钟周期8个字节的速度同时向总线进行读写。
如先前所提到的，每个SPE1510A-H包括用于调度更长的读或写序列的DMAC1542A-H。EIB包括四个通道，两个沿顺时针方向，两个沿逆时针方向。因此，对于12个参与者而言，任何两个参与者之间的最长的步进式数据流在适当的方向上为六步。因此，在通过参与者之间的仲裁而实现充分利用的情况下，12个时隙的理论峰值瞬时EIB带宽为每时钟周期96B。这等同于以3.2GHz的时钟速率的307.2GB/s(千兆字节每秒)的理论峰值带宽。
[0112] 存储器控制器1560包括由Rambus公司开发的XDRAM接口1562。具有Rambus XDRAM1426的存储器控制器接口具有25.6GB/s的理论峰值带宽。
[0113] 双总线接口1570A、B包括Rambus 系统接口1572A、B。将该接口编组成12个通道，每个通道为8位宽，其中5条路径为输入(inbound)而7条路径为输出(outbound)。这经由控制器170A在细胞处理器与I/O桥700之间以及经由控制器170B在细胞处理器与真实仿真器图形单元200之间提供了62.4GB/s(36.4GB/s输出，26GB/s输入)的理论峰值带宽。
[0114] 由细胞处理器1428发送到真实仿真器图形单元1430的数据将典型地包括显示列表，其为绘制顶点、将纹理(texture)施加于多边形、规定照明条件等一系列命令。
[0115] 图24示出了根据一个实施例的使单手控制器与计算系统通信以确定控制器的三维定位的流程图。在操作902中，在诸如LCD的显示器中显示图形用户界面。在操作904中，从显示器前方的捕捉区域中捕捉图像数据。例如，图1的图像捕捉设备106被用于从捕捉区域
118中捕捉图像数据。在一个实施例中，图像捕捉设备106是数码摄像机。
[0116] 在操作906中，基于所捕捉到的图像来识别控制器的二维定位。例如，将图像数据保持在图20的计算系统700的图像处理模块中，并且如相对于图1所描述的，正在运行的程序中的一个确定控制器的水平和垂直位置。
[0117] 执行时钟同步操作908以将计算系统与控制器之间的超声波通信的各端上的时钟同步。在操作910中，在最接近于显示器的定位与控制器处的定位之间捕捉单向声音通信。
在一个实施例中，声音在控制器处产生，而由计算系统处的声音接收器接收。在另一实施例中，声音在计算系统定位处产生，而由控制器接收。
[0118] 在操作912中，连同时钟同步信息一起使用所捕捉到的声音通信来计算控制器在捕捉区域中的第三维定位。如先前相对于图2D所描述的，该第三维定位可以是从声音捕捉设备到控制器的距离，或者是控制器在捕捉区域内的深度。
[0119] 各实施例可以包括捕捉深度数据以更好地识别真实世界的用户并且引导具象或场景的活动。对象可以是人正握住的东西，或者也可以是人的手。此外，本发明的实施例为用户提供了实时的互动游戏体验。例如，用户可以实时地与各种计算机生成的对象互动。此外，可以实时地更改视频场景以增强用户的游戏体验。例如，可以将计算机生成的服装插入在用户的衣服上，并且可以利用计算机生成的光源在视频场景内投射虚拟阴影。因此，利用本发明的各实施例，用户可以在他们自己的起居室内体验互动的游戏环境。
[0120] 本发明的各实施例还设想了分布式的图像处理构造。例如，本发明不限于在一个乃至两个定位上对所捕捉到的图像和显示器图像进行处理，诸如在CPU上或者在CPU和一个其他单元上。例如，输入图像处理可能正好同样容易地发生在能够执行处理的相关联的CPU、处理器或设备上；实际上，所有的图像处理可以分布在整个互连的系统上。这样，本发明不限于任何特定的图像处理硬件电路系统和/或软件。本文所描述的各实施例同样既不限于通用硬件电路系统和/或软件的任何特定组合，也不限于针对处理组件所执行的指令的任何特定源。
[0121] 依据上述各实施例，应理解的是本发明可采用各种用计算机实现的操作，所述操作涉及存储在计算机系统中的数据。这些操作包括需要对物理量进行物理处理的操作。通常，尽管不必要，但这些物理量采取能被存储、传递、组合、比较及以其他方式被处理的电信号或磁信号的形式。此外，所执行的处理通常以诸如产生、识别、确定或比较等术语相称。
[0122] 可用包括手持设备、微处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等的其他计算机系统构造来实践上述发明。也可在分布计算环境中实践本发明，在所述分布计算环境中由通过通信网络链接的远程处理设备来执行各任务。
[0123] 本发明也可实施为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储之后能被计算机系统读取的数据的任何数据存储设备，包括电磁波载体。计算机可读介质的实例包括硬盘驱动器、网络附接存储设备(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。也可在与网络耦合的计算机系统上分布计算机可读介质，从而以分布式的方式存储和执行计算机可读代码。
[0124] 尽管为了清楚理解的目的而较为详细地描述了上述发明，但将显而易见的是在所附权利要求的范围内可以进行一定的变化和修改。因此，当前的各实施例应被认为是示意性的而非限制性的，并且本发明不应限制于本文所给出的细节，而是可以在所附权利要求及其等同内容的范围内被修改。
[0125] 尽管按特定顺序描述了方法操作，但应理解的是可在各操作之间执行其他内务操作，或者可以调整操作使得它们在稍微不同的时间发生，或者可以在允许处理操作以与处理相关联的各种间隔发生的系统中分配各操作，只要能够按期望的方式执行重叠操作的处理。
[0126] 尽管为了清楚理解的目的而较为详细地描述了上述发明，但将显而易见的是可以在所附权利要求的范围内进行一定的变化和修改。因此，当前的各实施例应被认为是示意性的而非限制性的，并且本发明不应限制于本文所给出的细节，而是可以在所附权利要求及其等同内容的范围内被修改。