基于计算机设备的音频输出触发触觉的方法

1.一种根据来自计算机的声音输出中检测到的声音特征来触发触觉方法，所 述触觉能够被传送给与所述计算机通信的触觉反馈设备的用户，其特征在于， 所述方法包括：
将部分声音数据存储在计算机的存储器缓冲区中；
使用智能启发式方法分析所述部分声音数据，并从所述部分声音数据中抽取 至少一个声音特征；
将所述部分声音数据分成多个声音特征，每个声音特征基于多个频率范围中 的一个或多个，每个频率范围与一种触觉效果相关联；
计算每个频率范围内声音幅度的平均值；
分析每个频率范围以确定一个或多个声音特征；以及
以所述平均值作为阈值，根据与具有大于所述阈值的声音幅度的一个或多个 声音特征相关联的一个或多个频率范围来执行至少一种触觉效果。
2.如权利要求1所述的方法，其特征在于，通过对所述部分声音数据应用多 个滤波器来将所述部分声音数据分成多个频率范围。
3.如权利要求2所述的方法，其特征在于，所述多个滤波器至少包括：
一个低通滤波器；
至少一个高通滤波器；以及
至少一个带通滤波器，
对所述部分声音数据应用所述多个滤波器来提供至少三个频率范围。
4.如权利要求2所述的方法，其特征在于，所述分析包括使用快速傅里叶变 换FFT将所述部分声音数据分离成与多个频率范围相关联的多个频率分量。
5.如权利要求4所述的方法，其特征在于，将来自所述快速傅里叶变换的多 个输出分组，以提供与多个频率范围中的每个频率范围相关联的声音特征。
6.如权利要求4所述的方法，其特征在于，所述至少一种触觉效果已被预先 映射到所述至少一个声音特征。

技术领域\n本发明涉及用于允许人们与计算机系统接口的系统，更特别地，涉及用于 向与一个或多个包括声音输出的计算机应用接口的用户提供触觉反馈的方 法。\n背景技术\n用户可与由计算机显示的环境交互以在该计算机上执行功能与任务，诸如 玩游戏、体验仿真或虚拟现实环境、使用计算机辅助设计系统、操作图形用 户接口(GUI)、浏览网页等。常见的用于这种交互的人机接口设备包括鼠标、 操纵杆、轨迹球、游戏垫、遥控器、方向盘、输入笔、写字板、压敏球，或 者与控制计算机环境的计算机设备通信的其它设备。计算机响应用户操纵诸 如操纵杆柄、按钮或鼠标等实体操作物来更新环境，并利用显示屏和音频扬 声器提供视觉和音频反馈给用户。计算机通过在接口设备上提供的发送位置 信号给计算机的传感器来感知用户对用户对象操纵。\n在一些接口设备中，也将动觉反馈和/或触觉反馈提供给用户，这里将它们 更通用地合起来称为“触觉反馈”。这些类型的接口设备可提供身体感觉，用户 可通过操纵接口设备的操作物来感知这样的身体感觉。一个或多个发动机或 其它致动器可连接到操作物上并连接到控制计算机系统。计算机系统与计算 机事件和交互一起协调，通过发送控制信号或命令到致动器，来控制操作物 上的力。因而，计算机系统在用户正抓住或接触接口设备或接口设备的可操 纵对象时，可以与其它所提供的反馈一起向用户传送物理力量感觉。\n提供给用户的音频反馈是许多应用程序的固有部分，特别是游戏。一些现 有的触觉反馈设备设计为直接基于来自计算机的声音输出提供触觉。声音输 出波形直接传送到接口设备，以便诸如振动等触感直接基于声音输出波形或 者其经过滤的部分，很象扬声器操作的方式。\n现有触觉基于直接声音波形，其缺点是触觉只是直接基于声音信号的简单 效果。在发送信号到触觉设备前没有进行声音信号的评估或处理。这会引起 不需要的或不相干的触觉输出给用户，因为不是所有的声音输出都适合于直 接转化成触觉。\n发明概述\n本发明针对基于来自计算机设备的声音输出触发触觉输出。触觉输出是通 过分析声音数据特征智能地触发的，这会增强用户的感受。\n更具体地，本发明的接口设备提供用于按照来自计算机的声音输出中检测 到的声音特征来触发触觉的方法，其中触觉能够输出给与计算机通信的触觉 反馈设备的用户。作为来自运行于计算机上的应用程序给用户的音频输出的 一部分声音数据被存储。声音数据存储于计算机的存储器缓冲区中。使用智 能启发式方法分析该部分声音数据以从该部分声音数据中抽取至少一条声音 特征。根据声音特征触发至少一种触觉效果的执行，其中发送触觉效果到近 似地与作为音频到用户的该部分声音的输出相关的触觉反馈设备。触觉效果 引起要输出给用户的触觉。\n触发的触觉最好分配给声音数据中发现的声音特征。在一些实施例中，分 析该部分声音数据可包括将声音数据处理成多个不同的频率范围，并在每个 频率范围中查找声音特征。对于每个频率范围都可触发触觉效果，如果在那 个频率范围中存在声音特征。可将滤波器应用于声音数据，或者可使用快速 傅里叶变换。每个频率范围可关联于或映射到不同的触觉。例如，每个频率 范围可关联于具有不同频率的周期性触觉。其它类型的触觉也可被映射到声 音特征并分配给声音特征，因而它们将根据那些声音特征的输出来触发。\n本发明能够有利地允许在其上运行具有声音输出的应用程序的计算机系统 输出触觉反馈。本发明智能地分配触觉给声音数据中的特征，以提供相关于 引起声音输出的应用程序中的事件的触觉反馈。这导致了基于声音输出的触 觉反馈的用户体验得到全面提高。\n本发明的这些和其它优点对于本领域那些熟练技术人员将基于阅读本发明 的以下详述和研究几个附图而变得显而易见。\n附图说明\n图1是一个方框图，示出适合本发明使用的触觉反馈系统的一个实施例；\n图2是适合本发明使用的触觉反馈设备的鼠标实施例的侧剖面视图；\n图3是一个流程图，示出本发明方法的第一个实施例，所述方法根据所提供 的声音数据提供作为触觉输出的触觉效果；\n图4是一个流程图，示出用于图3中处理和分析存储于缓冲区中的数据的步 骤的一个实施例；以及\n图5是一个流程图，示出用于图3中处理和分析存储于缓冲区中的数据的步 骤的另一个实施例。\n具体实施方式\n图1是一个方框图，示出适合本发明使用的计算机系统10，包括与主机14通 信的触觉反馈接口设备12。\n主机14最好包括主机微处理器20、时钟22、显示屏26和音频输出设备24。 主机还包括其它众所周知的部件，诸如随机存取存储器(RAM)、只读存储器 (ROM)和输入/输出(I/O)电子设备(未示出)。主机14是能够采用多种形 式的计算设备。例如，在所述实施例中，计算机14是个人计算机或工作站， 诸如PC兼容计算机或Macintosh个人计算机，或者Sun或Silicon Graphics工 作站。这样的计算机14可在WindowsTM、MacOSTM、Unix、MS-DOS或其它操作系 统下运行。可选择地，主机14可以是一般连接到电视机或其它显示器的各种 家用视频游戏控制系统之一，诸如Nintendo、Sega、Sony或Microsoft提供的 系统。在其它实施例中，主机14可以是“机顶盒”、“网络-”或“互联网-计算机”、 便携式计算机或游戏设备、个人数字助理(PDA)等。\n主机14最好实现主机应用程序，如果适当的话，用户通过设备12和其它外 围设备与其交互。在本发明的上下文中，主机应用程序是数字音频编辑程序， 如下面更详细地描述的。也可使用利用设备12的输入并输出触觉反馈命令到 设备12的其它应用程序。主机应用程序最好利用图形用户接口(GUI)来向用 户呈现选项并接收来自用户的输入。此应用程序可以包括下述的触觉反馈功 能；或者，触觉反馈控制可在主机上运行的另一程序中实现，诸如驱动程序 或其它应用程序。这里，计算机14可称为提供“图形环境”，它可以是图形用户 接口、游戏、仿真或其它视觉环境。计算机显示“图形对象”或“计算机对象”， 这些不是物理对象，而是数据和/或过程的逻辑软件部件组合，计算机14可将 它们作为图像显示在显示屏26上，如本领域那些熟练技术人员所熟知的那样。 连接软件与触觉反馈设备的合适的软件驱动程序，可从加利福尼亚州圣荷塞 市(San Jose，California)的Immersion公司获得。\n显示设备26可被包括在主机系统14中，并且可以是标准显示屏(LCD、CRT、 平板等)、3-D镜、投影设备或任何其它视觉输出设备。显示设备26显示由操 作系统应用、仿真、游戏等控制的图像。\n音频输出设备24，诸如扬声器，向用户提供声音输出。在本发明环境中， 其它音频相关的设备也可连接到主机，诸如立体声接收器、放大器等。其它 类型的外围设备也可连接在主机处理器20上，诸如存储设备(硬盘驱动、CD- ROM驱动器、软盘驱动器等)、打印机以及其它输入和输出设备。\n触觉反馈接口设备12，诸如鼠标、旋钮、游戏垫、轨迹球、操纵杆、遥控 器、PDA屏等，通过双向总线30连接在主机14上。双向总线在主机14和接口设 备间发送任一方向的信号。总线30可以是串行接口总线，诸如RS232串行接口、 RS-422、通用串行总线(USB)、MIDI或本领域那些熟练技术人员所熟知的其 它协议；或者并行总线或无线连接。一些接口还可为设备12的致动器提供电 源。\n设备12可包括本地处理器40。本地处理器40能够可选地包括在设备12的机 箱内，以能够有效地与鼠标的其它部件通信。可对处理器40提供软件指令， 以等待来自计算机主机14的命令或请求，解码命令或请求，并按照命令或请 求处理/控制输入和输出信号。此外，处理器40可以读取传感器信号并通过那 些传感器信号、时间信号和按照主机命令选择的存储或中继的指令来计算适 当的力或命令而独立于主机14运行。适合用作本地处理器40的微处理器包括 例如Motorola的MC68HC711E9、Microchip的PIC16C74和Intel公司的82930AX， 以及更复杂的力反馈处理器，诸如Immersion Touchsense Processor(触觉处 理器)。处理器40可包括一个微处理器芯片、多个处理器和/或协处理器芯片 和/或数字信号处理器(DSP)的性能。\n微处理器40可按照由主机14通过总线30提供的指令从传感器42接收信号并 向致动器44提供信号。例如，在本地控制实施例中，主机14通过总线30提供 高层次的监管命令给处理器40，而处理器40根据高层次命令且独立于主机14 解码命令并管理低层次的到传感器和致动器的力控制回路。这一操作更详细 地在US专利5,739,811和5,734,373中描述，二者通过引用包括在此。在主控 制回路中，来自主机的力命令指挥处理器输出具有特定特点的力或力感。本 地处理器40报告位置和其它传感数据给主机，主机用它们来更新执行的程序。 在本地控制回路中，从处理器49提供致动器信号给致动器44且从传感器42和 其它输入设备48提供传感器信号给处理器40。处理器40可根据存储的指令处 理输入的传感器信号来确定适当的输出致动器信号。这里，术语“触觉”或“触 感”指由提供感觉给用户的致动器输出的单个力或一系列力。术语“触觉效果” 通常指送往定义触觉效果并在效果作为力由设备输出给用户时导致触觉的的 设备的命令、参数和/或数据。\n在另一个实施例中，其它更简单的硬件可在本地提供给设备12来提供象处 理器40这样的功能。例如，包括固定逻辑的硬件状态机或ASIC可用来向致动 器44提供信号并从传感器42接收传感信号，并按照预定的顺序、算法或过程 输出触觉信号。\n在不同的主机控制实施例中，主机14可通过总线30提供低层次的力命令， 它们通过处理器40直接传输到致动器44。主机14从而直接控制和处理所有到/ 来自设备12的信号。在简单主机控制实施例中，从主机到设备的信号可控制 致动器以预定频率和幅度输出力，或者可包括幅度和/或方向，或者是指示随 着时间应用的所需力值的简单命令。\n本地存储器52，诸如RAM和/或ROM，最好连接到设备12的处理器40，以存储 处理器40的指令并存储临时数据和其它数据。例如，力配置可存储于存储器52 中，诸如可由处理器输出的一系列存储的力值，或者根据用户对象当前位置 输出的力值查找表。此外，本地时钟54可连接在处理器40以提供定时数据， 类似于主机14的系统时钟；例如，可能需要定时数据以计算由致动器44输出 的力(例如，依赖于速度或与时间相关的其他因子的力)。在使用USB通信接 口的实施例中，处理器40的定时数据可选择地可从USB信号中接收。\n传感器42感知设备和/或一个或多个操作物或控制器的位置或运动，并提供 信号给处理器40(或主机14)，所述信号包括表示位置和运动的信息。适合 于检测操纵的传感器包括数字光编码器、光感系统、线性光编码器、电位计、 光传感器、速度传感器、加速度传感器、变形测量器，或者也可使用其它类 型的传感器，并且可提供相对或绝对的传感器。可选的传感器接口46可用来 转换传感器信号为可由处理器40和/或主机14解释的信号。\n致动器44响应从处理器40和/或主机14接收的信号，通过传输力到外壳或设 备12的一或多个操作物来输出触觉。致动器可以是多种类型的致动器的任何 一种，包括有源致动器，诸如DC发动机、音圈、气压或水压致动器、力矩器、 压电致动器、磁转致动器等，或者无源致动器，诸如刹车。\n致动器接口50可选择地可连接在致动器44和处理器40之间，以将来自处理 器40的信号转换成适合于驱动致动器的信号。接口50可包括功率放大器、开 关、数模控制器(DAC)、模数控制器(ADC)及其它部件，如本领域那些熟 练技术人员所熟知的那样。其它输入设备48可包括在设备12中，并当由用户 操纵时发送输入信号到处理器40或主机14。这样的输入设备可包括按钮、滚 轮、d-垫、拨号器、开关或其它控制器或机制。\n电源56可选择地包括在设备12中，可连接在致动器接口50和/或致动器44上 给致动器提供电源，或者提供为一单独部件。可选择地，电力可从独立于设 备12的电源汲取，或者通过总线30接收。而且，接收的电力可由设备12存储 并管制，且从而在需要时用于驱动致动器44或以补充方式使用。一些实施例 可在设备中使用电力存储设备以确保可应用峰值的力(peak force)(如美国 专利No.5,929,607中所述，通过引用包括于此)。可选择地，这种技术可用 于无线设备，在这种情况下使用蓄电池电源驱动触感致动器。安全开关58可 选地可包括进来，使用户能够为了安全原因而关闭致动器44。\n许多类型的接口或控制设备都可以用于在此所述的本发明。例如，这样的 接口设备可包括触觉反馈轨迹球、操纵杆柄、方向盘、旋钮、手持式遥控设 备、用于视频游戏或计算机游戏的游戏垫控制器、手写笔、手柄、轮、按钮、 蜂窝电话、PDA、触摸板，或者其它可操纵的物体、表面或外壳。\n图2是本发明使用的设备12的鼠标实施例100的侧剖面视图。\n鼠标设备100包括外壳101、传感系统102和致动器104。外壳101在用户在平 面自由度中移动鼠标并操纵按钮106时象标准鼠标一样在形状上适合于用户的 手。可在多种不同的实施例中提供其它外壳形状。\n传感器102检测在其平面自由度中的鼠标位置，例如，沿着X和Y轴。在所述 实施例中，传感器102包括标准鼠标球110来向计算机系统提供方向输入。可 选择地，可使用光传感器或其它类型的传感器。\n鼠标设备100包括一或多个致动器104，向鼠标的用户给予触觉反馈，诸如 触感。致动器104连接在外壳101上，向用户提供触觉反馈。在一个实施例中， 致动器连接在由致动器移动的惯性块上。由惯性块引起的惯性力相对于惯性 块应用于鼠标外壳，从而将诸如触感的触觉反馈传递给接触着外壳的用户。 一些实施例允许致动器象惯性块一样移动自身。这样的实施例更详尽地在美 国专利No.6,211,861和美国申请No.09/585,741中描述，二者通过引用包括在 此。其它类型的接口设备，诸如游戏垫、手持遥控、蜂窝电话、PDA等，都可 包括这样的惯性触感致动器。\n其它类型的接口设备和致动器也可用于本发明。例如，游戏垫、鼠标或其 它设备可包括耦合到致动器转轴的偏心旋转块，提供外壳或设备的操作物上 的惯性触感。其它类型的触觉设备可提供动觉反馈，诸如操纵杆、旋钮、滚 轮、游戏垫、方向盘、轨迹球、鼠标等，其中力以操作物的感知自由度输出。 例如，动觉鼠标触觉设备在美国专利No.6,100,874和6,166,723中揭示，二者 全部通过引用包括在此。\n带有触觉反馈的声音输出\n本发明改进与一个或多个运行在主机上的应用程序(或其它程序)的声音 输出一致的触觉输出中的用户体验。\n本发明的较佳实施例根据由主机输出的声音信号或数据，提供输出到触觉 反馈设备的触觉效果，并且将它们作为触觉输出给用户。在一些可替换的实 施例中，类似地，可根据输入到计算机系统(例如来自话筒或音频设备)的 声音信号或数据中的特征提供触觉效果音频设备。识别声音的时间特点和特 征，并将它们映射或关联于预先编程的触觉效果。基于这些触觉效果的触觉 可立即呈现在触觉反馈设备12上，或可存储在存储器中以形成给定声音的“触 觉配置”。本发明的方法不仅是简单地将声音信号直接传送到触觉设备作为触 觉输出，如背景技术中已解决的，而且是将各种高层次声音特征关联于各种 层次的触觉，使用声音特征触发适当的触觉输出。\n本发明的一个重要优点是，为在那个应用程序例如游戏中的输出用于多种 事件的声音的任何程序，提供引人注目的触觉，而软件应用开发者不必在编 写程序中的触觉效果上花费精力。这样，任何不用定制的游戏程序能够方便 地完成与触觉反馈设备合作而不考虑游戏是否包括控制触觉设备的编码或者 它是否只是为非触觉反馈设备开发的，使用户对于更广泛多样的程序能够有 更引人注目的交互性和沉浸式体验。而且，本发明能够近似地分别各种类型 的音效和关联于不同事件的不同触觉，使用户能有更丰富的体验。\n在一个实施例中，运行在主机上的低层次驱动程序执行本发明的方法。在 另一个实施例中，运行在主机上(或在触觉反馈设备的微处理器上)的其它 层软件可执行本发明的一些或所有特征或步骤(应用程序、API等)。实现本 发明的程序指令可作为存储在诸如电子存储器、磁盘、光盘、磁带等的计算 机可读介质上的硬件(例如逻辑部件)或软件存储。\n图3是一个流程图，示出本发明方法的第一个实施例200，根据所给定的声 音数据或声音信号提供作为触觉输出的触觉效果。方法始于202，并在可选步 骤204中，控制触觉效果发送到设备但还没有输出给用户。例如，触觉设备12 可包括允许设备存储大量不同触觉效果的数据的本地存储器。驻留在设备存 储器中的触觉效果可在接收到主机命令时或根据其它条件(已经过预定的时 间段等)来播放。送往设备的数据可包括触觉效果的参数；例如，对于定期 振动效果，参数可包括频率、周期和幅度。效果可在步骤204加载到设备上， 并在一些实施例中可控制其以例如在零幅度播放，以备在稍后的步骤中控制 其至更高的程度。步骤204最适合于总是将相同组的触觉输出给用户的那些实 施例。在另一些实施例中，可在将触觉效果输出给用户时控制触觉效果。\n在下一步骤206，接收来自主机上运行上的应用程序或其它软件层或程序的 声音数据，或可选择地，接收来自外部音频设备的声音数据，。声音数据最 好是数字化数据，它可以为任何标准化格式，诸如MIDI、wav、mp3等文件中 的数字声音采样。声音数据在步骤206接收，同时它还传送到诸如扬声器的音 频输出设备并作为声音输出给用户。一般地，声音数据由应用程序从发生在 应用中的声音事件生成，诸如由游戏动作或事件产生的游戏中的音效、游戏 或其它应用程序中在游戏开始或其它事件发生后演奏的音乐、图形用户接口 交互中的嘟嘟声、来自CD或DVD的音乐播放或者其它声音事件。在所述实施例 中，在此步骤接收以被分析的声音数据就是当前由扬声器输出给用户的声音 数据。这样，当声音数据被处理且按如下所述输出触觉时，声音数据已输出 给用户。但是，由于存储了小量的声音数据，在声音和触觉输出间只发生了 毫秒级的延迟，这是用户不能察觉的。在其它实施例中，其中声音数据输出 预先知道，触觉与触发它们的声音数据同时或近似于同时输出。\n在步骤208，预定量的所接收的声音数据被存储于主机14的存储器的临时缓 冲区中。在一个实施例中，这是合理地小到足以使能快速处理并关联于触觉、 同时大到足以允许有意义的处理和分析的数据量。在一个实施例中，存储了 一部分约等于10ms播放的声音数据，尽管在其它实施例中可存储不同的量。 例如，声音可使用主机上的DirectSound或其它声音捕捉API数字化录制成10ms 的片段。\n在步骤210中，处理和分析存储的声音数据来识别指定为和确定要输出的触 觉相关的特定声音特征或特性，即，这些声音特征将用作触发触觉输出的信 号。广义而言，本发明使用智能启发式方法来抽取应用程序中可能有意义的 声音特征，并将这样的声音特征关联于预定的、预先编程的触觉，所述触觉 近似对应于所抽取的声音特征和这些特征所表示的可能事件。例如，在许多 当前视频游戏应用程序中的可能事件可以是来自炸弹、手榴弹、导弹等的爆 炸、诸如枪或火箭等武器的开火、车辆的碰撞、脚步的嗒嗒声、物体溅入水 中的声音、用于警告玩家发生某些游戏事件的警告声音等。这些事件可具有 特定的声音特征，在适当分析后能从所接收声音数据中识别它们。\n可使用各种不同的方法处理数据；下面参考图4和5描述一些实施例。这些 具体的实施例对声音数据执行处理，按照本发明将声音数据表示的声波划分 为许多不同的频率范围。每个频率范围的声音然后可独立地针对特定声音特 征进行分析。这种频率范围划分具有声音常常根据触发声音的事件发生在不 同的频率范围的优点；例如，游戏中的爆炸可具有低频率声音而同时枪击可 具有高频率声音。事件类型因此可根据声音所位于的频率范围大约地区分， 从而使不同的触觉效果能够如下所述地进行控制和输出。\n一旦声音数据已经处理和分析过，在下一步骤212，输出触觉命令到触觉设 备，以引起触觉输出给正操纵设备的用户。触觉命令根据声音特征触发，如 果在步骤210的声音数据中发现了声音特征的话。智能启发式方法可用来分配 不同的触觉给不同类型的声音，根据，例如声音的频率或声音的特点。触觉 命令可引起驻留在设备的触觉效果开始播放或在控制的程度上播放。在一个 实施例中，从步骤204已经驻留在设备的存储器中的触觉效果随着新参数或数 据修改以适当地实现所需的触觉。可选择地，可创建新的触觉效果并控制它 用以立即由设备输出为触觉。如上所说明的，由命令得到的触觉可在所关联 的声音特征已作为音频输出稍后时输出，但最好是足够快以便用户不能分辨 出有延迟。\n在一个实施例中，所控制的触觉的程度可设定为与相关联的频率范围中的 声音数据幅度成比例。例如参考图4和5所讨论的实施例，声音数据被滤波或 被组织成5种不同的频率范围。这些频率范围的每一个可具有相关联于它的不 同触觉。例如，使用可用的惯性触感反馈鼠标，不同频率的周期性触觉效果 关联于每个频率范围。这样，例如，具有62Hz的触觉频率的周期性触觉效果 (例如在或接近触觉设备的第一共振频率时引起较高程度的感觉)关联于第 一个声音频率范围(例如OHz到150Hz)。其它周期性触觉效果可具有75Hz、 990Hz、115Hz和250Hz的触觉频率，每一个以升序对应于另一声音频率范围(其 它周期性频率可用于其它实施例)。每个这些周期性触觉效果的幅度可设置 为与在关联频率范围中的声音数据幅度成比例的值。环境声音水平幅度的移 动平均可用作触觉效果产生的最小阈值，例如，如果特定频率范围的声音信 号具有超过阈值的较高幅度，那么可以控制要输出的与那个频率范围的触觉 效果相关联的触觉，或控制它具有超过零水平的幅度。\n上面提出的方法因而根据由声音数据表示的声音信号的不同频率范围中相 应变化的幅度，使五种不同的触觉效果幅度各不相同。对于在所有频率范围 中具有分量的一些声音，这可能同时引起五种不同触觉效果的输出。然而， 由于散布在频率范围上的许多声音特征只持续很短的时间量，用户只察觉到 很短的振动或一系列脉动而不是不同频率的干扰。其它较为持续不变的音效 可能只集中于一或两个频率范围，它们将只引起一种或两种触觉效果同时输 出(其它频率范围的触觉效果将设置为零幅度)。因而用户将感觉到大致对 应于音效频率的触觉。这也是参考图4讨论的。\n这样，关联于特定频率范围或频带的触觉的幅度可直接相应于在那个频带 中的声音信号的幅度水平，如上所说明的。除了这种连续的触觉输出，声音 信号中振幅的突然峰值可映射到附加的摇晃、脉动或其它短而强的触觉，它 们可覆盖在连续的振动感上。\n在其它实施例中，更复杂的触觉可根据步骤210的声音数据处理和分析和根 据智能启发式方法输出。在诸如游戏的许多应用中，声音类型能够根据它主 要位于的频率范围确定。这容许更复杂的映射模式，其中完全不同的触觉可 映射到不同声音频率范围。这也是参考图5讨论的。\n例如，常常有视频游戏应用中的武器开火关联于高频声音的突然爆发的情 况。使用此事实作为启发式方法，在步骤210，可分析来自游戏的声音输出数 据，且已识别输出指示高频声音的特征。例如，可为声音振幅的突然爆发或 峰值而检查特定的频率范围。在步骤212，关联于武器开火的触觉可根据声音 中发现的声音爆发智能地控制其输出。在一些实施例中，在声音和触觉正在 播放时可即时修改触觉，其中触觉的幅度和持续时间是根据声音爆发在预定 阈值之上的幅度、爆发的持续时间和/或爆发的特殊频率内容而连续调整的。\n在一些实施例中，可根据声音特征的特点对声音特征选择完全不同的触觉 配置，其中参考声音特性和触觉效果之间预先编程的映射(例如可将查找表 或数据表存储在存储器)。例如，在非常不同的频率范围中的声音爆发可触 发完全不同的触觉。例如，视频游戏中的低频声音爆发可以是人物的脚步声。 适当的触觉可映射到那个声音特征，诸如低频振动或波动力。\n一些游戏或其它程序可对类似的事件输出类似的音效，以允许如上讨论的 近似映射。不过，其它游戏或程序可以使类似发声的声音关联于不同事件。 因此，在一个实施例中，特定的查找表或其它映射数据可关联于每个单个的 游戏(或其它应用程序)。用此表，本发明的方法可在表上识别正在玩哪个 游戏，然后找到游戏声音特点和已由表作者分配的触觉之间的适当的映射。这 允许为特殊游戏定制启发式方法，以支持更精确的映射。这对开发者是有利 的，他们将不必自己在游戏中放置触觉效果或映射，而能依赖触觉设备制造 商根据声音输出做出包括映射于当前可用的游戏的触觉的驱动程序更新。\n在另一个实施例中，关联于所发现的声音特征的触觉效果并不立即作为触 觉输出给用户，而是存储在存储器中形成给定声音的“触觉配置”。这可用来辅 助触觉效果的设计。例如，声音文件可加载且用户可在图形用户接口中选择 一个控件，以使本发明的方法生成对应于声音的合成触觉效果。然后可通过 控制所生成的混合触觉效果在程序中使用所生成的触觉效果(或触觉程度、 力量值等)。可选择地，触觉配置(生成的效果)可成为新的触觉效果基元， 允许开发者根据此基元创建新的效果，例如，可创建周期性效果、纹理、临 时配置等。\n例如，游戏可以有上百种音效。可指令本发明的方法在几秒钟内加载游戏 的声音文件并从标准格式(诸如.ifr文件，用于由加利福尼亚州圣何塞市的 Immersion公司发明的协议中)的声音数据中创建触觉效果。这样，开发者不 需要手工地创建每个触觉效果，节约了大量的开发时间。设计者还可检查生 成的触觉效果并编辑它们，如果需要的话。这有利于这样的开发者，他们希 望用传统的方式在他们的游戏上添加代码以将触觉效果命令到触觉设备，而 又不希望花费大量时间设计适当的触觉效果。\n在触觉输出后，方法回到步骤206，检查是否接收到进一步的声音数据。如 果是，则按上述说明处理下一部分的声音数据。如果没有接收到进一步的声 音数据，在242完成处理(在下一次输出声音数据时再开始)。\n图4是一个流程图，示出图3步骤210的一个实施例，其中处理和分析存储在 缓冲区中的声音数据。方法始于270，且在步骤272，设置存储的声音数据通 过多个滤波器来隔离不同的频率范围。例如，如上面例子中所述将声音数据 划分成五个频率范围，可使用低通滤波器、高通滤波器和三个带通滤波器。 作为一个示例，低通滤波器可以滤去频率在0-170Hz外的所有数据，第一带通 滤波器可滤去除了170-430Hz的所有频率，第二带通滤波器可滤去除了430Hz- 2kHz的所有频率，第三带通滤波器可滤去除了2-10kHz的所有频率，而高通滤 波器可滤去所有低于10kHz的频率。\n在步骤274，维护从每个滤波器输出的声音幅度的移动平均。这使得从计算 机输出的环境声音被平均，因此只有大于环境水平的声音将触发触觉。在下 一步骤276，调节滤波器输出的幅度至用户正在使用的触觉设备所要求的范 围。这样，实际滤波器输出不在背景技术中那样用于生成触觉，而是根据滤 波器输出生成新的触觉命令和效果。\n在一些实施例中，可调节每个滤波器输出幅度的平方。这在一些实施例中 可更有效，只在每个声音数据的频率范围中挑出较大的峰值或尖峰信号并减 少可能由检测到的太多的峰值发生的设备持续的噪声/振动。\n在下一步骤278中，将周期性触觉效果分配给每个滤波器的输出。可为每个 周期性效果可分配一个幅度，它等于为每个滤波器发现的所调节的幅度。如 果滤波器没有输出，即在声音数据中不存在那个频率范围的声音，或者如果 滤波器的输出不在预定阈值大小之上，那么为分配了那个频率范围的触觉效 果应分配零幅度。每个周期性感觉可具有在传递相应声音频率中发现有效的 五个触觉频率之一。这样的周期性触觉，诸如振动，相当适合于提供惯性触 感的游戏垫或鼠标等触觉设备。振动还可由动觉反馈设备输出。其它类型触 觉也可由动觉设备实施例输出，具有根据上面确定的成比例的幅度而定的程 度。分配的触觉类型在不同实施例中可不同，诸如弹出、摇晃、弹力、制动 等，还能够根据成比例幅度的程度输出；例如，可参考预先编程的映射来分 配已映射的触觉效果。\n然后方法在280完成。所分配的周期性触觉可在图3的下一步骤212中使用， 其中通过控制触觉效果至触觉反馈设备输出触觉给用户。\n图5是一个流程图，示出图3的步骤210的不同实施例210’，其中处理和分析 存储在缓冲区中的声音数据。方法始于290，且在步骤292，对声音数据执行 快速傅里叶变换(FFT)来过滤数据为数据频谱的不同频率分量。每个频率分 量根据由FFT输出的许多分量和所覆盖的整个频率范围跨越一个频率范围。例 如，如果FFT具有512个输出，且声音数据的整个频率范围大约为22kHz，每个 FFT输出频率分量是22kHz/512＝大约43Hz的频率范围。例如，为达到类似于图 4实施例的五个频率范围，四个分量可组合起来覆盖第一个频率范围0-170Hz， 6个分量覆盖范围170-430Hz，37个分量覆盖范围430Hz-2kHz，185个分量覆盖 范围2kHz-10kHz，而256个分量覆盖范围10-22kHz。其它频率范围和分量可用 于其它实施例。\n在下一步骤294，方法检查步骤292中分组的任何频率范围是否具有预定的 特点。这些特点是声音数据中显著到足以触发触觉输出的特征。在一个实施 例中，对每个频率范围维护平均振幅，并查找振幅中的峰值。如果找到3-4倍 平均振幅的振幅峰值，那么就认为是显著的并且应由特征分配或触发触觉效 果。\n如果找到预定特点，那么过程继续到步骤296，将触觉效果分配给那些具有 预定特点的频率范围，并且过程在298完成，方法返回到图3的步骤212。如果 在步骤294没有找到具有所需特点的频率范围，那么过程在298完成并且方法 返回到图3的步骤212。\n分配给具有所需特点的频率范围的触觉效果可以是几个不同类型中的任意 一种并/或具有不同的参数，并且不需要具有和相应声音数据振幅成比例的幅 度。例如，摇晃、脉动或制动可以映射到任何抽取的声音特征(诸如振幅的 升高)。摇晃或停止的幅度可基于其中找到振幅峰值的频率范围，例如，低 频范围可分配较高幅度触觉(反之亦然)。周期性感觉、方向感觉(对于触 觉设备能够以设备自由度的特定方向输出力)、弹力感觉、制动感觉等可映 射到不同的频率范围。在一个实施例中，触觉可在幅度上相应于增加的声音 数据振幅而增加，然后触觉振幅可自动降低回至零水平。同样，可以参考声 音特征和触觉之间的预先编程的映射。\n图5实施例的FFT输出趋向于更有效，并比图4实施例的滤波器输出提供更多 的信息。例如，FFT的可提供关于哪里发生振幅峰值、波的相移或声音信号中 的特征等更详细的频率信息。还应注意上述图5的不同类型触觉的分配或触发 也可在图4实施例中执行，且成比例于图4的声音振幅的触觉幅度也可在图5的 实施例中执行。\n在一些应用中，周围的背景声，诸如游戏应用中的背景音乐，可以忽略， 因此只有游戏中的音效触发要输出的触觉。通常，音效幅度比背景音乐振幅 要高，使得音效能够作为高出平均振幅的峰值发现。在其它情况下，背景音 乐可忽略，而音效根据音频数据类型处理。例如，如果背景音乐是MIDI格式 且音效是.wav文件，那么MIDI数据可忽略而wav数据由本发明处理来提供触 觉。\n一些实施例还可允许用户输入优先级，它们可调整如何分析声音数据、如 何分配触觉效果以及如何输出触觉。例如，触觉效果强度、识别声音特征的 振幅的最小阈值水平(例如，因此在游戏中背景音乐可更好地略去)等。\n本发明还可用于除游戏外的其它类型的应用程序。例如，流式音频的用户 体验可通过在音频输出上加入触觉增强，因此如果用户正接触着触觉设备， 同时听着音频输出，音频中诸如音乐拍子、持续音、语音特征等特征可由用 户通过触觉体验。同样，本发明可以音轨方式使用，音轨伴随流视频输出， 例如通过诸如因特网的网络。\n尽管利用几个较佳实施例描述本发明，但其改变、交换和等价方案对于那 些本领域熟练技术人员应基于详细说明的阅读和附图的研究而变得显而易 见。例如，触觉反馈设备的许多不同实施例可用于输出这里所述的触觉，包 括操纵杆、方向盘、游戏垫和遥控。而且，虽然为了描述清楚使用了某些专 有名词，但这并不限制本发明。