手持装置用户界面操作方法

1.一种手持装置用户界面操作方法，在该操作方法中，该装置(2) 的显示器(2’)上的数据响应该装置在其使用三维空间内的所定义的运 动而变化，其特征在于：该操作模式包括这种操作模式，其中响应装置 (2)的倾斜(T6、T7)，显示器(2’)上的数据(S1、C1……Di……)向 与发生倾斜的方向相对应的方向(M4)被浏览。
2.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还具有一个或多个如下特点：
响应翻转(T8)该装置，一数据组(S12)被从安排在处于环绕该装 置(2)的用户的圆上的组(S11-S18)中的数据选出，由此通过将此装置 分别向该组(S12)和远离该组(S12)的方向倾斜(F1)浏览该组(S12)；
响应装置(2)沿着垂直于显示器(2′)的方向向前或向后移动(Z)， 显示器上的数据(6a)分别被放大或缩小；
响应装置(2)沿其显示器(2′)所在的平面移动(N、E、S、W)， 数据对象从大于显示器的数据(D11)中被选出；和
响应在显示器(2′)上设置一个光标(C)，并且响应装置(2)沿 其显示器所在平面运动(N、E、S、W)，光标(C)向着与用于在显示 器上选择数据(01-09)的运动方向相反的方向运动。
3.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还包括一种操作模式，其中响应装置(2)象翻转书页一样旋转 (P)，显示器(2’)上的数据(8a、8b、8c)也以和翻转书页相对应的 方式变化。
4.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还包括一种操作模式，其中随着装置(2)的倾斜(T2)，数据 (D2)在显示器(2’)上从发生倾斜的方向向光标(C)移动。
5.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还包括一种操作操式，其中随着装置(2)的倾斜(T5)，显示 器(2’)上的选择数据(D5)移向(M3、D9)发生倾斜的方向。
6.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还包括一种操作模式，其中响应装置(2)向远离于使用者的方 向倾斜(T3)，显示器(2’)上的数据(D3)被放大(Z2)/或响应装置向 靠近使用者的方向倾斜(T4)，显示器(2’)上的数据(D4)被缩小(Z3)。
7.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还包括一种操作模式，其中显示数据是全景图(9a)中的所需 部分，并且响应装置(2)的翻转，显示数据(9b)发生变化，使得观测 方向以及全景图(9a)显示部分的变化都与翻转相对应。
8.如权利要求1所述的手持装置用户界面操作方法，其特征在于，该 操作模式还包括一种操作模式，其中显示数据是全景图(9a)中所需部 分或是三维图像数据(R1、R2)3D，描述事物的数据(D12)位于图像数 据中，并且响应装置(2)的翻转，无论是全景图数据还是三维图像数据 (R1、R2)和三维图像数据(D12’、D12”)都在显示器(2’)上变化以和 对应于装置(2)所在方位的观测方向(A1、A2)相对应。
9.如权利要求1所述的手持装置用户界面操作方法，其特征在于，响 应装置运动的停止或是明显减慢，显示器上数据的变化也停止。
10.如权利要求1所述的手持装置用户界面操作方法，其特征在于， 以其它方式而不是通过装置的运动向装置提供一停止信号使其显示器上 数据的变化停止。

技术领域\n本发明涉及一种手持数据处理装置用户界面操作方法。这里所说的 手持装置是指掌上或袖珍电脑、移动电话、通话装置或诸如此类的装置， 其主要特征是包括在其显示器上的显示数据并且其显示器上的数据是变 化的，以搜索和选择所需数据。\n背景技术\n目前上述装置的用户界面大多是“点击”(point and click)型。用 户界面的通用操作方法是利用按键浏览和选择数据。掌上电脑通常使用 触摸显示器，虚拟键盘、笔和一些附属硬质按键或按钮。首先，这种用 户界面很难用于上述小型装置以及相应的按键或虚拟按键。另外，当上 述装置被不断地赋予需要利用同样小数量的小型按键来使用的新的应用 和功能，使用这种用户界面会变得更加困难。这些用户界面如电脑或其 它一些数据处理装置的用户界面的特征通常在于：它们拥有自己的模拟 逻辑和规则，而其只被少数一些通常是从事技术方面工作的用户所完全 理解并采纳。\n发明内容\n本发明的目的是提供一种手持装置用户界面的操作方法，其将在很 大程度上解决上述用户界面存在的问题。\n为了实现上述目的，提供了一种手持装置用户界面操作方法，在该 操作方法中，该装置的显示器上的数据响应该装置在其使用三维空间内 的所定义的运动而变化，其特征在于：该操作模式包括这种操作模式， 其中响应装置的倾斜，显示器上的数据向与发生倾斜的方向相对应的方 向被浏览。\n本发明的优点在于，使用者可以很容易地掌握此用户界面的操作规 则，因为它们是“自然的”。从人类工程学的角度来看，该装置的使用也 是简便的，因为例如它不需要使用小型按键或附属器件。\n附图说明\n接下来将结合附图对本发明及其一些实施例进行详细描述，其中：\n图1至10是表示本发明用户界面操作方法示例的示意透视图；\n图11至13是装置及其显示器上数据的示意前视图，表示本发明用 户界面操作方法的另外一些示例；\n图14简要表示数据的排列以及本发明用户界面一个应用的操作；\n图15是本发明用户界面另外一个应用的操作的示意透视图；\n图16是表示本发明用户界面操作方法可能实现过程的流程图。\n具体实施方式\n在图1至5中，使用者正将手持装置2拿在他(或她)手3上并且 正在使用这带有显示器2’的装置，显示器2’是触摸显示器，使用者可以 通过用他(或她)的拇指4按显示器向装置输入信号。例如，通过安装 在该装置自身内部的加速度测量电路来检测装置2的运动，电路测得的 数据被用于用户界面的操作中。在下面将对根据本发明的用户界面操作 方法的一些可能的实现方式进行细致地更进一步地说明。图1至5显示 了此用户界面操作的一些例子。\n参照图1，响应装置2沿着基本上垂直于其显示器2’的方向，即箭 头F所示的方向运动，例如网络搜索得到的气象图的页面5a、5b、5c、 5d、5e在显示器2’上被浏览。对于使用者来说，很容易想象在他(或她) 面前有一堆图片5a至5e，并且通过在该堆图片内移动他(或她)可以在 每一时刻看到一图片。可以想象以同样的方式浏览一本书或其它文件连 续的(或成堆的)页。根据移动的速度和强度来确定浏览的速度，例如 根据运动加速度的大小来确定。也可以以这种形式安排操作：装置2向 前或向后做一个适当地微小移动并立即停止，使相应方向上的下一页出 现在显示器上。另外，也可以设置通过按触摸显示器2’给显示器控制装 置一个信号，响应该信号显示器上数据的变化停止。这种深度的实际使 用显著地增加了尺寸有限的显示器的容量。\n参照图2，随着装置2以与上述相同的方式即沿着基本垂直于其显示 器2’(如箭头Z所示)的方向运动，显示器2’上的图像或被放大了，如 图像6b，或被缩小了如图像6a。这个用户界面操作方法同他(或她)想 详细地检查一个物体的细节，例如一个图像时的人类行为十分相似。在 找到所需的放大率后，可通过例如按一下显示器2’的方式再一次使显示 器上数据的变化停止。根据应用情况，图1和图2所示的功能在用户界 面内可以选择使用，由此其在对装置以这种方式运动做出的反应方面并 没有区别。在用户界面操作中，图1和图2的功能也可以被组合使得数 据首先被浏览然后通过同样的运动被缩放，那么设置一个选择器来选择 这种或是另外一种功能就是有益的。例如，缩放选择器可以是按一下显 示器上的某一区域，由此通过选择一个需要的放大比率，可以实现由缩 放模式向浏览模式的自动转换。\n在图3中，标号7a表示远大于显示器的图像数据。对于较大的实物 或图像数据，手持装置显示器的容量显然不够。响应装置基本在显示器2’ 所在的平面内沿箭头N、E、S和W所示的方向的侧向运动，显示器上 的数据7b被改变，如同一个窗口在由图像数据7a形成的更大的图像E 上运动。在找到需要的位置后，可以通过按显示器再一次使显示器上的 数据变化停止。共同完成图2和图3所示的功能是符合逻辑的，因此在 完成缩放后通过以图3所描述的方式选择数据，可以更彻底地检查图像 数据。另外，例如数字选择可以无需按键只是通过在虚拟键盘上方移动 该装置并且一个接一个地选择所需数字来实现。例如，这个功能使利用 掌上电脑来阅读全部长度的网页成为可能。\n参照图4，响应装置2如同大致以其边9为轴快速旋转，即响应像翻 书页一样地旋转该装置，如箭头P所示，显示器上的数据8a、8b、8c相 应地变化，如电子图书的书页被翻动。根据旋转方向选择页码的翻动方 向。可将功能设置为：做一个微小的旋转然后迅速停止将向旋转方向翻 动一页，并且旋转越强烈浏览页的速度就越快，直到通过按显示器使浏 览停止。\n在图5中，本发明的一个应用被说明，其中形成一个覆盖整个感知 空间的全景图(或各自的图像数据形成一个圆柱体图)的图像数据9a的 任一部分9b可以在某一时刻被检查。在本发明用户界面操作方法中，响 应装置2的如同在相应的空间表面移动一图片的移动，或响应装置方向 的变化，和显示器的方向相对应的图像数据9a的部分9b在显示器2’上 被获得，同时，可以通过上述的方式对图像实施停止和缩放操作。也可 以想象随着装置向所需要的方向移动全景图由于被推而旋转，由此全景 图也相应的处于运动中直到通过例如按显示器使运动停止下来。\n图6至10表示本发明的用户界面实施例，其中通过倾斜此装置使其 显示器上的数据变化。在图6中，表示了一个例子，其中装置2的显示 器2’上表示为数据D1的数据沿着箭头M1所示的方向向装置2沿箭头T1 所示方向倾斜的方位发生滚动。该装置的初始位置如图中虚线所示，倾 斜后的位置如实线所示。换句话说，响应装置的倾斜，显示器上的数据 向装置发生斜倾的方位移动或滚动，这同现实世界中的因果关系十分相 似。这也可以这样实现，例如，装置倾斜得越大或其倾斜得离初始位置 越远，变化速率就越大。可通过例如使装置返回起始位置的方式或通过 装置中的某一键使数据的滚动或移动停止。\n图7表示一个实施例，其适用于例如在一个图像上移动并查找物体。 在显示器2’上设置一个光标并使其位置始终在显示器上，沿着箭头T2 所指的方向倾斜该装置以使图中表示为数据D2的数据开始沿着箭头M2 所指示的方向从倾斜方位向光标C移动。换句话说，例如光标在形成图 的数据上向着装置被倾斜的方位移动。\n在图8所示的例子中，装置2的显示器2’上的数据表示为数据D3。 当使用者将装置2从图中虚线所示的位置向远离他(或她)自己的方向 倾斜时，就象靠近显示器上的数据一样，显示器上的数据被放大，图中 通过用于表示数据D3放大的图形和箭头Z2来表示。在图9所示的例子 中，通过将装置如箭头T4所示的方式向靠近使用者的方向倾斜，相应地， 显示器上的数据D4将被缩小，如表示其缩小和离开的图形和箭头Z3所 示。\n图6、7、8和9所示的实施例可以以如下方式在装置的用户界面内 被合并，例如，在装置上有一个按键用于选择操作模式(滚动或缩放)， 利用它，首先在滚动模式中通过诸如倾斜的方式查找目标，在找到此目 标后，操作模式变为缩放模式，利用此模式，倾斜使数据在显示器上被 缩放。当然，通过倾斜进行的滚动可以和以参照图2描述的方式进行的 缩放合并。\n图10示意性地表示用于在显示器上选择数据目标的本发明用户界面 的一个实施例。数据目标D5至D10可以是例如菜单上的选择对象或者是 页面上的选择按钮。当装置2位于如图中虚线所示的起始位置时，被选 择的数据目标D5处于图中阴影部分所示的位置，沿着箭头T5所示的方 向倾斜该装置，选择物向着发生倾斜的方位移动，如箭头M3所示，在 这里是移向数据目标D9。在选到所需的数据目标后，可以通过诸如按装 置上的按钮或是使装置做返回运动等方式将其锁定。为了简单起见，这 里只展示了装置向一个方向倾斜并且从位置是一个低于一个的数据目标 中选择的情况，但是很显然利用同样的方式也可以在可选择目标中进行 侧向移动。\n图11给出参照图3描述的实施例的另外一个例子。全部的数据D11 由通过被排列成矩阵的字母来描述的目标组成。以图中箭头N、E、S和 W所示的方式移动装置，你就好象在数据上移动并且可以通过一个由显 示2’形成的窗口看这些数据。当所需的数据这里是字母q被找到后，可 以通过例如装置上的按钮将其选定。一个同等的功能也可以被实现，即 不是将装置做侧向移动，而是将其向你所需要的方向倾斜以使数据移动。\n图12表示用于在显示器上选择目标的本发明用户界面另外一个实施 例。在装置2的显示器2’上是将在其中进行选择的目标O1至O9。当装 置处于左侧的初始状态时，光标靠近显示器的右上角。在该实施例中， 光标C似乎在现实世界中被固定在某一位置。如果你想选择目标O7，可 以使装置2做侧向侧动，就好象利用光标C移动一个图片以使所需目标 O7处于图中右边的光标C的下面。在装置上有按键21、22和23，它们 的操作对应于鼠标的按钮的操作。实际上，图10至12的实施例是手持 装置的替代方案，就象鼠标，传统的电脑需要利用它来移动移动光标或 在显示器上进行选择。\n图13表示一个实施例，其中数据目标、页面、卡片等C1……Ci…… Cn被叠放或一个摞一个地排列到该装置的显示器2’上，就象现实世界中 书的页。数据目标可以是例如代表商业文章的卡片或网页。通过相应地 以图中箭头T6所示的方式向前倾斜装置或以图中箭头T7所示的方式向 后倾斜装置可以以图中箭头M4所示的方式向前或向后浏览目标。通过按 键24至26，目标可以被选中，并且其后的文件、程序等可以被打开。一 个装置用户界面可以有几种模式，诸如上述的浏览模式、滚动模式、选 择模式和缩放模式，并且例如键24可以用于模式选择而其它键25、26 和27可象传统鼠标的按钮一样操作。\n图14显示本发明用户界面的一个应用，其中数据目标被设置在以用 户和装置2所在位置为中心的圆处向外延伸的沿径向的组(stack)S11 至S18中。由每一个组的第一页例如P12或P16定义其后的数据。可通 过例如沿着箭头T8所示的方向侧向翻转此装置来浏览前页，这样，方向 A12和前页P12被选中，其后的数据目标组可以通过沿箭头F1所示的方 向向前或者向后或移动或倾斜装置2被浏览。利用这种方法可以设置电 子购物用的用户界面并且它使得在虚拟商场中察觉商品的位置和方向更 加容易。\n图15表示参照图5描述的实施例更进一步的应用。圆R1和R2现在 代表形成全景图或三维图的图像数据，通常其覆盖整个感知空间。该图 像数据也可以是从此装置连接的摄像机得到的图像数据。例如描述一件 东西的三维图像数据D12可以被引入到此图像数据中并被放到“真实环境 中”需要地点和需要位置。响应装置2以参照图5所描述的方式，例如 沿着箭头T9所示的方向进行移动，无论是背景数据还是用于描述一件事 物的三维数据D12’、D12”都根据装置的位置而变化以和观看方向A1和 A12相对应，这样可以从其所在“真实环境”中的不同方向检查这件东西， 上述操作可以有如下应用，例如通过从网上商店搜索到一个沙发的三维 模型并把它放置到代表某人房子的图象数据中需要的位置，就可以从不 同的方向检验这个沙发到其所在的真实环境中看起来效果如何。\n本发明的解决方案可以通过例如提供手持装置多轴加速度计来实 现，并且利用合适的电路和与该装置操作系统相配合的程序以及用于处 理和解释测量结果的可能应用程序可以实现显示器上与加速度计检测到 的移动相对应的数据的变化。例如，利用加速度测量的实现就是基于这 已知技术解决方案的应用，并且已经提供了说明和说明书的本领域的技 术人员，可以通过客户实现根据本发明的用户界面的操作。\n在小型数据处理装置例如掌上电脑中利用现有的硬件技术是不可能 实现具有水平与大型数据处理装置像台式电脑或膝上型电脑所达到的水 平相接近的容量和使用性能的操作系统和应用。上述小型装置也不可能 包括诸如硬盘、软盘或是如CD-ROM(只读光盘存储器)驱动器等传统 存储装置。这些问题的一个解决方案是可以设置一个由两部分组成的数 据处理装置，其中在其手持部分内只有一部分必备的电路、程序外加一 个显示器。大部分的电路、程序在使用者所持的另一可移动部分中，使 用无线链接将这部分和手持部分连接起来。此无线链接可以采用红外或 无线频率进行。在这种装置中，可以很容易地在同时实现用于检测与可 移动部分相关的手持部分的运动或位置的系统。本发明的用户界面操作 方法通过此系统可以被实现。\n接下来将参照图16对本发明基于检测加速度的另外一个实施例进行 说明。该装置包括一多轴加速度计、一些必备的电路和一些用于测量的 程序。当装置被接通后，其将会对加速度进行监视并且在阶段11对检测 到的数据进行解释(interpret)，超过某一阈值的加速度可能是本用户界面 操作方法所定义运动的起始阶段。响应上述操作，计时器TD1和TD2在 阶段12启动，TD1从检测到的运动开始设置一个十分短暂的毫秒数量级 的实验确定的时间，其中使用者施加给装置的运动由其加速度的实际方 向和大小确定。TD2设置一相对较长的时间，以用于在该时间到后在没 有其它停止原因出现时使显示器上数据变化停止。当TD1设置的时间到 后，在阶段13对这一时刻的加速度矢量进行测量。在阶段14判断检测 到的矢量是否为所定义的矢量，也就是说判断其与该用户界面操作方法 所定义的任一运动是否相对应。如果不对应，该操作将返回到起始10和 阶段11监视装置的加速度。另一方面，如果矢量是所定义的矢量，那么 在阶段15显示器上数据将依据相应的算法被变化，例如被浏览，被缩放 等等。如上所述，例如依据加速度矢量的大小确定在显示器上数据浏览 速度就与此相关。在阶段16，同时监视时间TD2是否到了，如果是，那 么操作向下进行到阶段19，在那里显示器上的数据变化被停止并且程序 在阶段20结束。如果时间TD2没有到，将监视阶段17是否有与已检测 到的所定义的矢量方向相反的矢量或是有例如按显示器之类的其它停止 信号出现。如果在阶段18检测到反向矢量或停止信号，那么在阶段19， 显示器上的数据变化被停止并且程序结束。如果在阶段18没有检测到反 向矢量及其它停止信号，那么操作返回监视上述值。\n除了利用加速度测量外，本发明的用户界面操作方法还可以通过其 它方式实现。任何可用来测量装置地点或位置变化的技术都可以被应用。 以下技术也是可以考虑的解决方案，其中装置的方向和位置的检测可以 通过发送脉冲DC磁场并由装置内的检测器测定它来实现。利用这项技 术，装置在三维空间中的地点和位置都可以被完全检测到。\n一个可能的解决方案是基于所谓的光学鼠标的技术，并且其中例如 通过观察和分析周围任一表面在这个例子中就是使用者身上的某一表面 来检测移动和移动的速度。将其结合十分容易实现的距离测量以及通过 分析距离和相对运动的变化就可以检测装置的地点、运动以及位置的变 化。\n当然，可以用多种方式实现本发明。例如，为了使对所定义的运动 的检测更加可靠，也可以考虑在一较短时间窗内对加速度实施多次测量， 并且对所定义的运动进行检测以判断所测矢量中是否有符合检测要求 的。自然地，也应考虑在连续的已测加速度矢量的基础上进行更加复杂 的运动分析。也可以这样测量装置的运动，例如其中在装置内、一只手 上、使用者身上、另一只手上的发射器与接收器之间的距离被测量。\n可以根据如上述实施例的适当组合的手持装置的使用及必备的特 征，实现本发明用户界面，此用户界面包括几种操作模式，其中相同的 装置运动对应的显示器上数据变化可以不同。如在上面一些实施例中所 叙述的那样，例如在装置上可以具有一个用于选择不同操作模式的按钮。\n本发明可以在后附的权利要求书的范围内进行变化。