用于计算机系统的无鼠标的,光学和位置转换型屏幕指示器的控制

1.一种用于控制计算机系统的屏幕指示器的位置的装置，该装置包括：
一个透镜立柱，在人的手指端部可放在上面的一端带有一个成像表面， 并且具有光线可以射入的相对的末端，该光线作为所述手指端部的图像被所 述手指端部反射，并且在通常与光线射入的方向相反的方向射出；
一个光源，它设置得靠近所述透镜立柱的所述末端，在所述末端发射 进入到所述透镜立柱的光线，然后照亮放置在所述成像表面的人的手指端部 的全部；和
一个运动传感器，它设置得靠近所述透镜立柱的所述末端并且接收所 述反射的图像，所述运动传感器从所述反射的图象的一个子集建立包括一个 参考阵列的象素化表达及其最邻近的相邻阵列的移动版本，各阵列为多比特 数字化值并存储在存储器中，使所述参考阵列和最邻近的相邻阵列与一个新 获取的取样阵列相关，以产生指示所述手指端部在所述成像表面的正交轴上 的运动的信号。
2.按照权利要求1所述的装置，其特征在于，所述透镜立柱被设置在键 盘上邻近食指的位置上的按键之间，并且所述成像表面正好位于所述按键的 顶部。
3.按照权利要求1所述的装置，其特征在于，所述透镜立柱的成像表面 通过键盘边框上的一个过孔延伸，当食指置于键盘上的起始键位置时，所述 过孔位于可被拇指端部盖住的前面部位的中央。
4.按照权利要求1所述的装置，其特征在于，还包括一个键盘，该键盘 的空格键大约为2或3个普通按键的长度，并且紧接在其每一边是增加的按 键，这些增加的按键被操作时如同鼠标按钮被按下。
5.一种用于控制计算机系统的屏幕指示器的位置的方法，包括下列步骤：
将人手的一个附属部分(6)放置在一个透镜立柱(3)的一端的成像 表面(5)上；
将光线导入所述透镜立柱的另一端(4)，以照亮放置在所述像表面 上的所述附属部分的全部；
使从所述附属部分反射的图像聚焦到接近所述透镜立柱的另一端的一 个光检测器的阵列(9)上；
使所述光检测器的输出值的多比特数字化，并将所述多比特数字结果 作为一个参考阵列存储在存储器中；
在存储所述参考阵列之后，使所述光检测器的输出值的多比特数字化， 并将所述多比特数字结果作为一个取样阵列存储在存储器中；
使所述取样阵列与所述参考阵列并且也与所述参考阵列的最邻近的相 邻的移动版本相关，以产生指示所述附属部分在所述成像表面的正交轴上运 动的运动信号；并且
根据所述运动信号调整屏幕指示器的位置。
6.按照权利要求1所述的装置，其特征在于，所述相关的阵列使运动量 的内插小于所述图象的空间特征。
7.一种用于控制计算机系统的屏幕指示器的位置的装置，该装置包括：
一个透镜立柱，在人的手指端部可放在上面的一端带有一个成像表面， 并且具有光线可以射入的相对的末端，该光线作为所述手指端部的图像被所 述手指端部反射，并且在通常与光线射入的方向相反的方向射出，并且其中 所述透镜立柱被设置在键盘上邻近食指的位置上的按键之间，并且所述成像 表面正好位于所述按键的顶部；
一个光源，它设置得靠近所述透镜立柱的所述末端，在所述末端发射 进入到所述透镜立柱的光线；和
一个运动传感器，它设置得靠近所述透镜立柱的所述末端并且接收所 述反射的图像，所述运动传感器产生指示所述手指端部在所述成像表面的正 交轴上的运动的信号。
8.一种用于控制计算机系统的屏幕指示器的位置的装置，该装置包括：
一个透镜立柱，在人的手指端部可放在上面的一端带有一个成像表面， 并且具有光线可以射入的相对的末端，该光线作为所述手指端部的图像被所 述手指端部反射，并且在通常与光线射入的方向相反的方向射出，并且其中 所述透镜立柱的成像表面通过键盘边框上的一个过孔延伸，当食指置于键盘 上的起始键位置时，所述过孔位于可被拇指端部盖住的前面部位的中央；
一个光源，它设置得靠近所述透镜立柱的所述末端，在所述末端发射 进入到所述透镜立柱的光线；和
一个运动传感器，它设置得靠近所述透镜立柱的所述末端并且接收所 述反射的图像，所述运动传感器产生指示所述手指端部在所述成像表面的正 交轴上的运动的信号。
9.一种用于控制计算机系统的屏幕指示器的位置的装置，该装置包括：
一个透镜立柱，在人的手指端部可放在上面的一端带有一个成像表面， 并且具有光线可以射入的相对的末端，该光线作为所述手指端部的图像被所 述手指端部反射，并且在通常与光线射入的方向相反的方向射出；
一个光源，它设置得靠近所述透镜立柱的所述末端，在所述末端发射 进入到所述透镜立柱的光线；
一个运动传感器，它设置得靠近所述透镜立柱的所述末端并且接收所 述反射的图像，所述运动传感器产生指示所述手指端部在所述成像表面的正 交轴上的运动的信号；和
一个键盘，该键盘的空格键大约为2或3个普通按键的长度，并且紧 接在其每一边是增加的按键，这些增加的按键被操作时如同鼠标按钮被按下。

用于计算机及其显示器的手动指示设备的应用已经变得非常普遍。 到目前为止，在各种设备中最流行的是传统式(机械)鼠标，该鼠标与 配套的鼠标垫一起使用。鼠标底部表面中央是一个孔，一个橡皮表面的 钢球的下侧部分穿过该孔延伸。鼠标垫通常是一块覆盖有合适纤维的致 密泡沫橡胶垫。底部表面上的低摩擦垫，可以在纤维上容易的滑动，但 橡皮球却不滑动，而是在鼠标移动时滚动。鼠标内部是接触所述球的中 纬线，并把球的转动转换为代表鼠标运动的正交元素的电信号的滚轴， 或轮子。这些电子信号被耦合到计算机，在此软件根据鼠标的移动，响 应所述信号，使指示器(光标)显示的位置产生Δx和Δy的变化。用 户通过必要的移动鼠标使得显示的指示器移动到所期望的部位或位置。 一旦屏幕上的指示器指向所感兴趣的对象或部位，鼠标的一个或多个按 钮之一被握着鼠标的手指激活。激活用作某种操作的指示，其本质由计 算机的软件定义。
不幸的是，上述常用类型的鼠标有许多缺点。其中包括鼠标球的老 化或其表面的损坏，鼠标垫表面的老化或损坏，以及接触滚轴易滚性的 降低(就是说，(a)由于灰尘或绒屑的积累，或者(b)由于磨损，或者(c) 包括(a)和(b))。所有这些都可以导致鼠标性能不稳定，或者完全不能 按要求进行。
造成这些麻烦的根本原因是传统鼠标在结构和操作上大部分是机械 的，而且在很大程度上依赖于机械力如何被产生和转换的巧妙折衷。
在过去的几年里，许多应用于计算机鼠标的光学技术被提出，但是 目前机械鼠标仍然是最广泛应用的指示(pointing)设备。最近的一项 光学发展技术似乎很大程度地被接受，该技术在由Gordon，Knee， Badyal和Hartlove于1998年3月30日申请，标题为“SEEING EYE MOUSE FOR A COMPUTER SYSTEM”的美国专利申请09/052,046号专利中被描述， 该专利转让给了惠普公司Hewlett Packard Co.该申请公开了前面结 合专利所述的技术的应用，用来生产可以在任意表面上导航的光学鼠 标。其中被公开的设备是一种非机械的鼠标，从生产的角度来看是可行 的，相对便宜，可靠，并且对于用户来说和传统的鼠标操作基本上相同。 这种新型的光学鼠标有熟悉的“感觉”，不会导致不希望的行动。它不 依赖于与鼠标垫的共同使用，不管是特殊情况或其他，相反，它几乎可 以在任意表面上导航。该鼠标应用一种单一的成像集成电路，以跟踪该 电路在任意表面上的转换(提示：鼠标自身)。
然而，它仍是一种鼠标，需要在其上进行操作的某种表面。膝上型 计算机和特定的混乱的工作环境，不论对于传统式鼠标，还是光学鼠标 都不适合。例如，膝上型计算机的制造者们在提供类似鼠标的指示器sans the mouse上遇到了相当大的麻烦。已经有绕轴转动的游戏杆，粘附型 轨迹球和弹出式伸缩仪，只是列举出少数几个。膝上型计算机在按键之 间有一个可弹出的小杆，并且根据手指尖在上面的施力来控制屏幕指示 器。该杆在键盘上位于字母键“J”旁边，有利于使手保持在键盘上的 起始位置。轨迹球和伸缩仪或者是繁琐结构，或者是做工精细，而力量 传感杆却与以前的装置非常相似，因为它并不把一个空间位置(手/鼠标 的组合)转换为另一个位置(屏幕指示器的位置)。相反，它通过对静止 压力作出反应来移动屏幕指示器。已经有经过良好设计、正确运行的测 试，该测试表明了通过把空间位置转换为指示器部位(也就是，包括实 际的移动)来进行屏幕指示器控制的范例，且该转换更加快速和精确， 从而更易于使用。
如果能够进行任意平面上跟踪移动的导盲(seeing eye)鼠标的光 学结构(上面提到的)可以适用于位置转换型屏幕指示器控制，并且不 需要实际的鼠标或者配备，绑定，或者弯曲，或者完全脱落的其它可移 动的附件，则是令人想要的。如果所述光学结构还允许用户将手保持在 键盘上的起始位置，则会有更大的好处。该做什么呢？
一种无鼠标，光学和位置转换型屏幕指示器控制问题的解决方案是 使用户手指之一的纹理部分(认为：“指纹”)成像，该手指可以是拇指 或一个手指。手指的运动产生图像的运动，可以通过运动传感器检测， 并被转换为屏幕指示器的相应运动。所述手指置于透镜棒的一端上，该 透镜棒或者在按键之间向上延伸：也就是接近按键“H”，“J”“Y”和“U” 的结合处；或者在键盘中央的边框前沿向外延伸。前面的方案可以与右 手食指很好地协作，而后面的方案则可以用任何一个拇指很好地操作。 当所成的图像在运动传感器内部“移动”时，其中的一部分会在视野内 消失，并被相邻手指部分的其他图像模式代替。足够多的改变的图像作 为当前的新图像，之后其自身发生变化，依此类推。通过比较参考帧(前 面的图像)和当前帧(当前的图像)，可以探测到图像运动的数量和方 向。这些探测到的数量响应于鼠标球的旋转，并被传送到计算机软件做 相应的处理。因为现在没有了鼠标，需要做一些事情来充当常用鼠标的 按键或开关。在本发明中，它们可能作为键盘的附加按键出现。特别地， 它们可以位于由缩短空格键SPACE腾出的部位。这些按键将和鼠标驱动 而不是键盘驱动会话。
图1是独立的无鼠标光学和运动转换型屏幕指示器控制结构主要 组成部分的侧视示意图；    
图2是在作为运动转换型屏幕指示器控制结构的一部分的按键“J” 附近，具有一个光立柱的计算机键盘顶部透视图，其中用按键代替传统 鼠标的按钮，并且还显示了水平装配光立柱的键盘的边框前沿可选的部 位。
现在参考图1，其中显示了用于跟踪按压在透明立柱3的表面5上 的人的手指7的移动的运动检测装置1的侧视图的简化表示，立柱3 可以由塑料制成。一个发出的光被收集并被透镜4聚焦，照明表面5的 光源2，该光源可以是发光二极管LED。表面5可以是平面或优选为有 轻微的曲率。曲率有助于下述运动检测器9的焦距中的表面5的尺寸增 大。表面5可以是玻璃或者是透明立柱3端头的抗磨损的其他涂敷层。 表面5的直径可以为3/16到1/4英寸，透明立柱3的长度可以为3/8 到3/4英寸。描述透明立柱3的另一术语是“透镜棒”。
当手指7的尖端6按压表面5时，皮肤的脊线和其它的细微的纹理 特征在表面的平面上是可见的，就象是该表面的一部分。透镜8使来自 所述特征的光线聚焦在图像检测器阵列，检测器阵列是运动传感器9的 一部分。运动传感器9自动获取和跟踪合适的图像。当跟踪图像时，它 产生增量信号(X，Y)，用于代替鼠标的那些信号。
甚至把手指尖端6从表面5抬起千分之几英寸的距离，也会使图像 离开焦点，导致跟踪丢失。此条件在运动检测器内被检测到，增量(X，Y) 信号的产生将停止。这可以使得屏幕指示器无论当前在何处，位置都保 持不变，并且与鼠标的用户把手从鼠标移开的情况相同。当手指尖端6 随后被重新置于表面5时，运动检测器获知已获得一幅图像，并处理所 获取的图像，如同复位一样。即增量坐标(X，Y)将保持(0，0)值，直到 新的获取之后的新的运动发生。这将使屏幕指示器保持当前位置，直到 其被手指7有意地移动，并且这与鼠标用户把手放回原处而不移动鼠标 是完全一致的。
不透明屏障10防止发光二极管LED 2发出的散射光线到达运动检 测器9。
显然，上述技术取决于运动检测器9的属性。它准确地或基本上 采用与相关专利中所述成像与导航装置相同的技术。在此所述特殊操作 设置中，在图像到达传感器之前，被进行某种程度的放大，这是所希望 的，因为被成像和跟踪的微小特征(例如，纸纤维)的尺寸很小。此处， 相对来说手指尖端6的特征足够大，从而不需要放大。
尽管成像和导航结构在相关专利中被描述，为了读者的方便，我们 将引入对该结构所用技术的简单回顾。
发光二极管LED 2，可以是红外发光二极管IR LED，其发出的光线 经透镜(4)投射到作为用于导航成像的作用表面(6)的一部分的区域 (5)上。对于相对不透明的材料，理想的入射角是在五到二十度之间 掠射入射(grazing)照明。在当前的设置中，由于透明立柱3的长度， 是不实用的，并且即使是实用的，其优点也由于皮肤的透明性而有限。 被证明尽管缺乏斜角照明，也可以很好地进行跟踪。
被照明区域(6)中的图像经过集成电路(9)的封装盒(本身没有显 示)中的光学窗口(可以是透明立柱3本身)投射到图像检测器阵列上。 这借助于透镜8完成。图像检测器可以包括一个矩形阵列，也就是，每 边有12到24个检测器，每个检测器是一个图像晶体管，其图像传感区 为45乘45微米，且中心间距为60微米。图像晶体管对电容器充电， 该电容器的电压随后被数字化并被存储在存储器中。显然通过注意图像 检测器的输出电平和调整发光二极管LED 2的光线强度，可以控制手指 尖端6的一般照明强度。这可以是连续控制或者是脉冲宽度调制，或者 是二者的结合。
类似于人的视觉成像，优选导航通过使表面5上各种可见的特殊光 学特征直接成像，作为像素阵列，可以对运动进行光检测。从压在表面 5上的带有纹理的作用表面反射的红外光IR被聚焦到合适的图像检测器 阵列(也就是16×16或24×24)上。发光二极管LED可以持续处于带 有稳定或数量变化的照明伺服结构的开状态，以最大化某些方面的性能 (例如结合作用表面的反射率的图像检测器的动态范围)。另一方面， 耦合到图像检测器的充电积累结构可以被“关闭”(通过电流开关)，并 且发光二极管LED被脉冲打开和关闭，以通过修正平均光强来控制曝光。 关闭发光二极管LED还可以省电；这是在使用电池的环境中需要考虑的 重要方面。单独每一图像检测器的反应被以合适的分辨率数字化(也就 是6位或8位)，并以帧的形式存储存储器阵列中的相应部位。
投射到图像检测器上的图像的尺寸优选为和被成像的原始特征的尺 寸一致。图像检测器的尺寸和间距为，每一图像特征有一个或几个相邻 的图像检测器，而不是其它形式。这样由单独图像检测器表示的像素的 尺寸相应于一个作用表面的空间区域，该作用表面的尺寸通常小于所述 作用表面上典型空间特征的尺寸，典型空间特征倾向于是手指尖端6的 皮肤的螺旋脊纹。图像检测器阵列的总尺寸优选为足够大，足以接收具 有几个特征的图像。在这种方式中，当手指尖端6移动时，所述空间特 征的图像产生像素信息转换模式。图像检测器阵列中图像检测器的数目 以及其内容被数字化和捕获的帧速率共同影响手指尖端6在表面5上可 以移动多快而仍能被跟踪。通过比较新捕获的取样帧和前面捕获的参考 帧，以确定运动的方向和数量，从而完成跟踪。
一种可行的方法是把一个帧的全部内容在一个像素偏移的试验位移 所允许的八个方向(一个翻转(over)，一个翻转一个向下，一个向下， 一个向上，一个向上一个翻转，一个在其他方向上翻转等等)中的每个 方向上，连续做一个像素距离(相应于图像检测器)的位移。总共有八 个试验值，但我们不应忘记，可能没有任何的运动，因而还需要第九个 “空位移”试验值。在每一个试验位移后，那些帧的重叠部分在像素上 减去像素基数，得到的差异(优选为经过平方后)被积累，形成对重叠 部分中相似程度(相关性)的度量：当然可能有更大的试验位移(例如 两个翻转和一个向下)，但是在某种程度上，随之带来的复杂性破坏了 优势，并且优选为只具有较小的试验位移的足够高的帧速率。具有最小 的差异(最大的相关性)的试验位移可以作为两帧之间运动的指示。即 它提供的粗略运动信息可以被定标或积累，从而以合适的信息交换速度 提供便利粒度的屏幕指示器的运动信息(ΔX和ΔY)。
相关专利(应用于当前无鼠标指示器控制装置)中所述的实际算法 是上述算法的改进和复杂版本。例如，我们假设图像检测器是16×16的 阵列。我们可以假设最初我们通过存储图像检测器在某时刻t0的数字 化输出值得到一个参考帧。在晚些时刻t1，我们得到一个取样帧，并存 储另外一组数字化值。我们希望九个比较帧的新的集合(假设为，空， 一个翻转(over)，一个翻转一个向上，等等)与表示“我们上次所在 位置”的参考帧版本相关。比较帧是取样帧的临时位移版本；注意当比 较帧位移时，将能使参考帧准确地重叠。如果是那样，将有一条边或者 两条相邻的边失配。沿失配边的像素将不参与相应的相关(即，对于那 种特殊的位移)，而其他像素则参与。并且其他像素是所有像素中的重 要成员，能得到很好的信噪比。对于“最邻近”操作(例如，限于空， 一个翻转，一个向上/向下，或这几种情况的混合)，相关性产生了九个 “相关值”，这些值可能由所有具有空间一致性(例如一个帧中的像素 部位与另一帧中的像素部位配对一失配边没有这样的配对)的像素部位 的方差总合导出。
可能要有一个位移如何完成以及相关值如何获取的简短注释。位移 是通过可以一次输出阵列的整行或整列的存储器的地址偏移实现的。专 门的算法电路与包括位移后的参考帧的存储器阵列和包括取样帧的存储 器阵列相连接。一种特殊试验位移(最近的或相邻集合的成员)的相关 值的公式化可以很快地完成。最好的机械模拟是设想一张上面有明、暗 模式的透明(参考)胶片，如同一个检验板，不同的是其排列是随机的。 现在设想有相同的一般模式的第二张胶片(取样)位于第一张胶片之上， 不同的是第二张胶片是图像的反片(明暗互换)。现在将该对胶片排列 在一起放到光下。当参考胶片向着取样胶片移动的时候，通过胶片结合 处透射的光线数量将随着两个图像一致性的程度而改变。透射光线最少 的位置是相关性最好的地方。如果参考胶片的反片图案是一个或两个由 取样胶片上代替的正方形，则透射光线最少的位置是与代替相匹配的位 置。我们注意到哪一种代替透射最少的光线；对于无鼠标屏幕指示器的 控制，我们注意到具有最好相关的位置，并假设手指尖端是那样地移动。 实际上，这就是集成电路(IC)中所发生的，该集成电路装配有图像检测 器，存储器和算法电路，以实现图像的相关性和我们所描述的跟踪技术。
如果给定的参考帧可以被与连续的取样帧一起重用，将是令人希望 的。同时，每一个源于图像检测器中新的图像(下一个取样帧)的九个 (或二十五个)相关值的新的集合(例如在ti，ti+1等时刻的集合)，应 该包括令人满意的相关性。几个连续的比较帧的集合通常可以从to时刻 的(16×16)参考帧获得。需要做的是保持最新运动(其与从上次测量 中得到的速度和时间间隔相同)的方向和代替的数据。这样可以“预测” 如何(永久地！)使参考帧的集合位移，从而使一个取样帧可以与“最 近邻接”相关。当经位移和减小的参考帧的边沿接近初始参考帧的中央 时，就是产生新的参考帧的时间。此操作称为“预测”，也可以用于对 于期望的“近处邻接”(空，两个翻转/一个向上，一个翻转/两个向上， 一个翻转/一个向上，两个翻转，一个翻转，....)算法的比较帧。预测 的好处是可以通过提高内部相关过程(避免比较任意两个相关的16×16 数据阵列)的效率和减小获取参考帧的时间百分比来加速跟踪过程。
运动传感器可以具有“保持”功能，以减缓到计算机的运动信号的 产生，从而使手指尖端6从表面5移开而不影响屏幕指示器的位置。当 操作员没有足够的空间再移动他的手指，而屏幕指示器却需要移动到更 远的位置时，这是有用的。对于向右的延伸，操作员对普通鼠标的操作 是在作用表面的右边拿起鼠标，将其放在左边，并继续向右移动鼠标。 当前设置所需要的是一种保持来自相应抬起手指，移动回去，重新放到 表面5上的操作过程中所经历的伪动作的运动指示信号，以使屏幕指示 器可以以预期的、不另人讨厌的方式移动。“保持”功能可以在注意到 图像中的全部或大部分像素已经“变暗”时自动完成(实际上情况比较 复杂，将在下面说明)。
当然，所发生的是来自照明发光二极管LED的红外光不能以原来的 数量到达图像检测器，如果要发生的话；反射表面距离太远或者只是在 视野之外。然而，当手指尖端6移开，作为结果表面5被暴露在强光环 境下，那么图像检测器的输出可能处于任意电平。关键是它们应该一致 或者接近于一致。它们变得一致的主要原因是不再有聚焦图像；所有的 图像特征都是模糊的，并且散布在整个图像检测器的集合中。因此，图 像检测器一致地达到某一平均电平。这与有聚焦图像的情况形成鲜明对 比。在聚焦情况下，帧(回忆一个翻转，一个翻转和一个向下，等等) 间的相关性展示了清晰的现象。
假设被跟踪的空间特征通过透镜系统被准确地映射到图像检测器 上，并且手指尖端的移动是在特征由一个检测器到另一个检测器所需的 方向上进行的准确数量的运动。现在，为简单起见，还假设只有一个特 征，并且其图像的尺寸为一个图像检测器的尺寸。因此，除了一个检测 器外，其他所有的图像检测器都处于在相同的电平，且不处于该电平的 所述一个检测器由于所述特征而基本上处于不同的电平。在这些高度理 想化的条件下，显然相关性可以很好地实现；在使用最近邻接算法的九 个试验(记住可能没有任何运动)的系统中，有八个“大的”不同和一 个小的不同(在另一个相当平的表面上的凹洞)。[注：聪敏的读者将注 意到，在这个发明的实施例中，“大的”不同只对应于，或源于一个像 素，并且可能不应该称为“大的”----回想位移的胶片模拟。在本实施 例中，透过胶片的唯一的光是该特征的一个像素的光。具有更多各种像 素集合的更正常的图像，会增加与真正的“大的”不同的不同。
现在，该高度理想的条件不是通常的情况。被跟踪的空间特征的图 像，要大于和小于检测器的尺寸，并且手指尖端6的运动要保持连续， 沿着允许那些图像一次映射到多个检测器上的路径移动，这是更常规的 情况。一些检测器只接收到一部分图像，也就是说，一些检测器将实现 明和暗的附加模拟。结果至少是凹洞的“扩大”(以与之相关的图像检 测器数目的形式)以及很可能的该凹洞深度的相应缩减。所述情况可以 通过假设一个重球沿着绷紧但有弹性的薄膜滚动来说明。所述薄膜具 有一个与之相关的离散整形笛卡儿坐标系统。当球滚动时，在任意的坐 标位置薄膜会扩展多少？首先，假设该球的直径非常小，但球非常重， 然后假设该球的直径很大，但仍然是同样的重量。这种类比可能不准确， 但却有助于解释上面提到的“凹洞”的概念。通常的情况是通常平的表 面带有尖锐的“凹洞”，变为宽腔，或成碗状。
我们将把由各种相关值产生的或描述的表面称为“相关表面”。
我们所说的这些是为了表明两个观点。第一，当手指尖端6移动时， 相关表面上腔的位移形状允许在图像检测器的粒度细化结构中，而不是 在简单的图像检测器的尺寸/空间中进行插入。我们指出，运动检测器9 能够作到，并使其保持在该状态。有关插入的全部详细内容在相关专利 中被描述。认为不再需要关于插入的进一步的讨论。第二，这是我们在 前面段落所进行的讨论的真正原因，是当手指尖端6不在表面5上时， 所观察到的发生的是，相关表面上的腔消失，通常代之以相关的相等值 (即，一个“平的”相关表面)。只有当这种情况发生时，我们才确定 地说手指尖端6不在该表面上，并且可以自动包含保持作用，直到该时 间之后合适的腔(“碗”)再出现。
这是我们得出的关于运动传感器9的本质和内部操作的题外话。现 在让我们重新回到关于如何运用达到“无鼠标”的讨论。
现在参考图2，该图是计算机键盘一部分的顶视透视图，可以，但 不必是膝上型计算机键盘。注意透明立柱3位于临近传统QWERTY键盘 的按键“H”，“J”，“Y”和“U”的结合角的部位。如果使用另外一种键 帽布置，那么它将位于沿右手食指(指示器)的起始位置向左和向上的 路径上。如果一个人很任性，一定要坚持左手有与同样的权利(原谅双 关语)，则它可以位于左手食指的起始位置向右和向下的部位(在字母 键“F”，“R”，“T”和“G”的结合角)。最后，这里并没有向上方向的 特殊魔力；可以向下，尽管这样会使手指弯曲，因而可能会使手指甲挡 路。(向上可以使手指伸直，因而可以使手指甲移开而不会挡路。)另外， 我们也不能偏见地认为，使用食指比使用相邻手指(最长的，或称为中 指)更有利。然而，总之，图中所示方案可能是最好的选择。注意可能 希望变换与透明立柱3邻接的普通键帽的形状。
在任何情况下，所述想法都是用户把手指尖端放到表面5上，并且 移动手指产生屏幕指示器的移动。对于非常大的屏幕，可能需要抬起， 返回以及放回手指一两次。这些都是很快地自然发生的，然而，和猛击 鼠标比较起来，这是很小的移动，因而不令人反感。
现在，使得屏幕指示器指向屏幕上所期望的部位只是我们要阐述的 鼠标功能的一部分。我们还需要一种实现惯用术语所称的“单击”和“双 击”的方法。并且我们应该保留传统鼠标上惯用的两个按钮(#1和#2)。
为了这一点，一种注意实现所述要求的方法是缩短传统的空格键 SPACE，并在两边空出的位置加入一个新键。一般用指向空格键中央的 大拇指按压空格键SPACE。传统空格键过长，造成浪费。图中传统空格 键被分成了三个按键：一个缩短的空格键SPACE 13(现在大约为两个 或三个按键的长度，而不是七个)，两个新增加的辅助按键14和15，在 现在无鼠标的情况下完成原来鼠标按钮的功能。通过向手掌方向轻轻地 蜷缩拇指，可以移到按压按键14(鼠标按钮#1)和15(鼠标按钮#2) 的位置。
可以有一些变化。如果首要的需求是对于只有一个按钮的鼠标，则 可以很容易地安排从运动传感器获取的表明它“看到了某物”(一个手 指尖端)的信号，并且当所述信号是当前信号时，通过激活传统空格键 激活鼠标按钮，而不是向某些正在执行的应用传输“空格”键码。另一 方面，透明立柱3可以被装配在一个压敏开关或换能器上，当手指对着 表面5用力按下时能实现按下鼠标按钮的功能。
一种吸引人的变化是在键盘边框前沿的垂直部分水平放置一个透明 立柱3’，如用虚线表示的3’，5’和16。参考字符16代表边框(图中未 显示)上的孔径，通过此孔径，另一个透明立柱3’投影到暴露的表面5’ 上。在使用时，每个拇指都可以降低放到表面5上。拇指的移动使屏幕 指示器移动。通过轻微地蜷缩食指，并向下敲击适当的按键，可以激活 鼠标按钮#1(14)和#2(15)。
在操作过程中，图像需要以足够高的速率获取，以使图像以不超过 阵列宽度的1/4，或对于16×16的图像传感器阵列，不超过4个像素的 距离连续改变。实验证明手指以50毫米/秒的速度移动是合理的。对于 1∶1的成像，这对应于800像素/秒的速度。为了达到一次循环移动不 超过四像素要求，需要200/秒的测量速率。该速率是非常符合实际的， 并且有可能希望以几倍于该速率的速率进行操作。
对于手指在表面5上一次强击所产生的移动的合理量级10毫米。 可能需要猛击一次使得屏幕指示器经过整个屏幕。对于60微米pitch 的阵列，这对应于阵列种的166个像素转换。将此映射到具有一千多个 像素的屏幕中，尽管也许是可用的，但对于现代标准来说，这是相当粗 糙的控制。通过在阵列像素电平插入1/8像素，可以容易地修复，并且 相关专利中说明了如何实现。甚至对于16×16的阵列和5×5的比较帧， 该插值的程度都是十分可行的。
本申请涉及下面两项美国专利所述内容：1995年3月2日申请，1996 年11月26日公开，标题为“FREEHAND IMAGE SCANNING DEVICE WHICH COMPENSATES FOR NONLINEAR MOVEMENT”的5,578,813；和1996年 8月14日申请，1997年7月1日公开，标题为“NAVIGATION FOR DETECTING MOVEMENT OF NAVIGATION SENSORS RELATIVE TO AN OBJECT”的5,644, 139。此两项专利的发明人相同，他们是：Ross R.Allen，David Beard， Mark T.Smith和Barclay J.Tullis，并且此两项专利都转让给惠普 公司Hewlett-Packard Co。本申请还涉及1995年10月6日申请，标 题为“METHOD AND SYSTEM FOR TRACKING ATTITUDE”的美国专利<目 前未知的-S/N 08/540,355已经被批准但是还未公开>所述内容，该专 利也转让给了Hewlett-Packard Co。这三项专利描述了运动位置的跟 踪以及把文档的扫描部分装配成整个文档的技术。该技术是下面所述优 选实施例的组成部分。因此，美国专利5,578,813和5,644,139，以 及在此引入作为参考。