三维手写识别的方法及其系统

1.一种手写识别系统，其特征在于，所述系统包括：
一个输入设备，所述设备包括一个三维运动检测传感器，用于产 生响应三维运动的三维运动数据；以及
一个识别设备，与输入设备信息交流，用于接收三维运动数据， 并以三维运动数据为基础推导相应的用于手写识别的二维图像，其 中识别设备包括：以三维运动数据为基础计算相应的三维坐标的装 置；以三维坐标为基础构造相应的三维轨迹的装置；以及从三维轨 迹中推导相应的二维图像的装置。
2.如权利要求1所述的系统，其特征在于，其中推导装置可用 于将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图 像。
3.如权利要求1所述的系统，其特征在于，其中识别设备包括 以二维图像为基础完成二维手写识别的装置。
4.如权利要求2所述的系统，其特征在于，其中以三维运动数 据和选定的抽样率为基础的计算方法计算每个抽样点相应的三维坐 标。
5.如权利要求4所述的系统，其特征在于，其中识别设备进一 步包括以运动的速度为基础动态调整抽样率的装置。
6.如权利要求4所述的系统，其特征在于，其中推导装置可用 于推导每个抽样点到所述平面的距离平方的总和是最小的二维平 面。
7.如权利要求3所述的系统，其特征在于，其中输入设备进一 步包括一个控制电路，响应用户的指令，用于产生一个传送到识别 设备的表示一个字或字符书写完毕的控制信号。
8.如权利要求3所述的系统，其特征在于，其中三维运动检测 传感器测量X、Y和Z轴方向上的三维运动的加速度，用于产生三 维运动数据。
9.如权利要求5所述的系统，其特征在于，进一步包括一个显 示手写识别最终结果的输出设备。
10.如权利要求1所述的系统，其特征在于，其中输入设备进一 步包括一个控制电路，用于响应用户的指令，产生一个传送到识别 设备的表示一个字或字符书写完毕的控制信号。
11.如权利要求1所述的系统，其特征在于，其中三维运动检测 传感器测量X、Y和Z轴方向上的三维运动的加速度，用于产生三 维运动数据。
12.如权利要求1所述的系统，其特征在于，其中输入设备将三 维运动数据无线传送到识别设备。
13.一种计算系统，其特征在于，所述系统包括：
一个内存；
一个包括一个三维运动检测传感器的输入设备，其中三维运动检 测传感器用于产生响应三维运动的三维运动数据；以及
一个识别设备，与内存操作性连接且与输入设备信息交流，其用 于接收三维运动数据并以三维运动数据为基础推导相应的用于手写 识别的二维图像，其中识别设备包括：以三维运动数据为基础计算 相应的三维坐标的装置；以三维坐标为基础构造相应的三维轨迹的 装置；以及从三维轨迹中推导相应的二维图像的装置。
14.如权利要求13所述的系统，其特征在于，其中推导装置用 于将三维轨迹投影到一个二维平面上以推导用于手写识别的二维图 像。
15.一种手写识别方法，其特征在于，所述方法包括以下步骤：
产生响应三维运动的三维运动数据；以及
以三维运动数据为基础推导相应的用于手写识别的二维图像，该 推导步骤进一步包括以下步骤：
以三维运动数据为基础计算相应的三维坐标；
以三维坐标为基础构造相应的三维轨迹；以及
从三维轨迹中推导相应的二维图像。
16.如权利要求15所述的方法，其特征在于，其中推导的步骤 包括将三维轨迹投影到一个二维平面上以推导用于手写识别的二维 图像的步骤。
17.如权利要求15所述的方法，其特征在于，进一步包括以二 维图像为基础完成二维手写识别的步骤。
18.如权利要求16所述的方法，其特征在于，其中以三维运动 数据和选定的抽样率为基础，计算每个抽样点相应的三维坐标。
19.如权利要求18所述的方法，其特征在于，进一步包括以运 动的速度为基础动态调整抽样率的步骤。
20.如权利要求18所述的方法，其特征在于，其中推导的步骤 进一步包括推导每个抽样点到所述平面的距离平方的总和是最小的 二维平面的步骤。
21.如权利要求15所述的方法，其特征在于，进一步包括以用 户的指令为基础产生一个指示，用于表示一个字或字符书写完毕的 步骤。
22.如权利要求15所述的方法，其特征在于，进一步包括测量 三维运动在X、Y和Z轴方向上的加速度的步骤，且其中以三维运 动在X、Y和Z轴方向上的加速度为基础产生三维运动数据。
23.如权利要求17所述的方法，其特征在于，进一步包括显示 手写识别的最终结果的步骤。
24.如权利要求20所述的方法，其特征在于，进一步包括无线 传送和无线接收用于计算三维坐标的三维运动数据的步骤。
25.如权利要求20所述的方法，其特征在于，进一步包括测量 三维运动在X、Y和Z轴方向上的加速度的步骤，且其中以三维运 动在X、Y和Z轴方向上的加速度为基础产生三维运动数据。

技术领域\n本发明涉及手写识别技术，特别涉及三维(3D)手写识别的方法 及其系统。\n背景技术\n手写识别是一种技术，通过该技术，智能系统能够识别手写的 文字和各种符号。由于该技术使用户从键盘操作中解脱出来，且允 许用户用一种更自然的方法来书写和画图，因此已经被人们所广泛 应用。随着用户需求的不断增加，越来越多的设备中已经配备了手 写识别系统以便于用户自然地进行输入。手写识别在各种提供带有 复杂结构文字(如中文)的手写识别功能的手持设备中应用特别广 泛，而且使用传统键盘输入这些文字是非常费时和不自然的。\n手写输入设备为用户提供了一种输入信息的亲和方法。目前， 对输入设备的最低需求是鼠标。为了用鼠标书写，用户需要按住且 压下鼠标的基本按钮，然后移动鼠标的指针来形成一个字或字符的 笔划以至最终产生字或字符。广泛使用的手写输入设备，如触笔及 书写板，在传统的手持设备如PDA中使用，或通过串行端口或USB 端口连接到计算机上。手持设备通常使用触笔和接触屏帮助用户完 成输入功能。大多数的手持设备如PDA都配备有这种输入设备。\n另一种手写输入设备可以是一支笔，它允许用户简单地在一张 普通白纸上用自然笔迹写或画，然后将数据传输到具有识别功能的 接收单元，例如手机、PDA或PC。\n目前，所有传统的手写输入设备均采用二维输入方法。用户必 须在物理媒体上书写，如写字板、接触屏、或纸便签本。这限制了 用户的使用范围。例如，如果一个用户想要在一场表演或演讲过程 中写下一些评论，那么他不得不首先找到一物理媒体，如一个书写 板、一本便签本等。这就给站立在房间中进行表演或演讲的用户带 来了相当不便。同样，在一个移动环境中，如在小轿车、公共汽车 或地铁里，用一支触笔在物理媒体上书写也是非常不便的。\n因此，有需要提供一种改进的手写识别系统，该系统将给用户 带来更大的灵活性和便捷性，并将用户从二维手写识别所需要的物 理媒体中解脱出来。\n发明内容\n本发明通过允许用户用一种非接触的方法在三维空间里自由地 书写，给用户带来了灵活和愉悦的书写体验，无需任何物理媒体如 便签本或书写板等。\n根据本发明的一个方面，一种手写识别系统，其特征在于，所述 系统包括：一个输入设备，所述设备包括一个三维运动检测传感器， 用于产生响应三维运动的三维运动数据；以及一个识别设备，与输 入设备信息交流，用于接收三维运动数据，并以三维运动数据为基 础推导相应的用于手写识别的二维图像，其中识别设备包括：以三 维运动数据为基础计算相应的三维坐标的装置；以三维坐标为基础 构造相应的三维轨迹的装置；以及从三维轨迹中推导相应的二维图 像的装置。\n根据发明的另一个方面，一种计算系统，其特征在于，所述系统 包括：一个内存；一个包括一个三维运动检测传感器的输入设备， 其中三维运动检测传感器用于产生响应三维运动的三维运动数据； 以及一个识别设备，与内存操作性连接且与输入设备信息交流，其 用于接收三维运动数据并以三维运动数据为基础推导相应的用于手 写识别的二维图像，其中识别设备包括：以三维运动数据为基础计 算相应的三维坐标的装置；以三维坐标为基础构造相应的三维轨迹 的装置；以及从三维轨迹中推导相应的二维图像的装置。\n根据本发明的又一方面，一种手写识别方法，其特征在于，所述 方法包括以下步骤：产生响应三维运动的三维运动数据；以及以三 维运动数据为基础推导相应的用于手写识别的二维图像，该推导步 骤进一步包括以下步骤：以三维运动数据为基础计算相应的三维坐 标；以三维坐标为基础构造相应的三维轨迹；以及从三维轨迹中推 导相应的二维图像。\n根据本发明，提供了一种包括一个输入设备和一个与输入设备信 息交流的识别设备的手写识别系统。输入设备包括一个三维运动检 测传感器，它可以感知三维运动，并产生三维运动的数据。在一个 实施例中，运动检测传感器测量出三维运动在X、Y和Z轴方向的 加速度以便产生三维运动数据。识别设备从输入设备接收(例如： 通过无线手段)三维运动数据，并以三维运动数据为基础推导相应 的用于手写识别的二维(2D)图像。\n根据本发明的一个实施例，识别设备以三维运动数据为基础计算 相应的三维坐标，且以三维坐标为基础构造相应的三维轨迹，并通 过将三维轨迹投影到二维平面上，从三维轨迹中推导相应的用于手 写识别的二维图像。\n本发明的其它目的和成就以及对本发明更完整的理解将通过下面 结合附图而取得的描述和权利要求的内容而变得显著和易于理解。\n附图说明\n图1显示了根据本发明的一个实施例的三维手写识别系统；\n图2是根据本发明的一个实施例说明识别过程的流程图；\n图3A显示了将三维轨迹投影在二维投影平面上推导出的中文字 的二维图像；\n图3B显示了在图3A中二维图像的基础上得到的手写识别过程 的最终结果；\n图4显示了根据本发明的一个实施例的一个三维手写输入设备 的外部结构；以及\n图5画出了输入设备可能的安装方式。\n在所有的图中，相同的参考数字表示相似的或相应的特征或功 能。\n具体实施方式\n用举例的方法，并参考附图，进一步详细说明本发明：\n图1显示了根据本发明的一个实施例的三维手写识别系统10。 如图所示，系统10包括一个手写输入设备20、一个识别设备30以 及一个输出设备40。输入设备20包括一个三维运动检测传感器22、 一个控制电路26以及一个通信接口28。识别设备30包括一个处理 器32、一个内存34、一个存储设备36，以及一个通信接口38。为 简明起见，图1中没有显示其它常规元件。\n在操作中，用户移动输入设备20在三维空间如空气中自由地书 写文字或字符。运动检测传感器22检测三维运动并经通信接口28 如蓝牙、Zigbee、IEEE802.11、红外线或USB端口，将三维运动数 据和抽样率传送到识别设备30用于手写识别。抽样率可以基于各种 因素如系统的处理能力，由最终用户或生产商预先确定其值。或者， 抽样率可以基于例如运动的速度来动态确定和调节。可以这样做， 例如，首先确定和手写有关初始运动的速度。接着识别设备能以上 一次抽样点的速度为基础动态地调整抽样率。速度越高，抽样率也 越高，反之亦然。通过动态地调整抽样率，可以提高手写识别的精 确度，因为只有最佳数量的抽样点才能用于构成文字或字符。此外， 只需消耗低功率。\n以从输入设备20接收到的运动数据和抽样率为基础，处理器32 计算X、Y和Z轴上的相应的三维坐标，并将这些坐标存入存储设 备36中。处理器32用经过计算的坐标来构造相应的三维轨迹。接 着将该三维轨迹投影在二维平面上，用于形成能用传统的手写识别 软件识别的二维图像。最终结果显示在输出设备40上。\n由于三维书写是一个连续的过程，输入设备20的控制电路26 经接口28为识别设备提供一个控制信号，用于在接收到用户提供的 外部输入时分隔单独的文字或字符。例如，用户可以在书写完一个 字或字符后，按住一个控制钮使控制电路26产生控制信号。\n根据本发明的特定的实施例，运动检测传感器22通过测量沿X、 Y和Z轴移动的加速度来检测三维运动。例如，日本东京Hitachi金 属有限公司生产的三维压电电阻加速传感器可以用作运动检测传感 器22。该IC芯片形式的加速传感器具有同时检测三个轴向(X、Y 和Z)加速度的能力。该传感器高度灵敏且抗冲击，同时它是非常小 且薄的半导体型三维加速传感器。更多有关于该加速传感器的信息 可以在以下的网站上获得：http://www.hitachi-metals.cojp/e/prod/ prod06/p06_10.html，这些信息通过引用结合在本文中。\n图2是根据本发明的一个实施例说明由识别设备30完成识别过 程100的流程图。在图2中，识别设备30从输入设备20中接收三 维运动数据(例如：在X、Y和Z轴方向移动的加速度数据)和抽 样率(步骤102)。以收到的信息为基础，处理器32将移动的开始 点用作原点，计算每个抽样点的相应的X、Y和Z轴上的三维坐标 (步骤106)。每个抽样点也作为计算下一个抽样点坐标的参考点。\n以引入的三维运动数据为基础不断地进行三维坐标的计算，直 到处理器32检测收到一个控制信号(步骤112)。该控制信号表示 一个字或字符的书写完毕。用三维坐标构造相应的三维轨迹(步骤 116)并接着投影到二维平面上(步骤122)。此后，进行传统的二 维手写识别(步骤126)。\n在上述识别过程100中，为了在步骤122将三维轨迹投影到二 维平面上，首先必须找到一个合适的二维投影平面。在本发明的一 个最佳实施例中，为每一个字或字符都分别推导出合适的二维投影 平面。\n根据几何原理，一个合适的二维投影平面是一个平面，每个抽 样点到该平面的距离平方的总和是最小的。假设n个抽样点的坐标 如下：(x1，y1，z1)，(x2，y2，z2)…xn，yn，zn)，平面方程为Ax+By+Cz+D＝0， 其中(A2+B2+C2≠0)。现在必须决定A，B，C，D的值。给出了从一点 (x1，y1，z1)，到平面的距离 d 1 = | Ax 1 + By 1 + Cz 1 + D | A 2 + B 2 + C 2 , 并用F(A，B，C，D) 代表的总和表示为：\n F ( A , B , C , D ) = Σ i = 1 n d i 2 = ( Ax 1 + By 1 + Cz 1 + D ) 2 + ( Ax 2 + By 2 + Cz 2 + D ) 2 + · · · + ( Ax n + By n + Cz n + D ) 2 A 2 + B 2 + C 2 \nA，B，C，D的值可以用下述拉格朗日乘法的方法确定，该方法在 欧阳光中主编的《(数学分析》中有描述，该书由复旦大学出版社于1999 年在中国出版发行，其内容通过引用结合在本文中。这样在A2+B2+C2 ＝1的约束下，\nF(A，B，C，D)＝F’(A，B，C，D)＝(Ax1+By1+Cz1+D)2+(Ax2+By2+Cz2+ D)2+...+(Axn+Byn+Czn+D)2.。根据拉格朗日乘法，我们可以构造如 下方程：\nG(A，B，C，D)＝F’(A，B，C，D)+λ(A2+B2+C2-1)\n其中λ是拉格朗日乘子，它是一个常数。G(A，B，C，D)关于A、 B、C和D的偏微分方程如下：\n ∂ G ( A , B , C , D ) ∂ A = 0 \n ∂ G ( A , B , C , D ) ∂ B = 0 \n ∂ G ( A , B , C , D ) ∂ C = 0 \n ∂ G ( A , B , C , D ) ∂ D = 0 \n从上述的4个方程可以得到以下的方程：\n A ( Σ i = 1 n ( x i * x i ) + λ ) + B Σ i = 1 n ( x i * y i ) + C Σ i = 1 n ( x i * z i ) + D Σ i = 1 n x i = 0 - - - ( 1 ) \n A Σ i = 1 n ( x i * y i ) + B Σ i = 1 n ( y i * y i ) + λ ) + C Σ i = 1 n ( y i * z i ) + D Σ i = 1 n y i = 0 - - - ( 2 ) \n A Σ i = 1 n ( x i * z i ) + B Σ i = 1 n ( z i * y i ) + C ( Σ i = 1 n ( z i * z i ) + λ ) + D Σ i = 1 n z i = 0 - - - ( 3 ) \n A Σ i = 1 n x i + B Σ i = 1 n y i + C Σ i = 1 n z i + nD Σ = 0 - - - ( 4 ) \nA2+B2+C2＝1                  (5)\n其中方程(4)可以改写成：\n D = - 1 n ( A Σ i = 1 n x i + BΣ i = 1 n y i + C Σ i = 1 n z i ) - - - ( 6 ) \n将方程(6)代入方程(1)、(2)和(3)得到下述方程：\n Σ i = 1 n ( xi * xi ) - 1 n Σ i = 1 n ( xi * xi ) Σ i = 1 n ( xi * yi ) - 1 n Σ i = 1 n ( xi * yi ) Σ i = 1 n ( xi * zi ) - 1 n Σ i = 1 n ( xi * zi ) Σ i = 1 n ( xi * yi ) - 1 n Σ i = 1 n ( xi * yi ) Σ i = 1 n ( yi * yi ) - 1 n Σ i = 1 n ( yi * yi ) Σ i = 1 n ( zi * yi ) - 1 n Σ i = 1 n ( zi * yi ) Σ i = 1 n ( xi * zi ) - 1 n Σ i = 1 n ( xi * zi ) Σ i = 1 n ( zi * yi ) - 1 n Σ i = 1 n ( zi * yi ) Σ i = 1 n ( zi * zi ) - 1 n Σ i = 1 n ( zi * zi ) * A B C = - λ A B C - - - ( 7 ) \n这样，从上述方程中可以得到A、B、C和D的值。\n举例来说，下面是一个中文字的全部13个抽样点的全部三维坐 标：\n{(0，0，0)，(0.49，-1，0.02)，(1，0，0.03)，(0，0，0.02)，(2，-0.13，0.01)，(3.5，-0.14，0)， (3.76，-0.31，-0.01)，(2.74，-1.26，0.01)，(1.38，-2.24，0)，(2.5，-2，0.01)， (1.746，1，0.02，)，(2，-1.5，0.03)，(1.876，-4.5，0.02)}。\n通过使用上述拉格朗日乘法的方法，可以得到下面的方程：\n 53.407 - 23.6725 0.1911 - 23.6725 36.2196 - 0.2084 0.1911 - 0.2084 0.0035 * A B C = - λ A B C , \nA2+B2+C2＝1，以及\n D = - 1 13 ( AΣ x i + BΣ y i + CΣ z i ) . \n从上述方程中确定A、B、C和D的值如下：\nA＝0.0045，B＝0.0023，C＝0.9999，D＝-0.01777\n这样，二维投影平面的方程为0.0045x+0.0023y+0.9999z- 0.01777＝0。从投影平面方程、Ax+By+Cz+D＝0，以及垂直于投影平 面的直线的方程 x - x i A = y - y i B = z - z i C 中得到以下的方程：\n x = ( B 2 + C 2 ) x i - A ( By i + Cz i + D ) A 2 + B 2 + C 2 \n y = ( A 2 + C 2 ) y i - B ( Ax i + Cz i + D ) A 2 + B 2 + C 2 \n可以使用上述方程来获取每个三维抽样点相应的二维坐标。在这个 例子中，获得的相应的二维坐标为：{(0.0001，0)，(0.49，-1)，(1，-2.0001)， (0，0)，(2，-0.13)，(3.5001，-0.14)，(3.7601，-0.31)，(2.7401，-1.26)， (1.3801，2.24)，(2.5001，-2)，(1.746，1)，(2，-1.5001)，(1.876，-4.5001)}。以这 些二维坐标为基础，相应的二维图像被绘制在二维投影平面上。在 图3A中显示了该中文字的结果。完成传统的二维手写识别过程就产 生了最终结果，如图3B所示。\n上面采用拉格朗日乘法的方法来获取A、B、C和D的值，也可 以采用其它方法如线性回归方法。\n图4显示了根据本发明的一个实施例的一个三维手写输入设备 200的外部结构。如图4所示，输入设备200包括一个含有装置的电 子部件(如三维运动检测传感器IC芯片)的外壳210，一个用于允 许用户输入一个表示书写完一个字或字符的控制信号的控制按钮 212，以及一个用于将输入设备载在用户手指上的带子220。\n图5画出了怎样戴输入设备200的方式。在图5中，设备200 戴在用户的手230的一个手指232上。由于将它戴在手上，用户可 以轻易地移动手指在三维空间书写任何的字或字符。三维运动数据 将被无线传送到识别设备用于手写识别。\n根据本发明，输入设备和识别设备可以集成在一起作为一个单 个的单元(例如：一支笔)，以和如上所述一样的操作方法。最后 的识别结果将被传送到一个智能装置如PDA，膝上型计算机，PC机 等。\n如果用户有此需要，本发明也可用于二维平面。在这种情况下， 计算出的坐标将是用于二维平面的坐标并省略将三维轨迹投影到二 维平面的步骤。\n虽然结合特定实施例叙述了本发明，根据前面的描述，许多替 代方案、修改和变化对那些在本技术领域熟练的人员来说是很明显 的。因此，在附后的权利要求的精神和范围内要包括所有这样的替 代方案、修改和变化。