用于检测姿势输入的方法和装置

1.一种用于响应于连续往复移动而检测姿势输入的方法，所述连续往复移动用于连续地输入与第一类姿势对应的多个控制信号，其特征在于，所述连续往复移动包括第一类姿势和第二类姿势，第一类姿势和第二类姿势中每类姿势都能够被检测装置识别以输出不同控制信号，所述连续往复移动以第一类姿势开始，所述方法包括：
接收以第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；
确定所述连续往复移动的反向点；
通过使用所述反向点，将所述连续往复移动划分为至少两个子移动，每个子移动与第一类姿势和第二类姿势之一对应；和
输出与第一类姿势对应的多个控制信号，与第一类姿势对应的控制信号的数量等于在所述连续往复移动中包含的第一类姿势的数量。
2.根据权利要求1所述的方法，其特征在于所述确定反向点进一步包括
接收所述连续往复移动的一系列图像帧；
对每一图像帧确定点；和
基于所述系列图像帧的点确定所述反向点。
3.根据权利要求2所述的方法，其特征在于基于所述系列图像帧的点确定所述反向点进一步包括
对于从所述系列图像帧的点中的第二个点开始的每一个点，使用两个计数器记录一个点及其相邻前一点之间关于两个相反方向的关系，其中，基于该点及其相邻前一点的位置将相应计数器增一；和
当在特定点确定一个计数器超出了预定阈值并且另一计数器等于1时，将所述特定点确定为反向点并且将两个计数器置零。
4.根据权利要求1所述的方法，其特征在于输出步骤进一步包括
通过使用所述反向点将所述连续往复移动分割为至少两个子移动，每个子移动对应于两类姿势之一；
将每个子移动与所述至少两个子移动中的第一子移动进行比较；和
响应于所比较的子移动与所述第一子移动具有相同类型的确定，输出与所述第一类姿势对应的控制信号。
5.根据权利要求1所述的方法，其特征在于输出进一步包括
响应于每奇数次反向点而输出与第一类姿势对应的控制信号。
6.一种用于响应于连续往复移动而检测姿势输入的装置，所述连续往复移动用于连续地输入与第一类姿势对应的多个控制信号，其中，所述连续往复移动包括第一类姿势和第二类姿势，第一类姿势和第二类姿势中每类姿势都能够被识别以输出不同控制信号，包括：
捕获模块，用于捕获以第一类姿势开始的所述连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；和
处理模块，用于确定所述连续往复移动的反向点；通过使用所述反向点，将所述连续往复移动划分为至少两个子移动，每个子移动与第一类姿势和第二类姿势之一对应；以及输出与第一类姿势对应的多个控制信号，与第一类姿势对应的控制信号的数量等于在所述连续往复移动中包含的第一类姿势的数量。
7.根据权利要求6所述的装置，其特征在于，所述处理模块被进一步配置为：对每个子移动，将其与所述至少两个子移动中的第一子移动进行比较；和响应于所比较的子移动与所述第一子移动具有相同类型的确定，输出与第一类姿势对应的控制信号。
8.根据权利要求6所述的装置，其特征在于，所述处理模块被进一步配置为响应于每奇数次反向点而输出与所述第一类姿势对应的控制信号。

用于检测姿势输入的方法和装置\n技术领域\n[0001] 本发明涉及用户接口，并且更具体地涉及用于检测姿势输入的方法。\n背景技术\n[0002] 姿势识别，特别是手势识别使得人类能够与机器交互并且不利用任何机械装置自然地交互。姿势识别可以利用来自计算机视觉和图像处理的技术进行。使用姿势识别的概念，能够将手指指向计算机屏幕，从而光标将相应地移动。姿势包括静态姿势、例如胜利标志(食指和中指伸展并分开而拇指和剩余手指攥紧的手势)，和动态姿势，即，在单个有效姿势输入的时段内，改变用户手部形状(例如，伸展一些手指或攥紧一些手指)和或用户手部位置以形成有效姿势输入。并且有时，连续手部形状改变和/或手部移动可以解译为对装置的两个或多个指令。\n[0003] 姿势输入已被应用于很多领域。手势输入的一个应用是书本阅读应用。例如，一旦在相机前用户手部的水平滑动(手部移动的轨迹基本水平且移动距离超出特定值，例如15厘米)，装置就解译此姿势输入为翻动书本页面的指令。书本的向后或向前翻动取决于移动方向。图1是图示根据现有技术的信令(signaling)书本的向后翻动的向右姿势的示图。如从图1可见，为了做出向右姿势，用户必须首先将他的右手放在相机前方，随后向右移动特定距离。当姿势完成时(即，手部到达如图1示出的停止位置)，用户需要在相机前快速缩回他的手部。考虑用户想要翻动若干页面的情形，假定每次5页，他需要进行抬起他手部、移动、停止和缩回5次。这对于用户来说真的不方便，因而降低了用户体验。\n[0004] 期待连续姿势输入的新方式。\n发明内容\n[0005] 根据本发明的一个方面，提供用于响应于连续往复移动而检测姿势输入的方法，其中，连续往复移动包括至少一个第一类姿势和至少一个第二类姿 势，每一类姿势都能够被检测装置识别以输出不同控制信号，所述方法包括步骤：接收随着两类中的第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；和以与在连续往复移动内获得的第一类姿势的数量相等的次数输出与所述第一类姿势对应的控制信号。\n[0006] 根据本发明的另一方面，提供用于响应于连续往复移动而检测姿势输入的装置，其中，所述连续往复移动包括至少一个第一类姿势和至少一个第二类姿势，每一类姿势都能够被识别以输出不同控制信号，所述装置包括：捕获模块，用于捕获随着两类中的第一类姿势开始的连续往复移动，其中，所述第一类姿势和第二类姿势交替出现；和处理模块，基于所捕获的连续往复移动以与在连续往复移动内获得的第一类姿势的数量相等的次数输出与所述第一类姿势对应的控制信号。\n[0007] 应当明白，将在本发明的以下详细描述中找到本发明的更多方面和优势。\n附图说明\n[0008] 将它们包括以提供本发明的进一步理解的附图与描述一起图示了本发明的实施例，所述描述用来说明本发明的原理。因而，本发明不限于实施例。在附图中：\n[0009] 图1是示出根据现有技术的在相机前的手部移动的示图；\n[0010] 图2A、2B是示出根据本发明的实施例的单一手部挥动的轨迹的示图；\n[0011] 图3是示出根据本发明实施例的、对应于两个相邻图像帧的两点的示图；\n[0012] 图4是示出根据本发明实施例的、从开始起的手部轨迹的示图；\n[0013] 图5是示出根据本发明实施例的、从开始起的另一手部轨迹的示图；\n[0014] 图6是示出根据本发明实施例的、用于根据连续往复移动检测姿势输入的方法的流程图；\n[0015] 图7是示出根据本发明实施例的、用于根据连续往复移动检测姿势输入的装置的方框图。\n具体实施方式\n[0016] 现在将结合附图详细描述本发明的实施例。在以下描述中，可以出于清晰和简明目的而省略已知功能和配置的一些详细描述。\n[0017] 本发明的目的在于提供一种简单的方式来给出连续往复手部移动的重复指令。可以通过装置来识别连续往复移动为一组连续子移动，并且任何相邻两个子移动具有相反的朝向方向。从连续往复移动得出的指令的类型由该组连续子移动内的第一个决定，并且得出的指令的数量与具有与该组内第一个移动(包括第一个移动)的朝向方向相同的朝向方向的子移动的数量相同。\n[0018] 依据本发明的实施例的详细示例在以下描述。系统包括用来捕获姿势输入的连续图像的相机和连接到相机的处理装置。处理装置使用连续图像来生成对应指令。在实施例中，用于姿势识别的基础姿势的轨迹基本上等同直线(实际姿势移动不可能与线条一样直)。在此示例中，将水平手部挥动姿势用来图示本发明的原理。然而，应当注意到本发明的原理还可以应用于其他连续往复移动，例如，在深度可检测相机之前的垂直手部挥动、倾斜手部挥动以及甚至伸展和缩回手部的移动。\n[0019] 姿势识别技术涉及图像处理，并且因而，可以基于实时图像帧以实时的方式进行姿势识别，或者不以实时方式(即，使用捕获一组图像帧的相机)进行，并且随后分析该组图像帧。\n[0020] 实际上，全部静态姿势识别(姿态识别)可以基于实时图像帧以实时方式进行。例如，当检测胜利标志姿态时，装置仅需要基于手部形状的凸起轮廓的分析来判断姿态是否是胜利标志。对于动态姿势识别，装置需要捕获一组图像帧，找到每一帧中的手部的面心(centroid)，并且在此系列的手部面心形成的曲线的分析之后判断它是哪种姿势。\n[0021] 图2是根据本发明的实施例的、示出单一手部挥动的轨迹的示图，其中，图2A示出向右手部移动而图2B示出向左手部移动。在此示例中，我们假定相机是左上坐标系统。应当注意，在姿势识别中，实线(或者我们称之为基本直线)不存在。对于每一帧中的质心等同于曲线上的点。因而，当对于任一方向移动的全部图像帧例如向左手部移动时，我们将记录一系列连续点，为了便于描述，我们使用线条连起全部这些点。离散点的数量取决于帧捕获速率。\n[0022] 图3是示出根据本发明的实施例的、与两个相邻图像帧对应的两点的示图。点A对应于两个图像帧的前一个，而点B对应于两个图像帧的后一个。这里，我们称点A为之前一位置点而点B为当前位置点。\n[0023] 在此示例中，使用四个运动方向，包括上下左右。如图3示出，点B放 置在点A的右侧。因为两个点都具有相同坐标系中的坐标值，所以装置可以轻易地确定。\n[0024] 在本实施例中，使用两个数据阵列来存储手部轨迹用于用户姿势的分析。如果运动趋势未反向，例如如图2A示出的，则我们在第一阵列中存储手部轨迹数据。在检测到运动趋势被反向之后，我们在第二阵列中存储从运动趋势的反向起的手部轨迹数据，并且随后我们使用第一阵列中的数据来确定发生了什么姿势并且输出对应的指令。另外，反向阈值和四个方向计数器被用来确定反向运动的发生。因为用户的连续姿势(诸如水平手部波动之类)具有特定的规律，例如当人们在做挥动动作时，如果向左挥动，则必须首先向左移动一段距离然后向右移动一段距离，并且重复若干次；如果是向右波动，则必须首先向右移动一段距离然后向左移动一段距离，并且也重复若干次，所以我们可以基于之前的子姿势来选择方向计数器。此外，在此实施例中，我们总是使用数据的第一阵列作为判断姿势的基础。\n[0025] 以下根据本发明的实施例描述对多个位置点中的一个位置点进行的处理步骤，所述多个位置点从手部移动中产生。\n[0026] 步骤1，在连续姿势输入期间的时间点，装置确定手部的前一位置点和当前位置点的坐标值。伪代码如下所示：\n[0027] 前一位置x坐标(old_x)＝(手部追踪趋势反向发生)？获得在第二阵列中之前存储的数据(pPointBuf1.x):获得在第一阵列中之前存储的数据(pPointBuf0.x)；\n[0028] 前一位置y坐标(old_y)＝(手部追踪趋势反向发生)？获得在第二阵列中之前存储的数据(pPointBuf1.y):获得在第一阵列中之前存储的数据(pPointBuf0.y)；\n[0029] 当前位置x坐标(cur_x)＝获得当前帧中手部x坐标；\n[0030] 当前位置y坐标(cur_y)＝获得当前帧中手部y坐标；\n[0031] 可以从以上伪代码中看到，与时间点对应的当前帧被用来确定当前位置点的坐标值。至于与该时间点紧邻的前一图像帧对应的前一位置点，装置需要首先确定运动趋势的反向是否已经发生。如果发生，则第二阵列中的数据将被用来确定该前一位置点的坐标值，或者相反，第一阵列中的数据将被用来确定该前一位置点的坐标值。\n[0032] 步骤2，基于当前位置点和前一位置点的位置关系来更新用于确定手部 移动的运动趋势的四个朝向计数器。在此实施例中，我们使用四个朝向计数器来分别记录向上方向、向下方向、向左方向和向右方向。但是根据变型，如果在装置中不存在规定的垂直姿势，则向上和向下朝向计数器是冗余的。\n[0033] 与相反方向对应的两个朝向计数器在一组内工作。例如，如果与前一位置点相关的当前位置点的位置是在左侧方向上，则向左朝向计数器将加一，并且同时，如果向右朝向计数器不是零，则此计数器将减一。并且同样的原理应用于向上和向下朝向计数器。在下面示出用于基于X轴值确定向左和向右计数器(orientation_l和orientation_r)的相关伪代码。类似原理可以应用于基于Y轴值确定向上和向下计数器。\n[0034]\n[0035] 图4是示出根据本实施例的、从开始起的手部轨迹的示图。如从图4可见，在反向点(将在下面描述确定反向点的方法)之前存在14个点。反向点可被视为反向姿势的开始点。\n因而，根据用于Orientation_l和Orientation_r的以上操纵方法(在此示例中，我们省略了对向上和向下朝向计数器的操纵)，在反向点之前的点处(即，最右点)，Orientation_l是0而Orientation_r是13。当移动到cur_X