手追踪方法、手追踪设备和手势识别系统

1.一种手追踪方法，包括：
判断当前帧前面的帧中是否发生遮蔽；
依据遮蔽判断结果，自适应地从在前面的帧中所追踪到的手目标中选择一手目标作为模板；并且
基于所述模板针对当前帧进行模板匹配方法以获得当前帧的手目标，
其中，自适应地选择作为模板的手目标包括：
如果当前帧前面的帧中发生遮蔽，则紧在遮蔽发生前的帧中所获得的手目标被作为所述模板；
如果当前帧前面的帧中未发生遮蔽，则当前帧的前一帧中所获得的手目标被作为所述模板。
2.根据权利要求1所述的手追踪方法，其中，所述模板匹配方法包括：
在当前帧的肤色图像中定义搜索范围和多个候选手范围；
基于所述搜索范围和所述模板来找出所述搜索范围中与所述模板最匹配的候选手范围作为在当前帧中追踪到的手目标。
3.根据权利要求2所述的手追踪方法，其中，定义所述搜索范围包括：
在当前帧的肤色图像中通过将在前一帧中所追踪到的手目标的四周扩大预定数目的像素来定义初始搜索范围；并且
将所述初始搜索范围收缩为包含在前一帧中所追踪到的手目标以及表示当前帧的肤色图像与前一帧的肤色图像之间的运动差的当前肤色差分图像在内的最小矩形作为所述搜索范围。
4.根据权利要求2或3所述的手追踪方法，其中，所述模板匹配方法进一步包括：
在所述搜索范围中定义多个第一候选手范围，该些第一候选手范围具有与所述模板相同的尺寸，并且，在表示当前帧的肤色图像与前一帧的肤色图像之间的运动差的当前肤色差分图像中定义第二候选手范围，该第二候选手范围具有与所述模板相同的尺寸，针对所述多个第一候选手范围循环执行匹配判断处理直到这多个第一候选手范围都经过匹配判断处理为止，从而确定出与所述模板最匹配的候选手范围作为在当前帧中追踪到的手目标，
所述匹配判断处理包括：
计算一个第一候选手范围与所述模板的各像素的值的绝对差的平均值作为第一误差；
如果所述第一误差大于第一预定阈值，则当前第一候选手范围被判定为不与所述模板匹配并从而被排除；
如果所述第一误差小于所述第一预定阈值，则计算第二误差，所述第二误差是通过将所述第一误差减去所述第二候选手范围的各像素的值的平均值乘以修正因子得到的值而得到的差值；
如果所述第二误差小于第二预定阈值，则当前第一候选手范围被判定为与所述模板匹配，并且所述第二误差的值以及当前第一候选手范围的各像素的值的平均值分别作为在针对下一个第一候选手范围的匹配判断处理中的第二预定阈值和第二候选手范围的各像素的值的平均值。
5.根据权利要求4所述的手追踪方法，其中，在当前帧前面的帧中未发生遮蔽的情况中，所述修正因子为第一预定值，并且在当前帧前面的帧中发生遮蔽的情况中，所述修正因子为第二预定值与紧在遮蔽发生前的帧与其前一帧的肤色差分图像中获得的手目标内各像素的值的平均值的百分数的和。
6.根据权利要求1所述的手追踪方法，还包括：判断当前帧中是否发生遮蔽，所述判断包括：
如果在当前帧中未追踪到手目标，则直接判定当前帧中未发生遮蔽；并且如果在当前帧中追踪到手目标，则执行遮蔽条件判断以确定在当前帧中是否发生遮蔽。
7.根据权利要求6所述的手追踪方法，所述遮蔽条件判断包括判断是否满足以下条件：
(((PreOccDiff<＝A)&&(DeltaDiff>B))||((PreOccDiff>A)&&(DeltaDiff>C)))&&(OccNum并且其中，如果上述条件满足，则判定在当前帧中发生了遮蔽，如果上述条件不满足，则判定当前帧中未发生遮蔽。
8.一种手追踪设备，包括：
判断装置，判断当前帧前面的帧中是否发生遮蔽；
选择装置，依据遮蔽判断结果，自适应地从在前面的帧中所追踪到的手目标中选择一手目标作为模板；以及
获得装置，基于所述模板针对当前帧进行模板匹配方法以获得当前帧的手目标，其中，自适应地选择作为模板的手目标包括：如果当前帧前面的帧中发生遮蔽，则紧在遮蔽发生前的帧中所获得的手目标被作为所述模板；如果当前帧前面的帧中未发生遮蔽，则当前帧的前一帧中所获得的手目标被作为所述模板。
9.一种手势识别系统，该手势识别系统包括如权利要求8所述的手追踪设备。

手追踪方法、手追踪设备和手势识别系统\n技术领域\n[0001] 本发明涉及图像识别领域，并且更具体地涉及手追踪方法、手追踪设备和手势识别系统。\n背景技术\n[0002] 随着在当今人们的生活中计算机以及众多便携式智能设备变得越来越不可或缺，人们将希望在人与计算机之间的更自然并且更高效的交互。因此，作为自由触摸人机交互界面的手势遥控系统将成为引人关注的选择。\n[0003] 基本上，手势遥控系统将追踪手并分析有意义的手的表达，如果它们被识别为是预先定义的手势中的一种，则相应的操作命令将被触发以运作某种应用。可见，作为前提的鲁棒性的手追踪方法对于分析手动作以及识别手势来说是非常重要的。另外，对于低功率设备的实现，还需要考虑追踪算法的复杂度。\n[0004] 当前，某些算法或其变体已被引入用于实时手追踪。例如，光学流(Optical Flow)算法通过附加到图像中的运动像素的速度矢量来反映帧改变，然而，这需要大量计算；\nCamShift算法可有效地追踪视觉场景中动态改变的概率分布，然而，这依赖于合适的亮度并且当在追踪过程中存在具有与肤色类似的颜色的其他物体时将变得不具有鲁棒性；模板匹配(Template Matching)算法可通过比较候选与模板之间的差异来给出最佳选择从而高效地追踪目标，然而在某些情况中，追踪准确度不令人满意。\n[0005] 因此，需要一种能够即使在当手跨越通过具有与肤色类似的颜色的某些物体时也能够具有高追踪准确度的手追踪方法以及应用该手追踪方法的手势遥控系统。\n发明内容\n[0006] 根据本发明的一方面，提供一种手追踪方法，包括：判断当前帧前面的帧中是否发生遮蔽；依据遮蔽判断结果，自适应地从在前面的帧中所追踪到的手目标中选择一手目标作为模板；并且基于所述模板针对当前帧进行模板匹配方法以获得当前帧的手目标。\n[0007] 在一个实施例中，自适应地选择作为模板的手目标包括：如果当前帧前面的帧中发生遮蔽，则紧在遮蔽发生前的帧中所获得的手目标被作为所述模板；如果当前帧前面的帧中未发生遮蔽，则当前帧的前一帧中所获得的手目标被作为所述模板。\n[0008] 在一个实施例中，所述模板匹配方法包括：在当前帧的肤色图像中定义搜索范围和多个候选手范围；基于所述搜索范围和所述模板来找出所述搜索范围中与所述模板最匹配的候选手范围作为在当前帧中追踪到的手目标。\n[0009] 在一个实施例中，定义所述搜索范围包括：在当前帧的肤色图像中通过将在前一帧中所追踪到的手目标的四周扩大预定数目的像素来定义初始搜索范围；并且将所述初始搜索范围收缩为包含在前一帧中所追踪到的手目标以及表示当前帧的肤色图像与前一帧的肤色图像之间的运动差的当前肤色差分图像在内的最小矩形作为所述搜索范围。\n[0010] 其中，模板匹配方法进一步包括：在所述搜索范围中定义多个第一候选手范围，该些第一候选手范围具有与所述模板相同的尺寸，并且，在表示当前帧的肤色图像与前一帧的肤色图像之间的运动差的当前肤色差分图像中定义第二候选手范围，该第二候选手范围具有与所述模板相同的尺寸，针对所述多个第一候选手范围循环执行匹配判断处理直到这多个第一候选手范围都经过匹配判断处理为止，从而确定出与所述模板最匹配的候选手范围作为在当前帧中追踪到的手目标，所述匹配判断处理包括：计算一个第一候选手范围与所述模板的各像素的值的绝对差的平均值作为第一误差；如果所述第一误差大于第一预定阈值，则当前第一候选手范围被判定为不与所述模板匹配并从而被排除；如果所述第一误差小于所述第一预定阈值，则计算第二误差，所述第二误差是通过将所述第一误差减去所述第二候选手范围的各像素的值的平均值乘以修正因子得到的值而得到的差值；如果所述第二误差小于第二预定阈值，则当前第一候选手范围被判定为与所述模板匹配，并且所述第二误差的值以及当前第一候选手范围的各像素的值的平均值分别作为在针对下一个第一候选手范围的匹配判断处理中的第二预定阈值和第二候选手范围的各像素的值的平均值。\n[0011] 在一个实施例中，在当前帧前面的帧中未发生遮蔽的情况中，所述修正因子为第一预定值，并且在当前帧前面的帧中发生遮蔽的情况中，所述修正因子为第二预定值与紧在遮蔽发生前的帧与其前一帧的肤色差分图像中获得的手目标内各像素的值的平均值的百分数的和。\n[0012] 在一个实施例中，该手追踪方法还包括：判断当前帧中是否发生遮蔽，所述判断包括：如果在当前帧中未追踪到手目标，则直接判定当前帧中未发生遮蔽；并且如果在当前帧中追踪到手目标，则执行遮蔽条件判断以确定在当前帧中是否发生遮蔽。\n[0013] 在一个实施例中，所述遮蔽条件判断包括判断是否满足以下条件：(((PreOccDiff<＝A)&&(DeltaDiff>B))||((PreOccDiff>A)&&(DeltaDiff>C)))&&(OccNum\n[0025] 图1示出了一般手势识别系统的框架图。如图1所示，手势识别系统包括三个功能部分：手检测部分、手追踪部分和手势识别部分。具体地，人的动作通过普通的web相机被捕获并且所捕获的图像帧被输入到该手势识别系统中。对于每个图像帧，首先判断在前一帧中是否检测到手目标。如果在前一帧中还未检测到手目标，则手检测部分将在当前整个帧中检测手目标。如果在前一帧中已检测到手目标，则手追踪部分将在当前帧以及接下来的帧中追踪手目标。与此同时，手识别部分将分析历史追踪轨迹以确定是否某种预定手势被识别出。如果某种预定手势被识别出，则相应手势命令将被输出以供后级使用，例如，以触发某种应用。\n[0026] 如上所述，如果在前一帧中已检测到手目标，则手追踪部分将在当前帧以及接下来的帧中追踪手目标。可见，追踪手目标所涉及的计算量以及追踪准确度对于手势识别系统而言是很重要的。然而，如上所述，现有的手追踪方法需求的计算量较大并且追踪准确度不能令人满意，特别是在当手移动通过具有与肤色类似的颜色的某些物体的情形中，很可能会由于遮蔽(Occlusion)而发生追踪错误。例如，在传统的模板匹配算法中，总是前一帧中所获得的手目标被用作当前帧中进行模板匹配算法的模板，因此在当手移动通过具有与肤色类似的颜色的某些物体的情形中由于遮蔽发生而手目标模板被错用或不当使用时，追踪错误则会发生。\n[0027] 例如，图2示出了在当手移动通过脸时发生追踪错误的示例。如图2中所示，图中给出了5个连续图像帧331-335，在图像帧331-333中，正常的模板匹配算法被执行，即，图像帧\n331中的手追踪基于前一阵的图像帧中检测或追踪到的手目标作为模板，图像帧322中的手追踪基于图像帧311中追踪到的手目标作为模板，图像帧333中的手追踪基于图像帧332中追踪到的手目标作为模板。\n[0028] 然而，如图所示，由于在图像帧333中发生手与脸交叠的情况，在该图像帧333中所获得的手目标包含了同为肤色的人脸的一部分，也就是所获得的手目标是不准确或错误的。因而，当针对图像帧334进行手追踪时，以在图像帧333中获得的不准确或错误的手目标作为模板，在该图像帧334中通过模板匹配将获得手继续停留于脸上的错误追踪结果。如此继续，在接下来的图像帧中也将获得错误的追踪结果。可见，一个图像帧中发生追踪错误，这种错误将会导致在接下来的图像帧中的追踪也相应发生错误，因此追踪结果不准确，从而影响手势的正确识别。\n[0029] 证实鉴于上述问题，在本发明中提供了一种利用自适应模板匹配算法的手追踪方法，该方法通过判断当前帧前面的帧中是否发生遮蔽来自适应地选择合适的模板以进行模板匹配算法，从而即使当手移动通过具有与肤色类似的颜色的某些物体的情形中也能够获得高的追踪准确度。\n[0030] <2.手追踪方法>\n[0031] 下面将参考图3来描述根据本发明的手追踪方法。\n[0032] 图3示出根据本发明的手追踪方法的流程图。如图3所示，针对每一图像帧，执行步骤S301-S303。具体地，在步骤S301中，判断当前帧前面的帧中是否发生遮蔽。在步骤S302中，依据遮蔽判断结果，自适应地从在前面的帧中所追踪到的手目标中选择一手目标作为模板。如果当前帧前面的帧中发生遮蔽，则紧在遮蔽发生前的帧中所获得的手目标被作为所述模板；如果当前帧前面的帧中未发生遮蔽，则当前帧的前一帧中所获得的手目标被作为所述模板。接着，在步骤S303中，基于所述模板针对当前帧进行模板匹配方法以获得当前帧的手目标。通过利用本发明的手追踪方法，可以根据是否发生遮蔽来选择合适的模板以执行模板匹配算法，从而避免因遮蔽发生而引起的错误追踪。\n[0033] 接下来，将参考图4更详细地描述根据本发明的手追踪方法。\n[0034] 图4示出了根据本发明的手追踪方法的更详细的流程图。如图4所述，首先，在步骤S401中，计算当前帧的肤色图像以及表示当前帧的肤色图像与前一帧的肤色图像之间的运动差的当前肤色差分图像。\n[0035] 接着，在步骤S402中，自适应地定义搜索范围。搜索范围的定义包括以下两个步骤：(1)在当前帧的肤色图像中通过将前一帧中所追踪到的手目标的四周扩大预定数目的像素(例如，15个像素)来定义初始搜索范围；以及(2)将所述初始搜索范围收缩为包含前一帧中所追踪到的手目标以及所述当前肤色差分图像的最小矩形。如此就获得了执行模板匹配方法中所使用的搜索范围。\n[0036] 接着，在步骤S403中，判断在当前帧前面的帧中是否发生遮蔽。之后，根据遮蔽判断结果来从当前帧前面的帧中所追踪到的手目标中选择一手目标作为当前帧中进行模板匹配方法的模板。\n[0037] 具体地，如图3中所述，如果在步骤S403中判定在当前帧前面的帧中未发生遮蔽，即步骤S403中的判断结果为“否”，则过程进行到步骤S405。在步骤S405中，如传统的模板匹配算法一样，当前帧的前一帧中所追踪到的手目标作为当前帧中进行模板匹配方法的模板。此时，运动差的修正因子k为固定的预定值，例如k＝0.3，其中该修正因子k用于稍后进行的模板匹配方法。\n[0038] 另一方面，如果在步骤S403中判定在当前帧前面的帧中发生了遮蔽，即步骤S403中的判断结果为“是”，则过程进行到步骤S404。在步骤S404中，紧在遮蔽发生前的帧中所追踪到手目标被作为当前帧中进行模板匹配方法的模板。此时，运动差的修正因子k被计算为预定值与PreOccDiff的百分数的和，例如，k＝0.4+PreOccDiff/100，其中，PreOccDiff表示紧在遮蔽发生前的帧与其前一帧的肤色差分图像中获得的手目标内各像素的值的平均值。\n对于当前帧中的遮蔽判断，将会在稍后的步骤中介绍，并且针对每一帧的是否遮蔽的判断结果会被存储以供在后一帧中判断前面的帧中是否发生遮蔽而直接使用。\n[0039] 在步骤S402中定义了搜索范围并且在步骤S404或405中选择了模板之后，在步骤S406中，执行模板匹配方法。在本发明中，该模板匹配方法是带有运动差修正的模板匹配方法。本发明的关键在于基于遮蔽判断结果来选择模板，并基于如此选择的模板来执行模板匹配算法。因此，基于其他方面的考虑，也可以使用不带运动差修正的模板匹配算法。\n[0040] 具体地，在该模板匹配方法中，首先在所定义的搜索范围中定义多个第一候选手范围，每个第一候选手范围具有与所选模板相同的尺寸，并且在所述当前肤色差分图像中定义一个第二候选手范围，此第二候选手范围同样具有与所选模板相同的尺寸。在示例性实施例中，在每帧中追踪到的手目标以及在搜索范围中以及在肤色差分图像中所定义的候选手范围均为矩形，以便简化计算量，并且矩形的位置以矩形的左上角的顶点来表示，以便以统一的规则更新手目标的位置。\n[0041] 在该模板匹配方法中，针对所述多个第一候选手范围循环执行匹配判断处理直到这多个第一候选手范围都经过配判断处理为止，从而确定出与所择模板最匹配的候选手范围作为在当前帧中追踪到的手目标，所述匹配判断处理包括如下步骤：\n[0042] 计算一个第一候选手范围与所选模板的各像素的值的绝对差的平均值作为第一误差；\n[0043] 如果第一误差大于第一预定阈值，则当前第一候选手范围被判定为不与所选模板匹配并且从而被排除；\n[0044] 如果第一误差小于第一预定阈值，则计算第二误差，第二误差是通过将第一误差减去第二候选手范围的各像素的值的平均值乘以修正因子得到的值而得到的差值；\n[0045] 如果第二误差小于第二预定阈值，则当前第一候选手范围被判定为与所选模板匹配，并且该第二误差的值以及当前第一候选手范围中的各像素的值的平均值分别作为在针对下一个第一候选手范围的匹配判断处理中的第二预定阈值和第二候选手范围的各像素的值的平均值。\n[0046] 接着，在步骤S407中，基于在步骤S406中执行的模板匹配算法的结果来判断是否有候选手范围与所选模板匹配。之后，基于判定结果以及前一帧的信息来判断在当前帧中是否发生遮蔽并更新相关参数以用于下一帧中的处理。具体地，如果在步骤S407中判定出没有候选手范围与所选模板匹配，则处理进行到步骤S409，并且在步骤S409中直接判定当前帧中未发生遮蔽。如果在步骤S407中判定出有候选手范围与所选模板匹配，则处理进行到步骤S408，并且在步骤S408中执行遮蔽条件判断以确定在当前帧中是否发生遮蔽。\n[0047] 在步骤S408中执行的遮蔽条件判断包括判断是否满足以下条件：(((PreOccDiff<＝A)&&(DeltaDiff>B))||((PreOccDiff>A)&&(DeltaDiff>C)))&&(OccNum