手追踪方法和装置

1.一种手追踪方法，用于在手部图像最初被检测到的初始视频帧之后的多个视频帧中追踪手的位置，该方法包括：
计算当前帧中的多个对比图像区域与前一帧中的手部图像区域之间的局部差异度量；
利用准则模型计算分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及所述两个对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于在所述当前帧中搜索手的位置的中心像素；以及在所述当前帧中的以所述中心像素以及所述中心像素周围的像素为代表像素的多个对比图像区域中的全局差异度量最小的一个对比图像区域A1满足预定条件的情况下，将所述对比图像区域A1的代表像素所在的位置作为所述当前帧中的手的位置。
2.根据权利要求1所述的手追踪方法，其特征在于，在所述对比图像区域A1不满足所述预定条件的情况下，所述方法还包括：
更新所述准则模型，并利用更新后的准则模型来重新确定所述中心像素和所述对比图像区域A1，直到找到满足所述预定条件的对比图像区域A1为止。
3.根据权利要求1所述的手追踪方法，其特征在于，所述预定条件包括以下两个子条件：
所述对比图像区域A1与所述初始视频帧中的手部图像区域之间的差异度量不大于第一阈值；以及
所述对比图像区域A1与所述初始视频帧中的手部图像区域之间的差异度量、和所述前一帧中的手部图像区域与所述初始视频帧中的手部图像区域之间的差异度量之间的差值不大于第二阈值。
4.根据权利要求1所述的手追踪方法，其特征在于，每个对比图像区域的代表像素是该对比图像区域的左上角的像素。
5.根据权利要求2所述的手追踪方法，其特征在于，所述准则模型由以下等式表示：
Criteria＝x*SADORI.DIFF+(1-x)SADPREV.DIFF
其中，Criteria表示所述当前帧中的任意一个对比图像区域F的全局差异度量，SADORI.DIFF表示所述对比图像区域F与所述初始视频帧中的手部图像区域中的相同位置的像素值之间的绝对差值之和，SADPREV.DIFF表示所述对比图像区域F与所述前一帧中的手部图像区域之间的相同位置的像素值的绝对差值之和，x是小于1的正数，通过改变x的取值来更新所述准则模型。
6.一种手追踪装置，用于在手部图像最初被检测到的初始视频帧之后的多个视频帧中追踪手的位置，该手追踪装置包括：
差异度量计算单元，用于计算当前帧中的多个对比图像区域与前一帧中的手部图像区域之间的局部差异度量；
中心像素确定单元，用于利用准则模型计算分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及所述两个对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于在所述当前帧中搜索手的位置的中心像素；
手位置确定单元，用于在所述当前帧中的以所述中心像素以及所述中心像素周围的像素为代表像素的多个对比图像区域中全局差异度量最小的一个对比图像区域A1满足预定条件的情况下，将所述对比图像区域A1的代表像素所在的位置作为所述当前帧中的手的位置。
7.根据权利要求6所述的手追踪装置，其特征在于，还包括：
准则模型更新单元，用于在所述对比图像区域A1不满足所述预定条件的情况下更新所述准则模型，其中
所述中心像素确定单元利用更新后的准则模型来重新确定所述中心像素，并且所述手位置确定单元利用所述更新后的准则模型来重新搜索所述对比图像区域A1，直到找到满足所述预定条件的对比图像区域A1为止。
8.根据权利要求6所述的手追踪装置，其特征在于，所述预定条件包括以下两个子条件：
所述对比图像区域A1与所述初始视频帧中的手部图像区域之间的差异度量不大于第一阈值；以及
所述对比图像区域A1与所述初始视频帧中的手部图像区域之间的差异度量、和所述前一帧中的手部图像区域与所述初始视频帧中的手部图像区域之间的差异度量之间的差值不大于第二阈值。
9.根据权利要求6所述的手追踪装置，其特征在于，每个对比图像区域的代表像素是该对比图像区域的左上角的像素。
10.根据权利要求7所述的手追踪装置，其特征在于，所述准则模型由以下等式表示：
Criteria＝x*SADORI.DIFF+(1-x)SADPREV.DIFF
其中，Criteria表示所述当前帧中的任意一个对比图像区域F的全局差异度量，SADORI.DIFF表示所述对比图像区域F与所述初始视频帧中的手部图像区域中的相同位置的像素值之间的绝对差值之和，SADPREV.DIFF表示所述对比图像区域F与所述前一帧中的手部图像区域之间的相同位置的像素值的绝对差值之和，x是小于1的正数，所述准则模型更新单元通过改变x的取值来更新所述准则模型。

手追踪方法和装置\n技术领域\n[0001] 本发明涉及图像处理领域，更具体地涉及一种手追踪方法和装置。\n背景技术\n[0002] 随着计算机在现代社会的影响迅速扩大，多模式人机接口技术在现实生活中变得越来越重要。多模式人机接口技术的核心在于建立和谐自然的人机交互环境，使得用户可以方便、自然地使用人类所熟知的方式使用计算机，其中最重要的环节就是要使计算机能够准确无误地感知包括自然语言、手势语言、面部表情在内的不同人类表达方式，实现拟人化的人机交互。因此，手势的检测和识别成为人机交互领域的一项重要研究内容。\n[0003] 用在人机交互领域的最早期的手势识别方法是利用机械手套装置来直接测量手的姿态和关节的角度。然而，这种基于手套的方法没有进一步的发展，因为与手套装置相连的电缆只能把使用者限制在一个小的工作区域内。另一方面，这种手套装置的价格比较昂贵，这也限制了它的广泛应用。近几年，一些研究者提出了基于自然手的手势识别方法。\n[0004] 虽然手势本身具有多样性和多义性且具有在时间空间上的差异性，但是从手势识别的角度考虑可以把手势分为静态手势和动态手势。其中，静态手势是指由单个手姿态表示的手势，动态手势是指由一系列手姿态组成的手势。\n[0005] 图1示出了传统的用于对动态手势进行识别的手势识别系统的框图。如图1所示，该手势识别系统包括图像获取单元102和手势识别单元104。具体地，在图1所示的手势识别系统中，首先使用图像获取单元102获取包含手部图像的一系列视频帧；然后使用手势识别单元104在图像获取单元102所获取的一系列视频帧中定位手的位置，追踪手的运动轨迹，进而进行手势识别。一旦手势被识别为预先定义的手势之一，则该手势将成为对于计算机/便携设备上的软件/应用的操作指令触发器。\n[0006] 从以上所述可知，追踪手的运动轨迹的处理(以下简称为“手追踪处理”)是手势识别处理的一个必要环节。由于手追踪处理的复杂度会随着精确度的提高而提高，所以如果要通过提高手追踪处理的精确度来提高手势识别处理的精确度，则势必会造成手势识别处理的整体复杂度的提高。在实际应用中，复杂度高的手势识别处理的功耗很高，所以不适合用于诸如移动电话、数码相机之类的超低功耗的设备。\n[0007] 为了使手势识别处理能够被应用于目前广泛使用的诸如移动电话、数码相机之类的超低功耗设备，需要尽可能地降低手势识别处理的复杂度。但是，低复杂度的手势识别处理通常又不能满足诸如移动电话、数码相机之类的超低功耗设备的用户的使用需求。所以，为了尽可能地提高超低功耗设备的用户的使用体验，需要在尽可能地降低手势识别处理的复杂度的同时，尽可能地提高手势识别处理的精确度。\n发明内容\n[0008] 鉴于以上所述的一个或多个问题，本发明提供了一种能够在保持手势识别处理的低复杂度的同时改善手追踪处理的精确度的新颖的手追踪方法和装置。\n[0009] 根据本发明实施例的手追踪方法，用于在手部图像最初被检测到的初始视频帧之后的多个视频帧中追踪手的位置。该手追踪方法包括：计算当前帧中的多个对比图像区域与前一帧中的手部图像区域之间的局部差异度量；利用准则模型计算分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于在当前帧中搜索手的位置的中心像素；以及在当前帧中的以所确定的中心像素及其周围的像素为代表像素的多个对比图像区域中全局差异度量最小的一个对比图像区域A1满足预定条件的情况下，将对比图像区域A1的代表像素所在的位置作为当前帧中的手的位置。\n[0010] 根据本发明实施例的手追踪装置，用于在手部图像最初被检测到的初始视频帧之后的多个视频帧中追踪手的位置。该手追踪装置包括：差异度量计算单元，用于计算当前帧中的多个对比图像区域与前一帧中的手部图像区域之间的局部差异度量；中心像素确定单元，用于利用准则模型计算分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于搜索手的位置的中心像素；以及手位置确定单元，用于在当前帧中的以所确定的中心像素及其周围的像素为代表像素的多个对比图像区域中全局差异度量最小的一个对比图像区域A1满足预定条件的情况下，将对比图像区域A1的代表像素所在的位置作为当前帧中的手的位置。\n[0011] 本发明可以大大改善手追踪的精确度，同时不会过度增加手追踪处理的复杂度。\n附图说明\n[0012] 从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：\n[0013] 图1示出了传统的用于对动态手势进行识别的手势识别系统的框图；\n[0014] 图2示出了H.264视频编码标准中规定的“三步搜索法”中涉及的像素在视频帧中的分布情况的示意图；\n[0015] 图3示出了最佳位置处于图2所示的实心圆及其周围的八个小方块所标记的像素所在的位置以外的位置处的情况；\n[0016] 图4示出了一系列皮肤图像的SADPREV.DIFF和SADORI.DIFF的曲线图；\n[0017] 图5示出了根据本发明实施例的手追踪装置的框图；\n[0018] 图6示出了根据本发明实施例的手追踪方法的流程图；\n[0019] 图7示出了与步骤S602中计算出的最小的第一类差异度量和次最小的第一类差异度量相对应的两个对比图像区域R1和R2的代表像素之间的位置关系。\n具体实施方式\n[0020] 下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。\n[0021] 为了在保持手势识别处理的低复杂度的同时改善手追踪处理的精确度，本发明基于H.264视频编解码标准中规定的用于手追踪处理的“三步搜索法”，提出了一种新颖的手追踪方法和装置。\n[0022] 下面，首先描述H.264视频编解码标准中规定的“三步搜索法”及其存在的问题。这里，为了方便说明，将由诸如摄像机之类的图像获取单元获取的一系列视频帧中的手部图像首次出现在其中的视频帧(即，首次检测到手部图像的视频帧)称为视频帧F0(也称为初始视频帧F0)，将紧跟在视频帧F0之后的包括手部图像的视频帧依次称为视频帧F1、F2、…、Fn。H.264视频编解码标准中规定的“三步搜索法”以视频帧F0中的手部图像区域(即，包括手部图像的最小图像区域)为基础，依次找出视频帧F1、F2、…、Fn中的手部图像区域。换句话说，在H.264视频编码标准中规定的“三步搜索法”中，首先找出前一帧Fk中的手部图像区域，然后基于前一帧Fk中的手部图像区域找出当前帧F(k+1)中的手部图像区域(k为大于0的整数)。\n[0023] 图2示出了H.264视频编解码标准中规定的“三步搜索法”中涉及的像素在视频帧中的分布情况的示意图。这里，假设已经找出了视频帧F0至Fk中的手部图像区域，基于前一帧Fk中的手部图像区域找出当前帧F(k+1)中的手部图像区域的处理包括以下步骤：\n[0024] 第一步骤，根据等式(1)计算当前帧F(k+1)中的以图2中所示的空心圆标记的每个像素为左上角的像素(即，代表像素)的每个对比图像区域与前一帧Fk中的手部图像区域中的相同位置的像素值之间的绝对差值之和SAD。\n[0025] SAD(x，y)＝abs(skinimg(x，y)-PREV.tar get)  (1)\n[0026] 其中，PREV.target表示前一帧Fk中的手部图像区域，Skinimg(x,y)表示当前帧F(k+1)中的以像素(x,y)为左上角的像素的对比图像区域，SAD(x，y)表示当前帧F(k+1)中的以像素(x,y)为左上角的像素的对比图像区域与前一帧Fk中的手部图像区域中的相同位置的像素值之间的绝对差值之和。其中，当前帧F(k+1)中的每一个对比图像区域的尺寸都与前一帧Fk中的手部图像区域的尺寸相同，并且当前帧F(k+1)中的相邻对比图像区域的左上角的像素相隔两个像素(如图2中所示)。\n[0027] 第二步骤，找出与根据等式(1)计算得到的多个SAD中的最小SAD(为了说明方便，将该最小SAD称为全局最小SAD)相对应的对比图像区域的左上角的像素(为了说明方便，将该像素称为全局最小SAD像素)，并对该像素进行标记。例如，如图2中所示，用实心圆标记与全局最小SAD相对应的对比图像区域的左上角的像素(即，用实心圆标记与全局最小SAD相对应的全局最小SAD像素)。\n[0028] 第三步骤，根据等式(1)计算当前帧F(k+1)中的以全局最小SAD像素的八个相邻像素(例如，图2中所示的由实心圆标记的像素周围的八个由小方块标记的像素)为左上角的像素的八个对比图像区域分别与前一帧Fk中的手部图像区域中的相同位置的像素值之间的绝对差值之和SAD(为了说明方便，将该八个SAD统称为相邻区域SAD)，然后选择与包括全局最小SAD及上述八个相邻区域SAD在内的九个SAD中的最小SAD(为了说明方便，将该最小SAD称为局部最小SAD)相对应的像素(为了说明方便，将该像素称为局部最小SAD像素)所在的位置作为最佳位置(即，当前帧F(k+1)中的手的位置)，并将以局部最小SAD像素为左上角的像素的对比图像区域作为当前帧F(k+1)中的手部图像区域。需要说明的是，第三步骤中的对比图像区域的尺寸也与前一帧Fk中的手部图像区域的尺寸相同。\n[0029] 相对于依次计算以当前帧F(k+1)中的特定搜索区域内的每个像素为左上角的像素的每个对比图像区域与前一帧Fk中的手部图像区域之间的SAD，然后选择与计算出的所有SAD中的最小SAD相对应的像素所在的位置作为最佳位置的全搜索法而言，“三步搜索法”可以将处理的复杂度大大降低。例如，在搜索区域包括21个水平像素*21个垂直像素的情况下，“三步搜索法”相对于上述全搜索法可以将复杂度降低约88％。\n[0030] 尽管“三步搜索法”相对于全搜索法可以显著降低处理的复杂度，但是“三步搜索法”存在以下缺点：\n[0031] 1)这里，选择与局部最小SAD相对应的像素所在的位置作为最佳位置，但是真正的最佳位置有可能并不存在于图2中所示的实心圆及其周围的八个小方块所标记的像素所在的位置中。即，与真正的最小SAD相对应的像素所在的位置有可能并不是图2中所示的实心圆及其周围的八个小方块所标记的像素所在的位置中的任意一个位置。图3示出了最佳位置处于图2所示的实心圆及其周围的八个小方块所标记的像素所在的位置以外的位置处的情况。具体地，在图3中用颜色示出了当前帧中的各个区域的SAD值。在图3中，颜色越深的区域的SAD值越小，并且通过图2所示的方法找出的最佳位置处于由小方块标记的位置。从图3可以看出，通过“三步搜索法”找出的最佳位置并不在颜色最深的区域中(即，通过“三步搜索法”找出的最佳位置所对应的SAD值并不是当前帧中的真正的最小SAD)。所以，“三步搜索法”可能会跳过真正的最佳位置，从而使得追踪不十分精确。\n[0032] 2)这里，将在当前帧中找出的手部图像区域与在前一帧中找出的手部图像区域PREV.target中的相同位置的像素值之间的绝对差值之和标记为SADPREV.DIFF，将在当前帧中找出的手部图像区域与第一次检测到手部图像的初始视频帧F0中的手部图像区域中的相同位置的像素值之间的绝对差值之和标记为SADORI.DIFF。图4示出了一系列视频帧的SADPREV.DIFF和SADORI.DIFF。其中，图4中的横坐标表示帧编号，纵坐标表示SAD值。从图4可以看出，如果使用SADPREV.DIFF作为准则来确定最佳位置，则SADORI.DIFF会变得越来越大。这意味着，在很多个视频帧后，将追踪到错误的最佳位置。\n[0033] 基于以上原因，本发明提出了一种能够在保持手势识别处理的低复杂度的同时改善手追踪处理的精确度的基于“三步搜索法”的新颖的手追踪方法和装置。\n[0034] 图5示出了根据本发明实施例的手追踪装置的框图。如图5所示，根据本发明实施例的手追踪装置包括差异度量计算单元502、中心像素确定单元504、手位置确定单元506、以及准则模型更新单元508。其中，差异度量计算单元502用于计算当前帧F(k+1)中的多个对比图像区域与前一帧Fk中的手部图像区域之间的局部差异度量，其中该多个对比图像区域中的任意两个相邻对比图像区域的代表像素相互间隔两个像素；中心像素确定单元504用于利用准则模型计算当前帧F(k+1)中的分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于在当前帧F(k+1)中搜索手的位置的中心像素；\n手位置确定单元506用于在当前帧F(k+1)中的以中心像素确定单元504所确定的中心像素及其周围的像素为代表像素的多个对比图像区域中全局差异度量最小的一个对比图像区域(为了方便说明，将该对比图像区域称为A1)满足预定条件的情况下，将对比图像区域A1的代表像素所在的位置作为当前帧中的手的位置；以及准则模型更新单元508用于在对比图像区域A1不满足预定条件的情况下，对准则模型进行更新。\n[0035] 图6示出了根据本发明实施例的手追踪方法的流程图。如图6所示，根据本发明实施例的手追踪方法包括：步骤S602，计算当前帧F(k+1)中的多个对比图像区域与前一帧Fk中的手部图像区域之间的局部差异度量；步骤S604，利用准则模型计算当前帧F(k+1)中的分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于在当前帧F(k+1)中搜索手的位置的中心像素；步骤S606，计算当前帧F(k+1)中的以步骤S604所确定的中心像素及其周围的像素为代表像素的多个对比图像区域的全局差异度量；\nS608，判断与步骤S606中计算出的多个全局差异度量中的最小的一个差异度量相对应的一个对比图像区域(即，对比图像区域称为A1)是否满足预定条件；如果对比图像区域A1满足预定条件，则在步骤S610确定对比图像区域A1是当前帧F(k+1)中的手部图像区域；如果对比图像区域A1不满足预定条件，则在步骤S612对准则模型进行更新，然后利用更新后的准则模型继续进行步骤S604至S608的处理。\n[0036] 这里，步骤S602可以由差异度量计算单元502执行，步骤S604可以由中心像素确定单元504执行，步骤S606至S610可以由手位置确定单元506执行，并且步骤S612可以由准则模型更新单元508执行。\n[0037] 需要说明的是，对比图像区域的代表像素可以是该对比图像区域的左上角的像素；步骤S602中提到的当前帧F(k+1)中的多个对比图像区域的代表像素之间的位置关系可以是图2所示的空心圆所标记的像素之间的位置关系；并且步骤S602中提到的局部差异度量可以是当前帧F(k+1)中的以图2所示的空心圆所标记的每个像素为代表像素的每个对比图像区域与前一帧Fk中的手部图像区域中的相同位置的像素值之间的绝对差值之和SAD。\n[0038] 当前帧F(k+1)中的分别与在步骤S602中计算出的多个局部差异度量中的最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域(为了方便说明，将这两个对比图像区域称为对比图像区域R1和R2)的代表像素之间存在图7所示的四种位置关系，即水平相邻、竖直相邻、对角线相邻、以及不相邻。其中：\n[0039] 1)在对比图像区域R1和R2的代表像素水平相邻的情况下\n[0040] 需要计算对比图像区域R1和R2、以及当前帧F(k+1)中的以图7中所示的像素o和n为代表像素的对比图像区域(为了方便说明，将这两个对比图像区域称为RL1和RL2)的全局差异度量。\n[0041] 也就是说，在对比图像区域R1和R2的代表像素水平相邻的情况下，在步骤S604中需要计算对比图像区域R1和R2、以及当前帧F(k+1)中的分别以对比图像区域R1和R2的代表像素之间的两个像素为代表像素的两个对比图像区域RL1和RL2的全局差异度量。\n[0042] 然后，需要比较对比图像区域R1和RL1的全局差异度量之和SUM1与对比图像区域R2和RL2的全局差异度量之和SUM2。如果SUM1小于SUM2，则将对比图像区域R1和RL1中全局差异度量较小的一个对比图像区域的代表像素作为用于在当前帧F(k+1)中搜索手的位置的中心像素；如果SUM1不小于SUM2，则将对比图像区域R2和RL2中全局差异度量较小的一个对比图像区域的代表像素作为用于在当前帧F(k+1)中搜索手的位置的中心像素。\n[0043] 2)在对比图像区域R1和R2的代表像素竖直相邻的情况下\n[0044] 需要计算对比图像区域R1和R2、以及当前帧F(k+1)中的以图7中所示的像素p和q为代表像素的对比图像区域(为了方便说明，将这两个对比图像区域称为RV1和RV2)的全局差异度量。\n[0045] 也就是说，在对比图像区域R1和R2的代表竖直水平相邻的情况下，在步骤S604中需要计算对比图像区域R1和R2、以及分别以对比图像区域R1和R2的代表像素之间的两个像素为代表像素的两个对比图像区域RV1和RV2的全局差异度量。\n[0046] 然后，需要比较对比图像区域R1和RV1的全局差异度量之和SUM1与对比图像区域R2和RV2的全局差异度量之和SUM2。如果SUM1小于SUM2，则将对比图像区域R1和RV1中全局差异度量较小的一个对比图像区域的代表像素作为用于在当前帧F(k+1)中搜索手的位置的中心像素；如果SUM1不小于SUM2，则将对比图像区域R2和RV2中全局差异度量较小的一个对比图像区域的代表像素作为用于在当前帧F(k+1)中搜索手的位置的中心像素。\n[0047] 3)在对比图像区域R1和R2的代表像素之间的位置关系是对角线相邻的情况下[0048] 需要计算对比图像区域R1和R2、以及当前帧F(k+1)中的以图7中所示的像素a、b、j、k、l、m为代表像素的对比图像区域RLa、RLb、RLj、RLk、RLl、RLm的全局差异度量。\n[0049] 也就是说，在对比图像区域R1和R2的代表像素之间的位置关系是对角线相邻的情况下，在步骤S604中需要计算对比图像区域R1和R2、以及当前帧F(k+1)中的分别以对比图像区域R1和R2的代表像素之间的两个像素、以及与对比图像区域R1和R2的代表像素连成的对角线相垂直的对角线上的四个像素为代表像素的六个对比图像区域的全局差异度量。\n[0050] 然后，比较对比图像区域R1和RLj的全局差异度量之和SUM1、对比图像区域R2和RLm的全局差异度量之和SUM2、对比图像区域RLl和RLb的全局差异度量之和SUM3、以及对比图像区域RLk和RLa的全局差异度量之和SUM4；选择与SUM1至SUM4中最小的一个相对应的两个对比图像区域中全局差异度量较小的一个对比图像区域的代表像素作为用于在当前帧F(k+1)中搜索手的位置的中心像素。\n[0051] 4)在对比图像区域R1和R2的代表像素之间的位置关系是不相邻的情况下[0052] 需要计算对比图像区域R1和R2、以及当前帧F(k+1)中的分别以对比图像区域R1和R2的代表像素周围的八个像素作为代表像素的共16个对比图像区域RL1至RL16的全局差异度量。然后，选择对比图像区域RL1至RL16以及对比图像区域R1和R2中全局差异度量最小的一个对比图像区域的代表像素作为用于在当前帧F(k+1)中搜索手的位置的中心像素。\n[0053] 在中心像素确定单元504确定出用于在当前帧F(k+1)中搜索手的位置的中心像素之后，手位置确定单元506将计算当前帧F(k+1)中的以中心像素确定单元504所确定的中心像素及其周围的八个像素为代表像素的九个对比图像区域的全局差异度量，并将与所计算出的九个全局差异度量中最小的一个差异度量相对应的对比图像区域作为潜在的手部图像区域(即，上述对比图像区域A1)。\n[0054] 然后，手位置确定单元506将判断对比图像区域A1是否满足预定条件。如果对比图像区域A1满足预定条件，则手位置确定单元506确定对比图像区域A1是当前帧中的手部图像区域。如果对比图像区域A1不满足预定条件，则手位置确定单元506确定对比图像区域A1不是当前帧中的手部图像区域。\n[0055] 另外，在对比图像区域A1不满足预定条件的情况下，准则模型更新单元508将对用于计算当前帧中的任意一个对比图像区域的全局差异度量的准则模型进行更新，并将更新后的准则模型提供给中心像素确定单元504和手位置确定单元506，以供中心像素确定单元\n504和手位置确定单元506继续进行处理直到找到符合预定条件的对比图像区域A1为止。\n[0056] 这里，根据由等式(2)表示的准则模型来计算当前帧F(k+1)中的任意一个对比图像区域Ry的全局差异度量：\n[0057] 全局差异度量＝x*SADORI.DIFF+(1-x)SADPREV.DIFF (2)\n[0058] 其中，SADORI.DIFF表示对比图像区域Ry与初始视频帧F0中的手部图像区域中的相同位置的像素值之间的绝对差值之和，SADPREV.DIFF表示对比图像区域Ry与前一帧Fk中的手部图像区域中的相同位置的像素值之间的绝对差值之和，x是不大于1的正数。这里，规则模型更新单元508可以通过改变x的值来更新准则模型(x的初始值＝0.2)。在一个实施例中，规则模型更新单元508可以例如以0.2为步长逐步增大x来更新准则模型。当然，如果在x增大到1时仍没有找到符合预定条件的对比图像区域A1，则根据本发明实施例的手追踪装置和方法停止处理。\n[0059] 在一个实施例中，对比图像区域A1需要同时满足以下两个条件才能被认为是当前帧F(k+1)中的手部图像区域：1)对比图像区域A1与初始视频帧F0中的手部图像区域中的相同位置的像素值之间的绝对差值之和SADORI.DIFF(为了方便说明，记为SADORI.DIFF(k+1))不大于第一阈值TH1；2)对比图像区域A1与初始视频帧F0中的手部图像区域中的相同位置的像素值之间的绝对差值之和SADORI.DIFF(k+1)与前一帧Fk中的手部图像区域与初始视频帧F0中的手部图像区域中的相同位置的像素值之间的绝对差值之和SADORI.DIFF(k)之间的差值(DIFF＝SADORI.DIFF(k+1)—SADORI.DIFF(k))不大于第二阈值TH2。\n[0060] 具体地，可以根据以下等式(3)来计算TH1：\n[0061] TH1＝ΔGray×area(Handinside)/(area(Handinside)+area(Handoutside)) (3)[0062] 其中，ΔGray表示初始视频帧F0中的手部图像区域中的最低灰度值与当前帧F(k+\n1)中的对比图像区域A1中的最高灰度值之间的灰度差值，area(Handinside)/(area(Handinside)+area(Handoutside))表示初始视频帧F0中的手部图像区域所包含的肤色像素的数目与初始视频帧F0中的手部图像区域所包含的总像素数目之比。\n[0063] 另外，可以根据以下等式(4)来计算TH2：\n[0064] TH2＝︱(△SADORI.DIFF(k)—△SADORI.DIFF(k-1))+(△SADORI.DIFF(k-1)-△SADORI.DIFF(k-2))︱/2                     (4)\n[0065] 其中，△SADORI.DIFF(k)表示前一帧Fk中的手部图像区域与初始图像帧F0中的手部图像区域中的相同位置的像素值的绝对差值之和SADORI.DIFF(k)与视频帧F(k-1)中的手部图像区域与初始图像帧F0中的手部图像区域中的相同位置的像素值的绝对差值之和SADORI.DIFF(k-1)之间的差值，△SADORI.DIFF(k-1)表示视频帧F(k-1)中的手部图像区域与初始图像帧F0中的手部图像区域中的相同位置的像素值的绝对差值之和SADORI.DIFF(k-1)与视频帧F(k-2)中的手部图像区域与初始图像帧F0中的手部图像区域中的相同位置的像素值的绝对差值之和SADORI.DIFF(k-2)之间的差值，△SADORI.DIFF(k-2)表示视频帧F(k-2)中的手部图像区域与初始图像帧F0中的手部图像区域中的相同位置的像素值的绝对差值之和SADORI.DIFF(k-2)与视频帧F(k-3)中的手部图像区域与初始图像帧F0中的手部图像区域中的相同位置的像素值的绝对差值之和SADORI.DIFF(k-3)之间的差值。\n[0066] 以上详细描述了根据本发明实施例的手追踪方法和装置。通过以上描述可以看出，本发明可以大大改善手追踪的精确度，同时不会过度增加手追踪处理的复杂度。\n[0067] 需要说明的是，根据本发明实施例的手追踪方法和装置中的上述步骤和功能模块执行了一些重复的处理。本领域技术人员将明白，这里的步骤和功能模块只是示例性的而不用于限制本发明，以上提到的重复处理可以合并在一个功能模块中完成，也可以分别在多个功能模块中被多次执行。\n[0068] 以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。\n[0069] 根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。\n[0070] 本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。\n[0071] 还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。\n[0072] 此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。\n[0073] 附记：\n[0074] 1.一种手追踪方法，用于在手部图像最初被检测到的初始视频帧之后的多个视频帧中追踪手的位置，该方法包括：\n[0075] 计算当前帧中的多个对比图像区域与前一帧中的手部图像区域之间的局部差异度量，其中，所述多个对比图像区域中的任意两个相邻的对比图像区域的代表像素相互间隔两个像素；\n[0076] 利用准则模型计算分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及所述两个对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于在所述当前帧中搜索手的位置的中心像素；以及[0077] 在所述当前帧中的以所述中心像素以及所述中心像素周围的像素为代表像素的多个对比图像区域中全局差异度量最小的一个对比图像区域A1满足预定条件的情况下，将所述对比图像区域A1的代表像素所在的位置作为所述当前帧中的手的位置。\n[0078] 2.如条目1所述的手追踪方法，其中，在所述对比图像区域A1不满足所述预定条件的情况下，所述方法还包括：\n[0079] 更新所述准则模型，并利用更新后的准则模型来重新确定所述中心像素和所述对比图像区域A1，直到找到满足所述预定条件的对比图像区域A1为止。\n[0080] 3.如条目1所述的手追踪方法，其中，每个对比图像区域的代表像素是该对比图像区域的左上角的像素。\n[0081] 4.如条目2所述的手追踪方法，其中，找出所述对比图像区域A1的处理包括：\n[0082] 利用所述准则模型或者所述更新后的准则模型计算所述当前帧中的以所述中心像素及其周围的八个像素为代表像素的九个对比图像区域的全局差异度量；\n[0083] 将所述当前帧中的以所述中心像素及其周围的八个像素为代表像素的九个对比图像区域中全局差异度量最小的一个对比图像区域作为所述对比图像区域A1。\n[0084] 5.如条目2所述的手追踪方法，其中，在所述两个对比图像区域R1和R2的代表像素之间的位置关系是水平或竖直相邻的情况下，\n[0085] 利用所述准则模型或者所述更新后的准则模型计算所述当前帧中的分别以所述两个对比图像区域R1和R2的代表像素之间的两个像素为代表像素的两个对比图像区域RL1和RL2的全局差异度量，其中所述对比图像区域RL1的代表像素与所述对比图像区域R1的代表像素相邻，并且所述对比图像区域RL2的代表像素与所述对比图像区域R2的代表像素相邻；\n[0086] 比较所述对比图像区域R1和RL1的全局差异度量之和SUM1与所述对比图像区域R2和RL2的全局差异度量之和SUM2；\n[0087] 如果SUM1小于SUM2，则将所述对比图像区域R1和RL1中全局差异度量较小的一个对比图像区域的代表像素作为所述中心像素；\n[0088] 如果SUM1不小于SUM2，则将所述对比图像区域R2和RL2中全局差异度量较小的一个对比图像区域的代表像素作为所述中心像素。\n[0089] 6.如条目2所述的手追踪方法，其中，在所述两个对比图像区域R1和R2的代表像素之间的位置关系是不相邻的情况下，\n[0090] 利用所述准则模型或者所述更新后的准则模型计算分别以所述对比图像区域R1和R2的代表像素周围的八个像素作为代表像素的共16个对比图像区域RL1至RL16的全局差异度量；\n[0091] 选择所述对比图像区域RL1至RL16以及所述对比图像区域R1和R2中全局差异度量最小的一个对比图像区域的代表像素作为所述中心像素。\n[0092] 7.如条目2所述的手追踪方法，其中，在所述两个对比图像区域R1和R2的代表像素之间的位置关系是对角线相邻的情况下，\n[0093] 利用所述准则模型或者所述更新后的准则模型计算所述当前帧中的分别以所述两个对比图像区域R1和R2的代表像素之间的两个像素、以及与所述两个对比图像区域R1和R2的代表像素连成的对角线相垂直的对角线上的四个像素为代表像素的六个对比图像区域RLj、RLl、RLk、RLm、RLa、RLb的全局差异度量，其中所述对比图像区域RLj的代表像素与所述对比图像区域R1的代表像素相邻，所述对比图像区域RLm的代表像素与所述对比图像区域R2的代表像素相邻，所述对比图像区域RLl的代表像素与所述对比图像区域RLb的代表像素相邻，并且所述对比图像区域RLk的代表像素与所述对比图像区域RLa的代表像素相邻；\n[0094] 比较所述对比图像区域R1和RLj的全局差异度量之和SUM1、所述对比图像区域R2和RLm的全局差异度量之和SUM2、所述对比图像区域RLl和RLb的全局差异度量之和SUM3、以及所述对比图像区域RLk和RLa的全局差异度量之和SUM4；\n[0095] 选择与SUM1至SUM4中最小的一个相对应的两个对比图像区域中全局差异度量较小的一个对比图像区域的代表像素作为所述中心像素。\n[0096] 8.如条目1所述的手追踪方法，其中，所述局部差异度量是所述当前帧中的对比图像区域与所述前一帧中的手部图像区域中的相同位置的像素值之间的绝对差值之和。\n[0097] 9.如条目2所述的手追踪方法，其中，所述准则模型由以下等式表示：\n[0098] Criteria＝x*SADORI.DIFF+(1-x)SADPREV.DIFF\n[0099] 其中，Criteria表示所述当前帧中的任意一个对比图像区域F的全局差异度量，SADORI.DIFF表示所述对比图像区域F与所述初始视频帧中的手部图像区域中的相同位置的像素值之间的绝对差值之和，SADPREV.DIFF表示所述对比图像区域F与所述前一帧中的手部图像区域之间的相同位置的像素值的绝对差值之和，x是小于1的正数，通过改变x的取值来更新所述准则模型。\n[0100] 10.一种手追踪装置，用于在手部图像最初被检测到的初始视频帧之后的多个视频帧中追踪手的位置，该手追踪装置包括：\n[0101] 差异度量计算单元，用于计算当前帧中的多个对比图像区域与前一帧中的手部图像区域之间的局部差异度量；\n[0102] 中心像素确定单元，用于利用准则模型计算由所述当前帧中分别与最小局部差异度量和次最小局部差异度量相对应的两个对比图像区域R1和R2、以及所述两个对比图像区域R1和R2周围的多个对比图像区域的全局差异度量，并根据计算结果确定用于搜索手的位置的中心像素；以及\n[0103] 手位置确定单元，用于在所述当前帧中的以所述中心像素及其周围的像素为代表像素的多个对比图像区域中全局差异度量最小的一个对比图像区域A1满足预定条件的情况下，将所述对比图像区域A1的代表像素所在的位置作为所述当前帧中的手的位置。\n[0104] 11.如条目10所述的手追踪装置，其中，还包括：\n[0105] 准则模型更新单元，用于在所述对比图像区域A1不满足所述预定条件的情况下更新所述准则模型，其中\n[0106] 所述中心像素确定单元利用更新后的准则模型来重新确定所述中心像素，并且所述手位置确定单元利用所述更新后的准则模型来重新搜索所述对比图像区域A1，直到找到满足所述预定条件的对比图像区域A1为止。\n[0107] 12.如条目10所述的手追踪装置，其中，每个对比图像区域的代表像素是该对比图像区域的左上角的像素。\n[0108] 13.如条目11所述的手追踪装置，其中，所述手确定单元通过以下处理找出所述对比图像区域A1：\n[0109] 利用所述准则模型或者所述更新后的准则模型计算所述当前帧中的以所述中心像素及其周围的八个像素为代表像素的九个对比图像区域的全局差异度量；\n[0110] 将所述当前帧中的以所述中心像素及其周围的八个像素为代表像素的九个对比图像区域中全局差异度量最小的一个对比图像区域作为所述对比图像区域A1。\n[0111] 14.如条目11所述的手追踪装置，其中，所述中心像素确定单元在所述两个对比图像区域R1和R2的代表像素之间的位置关系是水平或竖直相邻的情况下，\n[0112] 利用所述准则模型或者所述更新后的准则模型计算所述当前帧中的分别以所述两个对比图像区域R1和R2的代表像素之间的两个像素为代表像素的两个对比图像区域RL1和RL2的全局差异度量，其中所述对比图像区域RL1的代表像素与所述对比图像区域R1的代表像素相邻，并且所述对比图像区域RL2的代表像素与所述对比图像区域R2的代表像素相邻；\n[0113] 比较所述对比图像区域R1和RL1的全局差异度量之和SUM1与所述对比图像区域R2和RL2的全局差异度量之和SUM2；\n[0114] 如果SUM1小于SUM2，则将所述对比图像区域R1和RL1中全局差异度量较小的一个对比图像区域的代表像素作为所述中心像素；\n[0115] 如果SUM1不小于SUM2，则将所述对比图像区域R2和RL2中全局差异度量较小的一个对比图像区域的代表像素作为所述中心像素。\n[0116] 15.如条目11所述的手追踪装置，其中，所述中心像素确定单元在所述两个对比图像区域R1和R2的代表像素之间的位置关系是不相邻的情况下，\n[0117] 利用所述准则模型或者所述更新后的准则模型计算以所述对比图像区域R1和R2的代表像素周围的八个像素作为代表像素的共16个对比图像区域RL1至RL16的全局差异度量；\n[0118] 选择所述对比图像区域RL1至RL16以及所述对比图像区域R1和R2中全局差异度量最小的一个对比图像区域的代表像素作为所述中心像素。\n[0119] 16.如条目11所述的手追踪装置，其中，所述中心像素确定单元在所述两个对比图像区域R1和R2的代表像素之间的位置关系是对角线相邻的情况下，\n[0120] 利用所述准则模型或者所述更新后的准则模型计算所述当前帧中的分别以所述两个对比图像区域R1和R2的代表像素之间的两个像素、以及与所述两个对比图像区域R1和R2的代表像素连成的对角线相垂直的对角线上的四个像素为代表像素的六个对比图像区域RLj、RLl、RLk、RLm、RLa、RLb的全局差异度量，其中所述对比图像区域RLj的代表像素与所述对比图像区域R1的代表像素相邻，所述对比图像区域RLm的代表像素与所述对比图像区域R2的代表像素相邻，所述对比图像区域RLl的代表像素与所述对比图像区域RLb的代表像素相邻，并且所述对比图像区域RLk的代表像素与所述对比图像区域RLa的代表像素相邻；\n[0121] 比较所述对比图像区域R1和RLj的全局差异度量之和SUM1、所述对比图像区域R2和RLm的全局差异度量之和SUM2、所述对比图像区域RLl和RLb的全局差异度量之和SUM3、以及所述对比图像区域RLk和RLa的全局差异度量之和SUM4；\n[0122] 选择与SUM1至SUM4中最小的一个相对应的两个对比图像区域中全局差异度量较小的一个对比图像区域的代表像素作为所述中心像素。\n[0123] 17.如条目10所述的手追踪装置，其中，所述局部差异度量是所述当前帧中的对比图像区域与所述前一帧中的手部图像区域中的相同位置的像素值之间的绝对差值之和。\n[0124] 18.如条目11所述的手追踪装置，其中，所述准则模型由以下等式表示：\n[0125] Criteria＝x*SADORI.DIFF+(1-x)SADPREV.DIFF\n[0126] 其中，Criteria表示所述当前帧中任意一个对比图像区域F的全局差异度量，SADORI.DIFF表示所述对比图像区域F与所述初始视频帧中的手部图像区域中的相同位置的像素值之间的绝对差值之和，SADPREV.DIFF表示所述对比图像区域F与所述前一帧中的手部图像区域之间的相同位置的像素值的绝对差值之和，x是小于1的正数，所述准则模型更新单元通过改变x的取值来更新所述准则模型。