基于方向运动历史图及竞争机制的手挥运动方向判定方法

1.一种基于方向运动历史图及竞争机制的手挥运动方向判定方法，其特征在于，包括以下步骤：
A1、从视频流中获取当前运动图像，建立肤色概率模型，作为手挥过程中手肤色提取的依据，在HSV颜色空间，统计大量肤色与非肤色信息，建立归一化的H-S肤色直方图，用于后续视频帧图像的肤色分割，肤色提取的阈值概率设定为0.85，当前帧的肤色概率图x、y表示像素位置，t表示时间；获取当前视频运动图像的
三幅帧差图像，将肤色概率图与帧差结果相乘后的数据经中值滤波器进行滤波，得到当前的手势区域灰度图
A2、计算手势区域灰度图 的光流矢量场F(x，y，t)后，首先将其分解
成水平和垂直两个标量场Fx(x，y，t)，Fy(x，y，t)，然后进行半波整流，进一步分解成四个非负通道并进行高斯平滑和归一化，最终得到四个光流方向区域灰度图
其中
A3、根据步骤A2中的四个光流方向图，分别计算四个方向运动历史图，
其中
为各个方向当前的手势运动历史图 (MHI)，
为当前的光流方向区域灰度图，τ为描述运动的时
间范围的参数，一般可以取间隔帧数，δ为手势运动历史图衰减参数，可以设置为5，ξx+、ξx-、ξy+、ξy-为各方向手势区域图二值化阈值，可以视实际效果设置为整数值集合{5，6，
7，8，9，10}中某一个元素值；通过获取四个方向的运动历史图，可以有效克服运动覆盖问题；
A4、根据手势运动历史图，获得四个方向运动能量图：
其中Eτ(x，y，t)为运动
能量图，τ为描述运动的时间范围的参数，x，y分别为运动能量图的横纵坐标，t为时刻；
A5、计算每帧图像的运动方向并编码： 其中Sx+＝
size[Ex+(x，y，t)＞0]，Sx-＝size[Ex-(x，y，t)＞0]，Sy+＝size[Ey+(x，y，t)＞0]，Sy-＝size[Ey-(x，y，t)＞0]，其中，size[Ex+(x，y，t)、size[Ex-(x，y，t)＞0]、size[Ey+(x，y，t)＞
0]以及size[Ey-(x，y，t)＞0]分别表示各方向已知运动的时间范围的参数τ的情况下的运动能量图大小；若Sx+-Sx-＝0， 或 具体值根据Sy+-Sy-大于或小于0
进行判断，若valy+-valy-也为0，则判定当前未动，编码为-1；其它情况时将根据计算得到的angle，将其值根据需要进行划分并编码，进行“上、下、左、右”四个方向判断；将(-50°，
50°)编码为“0”，(50°，140°)编码为“1”，(140°，230°)为“2”，(230°，310°)为“3”，不在这些区间的值，赋值为“-1”；分析一段手势运动视频，对每帧都进行上述计算并进行方向编码，从而得到运动方向编码序列O(o1，o2，…oN)，其中oi∈{-1，0，1，2，3}，i＝1…N，N是有效编码序列长度；
A6、判定整个运动序列的运动方向；为克服运动噪声，将此运动方向编码序列中的每个编码依次送入竞争器进行竞争投票，最终溢出的编码对应的方向就是本次手势挥动对应的运动方向；具体来说：首先建立4个小格，并标记0，1，2，3分别对应各个运动方向编码，同时设置票数极值Vmax及票数溢出阈值Vth；每个进入的方向编码将使其对应的小格加1，而使其它小格减1；每小格票数一直增长直到Vmax，而任一时刻，其票数达到了Vth，则就会溢出该小格对应的标号。
2.根据权利要求1所述的方法，其特征在于，所述步骤A6中，设置Vth＝6，Vmax＝8。
3.根据权利要求1所述的方法，其特征在于，所述步骤A1中，帧差的计算方法为：
其 中 f(x，y，t)表 示
当前帧图像，t表示时间，x，y表示像素位置，符号||表示取绝对值，函数min表示取最小值；为服噪声和光线变化，可设置一自适应阈值
这里的 和 表示取 的最大和最小值，则最终计算帧差为
最后根据肤色概率图Skin(x，y，t)和帧差图
可得手势区域灰度图 其中符号×表示相乘。
4.根据权利要求1所述的方法，其特征在于，所述步骤A5中计算每帧图像运动方向并编码，也可以采用比较大小并直接编码的方法来进行，即oi＝code(max(Sx+，Sx-，Sy+，Sy-))，其中code(Sx+)为“0”，code(Sx-)为“1”，code(Sy+)为“2”，code(Sy+)为“3”。
5.根据权利要求1所述的方法，其特征在于，所述步骤A6中，得到运动方向编码序列后，判定整个序列最终运动方向，可以通过隐马尔科夫模型进行方向推定。

基于方向运动历史图及竞争机制的手挥运动方向判定方法\n技术领域\n[0001] 本发明涉及计算机视觉手势识别技术领域，尤其涉及的是一种基于方向运动历史图及竞争机制的手挥运动方向判定方法。\n背景技术\n[0002] 手势交互是一种自然、直观的人机交互方式，将手势直接作为计算机的输入，人机间的通讯将不再需要媒介。手势识别是手势交互的技术基础，视觉手势识别由于其简单易行，目前是手势识别技术的主流。\n[0003] 视觉手势识别虽然是手势识别的主要发展方向，但是还存在很多问题，比如易受背景变化、光照变化、运动噪声的影响，手本身也容易发生非刚体变形，手势中有很多冗余不必要的信息等。如何克服手势识别中这些技术困难，使其能充分应用以改变未来人机交互模式，是手势交互技术的关键问题。\n[0004] 视觉手势识别一般通过摄像头采集手势视频流数据。目前，视频摄像头分为2D摄像头和3D摄像头。3D摄像头获得的是手势的三维信息，比如微软推出的kinect就可以采集3D手势信息，但是其成本贵不利于普及。因此研发基于廉价的USB 2D摄像头的手势识别技术，具有积极意义\n[0005] 但是由于手是非刚体物体，且手势跟踪一般基于肤色进行，导致这种基于跟踪的方法不稳定，易受环境光照、及背景色的干扰，无法形成正确的跟踪轨迹。\n[0006] 目前，也出现了利用运动历史图来进行手势运动方向判定的方法。这种方法首先利用帧差法生成手挥运动历史图，然后计算其梯度向量来获取运动方向。这种方法的主要问题是：无法克服手挥动时的运动覆盖问题；容易受运动噪声的影响，导致方向判断及其不稳定。\n[0007] 通过手上下左右挥动来直接控制菜单或调节某些功能，是手势交互的一种快速广泛的应用模式。此时，正确判定手上下左右运动的方向将是该种手势交互的技术基础。\n[0008] 现有的手势运动方向判定主要是基于手势运动跟踪，通过跟踪手势，计算手位移距离从而判定其运动方向的方法。\n[0009] 1、方向判定依赖于手势跟踪的效果，而跟踪易受光照变化、人脸肤色及手变形的影响，效果差，不稳定；\n[0010] 2、跟踪算法复杂，速度慢，不能快速判定手挥方向。\n[0011] 利用运动历史图来进行手势运动方向判定的方法。这种方法首先利用背景差或帧差法生成运动历史图，然后计算其梯度向量来获取运动方向，优点是速度快。\n[0012] 1、无法克服手挥动时的运动覆盖问题；\n[0013] 2、容易受运动噪声的影响，导致方向判断不准确。\n发明内容\n[0014] 本发明所要解决的技术问题是针对现有技术的不足提供一种基于方向运动历史图及竞争机制的手挥运动方向判定方法。\n[0015] 本发明的技术方案如下：\n[0016] 一种基于方向运动历史图及竞争机制的手挥运动方向判定方法，包括以下步骤：\n[0017] A1、从视频流中获取当前运动图像，建立肤色概率模型，作为手挥过程中手肤色提取的依据，在HSV颜色空间，统计大量肤色与非肤色信息，建立归一化的H-S肤色直方图，用于后续视频帧图像的肤色分割，肤色提取的阈值概率设定为0.85，当前帧的肤色概率图x、y表示像素位置，t表示时间；获取当前视频运动图像的\n三幅帧差图像，将肤色概率图与帧差结果相乘后的数据经中值滤波器进行滤波，得到当前的手势区域灰度图\n[0018] A2、计算手势区域灰度图 的光流矢量场F(x，y，t)后，首先将其分\n解成水平和垂直两个标量场Fx(x，y，t)，Fy(x，y，t)，然后进行半波整流，进一步分解成四个非负通道并进行高斯平滑和归一化，最终得到四个光流方向区域灰度图\n其中\n[0019] A3、根据步骤A2中的四个光流方向图，分别计算四个方向运动历史图，\n[0020] \n[0021] \n[0022] \n[0023] 其中\n为各个方向当前的手势运动历史\n图(MHI)， 为当前的光流方向区域灰度图，τ为描述\n运动的时间范围的参数，一般可以取间隔帧数，δ为手势运动历史图衰减参数，可以设置为\n5，ξx+、ξx-、ξy+、ξy-为各方向手势区域图二值化阈值，可以视实际效果设置为整数值集合{5，6，7，8，9，10}中某一个元素值；通过获取四个方向的运动历史图，可以有效克服运动覆盖问题；\n[0024] A4、根据手势运动历史图，获得四个方向运动能量图：\n[0025] \n其中Eτ(x，y，t)为运动\n能量图，τ为描述运动的时间范围的参数，x，y分别为运动能量图的横纵坐标，t为时刻；\n[0026] A5、计算每帧图像的运动方向并编码： 其中Sx+＝\nsize[Ex+(x，y，t)＞0]，Sx-＝size[Ex-(x，y，t)＞0]，Sy+＝size[Ey+(x，y，t)＞0]，Sy-＝size[Ey-(x，y，t)＞0]，其中，size[Ex+(x，y，t)，t、size[Ex-(x，y，t)＞0]、size[Ey+(x，y，t)＞0]以及size[Ey-(x，y，t)＞0]分别表示各方向已知运动的时间范围的参数τ的情况下的运动能量图大小；若Sx+-Sx-＝0， 或 具体值根据Sy+-Sy-大于\n或小于0进行判断，若valy+-valy-也为0，则判定当前未动，编码为-1；其它情况时将根据计算得到的angle，将其值根据需要进行划分并编码，进行“上、下、左、右”四个方向判断；\n将(-50°，50°)编码为“0”，(50°，140°)编码为“1”，(140°，230°)为“2”，(230°，\n310°)为“3”，不在这些区间的值，赋值为“-1”；分析一段手势运动视频，对每帧都进行上述计算并进行方向编码，从而得到运动方向编码序列O(o1，o2，…oN)，其中oi∈{-1，0，1，\n2，3}，i＝1…N，N是有效编码序列长度；\n[0027] A6、判定整个运动序列的运动方向；为克服运动噪声，将此运动方向编码序列中的每个编码依次送入竞争器进行竞争投票，最终溢出(获胜)的编码对应的方向就是本次手势挥动对应的运动方向；具体来说：首先建立4个小格，并标记0，1，2，3分别对应各个运动方向编码，同时设置票数极值Vmax及票数溢出阈值Vth；每个进入的方向编码将使其对应的小格加1，而使其它小格减1；每小格票数一直增长直到Vmax，而任一时刻，其票数达到了Vth，则就会溢出该小格对应的标号。\n[0028] 所述的方法，所述步骤A6中，设置Vth＝6，Vmax＝8。\n[0029] 所述的方法，所述步骤 A1 中，帧差的计算方法为：\n其中f(x，y，t)表示当前\n帧图像，t表示时间，x，y表示像素位置(下同)，符号||表示取绝对值，函数min表示取最小值；为服噪声和光线变化，可设置一自适应阈值\n这里的 和 表示取 的最大和最小值，则最终计算帧差为\n最后根据肤色概率图Skin(x，y，t)和帧差图\n可得手势区域灰度图 其中符号×表示相乘。\n[0030] 所述的方法，所述步骤A5中计算每帧图像运动方向并编码，也可以采用比较大小并直接编码的方法来进行，即oi＝code(max(Sx+，Sx-，Sy+，Sy-))，其中code(Sx+)为“0”，code(Sx-)为“1”，code(Sy+)为“2”，code(Sy+)为“3”。\n[0031] 所述的方法，所述步骤A6中，得到运动方向编码序列后，判定整个序列最终运动方向，可以通过隐马尔科夫模型进行方向推定。\n[0032] 本发明具有以下有益效果：\n[0033] 1、由于采用帧差和肤色联合提取感兴趣区域，将减少背景和人脸肤色的干扰。；\n[0034] 2、由于采用四个方向运动历史图和能量图以方向统计的方式来计算整体运动方向，可以有效克服运动覆盖问题。\n[0035] 3。由于采用了动作竞争机制确定运动方向，可大大降低动作噪声的影响，提高运动方向判定的准确性和稳定性。\n附图说明\n[0036] 图1为本发明方法流程图；\n[0037] 图2是实施例1中竞争投票胜出确定整体运动方向的方法的示意图。\n具体实施方式\n[0038] 以下结合具体实施例，对本发明进行详细说明。\n[0039] 实施例1\n[0040] 参考图1，基于方向运动历史图及竞争机制的手挥运动方向判定方法，包括以下步骤：\n[0041] A1、从视频流中获取当前运动图像，建立肤色概率模型，作为手挥过程中手肤色提取的依据，在HSV颜色空间，统计大量肤色与非肤色信息，建立归一化的H-S肤色直方图，用于后续视频帧图像的肤色分割，肤色提取的阈值概率设定为0.85，当前帧的的肤色概率图x、y表示像素位置，t表示时间。获取当前视频运动图像\n的三副帧差图像，将肤色概率图与帧差结果相乘后的数据经中值滤波器进行滤波，得到当前的手势区域灰度图\n[0042] 帧差的计算方法为：\n其中f(x，y，t)表示当前\n帧图像，t表示时间，x，y表示像素位置(下同)，符号||表示取绝对值，函数min表示取最小值。为服噪声和光线变化，可设置一自适应阈值\n这里的 和 表示取 的最大和最小值，则最终计算帧差为\n最后根据肤色概率图Skin(x，y，t)和帧差图\n可得手势区域灰度图 其中符号×表示相乘。\n[0043] A2、计算手势区域灰度图 的光流矢量场F(x，y，t)后，首先将其分\n解成水平和垂直两个标量场Fx(x，y，t)，Fy(x，y，t)，然后进行半波整流，进一步分解成四个非负通道并进行高斯平滑和归一化，最终得到四个光流方向区域灰度图\n其中\n[0044] A3、根据上面四个光流方向图，分别计算四个方向运动历史图，\n[0045] \n[0046] \n[0047] \n[0048] 其中\n为各个方向当前的手势运动历史\n图(MHI)， 为当前的光流方向区域灰度图，τ为描述\n运动的时间范围的参数，一般可取间隔帧数，δ为手势运动历史图衰减参数，可设置为5，ξx+、ξx-、ξy+、ξy-为各方向手势区域图二值化阈值，可视实际效果设置为5-10；通过获取四个方向的运动历史图，可有效克服运动覆盖问题。\n[0049] A4、根据手势运动历史图，获得四个方向运动能量图(MEI)：\n[0050] \n其中Eτ(x，y，t)为运动能\n量图，τ为描述运动的时间范围的参数，x，y分别为运动能量图的横纵坐标，t为时刻；\n[0051] A5、计算每帧图像的运动方向并编码： 其中Sx+＝\nsize[Ex+(x，y，t)＞0]，Sx-＝size[Ex-(x，y，t)＞0]，Sy+＝size[Ey+(x，y，t)＞0]，Sy-＝size[Ey-(x，y，t)＞0]，其中，size[Ex+(x，y，t)、size[Ex-(x，y，t)＞0]、size[Ey+(x，y，t)＞0]以及size[Ey-(x，y，t)＞0]分别表示各方向已知运动的时间范围的参数τ的情况下的运动能量图大小；若Sx+-Sx-＝0， 或 具体值根据Sy+-Sy-大于或\n小于0进行判断，若valy+-valy-也为0，则判定当前未动，编码为-1；其它情况时将根据计算得到的angle，将其值根据需要进行划分并编码，进行“上、下、左、右”四个方向判断。将(-50°，50°)编码为“0”，(50°，140°)编码为“1”，(140°，230°)为“2”，(230°，\n310°)为“3”，不在这些区间的值，赋值为“-1”。分析一段手势运动视频，对每帧都进行上述计算并进行方向编码，从而得到运动方向编码序列O(o1，o2，…oN)，其中oi∈{-1，0，1，\n2，3}，i＝1…N，N是有效编码序列长度；\n[0052] A6、判定整个运动序列的运动方向。如图2所示，为克服运动噪声，将此运动方向编码序列中的每个编码依次送入竞争器进行竞争投票，最终溢出(获胜)的编码对应的方向就是本次手势挥动对应的运动方向。具体来说：首先建立4个小格，并标记0，1，2，3分别对应各个运动方向编码，同时设置票数极值Vmax及票数溢出阈值Vth；每个进入的方向编码将使其对应的小格加1，而使其它小格减1。每小格票数一直增长直到Vmax，而任一时刻，其票数达到了Vth，则就会溢出该小格对应的标号。通过这种竞争机制，可以有效克服运动噪声，提高运动方向识别的准确性和稳定性。根据经验可设置Vth＝6，Vmax＝8。\n[0053] 实施例2\n[0054] 与实施例1不同的是：\n[0055] A5，计算每帧图像运动方向并编码，也可采用比较大小并直接编码的方法来进行，即oi＝code(max(Sx+，Sx-，Sy+，Sy-))，其中code(Sx+)为“0”，code(Sx-)为“1”，code(Sy+)为“2”，code(Sy+)为“3”。\n[0056] 实施例3\n[0057] 与实施例1不同的是：\n[0058] A6：得到运动方向编码序列后，判定整个序列最终运动方向，可通过隐马尔科夫模型进行方向推定。\n[0059] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。