一种3D手势识别方法

1.一种3D手势识别方法，其特征在于包括以下步骤：
步骤一，从图像输入设备获取RGB图像和深度图像作为训练样本；
步骤二，通过设定自适应动态深度阈值进行人手的检测和分割；
步骤三，通过图像形态学操作去掉手臂，获取手掌中心位置；
步骤四，通过边缘提取得到手势轮廓，并利用时间序列曲线描述手势轮廓；
步骤五，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，在时间序列曲线的对应位置上进行曲线的分割，并对手指的时间序列曲线进行特定的组合得到手指描述器特征向量；
步骤六，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵；
步骤七，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征向量；
步骤八，将步骤七得到的手指描述器特征向量，与步骤六中得到的特征矩阵进行图像到类的动态时间规整分类处理，最后得到手势识别结果；
所述步骤二中，通过假设手为最前方的物体，设定自适应动态阈值：具体是利用二值化的方法通过自适应动态阈值分隔人手和背景，得到二值化的手势图。
2.根据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤三中，通过图像形态学操作去掉手臂，获取手掌中心位置，具体是检测出手臂轮廓，选择其上的极小值点作为手腕位置，去掉手腕以下的部分，对剩下的图像作腐蚀、膨胀去掉手指得到手掌，计算手掌几何中心。
3.根据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤四中，通过边缘提取得到手势轮廓，具体是以手掌几何中心位置，手掌外接圆为半径画圆，覆盖二值图中的手掌，得到手势二值图，对手势二值图提取边缘，得到手势轮廓图。
4.根据权利要求1到3任意一项所述的一种3D手势识别方法，其特征在于：所述步骤四中，利用时间序列曲线描述手势轮廓，具体是通过对轮廓顶点的角度和距离的计算获得数据中蕴含的与形状相关的有用信息，并描绘成时间序列曲线，实现形状特征的提取。
5.根据权利要求4所述的一种3D手势识别方法，其特征在于：所述步骤五中，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，实现对时间序列曲线的分割，具体是通过对手势轮廓进行多边形估计，再检测出多边形的凹凸点，凸点为指尖，凹点为手指连接点，最后对检测到的凹凸点进行滤波，得到指尖位置及手指连接点位置，将这些位置对应到时间序列曲线上，实现对曲线的分割。
6.根据权利要求5所述的一种3D手势识别方法，其特征在于：所述步骤五中，所述手指的时间序列曲线进行特定的组合得到手指描述器，具体是将曲线分割得到的手指曲线段进行特定的组合得到手指描述器特征向量。
7.根据权利要求6所述的一种3D手势识别方法，其特征在于：所述步骤六中，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵，所述手指描述器特征矩阵由该类所有训练样本的手指描述器特征向量组成。
8.根据权利要求7所述的一种3D手势识别方法，其特征在于：所述步骤七中，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征向量。
9.根据权利要求8所述的一种3D手势识别方法，其特征在于：所述步骤八中，图像到类的动态时间规整分类处理，具体是对测试样本和训练样本进行图像到类的动态时间规整计算，得到测试样本与各类训练样本的相似度，选择相似度最大的，即是类的动态时间规整路径最短的作为测试样本的手势类型。

一种3D手势识别方法\n技术领域\n[0001] 本发明涉及计算机视觉和人机交互领域，具体涉及一种3D手势识别方法。\n背景技术\n[0002] 随着计算机技术的发展，人机交互已成为了人们生活中不可或缺的部分，但大部分交互都是基于鼠标、键盘、手持设备及窗口界面的二维交互技术，如何让交互变得更加自然近年来成为研究热题。手势作为人类交互的主要手段之一，历史甚至早于有声语言，所以使用手势作为人机交互会更为友好、方便、简洁、直观，很自然成为传统人机交互的一种扩充。要识别手势首先要感知，现有三种感知手势的传感装置：基于手持设备的传感装置，比如微软的数字手势环、红外手势感知系统；基于触摸的传感装置，比如iPhone；基于视觉的传感装置，比如TOF摄像机、Kinect。\n发明内容\n[0003] 本发明的目的在于提供一种3D手势识别方法，解决现有的人机交互方法不够方便快捷，以及在复杂的环境下无法实现的问题。\n[0004] 为解决上述的技术问题，本发明采用以下技术方案：\n[0005] 一种3D手势识别方法，包括以下步骤：\n[0006] 步骤一，从图像输入设备获取RGB图像和深度图像作为训练样本；\n[0007] 步骤二，通过设定自适应动态深度阈值进行人手的检测和分割；\n[0008] 步骤三，通过图像形态学操作去掉手臂，获取手掌中心位置；\n[0009] 步骤四，通过边缘提取得到手势轮廓，并利用时间序列曲线描述手势轮廓；\n[0010] 步骤五，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，在时间序列曲线的对应位置上进行曲线的分割，并对手指的时间序列曲线进行特定的组合得到手指描述器特征向量；\n[0011] 步骤六，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵；\n[0012] 步骤七，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征矩阵；\n[0013] 步骤八，将步骤七得到的手指描述器特征向量，与步骤六中得到的特征矩阵进行图像到类的动态时间规整分类处理，最后得到手势识别结果。\n[0014] 更进一步的技术方案是，所述步骤二中，通过假设手为最前方的物体，设定自适应动态阈值：具体是利用二值化的方法通过自适应动态阈值分隔人手和背景，得到二值化的手势图。\n[0015] 更进一步的技术方案是，所述步骤三中，通过图像形态学操作去掉手臂，获取手掌中心位置，具体是检测出手臂轮廓，选择其上的极小值点作为手腕位置，去掉手腕以下的部分，对剩下的图像作腐蚀、膨胀去掉手指得到手掌，计算手掌几何中心。\n[0016] 更进一步的技术方案是，所述步骤四中，通过边缘提取得到手势轮廓，具体是以手掌几何中心位置，手掌外接圆为半径画圆，覆盖二值图中的手掌，得到手势二值图，对手势二值图提取边缘，得到手势轮廓图。\n[0017] 更进一步的技术方案是，所述步骤四中，利用时间序列曲线描述手势轮廓，具体是通过对轮廓顶点的角度和距离的计算获得数据中蕴含的与形状相关的有用信息，并描绘成时间序列曲线，实现形状特征的提取。例如手掌中心点为P0，轮廓初始点为P1，轮廓顶点为Pi(i＝2,...,n)，则可得角度∠P1P0Pi=,(i＝2,...,n)，角度做360°的归一化后作为时间序列曲线的横坐标；轮廓顶点与手掌中心点的欧氏距离|P0Pi|作为时间序列曲线的纵坐标，利用公式|P0Pi|=|P0Pi|/max{|P0P1|,|P0P2|,...,|P0Pn|}对距离作归一化，得到能过描述手势轮廓的时间序列曲线。\n[0018] 更进一步的技术方案是，所述步骤五中，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，实现对时间序列曲线的分割，具体是通过对手势轮廓进行多边形估计，再检测出多边形的凹凸点，凸点为指尖，凹点为手指连接点，最后对检测到的凹凸点进行滤波，得到指尖位置及手指连接点位置，将这些位置对应到时间序列曲线上，实现对曲线的分割。例如具体是通过使用OpenCV中函数得到多边形估计，检测出多边形的凹凸点，凸点为指尖，凹点为手指连接点，凹凸点检测可以使用OpenCV中和函数，对检测到的凹凸点进行滤波，将y坐标值在中心点以下的凹凸点全部滤掉，实现对手指的分割。\n[0019] 更进一步的技术方案是，所述步骤五中，所述手指的时间序列曲线进行特定的组合得到手指描述器，具体是将曲线分割得到的手指曲线段进行特定的组合得到手指描述器特征向量。所述手指描述器特征向量如下：f=[f1,f2,...fs,...fS]，\n[0020] 其中s的值为\n[0021] s={1,2,...k,12,23,...(k-1)k,123,234,...,(k-2)(k-1)k,...123...k}，[0022] k∈{1,2,...K}，K是所有手势中包含的最多手指个数。\n[0023] 更进一步的技术方案是，所述步骤六中，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵，所述手指描述器特征矩阵由该类所有训练样本的手指描述器特征向量组成。所述手指描述器特征向量组成的矩阵 其\n中c表示手势的某一类，Gc是一个Nc×Mc的矩阵，fc,n是c类手势的第n个训练样本，Nc为训练样本数，Mc为c类手势手指描述器的总数，随c而变化。\n[0024] 更进一步的技术方案是，所述步骤七中，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征向量。得到手指描述器特征向量ftest=[f1',f2',...fs',...fS']。\n[0025] 更进一步的技术方案是，所述步骤八中，图像到类的动态时间规整分类处理，具体是对测试样本和训练样本进行图像到类的动态时间规整计算，得到测试样本与各类训练样本的相似度，选择相似度最大的，即是类的动态时间规整路径最短的作为测试样本的手势类型。\n[0026] 具体是对测试数据和训练样本进行动态时间规整计算：\n[0027]\n[0028] 其中，DTW(fc,n,s,fs')表示fc,n,s与fs'之间的最短规整路径，fc,n,s是fc,n中的一种手指组合，最后选择最小的I2C-DTW(Gc,ftest)作为测试数据对应的手势类型，即手势识别结果。\n[0029] 与现有技术相比，本发明的有益效果是：\n[0030] 本发明通过用户的手势信息与计算机进行交互，就是以用户的手部轮廓信息作为传统的键盘鼠标交互方式的补充，来丰富人机交互的方式。它仅通过Kinect实时获取含有用户手部的图像，在计算机中进行手部信息的分析，并将分析结果转化为应用程序的控制指令，实现与计算机的自然交互，有效扩展了传统的人机交互方式，在识别率上也有很大的提高，能达到99%的识别率。\n附图说明\n[0031] 图1为本发明一种3D手势识别方法的整体流程和实例示意图。\n[0032] 图2为本发明一种3D手势识别方法的人手检测分割、手势轮廓提取及其特征提取示意图。\n[0033] 图3为本发明一种3D手势识别方法一个实施例中一个训练样本手指描述器特征矩阵。\n[0034] 图4为本发明一种3D手势识别方法一个实施例中一个测试数据手指描述器特征向量。\n具体实施方式\n[0035] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。\n[0036] 图1示出了本发明一种3D手势识别方法的一个实施例，图1的中部为框图，两侧为具体实例：一种3D手势识别方法，包括以下步骤：\n[0037] 步骤一，从图像输入设备获取RGB图像和深度图像作为训练样本；\n[0038] 步骤二，通过设定自适应动态深度阈值进行人手的检测和分割；\n[0039] 步骤三，通过图像形态学操作去掉手臂，获取手掌中心位置；\n[0040] 步骤四，通过边缘提取得到手势轮廓，并利用时间序列曲线描述手势轮廓；\n[0041] 步骤五，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，在时间序列曲线的对应位置上进行曲线的分割，并对手指的时间序列曲线进行特定的组合得到手指描述器特征向量；\n[0042] 步骤六，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵；\n[0043] 步骤七，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征矩阵；\n[0044] 步骤八，将步骤七得到的手指描述器特征向量，与步骤六中得到的特征矩阵进行图像到类的动态时间规整（Image-to-Class Dynamic Time Warping,I2C-DTW）分类处理，最后得到手势识别结果。\n[0045] 根据本发明一种3D手势识别方法的一个优选实施例，所述步骤二中，通过假设手为最前方的物体，设定自适应动态阈值：具体是利用二值化的方法通过自适应动态阈值分隔人手和背景，得到二值化的手势图，如图2（a）所示。所述动态阈值即是通过彩色图像上的人脸检测得到人脸坐标后，对应到深度图像上得到人脸的平均深度值，自此将人的身体和背景分离，再使用Otsu自适应阈值分割算法得到的。\n[0046] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤三中，通过图像形态学操作去掉手臂，获取手掌中心位置，具体是如图2（b）所示，检测出手臂轮廓，选择其上的极小值点作为手腕位置，去掉手腕以下的部分，对剩下的图像作腐蚀、膨胀去掉手指得到手掌，计算手掌几何中心。\n[0047] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤四中，通过边缘提取得到手势轮廓，具体是以手掌几何中心位置，手掌外接圆为半径画圆，覆盖二值图中的手掌，得到手势二值图，如图2（c），对手势二值图提取边缘，得到手势轮廓图，如图2(d)。\n[0048] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤四中，利用时间序列曲线描述手势轮廓，具体是通过对轮廓顶点的角度和距离的计算获得数据中蕴含的与形状相关的有用信息，并描绘成时间序列曲线，实现形状特征的提取。例如手掌中心点为P0，轮廓初始点为P1，轮廓顶点为Pi(i=2,...,n)，则可得角度∠P1P0Pi=,(i=\n2,...,n)，角度做360°的归一化后作为时间序列曲线的横坐标；轮廓顶点与手掌中心点的欧氏距离|P0Pi|作为时间序列曲线的纵坐标，利用公式|P0Pi|=|P0Pi|/max{|P0P1|,|P0P2|,...,|P0Pn|}对距离作归一化，得到能过描述手势轮廓的时间序列曲线，如图2（e）。所述时间序列曲线由手势轮廓转换而来，以获得数据中蕴含的与形状相关的有用信息，实现形状特征的提取。\n[0049] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤五中，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，实现对时间序列曲线的分割，具体是通过对手势轮廓进行多边形估计，再检测出多边形的凹凸点，凸点为指尖，凹点为手指连接点，最后对检测到的凹凸点进行滤波，得到指尖位置及手指连接点位置，将这些位置对应到时间序列曲线上，实现对曲线的分割。例如具体是通过使用OpenCV中函数得到多边形估计，检测出多边形的凹凸点，凸点为指尖，凹点为手指连接点，凹凸点检测可以使用OpenCV中和函数，对检测到的凹凸点进行滤波，将y坐标值在中心点以下的凹凸点全部滤掉，实现对手指的分割。\n[0050] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤五中，所述手指的时间序列曲线进行特定的组合得到手指描述器，具体是将曲线分割得到的手指曲线段进行特定的组合得到手指描述器特征向量。所述手指描述器特征向量如下：f=[f1,f2,...fs,...fS]，\n[0051] 其中s的值为\n[0052] s={1,2,...k,12,23,...(k-1)k,123,234,...,(k-2)(k-1)k,...123...k}，[0053] k∈{1,2,...K}，K是所有手势中包含的最多手指个数。\n[0054] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤六中，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵，所述手指描述器特征矩阵由该类所有训练样本的手指描述器特征向量组成。所述手指描述器特征向量组成的矩阵其中c表示手势的某一类，Gc是一个Nc×Mc的矩阵，fc,n\n是c类手势的第n个训练样本，Nc为训练样本数，Mc为c类手势手指描述器的总数，随c而变化。\n[0055] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤七中，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征向量。得到手指描述器特征向量ftest=[f1',f2',...fs',...fS']，如图4所示。\n[0056] 根据本发明一种3D手势识别方法的另一个优选实施例，所述步骤八中，图像到类的动态时间规整分类处理，具体是对测试样本和训练样本进行图像到类的动态时间规整计算，得到测试样本与各类训练样本的相似度，选择相似度最大的，即是类的动态时间规整路径最短的作为测试样本的手势类型。\n[0057] 具体是对测试数据和训练样本进行动态时间规整计算：\n[0058]\n[0059] 其中，DTW(fc,n,s,fs')表示fc,n,s与fs'之间的最短规整路径，fc,n,s是fc,n中的一种手指组合，最后选择最小的I2C-DTW(Gc,ftest)作为测试数据对应的手势类型，即手势识别结果。\n[0060] 另外，所述动态阈值的计算方法是：检测深度图片中灰度值最小的前k个点灰度值ri(i=1,2,...,k)，除去灰度值为0～10的噪声点，本专利中k=100，则动态阈值其中ρ为实验估计值，根据具体情况用户可以更改。\n[0061] 在上述各实施例中，所述RGB图像可以是彩色图；所述深度图像可以是灰度图，它表示物体离图像输入设备的距离，灰度值越大距离越远，灰度值与距离的关系根据具体图像输入设备而定。\n[0062] 本发明包括人手检测与人手识别技术及一个综合利用两种技术的完整系统，两种技术及其综合应用系统都能在自然复杂背景下达到实时稳定的效果。人手检测将深度信息和彩色信息结合，利用人手的特殊性，能准确的检测到手和手腕，将手分割出来获取图像中手的位置。基于图像到类的动态时间规整算法创造性的融合了图像到类的匹配算法和时间动态规整算法，可以准确得到每一帧图像里手势的状态，包括手指的个数，位置，指尖角度。\n两种技术相结合可以构造一个人机手势交互系统。本发明可广泛应用于智能家居，健康医疗，教育，计算机游戏等方面。