一种基于深度信息的手势识别方法

1.一种基于深度信息的手势识别方法，其特征在于该方法包括以下步骤：
步骤1：从可输出深度信息的双目摄像机中获取实时的深度图像，对深度图像使用混合高斯的背景建模方法获得背景图像，混合高斯采用三个高斯核；
步骤2：利用背景图像和当前图像作差分，检测出前景区域；
步骤3：利用双背景更新方法对建立的背景图像进行更新；
步骤4：通过统计方法学习人体形态的模型，并根据人体模型对检测出的区域进行分割，以提取出独立的人体区域；具体是：收集人体样本，采用随机森林分类器学习出人体形态的模型；
在实时处理时，首先对前景区域进行垂直投影，得到投影直方图；统计投影直方图，估计出人体的数目和位置；
然后利用该位置和数目作为初始，基于人体形态的模型、占用前景的概率和未占用前景的概率作为约束，利用马尔科夫链蒙特卡洛方法搜索出最优的人体数目和位置，以确定独立的人体区域；
步骤5：通过统计方法学习手部模型的分类器，在每个独立的人体区域上检测出手部区域、轮廓信息；若能够检测出手部区域，则执行步骤6，若检测不到手部区域，则跳转至步骤1；
其中检测手部区域的具体是：
设待定位的手部自然伸展且位于身体之前，因此在深度图像上手部的视差大于身体且在已知的范围内，通过收集人体样本，并获取对应的深度图，采用随机森林分类器学习出人体与手部视差的分布概率以用于从深度图上分割出手部区域；
步骤6：通过手部的运动状态利用自回归模型对手部运动进行预测，基于预测位置，以手部区域的深度信息为特征，利用面积加权均值偏移方法跟踪手部，获取手部跟踪的运动轨迹；
所述的自回归模型采用三次恒加速多项式，利用该模型对手势运动进行预测，基于预测的位置进行跟踪搜索出最佳位置，并更新目标轨迹，以修正预测误差；
步骤7：利用隐马尔科夫模型对运动轨迹进行建模，从而识别出手势；
所述的手势包括水平方向的单手运动、水平方向的双手运动、垂直方向的双手运动和单个阿拉伯数字单手绘制运动。
2.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：根据手臂与手的连贯性和人体的对称性可定位出左右手的位置，且有效滤除其它接近的运动物体或其它人体的手部。
3.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：所述的隐马尔科夫模型建立过程中采用Baum-Welch算法进行训练，模型中状态的长度为5。

一种基于深度信息的手势识别方法\n技术领域\n[0001] 本发明属于人机交互技术领域，涉及一种基于深度信息的手势识别方法。\n背景技术\n[0002] 近年来手势识别技术取得了快速的发展。基于单摄像机的手势识别、基于双摄像机的手势识、微软的kinect手势识别已相继出现在家电控制、游戏控制等应用领域，然而在实际应用环境和用户体验上均存在着一定的问题，主要表现在：\n[0003] 单摄像机下存在的多人体或手势出现遮挡时，手部无法准确定位，导致识别率较低；如专利《基于视觉的静态手势识别方法》、《互动系统中的动态手势识别方法》等；\n[0004] 单摄像机与双摄像机下的方法主要以人体的肤色、大小和运动等信息作为主要特征，使用时操作距离、手部颜色等受到限制；如专利《一种头戴式立体视觉手势识别装置》；\n[0005] 微软的kinect不能适应光照的变化，户外的阳光照射和室内的开关灯均会存在干扰，仅应用于光源稳定的室内场景。\n发明内容\n[0006] 本发明的目的是克服现有技术的不足，提供一种基于深度信息的非接触式手势识别方法，使识别率不受距离、肤色、遮挡、光照、运动等因素的影响，能够适应复杂多变的应用环境。\n[0007] 本发明解决技术问题所采取的技术方案：\n[0008] 步骤1：从可输出深度信息的双目摄像机中获取实时的深度图像，对深度图像使用混合高斯的背景建模方法获得背景图像。\n[0009] 步骤2：利用背景图像和当前图像作差分，检测出前景区域。\n[0010] 步骤3：利用双背景更新方法对建立的背景图像进行更新。\n[0011] 步骤4：通过统计方法学习人体形态的模型，并根据人体模型对检测出的区域进行分割，以提取出独立的人体区域。\n[0012] 步骤5：通过统计方法学习手部模型的分类器，在每个独立的人体区域上检测出手部区域、轮廓信息；若能够检测出手部区域，则执行步骤6，若检测不到手部区域，则跳转至步骤1。\n[0013] 步骤6：通过手部的运动状态利用自回归模型对手部运动进行预测，基于预测位置，以手部区域的深度信息为特征，利用面积加权均值偏移方法跟踪手部，获取手部跟踪的运动轨迹。\n[0014] 步骤7：利用隐马尔科夫模型对运动轨迹进行建模，从而识别出手势。所述的手势包括水平方向的单手运动、水平方向的双手运动、垂直方向的双手运动和单个阿拉伯数字单手绘制运动。\n[0015] 本发明的有益效果：本发明能够适应肤色变化的干扰，在室内环境下不受距离、光照、遮挡、运动等因素的影响，算法计算量小，实时性高。\n附图说明\n[0016] 图1为本发明方法流程图。\n具体实施方式\n[0017] 以下结合附图对本发明作进一步说明。\n[0018] 步骤1：从可输出深度信息的双目摄像机中获取实时的深度图像，对深度图像使用混合高斯的背景建模方法获得背景图像。由于深度计算方法易受遮挡、扭曲等影响而使深度图像中出现噪点、空洞等情况，因此这里的混合高斯方法利用三个高斯核。即图1的建立背景模型步骤。\n[0019] 步骤2：利用背景图像和当前图像作差分，检测出前景区域。即对应图1的运动检测。\n[0020] 步骤3：利用双背景更新方法对建立的背景图像进行更新，以降低对深度图像计算误差的影响。\n[0021] 步骤4：收集人体样本和非人体样本，采用随机森林分类器训练出人体形态的模型。在实时处理时，首先对前景区域进行垂直投影，得到投影直方图；统计投影直方图，估计出人体的数目和位置；然后利用该位置和数目作为初始，基于人体形态的模型、占用前景的概率和未占用前景的概率作为约束，利用马尔科夫链蒙特卡洛方法搜索出最优的人体数目和位置，以分割出独立的人体区域。即对应图1的人体分割。\n[0022] 步骤5：若没有人体区域，则直接跳出本次处理，否则基于检测出的人体区域进行手部定位，传统方法大多基于肤色、运动等信息受限制较大。假设待定位的手部自然伸展且位于身体之前，因此在深度图像上手部的视差大于身体且在已知的范围内，通过收集人体样本，并获取对应的深度图，采用随机森林分类器学习出人体与手部视差的分布概率以用于从深度图上分割出手部区域。另根据手臂与手的连贯性和人体的对称性可定位出左右手的位置，且有效滤除其它接近的运动物体或其它人体的手部。若无法检测出手部区域且未进行手势跟踪，则跳出本次处理，否则执行手势跟踪模块。\n[0023] 步骤6：提取手部区域的轮廓、区域等信息，若没有处于手势跟踪状态，或手部检测的置信度较高，则更新跟踪的特征模型，否则不做更新。首先对手势的运动方程参数进行估计，设手势的运动轨迹有如下三次恒加速多项式的自回归模型描述：\n[0024] ，\n[0025] 其中， 为邻近轨迹点。利用该模型对手势运动进行预测，基于预测的位置进行跟踪搜索出最佳位置，并更新目标轨迹，以修正预测误差。跟踪统计的特征中采用面积加权的深度分布和梯度分布的联合直方图，其描述为：\n[0026] ，\n[0027] 其中，C为归一化常数， 为联合概率密度分布函数，其维度为 ，N为待统计的点的总数目， 为核函数， 为 处的深度值， 为此处的梯度值， 为n+1帧特征维度为u，v的质心，S为n+1帧特征维度为u，v时的面积值。该特征可适应手部的姿势变化、局部遮挡等干扰。由于采用了面积加权，可减少迭代的次数，降低计算量。\n[0028] 步骤7：本发明定义十二种可识别的手势，即单手水平挥动、双手水平拍手、双手上下挥手和0-9的单个阿拉伯数字单手绘制运动。采集十二种预定手势的数据，对手势的轨迹进行预处理去除密集点，获得预处理轨迹，然后采用Baum-Welch算法训练获得十二种预定手势的隐马尔科夫模型，模型中状态的长度为5。在实时分析时同样过滤手势轨迹，并将有效轨迹量化为16个方向，采用前向递推算法获得手势模型的概率，并取最大者作为识别结果。\n[0029] 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。