动作识别方法及装置

1.一种动作识别方法，其特征在于，所述方法包括以下步骤：
S1、采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；
S2、提取所述步骤S1编辑之后的人体动作数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；
S3、移除所述描述特征中存在的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；
S4、将所述步骤S3处理后得到的描述特征输入到支持向量机分类模型进行训练，训练得到的分类模型即实现对新的人体动作的定义；对于具体的动作，分类器将给出一个具体的标签以标识识别的动作；
S5、接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中采集人体动作之前所述方法还包括以下步骤：
设置所述人体动作的名称以及动作持续时间；
采集倒计时开始计时，经过预定倒计时时长后开始采集人体动作；
所述步骤S1中采集人体动作之后所述方法还包括以下步骤：
采集所述动作持续时间长度内的人体动作后将采集的人体动作进行保存；
所述步骤S1中初步编辑具体为：选定起始帧和结束帧，移除所述起始帧之前以及所述结束帧之后的人体动作帧数据。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2中提取所述关节点具体包括以下步骤：
S21、利用Kinect SDK API获取关节点位置，该位置基于Kinect设备空间坐标系；
S22、以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；
S23、Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，
式中，O’(x0,y0,z0)表示用户空间坐标系o’x’y’z’的坐标原点。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2中提取所述圆形度以及泽尼克矩具体包括以下步骤：
S24、对所述步骤S1编辑之后的人体动作进行运动检测，利用下面公式进行检测，得到符合下面公式的像素点：
式中color(x,t)和color(x,t-1)分别是位置x＝(x,y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；
S25、在运动检测后，设置一个初始的前景区域，然后实现一个区域增长算法构建成整个前景区域，其中所述区域增长算法具体为：利用前一个步骤中得到的像素点作为种子像素，比较所述种子像素与其近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子 像素相似，对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；
式中，R表示当前帧中前景区域中的像素集合，P(t)＝{p1＝(x1,y1),p2＝(x2,y2),…}为R的子集，像素(xi,yi)为待判定的像素点，pk是P(t)中的任意一个点，th为预第二定阈值；
S26、对所述步骤S25处理后得到的数据进行基于边缘的改进：
通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的模板上应用canny算子，接着使用膨胀算子连接边缘；最后将得到的结果模板与初始的掩码进行与操作以排除冗余的背景数据；
S27、对所述步骤S26处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；
S28、利用下面的公式计算一维径向多项式Rn,m为：
式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x,y)到原点的向量的长度，其中点(x,y)是经过所述步骤S27处理后得到的数据点；
S29、利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：
Vn,m(ρ,θ)＝Rn,meim,|ρ|≤1   (5)
复值二维泽尼克多项式满足正交性：
式中，*表示复共轭，Vp,q与Vn,m的含义相同，区别在于基数不同；
S210、将步骤S27处理后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：
上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x,y)为图像的函数；
其中，为达到尺度和平移不变性，图像函数f(x,y)需被归一化，转换方程为：
S211、利用所述步骤S27处理后的数据以及下面的公式计算所述圆形度：
式中，A是所述步骤S27处理后的数据对应的图像的面积，而P是所述步骤S27处理后的数据对应的图像的周长。
5.根据权利要求1所述的方法，其特征在于，所述步骤S3中利用动态时间规整法移除所述描述特征中的噪声；
所述步骤S3中利用Fourier Temporal Pyramid移除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。
6.一种动作识别用的装置，其特征在于，所述装置包括动作采集单元、特征提取单元、数据清洗单元、动作分类单元以及输入模拟器单元；
所述动作采集单元用于采集人体动作或导入包含人体动作的文件，并对人体动作进行初步编辑；
所述特征提取单元用于提取所述动作采集单元编辑之后的人体动作的数据的关节点、圆形度以及泽尼克矩作为所述人体动作的描述特征；
所述数据清洗单元用于移除所述描述特征的噪声、动作速率变化带来的误差以及动作时间匹配上的误差；
所述动作分类单元用于接收所述数据清洗单元处理后得到的描述特征，然后进行模型训练，训练得到的分类模型就具体的人体动作输出一个标签，，以此实现对新的人体动作的定义和识别；其中，所述标签标识了对应的人体动作；
所述输入模拟器单元用于接受特定动作的标签，触发与该动作关联的键盘或鼠标事件，并将该事件递交给目标应用。
7.根据权利要求6所述的装置，其特征在于，所述动作采集单元包括设置子单元、倒计时计时子单元、采集子单元、存储子单元、导入子单元以及编辑子单元；
所述设置子单元用于设置预定倒计时、所述人体动作的名称以及动作持续时间；
所述倒计时计时子单元用于在采集倒计时开始计时，经过预定倒计时时长后控制所述采集子单元开始工作，采集人体动作；
所述导入子单元用于导入包含人体动作的文件；
所述存储子单元用于在所述采集子单元采集所述动作持续时间的时间长度的人体动作后将采集的人体动作进行保存；
所述编辑子单元用于选定起始帧和结束帧，删除所述起始帧之前以及所述结束帧之后的人体动作帧数据。
8.根据权利要求6所述的装置，其特征在于，所述特征提取单元包括关节点提取子单元，
所述关节点提取子单元用于利用Kinect SDK API获取关节点位置基于Kinect设备空间坐标系；以用户右手方向为x轴正方向，头部正上方为y轴正方向，面向交互设备正前方为z轴正方向，臀部为坐标原点构建用户空间坐标系；Kinect设备空间坐标系oxyz下的坐标点P(x,y,z)与用户空间坐标系o’x’y’z’下的坐标点P’(x’,y’,z’)的变换关系可描述下式，式中，O’(x0,y0,z0)表示用户空间坐标系o’x’y’z’的坐标原点。
9.根据权利要求6所述的装置，其特征在于，所述特征提取单元包括数据处理子单元、圆形度提取子单元以及泽尼克矩提取子单元；
所述数据处理子单元用于对所述动作采集单元编辑之后的人体动作进行运动检测，检测方法利用如下公式：
式中color(x,t)和color(x,t-1)分别是位置x＝(x,y)处t时刻和t-1时刻的色彩帧像素，depth(x,t)和depth(x,t-1)是相应像素的深度值，th为第一预定阈值，所述第一预定阀值用于区分实际的人体运动与噪声；
所述数据处理子单元还用于在运动检测后，首先设置一个初始前景模板，以上一步中得到的像素作为种子像素，实现区域增长算法扩大种子区域，最后形成完整的前景模板。其中所述区域增长算法具体 为：比较所述种子像素与其近邻像素，若近邻像素与种子像素满足下面公式，则近邻像素与种子像素相似，则对应的近邻像素被添加到种子区域，如此，种子区域被扩大，当不再有近邻像素被包含时，迭代结束；
式中，R表示当前帧中增长区域中的像素集合，P(t)＝{p1＝(x1,y1),p2＝(x2,y2),…}为R的子集，(xi,yi)为待判定的像素点，pk是P(t)中的任意一个点，th为预第二定阈值；
所述数据处理子单元还用于对整个种子区域的数据进行基于边缘的改进：
通过膨胀稍微扩大色彩帧以确保包含所有重要的边缘；在扩大的模板上应用canny算子，然后使用膨胀算子连接边缘；最后将得到的结果掩码与初始的掩码进行与操作以排除冗余的背景数据；
所述数据处理子单元还用于对基于边缘改进处理后的数据进行基于色彩信息的改进，以减少深度数据上的边界错误；
所述泽尼克矩提取子单元用于利用下面的公式计算一维径向多项式Rn,m为：
式中，n是一个非负整数，表示一维径向多项式的阶数，m是一个非零整数，满足n-|m|＝even和|m|≤n，表示相位角的重复度，ρ是点(x,y)到原点的向量的长度，其中点(x,y)是经过所述步骤S27处理后得到的数据点；
所述泽尼克矩提取子单元还用于利用下面的公式计算泽尼克基函数：定义在单位圆内的复值二维泽尼克基函数表示为如下：
Vn,m(ρ,θ)＝Rn,meim,|ρ|≤1   (5)
复值二维泽尼克多项式满足正交性：
式中，*表示复共轭，Vp,q与Vn,m的含义相同，区别在于基数不同；
所述泽尼克矩提取子单元还用于将数据处理子单元进行色彩信息的改进后得到的数据对应的图像投影到泽尼克基函数，并利用下面的公式计算泽尼克矩：
上式表示阶为n，相位角重复为m的复泽尼克矩式中，f(x,y)为图像的函数；
其中，为达到尺度和平移不变性，图像函数f(x,y)需被归一化，转换方程为：
所述圆形度提取子单元用于将数据处理子单元进行色彩信息的改进后得到的数据以及下面的公式计算所述圆形度：
式中，A是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的面积，而P是所述数据处理子单元进行色彩信息的改进后得到的数据对应的图像的周长。
10.根据权利要求6所述的装置，其特征在于，所述数据清洗单元包括第一清洗子单元以及第二清洗子单元；
所述第一清洗子单元用于利用动态时间规整法清除所述描述特征的噪声；
所述第二清洗子单元用于利用Fourier Temporal Pyramid清除所述描述特征由于动作速率变化带来的误差以及动作时间匹配上的误差。

暂无