一种基于时空图卷积神经网络的动态表情识别方法及系统

1.一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，该方法包括以下步骤：
(1)对动态表情数据集中的每一个表情序列进行预处理，得到等长的表情序列；
(2)对预处理后的表情序列中每帧图像进行人脸关键点检测，得到每个关键点的位置坐标及编号，并对关键点的坐标进行归一化；
(3)提取表情序列中每个关键点的局部纹理特征向量，并与该关键点的归一化坐标进行拼接，得到关键点的局部融合特征向量；
(4)连接表情序列同帧间的关键点形成空域边，连接相邻帧相同编号的关键点形成时域边，形成时空拓扑图的边集，将表情序列的关键点集合作为时空拓扑图的节点集，构建时空拓扑图；
(5)构建时空图卷积神经网络，该网络包含多个顺序连接的时空图卷积块，一个全局平均池化层，两个全连接层以及一个分类层；所述时空图卷积块中的空间图卷积在实现空域上相邻节点特征融合的基础上，首先计算节点间的相似度，得到相似度矩阵，然后将该矩阵与输入特征相乘，实现空域上相似节点特征的融合；
(6)利用构建的时空拓扑图和对应的表情类别对时空图卷积神经网络进行训练，得到训练好的时空图卷积神经网络模型；
(7)将基于新的表情序列生成的时空拓扑图作为输入，利用训练好的网络模型进行识别，输出最终的分类结果。
2.根据权利要求1所述的一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(1)中的预处理包括以下子步骤：
(1.1)将每个表情序列截取成长度为S的帧序列，对于多于S帧的序列，截取序列的最后S帧，对于少于S帧的序列，利用序列的最后一帧扩充至S帧；其中S为设定的表情序列的帧长；
(1.2)对序列中每一帧图像的尺寸进行归一化处理，使每一帧图像的大小都为m×n像素；其中m、n为设定的图像宽度和高度。
3.根据权利要求1所述的一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(2)中的对关键点的坐标进行归一化包括以下子步骤：
(2.1)对预处理后的表情序列中每帧图像进行人脸关键点检测，得到关键点的集合为V＝{vt，i|1≤t≤S，1≤i≤N}，其中vt，i＝(xt，i，yt，i)表示第t帧图像中编号为i的关键点坐标，S表示表情序列的帧长，N表示每帧图像中关键点的个数，这些关键点分布在嘴巴、眼睛、眉毛和鼻子部位；
(2.2)将所有关键点的坐标减去第一帧中鼻尖关键点的坐标，得到坐标归一化后的关键点集合V′＝{v′t，i|1≤t≤S，1≤i≤N}。
4.根据权利要求1所述的一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(3)中的局部融合特征向量具体实现步骤如下：
记从第t帧中编号为i的关键点提取的局部纹理特征向量为lt，i，将该特征向量与该关键点的归一化坐标v′t，i进行拼接，得到关键点的局部融合特征向量mt，i＝{v′t，i，lt，i)，通过对动态表情序列中所有关键点进行相同的操作，得到的关键点集合为M＝{mt，i|1≤t≤S，1≤i≤N}。
5.根据权利要求1所述一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(4)中连接表情序列同帧间的关键点形成空域边的方法为：首先对分布在嘴巴、眼睛、眉毛和鼻子部位处的关键点按照人脸的几何结构进行连接，形成各部位子图的边；然后为了便于信息在各部位子图间的流通，对各子图进行相互连接，形成各子图间的边。
6.根据权利要求1所述一种基于时空图卷积神经网络的动态表情识别方法，其特征在于，所述步骤(5)中时空图卷积块具体计算步骤如下：
(5.1)对输入的特征图进行维度变换：
f＝g(fin)
fin为输入特征图，维度为Cin×T×N，其中Cin代表着节点特征的通道数，T代表着特征图的时间维度，N代表着空域的节点数；g(·)表示维度变换函数，通过g(·)将输入特征图fin的维度变换为N×CinT；
(5.2)计算归一化相似度矩阵B＝{bi，j|1≤i，j≤N}，bi，j代表节点i和j的相似程度，通过采用相似性度量的方式为时空拓扑图生成新的边：
其中fi表示f矩阵的第i行向量，内部的|·|表示绝对值运算，外部的|·|代表模运算；
(5.3)构建空间图卷积，具体表示为：
其中 A＝{ai，j|1≤i，j≤N}，维度为N×N，其中ai，j＝0代表关键点i和j不
相连，ai，j＝1代表两关键点相连，并且ai，i＝1；Λ是对角阵，对角线元素Λi＝∑jai，j；fin为空间图卷积的输入特征图与步骤(5.1)的输入相同，h(·)和u(·)都表示维度变换函数，h(·)将输入特征图的维度变换为CinT×N，而u(·)将计算结果的维度变换为Cin×T×N；W为
1×1的卷积核，用来将节点特征的通道数变换为Cout，fout为空间图卷积的输出，输出维度为Cout×T×N；
(5.4)将步骤(5.3)的输出结果依次通过归一化层BN和ReLu激活函数层；
(5.5)构建残差连接，将步骤(5.4)的输出特征图和步骤(5.1)的输入特征图fin进行残差连接；
(5.6)构建时域卷积层，步骤(5.5)的输出特征图维度为Cout×T×N，时域卷积核的大小设为[m×1]，则每次完成1个节点，m个关键帧的卷积，m在2，3，4数值中选取；步长为s，则每次移动s帧，完成1个关键点后进行下一个关键点的卷积，通过padding操作，时域卷积的输出特征图维度为Cout×(T/s)×N；
(5.7)将步骤(5.6)的输出结果依次通过归一化层BN和ReLu激活函数层。
7.一种基于时空图卷积神经网络的动态表情识别系统，其特征在于，包括：
预处理模块，用于对动态表情数据集中的每一个表情序列进行预处理，得到等长的表情序列；
关键点检测模块，用于对预处理后的表情序列中每帧图像进行人脸关键点检测，得到每个关键点的位置坐标及编号，并对关键点的坐标进行归一化；
关键点特征融合模块，用于提取表情序列中每个关键点的局部纹理特征向量，并与该关键点的归一化坐标进行拼接，得到关键点的局部融合特征向量；
时空拓扑图构建模块，用于连接表情序列同帧间的关键点形成空域边，连接相邻帧相同编号的关键点形成时域边，形成时空拓扑图的边集，将表情序列的关键点集合作为时空拓扑图的节点集，构建时空拓扑图；
时空图卷积神经网络模块，该时空图卷积神经网络包含多个顺序连接的时空图卷积块，一个全局平均池化层，两个全连接层以及一个分类层；所述时空图卷积块中的空间图卷积在实现空域上相邻节点特征融合的基础上，首先计算节点间的相似度，得到相似度矩阵，然后将该矩阵与输入特征相乘，实现空域上相似节点特征的融合；
网络训练模块，用于利用构建的时空拓扑图和对应的表情类别对时空图卷积神经网络进行训练，得到训练好的时空图卷积神经网络模型；
以及，表情识别模块，用于将基于新的表情序列生成的时空拓扑图作为输入，利用训练好的网络模型进行识别，输出最终的分类结果。
8.一种基于时空图卷积神经网络的动态表情识别系统，包括至少一台计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1‑6任一项所述的基于时空图卷积神经网络的动态表情识别方法。

暂无