一种连续手语识别方法

发明专利有效专利

申请号：
CN202010083258.8
IPC分类号：G06K9/00G06K9/62G06N3/04
申请日期：
2020-02-08
申请人：
河北工业大学;天津理工大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种连续手语识别方法
申请号	CN202010083258.8	申请日期	2020-02-08
法律状态	实质审查	申报国家	中国
公开/公告日	2020-06-26	公开/公告号	CN111339837A
优先权	暂无	优先权号	暂无
主分类号	G06K9/00 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06K 数据识别；数据表示；记录载体；记录载体的处理（印刷本身入B41J） G06K9/00 用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置（用于图表阅读或者将诸如力或现状态的机械参量的图形转换为电信号的方法或装置入G06K 11/00；语音识别入G10L 15/00）〔1，7〕	IPC分类号	G06K9/00;G06K9/62;G06N3/04查看分类表>
申请人	河北工业大学;天津理工大学	申请人地址	天津市红桥区丁字沽光荣道8号河北工业大学东院3*** 变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	河北工业大学,天津理工大学	当前权利人	河北工业大学,天津理工大学
发明人	于明;秦梦现;薛翠红;郝小可;郭迎春;阎刚;于洋;师硕;刘依
代理机构	天津翰林知识产权代理事务所（普通合伙）	代理人	胡安朋

摘要

本发明一种连续手语识别方法，涉及用于识别图形的记录载体的处理，是基于对多模态图像序列特征融合和自注意力机制的编码解码网络的连续手语识别的方法，首先获得光流图像序列，通过原始手语图像序列和光流图像序列时空特征的提取和多模态图像序列时空特征融合，和手语句子标签的文本特征序列的提取，将融合后的多模态图像序列时空特征和提取的手语句子标签的文本特征序列输入到基于自注意力机制的编码解码网络中进行手语标签预测输出，克服了现有技术存在的特征单一、视频需要分割的缺陷。