一种融合多种视觉信息的唇语识别方法

发明专利有效专利

申请号：
CN202010918333.8
IPC分类号：G06K9/00;G06K9/40;G06K9/62;G06N3/04;G06N3/08
申请日期：
2020-09-02
申请人：
中国人民解放军军事科学院国防科技创新研究院;天津（滨海）人工智能军民融合创新中心

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种融合多种视觉信息的唇语识别方法
申请号	CN202010918333.8	申请日期	2020-09-02
法律状态	实质审查	申报国家	中国
公开/公告日	2020-12-15	公开/公告号	CN112084927A
优先权	暂无	优先权号	暂无
主分类号	G06K9/00 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06K 数据识别；数据表示；记录载体；记录载体的处理（印刷本身入B41J） G06K9/00 用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置（用于图表阅读或者将诸如力或现状态的机械参量的图形转换为电信号的方法或装置入G06K 11/00；语音识别入G10L 15/00）〔1，7〕	IPC分类号	G;0;6;K;9;/;0;0;;;G;0;6;K;9;/;4;0;;;G;0;6;K;9;/;6;2;;;G;0;6;N;3;/;0;4;;;G;0;6;N;3;/;0;8查看分类表>
申请人	中国人民解放军军事科学院国防科技创新研究院;天津（滨海）人工智能军民融合创新中心	申请人地址	北京市丰台区东大街53号院变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	中国人民解放军军事科学院国防科技创新研究院,天津（滨海）人工智能军民融合创新中心	当前权利人	中国人民解放军军事科学院国防科技创新研究院,天津（滨海）人工智能军民融合创新中心
发明人	闫野;杨恒;印二威;谢良;邓宝松;闫慧炯;范晓丽;罗治国
代理机构	北京丰浩知识产权代理事务所（普通合伙）	代理人	李学康

摘要

本发明公开了一种融合多种视觉信息的唇语识别方法，包含如下步骤：利用头戴式摄像采集设备对唇语图像进行采集；对采集到的视频数据根据采集对象、采集批次进行分类存放；把每个视频样本逐帧分解，对图像去噪处理，处理后的图像再做裁剪，只保存特定大小的唇部图像；搭建自监督光流生成网络，把采集的数据输入生成网络中；把真实图像、光流数据和深度图像分别输入到搭建好的三流融合训练网络中进行识别任务训练，并输出最终的唇语识别结果。本发明所拍摄的数据更多关注在人脸的唇部区域，在使用神经网络训练之前也减少了对唇部区域进行识别裁剪的步骤，因此识别效率得到了很大提升。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供