一种多模态情感识别方法及系统

发明专利有效专利

申请号：
CN202110333007.5
IPC分类号：G06K9/00;G06N3/08;G06N20/10;G10L15/05
申请日期：
2021-03-29
申请人：
济南大学;山东思正信息科技有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种多模态情感识别方法及系统
申请号	CN202110333007.5	申请日期	2021-03-29
法律状态	实质审查	申报国家	中国
公开/公告日	2021-07-06	公开/公告号	CN113076847A
优先权	暂无	优先权号	暂无
主分类号	G06K9/00 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06K 数据识别；数据表示；记录载体；记录载体的处理（印刷本身入B41J） G06K9/00 用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置（用于图表阅读或者将诸如力或现状态的机械参量的图形转换为电信号的方法或装置入G06K 11/00；语音识别入G10L 15/00）〔1，7〕	IPC分类号	G;0;6;K;9;/;0;0;;;G;0;6;N;3;/;0;8;;;G;0;6;N;2;0;/;1;0;;;G;1;0;L;1;5;/;0;5查看分类表>
申请人	济南大学;山东思正信息科技有限公司	申请人地址	山东省济南市市中区南辛庄西路336号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	济南大学,山东思正信息科技有限公司	当前权利人	济南大学,山东思正信息科技有限公司
发明人	姜晓庆;陈贞翔;杨倩;郑永强
代理机构	济南圣达知识产权代理有限公司	代理人	闫圣娟

摘要

本公开提供了一种多模态情感识别方法及系统，所述方案通过情感视频样本中语音分量的一种新型、鲁棒的端点检测算法，利用压缩感知理论下样本重建过程中产生的预测残差条件熵参数，计算正交匹配追踪算法(OMP)算法迭代过程中的残差条件熵差值，依据经验阈值完成端点检测，并基于重建样本完成有声段情感语音的特征学习；同时，通过情感语音的端点检测结果，对面部表情图像进行筛选，只保留具有活跃的情感语音同时间段的面部表情图像，达到增强面部表情数据集的情感可去分性、减少冗余性的目的；情感语音特征与面部表情特征经特征融合，训练有效的多模态情感识别模型，达到有效的多模态情感识别目的。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供