基于多模态融合的智能应答方法、装置、机器可读介质及设备

发明专利有效专利

申请号：
CN202011499081.6
IPC分类号：G06F16/33;G06F16/332;G06F16/35;G06F40/211;G06F40/216;G06F40/289;G06K9/62;G06N3/04;G06N3/08
申请日期：
2020-12-17
申请人：
云从科技集团股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	基于多模态融合的智能应答方法、装置、机器可读介质及设备
申请号	CN202011499081.6	申请日期	2020-12-17
法律状态	实质审查	申报国家	中国
公开/公告日	2021-03-19	公开/公告号	CN112527962A
优先权	暂无	优先权号	暂无
主分类号	G06F16/33	IPC分类号	G;0;6;F;1;6;/;3;3;;;G;0;6;F;1;6;/;3;3;2;;;G;0;6;F;1;6;/;3;5;;;G;0;6;F;4;0;/;2;1;1;;;G;0;6;F;4;0;/;2;1;6;;;G;0;6;F;4;0;/;2;8;9;;;G;0;6;K;9;/;6;2;;;G;0;6;N;3;/;0;4;;;G;0;6;N;3;/;0;8查看分类表>
申请人	云从科技集团股份有限公司	申请人地址	广东省广州市南沙区南沙街金隆路37号501房(仅限办公) 变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	云从科技集团股份有限公司	当前权利人	云从科技集团股份有限公司
发明人	苏磊
代理机构	上海光华专利事务所（普通合伙）	代理人	李铁

摘要

本发明公开了一种基于多模态融合的智能应答方法，包括：获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；对图像信息和文本信息进行特征提取，得到图像特征信息和文本特征信息；将所述图像特征信息与文本特征信息进行融合，得到融合模态数据信息；对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互系统能够生成更加完整、流畅的回答，并增加答句的语义丰富度和逻辑性。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供