基于多模态数据优化的低资源语音翻译方法及系统

发明专利有效专利

申请号：
CN202210834634.1
IPC分类号：G06F40/58;G06F40/30;G06N3/04;G06N3/08;G10L15/26
申请日期：
2022-07-14
申请人：
佛山科学技术学院

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	基于多模态数据优化的低资源语音翻译方法及系统
申请号	CN202210834634.1	申请日期	2022-07-14
法律状态	公开	申报国家	中国
公开/公告日	2022-11-08	公开/公告号	CN115310461A
优先权	暂无	优先权号	暂无
主分类号	G06F40/58	IPC分类号	G;0;6;F;4;0;/;5;8;;;G;0;6;F;4;0;/;3;0;;;G;0;6;N;3;/;0;4;;;G;0;6;N;3;/;0;8;;;G;1;0;L;1;5;/;2;6查看分类表>
申请人	佛山科学技术学院	申请人地址	广东省佛山市南海区狮山镇广云路33号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	佛山科学技术学院	当前权利人	佛山科学技术学院
发明人	朱文博;金浩;陈建文;李艾园
代理机构	深圳市创富知识产权代理有限公司	代理人	梁嘉朗

摘要

本发明公开了基于多模态数据优化的低资源语音翻译方法及系统，该方法包括获取源语音信息与对应的转录文本信息；对源语音信息进行预处理，得到预处理后的语音信息；对预处理后的语音信息与转录文本信息进行连接时序分类损失计算，得到声学表征的对齐结果；对声学表征的对齐结果进行解码处理，得到解码后的声学表征与解码后的文本语义表征；对解码后的声学表征与解码后的文本语义表征进行迭代训练，输出翻译结果。通过使用本发明，能够降低不同音频和文本对应的标签采集难度并且实现在多模态下进行声学表征和文本语义表征的共同优化。本发明作为基于多模态数据优化的低资源语音翻译方法及系统，可广泛应用于语音识别技术领域。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供