面向小型CPU设备的神经机器翻译系统解码加速方法

发明专利有效专利

申请号：
CN202110861073.X
IPC分类号：G06F40/58;G06N3/04;G06N3/063;G06N3/08
申请日期：
2021-07-29
申请人：
沈阳雅译网络技术有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	面向小型CPU设备的神经机器翻译系统解码加速方法
申请号	CN202110861073.X	申请日期	2021-07-29
法律状态	公开	申报国家	暂无
公开/公告日	2021-10-15	公开/公告号	CN113505615A
优先权	暂无	优先权号	暂无
主分类号	G06F40/58	IPC分类号	G;0;6;F;4;0;/;5;8;;;G;0;6;N;3;/;0;4;;;G;0;6;N;3;/;0;6;3;;;G;0;6;N;3;/;0;8查看分类表>
申请人	沈阳雅译网络技术有限公司	申请人地址	辽宁省沈阳市和平区三好街78号东软电脑城C座11层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	沈阳雅译网络技术有限公司	当前权利人	沈阳雅译网络技术有限公司
发明人	杜权;徐萍;姜炎宏
代理机构	沈阳新科知识产权代理事务所（特殊普通合伙）	代理人	李晓光

摘要

本发明公开一种面向小型CPU设备的神经机器翻译系统解码加速方法，步骤为：构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的基线模型，用于和改进后模型进行对比；将注意力神经机器翻译模型中多头注意力模块中多头变为单头，进一步训练得到训练收敛后的模型作为对比的单头模型；将注意力神经机器翻译模型中多头注意力模块中多头变为单头后，其余部分的头由此单头和一个轻量级线性变换计算获得，减少注意力模块中的计算量，达到解码加速的目的。本发明能够在多个机器翻译任务数据集上显著加速模型CPU解码速度，并保证模型的性能没有明显下降。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供