一种基于知识蒸馏的多语言模型压缩方法、装置

发明专利有效专利

申请号：
CN201911272179.5
IPC分类号：G06N20/00
申请日期：
2019-12-11
申请人：
北京知道智慧信息技术有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于知识蒸馏的多语言模型压缩方法、装置
申请号	CN201911272179.5	申请日期	2019-12-11
法律状态	实质审查	申报国家	中国
公开/公告日	2020-04-24	公开/公告号	CN111062489A
优先权	暂无	优先权号	暂无
主分类号	G06N20/00	IPC分类号	G;0;6;N;2;0;/;0;0查看分类表>
申请人	北京知道智慧信息技术有限公司	申请人地址	北京市朝阳区阜通东大街1号院5号楼1单元311506室变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京知道智慧信息技术有限公司	当前权利人	北京知道智慧信息技术有限公司
发明人	杨焱麒
代理机构	北京超凡宏宇专利代理事务所（特殊普通合伙）	代理人	蒋姗

摘要

本申请提供一种基于知识蒸馏的多语言模型压缩方法、装置，电子设备及存储介质，属于机器学习技术领域。该方法包括：将训练好的N个不同语言的语言模型作为教师模型；通过知识蒸馏算法，利用所述教师模型对学生模型进行训练；其中，所述学生模型的词表中包含所有所述教师模型中的词表。在本申请实施例中，将训练好的N个不同语言的语言模型作为教师模型，通过知识蒸馏算法，利用教师模型对学生模型进行训练，使得最终训练获得的学生模型与现有技术中的多语言模型相比，模型参数少，简化了模型的结构，且在模型参数较少的情况下，还能保证模型的性能、效果。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供