模型预训练方法、装置、电子设备和存储介质

发明专利有效专利

申请号：
CN202110815302.4
IPC分类号：G06F16/36;G06F16/33;G06F40/211;G06F40/30
申请日期：
2021-07-19
申请人：
北京百度网讯科技有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	模型预训练方法、装置、电子设备和存储介质
申请号	CN202110815302.4	申请日期	2021-07-19
法律状态	公开	申报国家	中国
公开/公告日	2021-11-12	公开/公告号	CN113641830A
优先权	暂无	优先权号	暂无
主分类号	G06F16/36	IPC分类号	G;0;6;F;1;6;/;3;6;;;G;0;6;F;1;6;/;3;3;;;G;0;6;F;4;0;/;2;1;1;;;G;0;6;F;4;0;/;3;0查看分类表>
申请人	北京百度网讯科技有限公司	申请人地址	北京市海淀区上地十街10号百度大厦2层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京百度网讯科技有限公司	当前权利人	北京百度网讯科技有限公司
发明人	姜文斌;吕雅娟;朱勇;吴华;王海峰
代理机构	北京清亦华知识产权代理事务所（普通合伙）	代理人	张梦瑶

摘要

本公开提供了一种模型预训练方法、装置、电子设备和存储介质，涉及自然语言处理、深度学习、知识图谱等领域。具体实现方案为：根据输入信息，从知识图谱中查询以确定与输入信息匹配的第一知识子图，采用预训练模型中的编码器对输入信息进行编码，以得到输入信息的语义表示，并采用预训练模型中的解码器对语义表示进行解码，以生成语义表示对应的第二知识子图，根据第一知识子图和第二知识子图之间的差异，对编码器和解码器进行修正，以使差异最小化。由此，可以使得模型在预训练的过程中，学习到知识图谱中蕴含的丰富和复杂的知识，从而提升模型的预测效果。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供