一种基于迁移学习的低资源领域分词器训练方法及分词方法

发明专利无效专利

申请号：
CN201711026810.4
IPC分类号：G06F17/27;G06K9/62;G06N3/04
申请日期：
2017-10-27
申请人：
北京大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于迁移学习的低资源领域分词器训练方法及分词方法
申请号	CN201711026810.4	申请日期	2017-10-27
法律状态	驳回	申报国家	中国
公开/公告日	2018-04-27	公开/公告号	CN107967253A
优先权	暂无	优先权号	暂无
主分类号	G06F17/27 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F17/00 特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法〔6〕 G06F17/20 处理自然语言数据的（语言分析或综合入G10L）〔6〕 G06F17/27 自动分析的，例如语法分析、正射校正的〔6〕	IPC分类号	G;0;6;F;1;7;/;2;7;;;G;0;6;K;9;/;6;2;;;G;0;6;N;3;/;0;4查看分类表>
申请人	北京大学	申请人地址	北京市海淀区颐和园路5号北京大学变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京大学	当前权利人	北京大学
发明人	孙栩;许晶晶;李炜;马树铭
代理机构	北京君尚知识产权代理事务所（普通合伙）	代理人	司立彬

摘要

本发明公开了一种基于迁移学习的低资源领域分词器训练方法及分词方法。本方法为：1)在目标领域和各设定领域分别训练生成对应的分词器；2)利用各领域的分词器对目标领域的语料分词处理，获得各分词器在该目标领域的语料上每个字xi的隐层表示；3)计算各分词器在字xi的隐层表示与目标领域的分词器t在字xi的隐层表示的相关度，然后根据相关度得到各领域分词器对字xi的权重向量；4)根据权重向量对各分词器得到的隐层表示进行加权求和，得到一最终的隐层表示，并以该最终的隐层表示计算字xi的标签；5)根据各字的预测标签与标准结果训练得到该目标领域的分词器。本发明的分词器大大提高了低资源领域语料的分词效果。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供