一种人机协同的对话系统评测方法及系统

发明专利有效专利

申请号：
CN202110540797.4
IPC分类号：G06F11/36;G06F3/01
申请日期：
2021-05-18
申请人：
山东大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种人机协同的对话系统评测方法及系统
申请号	CN202110540797.4	申请日期	2021-05-18
法律状态	实质审查	申报国家	中国
公开/公告日	2021-08-10	公开/公告号	CN113238947A
优先权	暂无	优先权号	暂无
主分类号	G06F11/36 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F11/00 错误检测；错误校正；监控（在基于记录载体和传感器之间的相对运动而实现的信息存储中的错误检测、校正或监控所用的方法或装置入 G11B 20/18；监控，即，监控记录或重现的进程入G11B 27/36；静态存储中所用的方法或装置入G11C29/00）〔1，4，2006.01〕 G06F11/36 通过软件的测试或调试防止错误〔7〕	IPC分类号	G;0;6;F;1;1;/;3;6;;;G;0;6;F;3;/;0;1查看分类表>
申请人	山东大学	申请人地址	山东省青岛市即墨滨海路72号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	山东大学	当前权利人	山东大学
发明人	任鹏杰;宋晓萌;田洪涛;张仰君;陈竹敏;任昭春;马军;梁华盛
代理机构	济南圣达知识产权代理有限公司	代理人	闫圣娟

摘要

本公开提供了一种人机协同的对话系统评测方法及系统，包括：构建待评测对话系统的对话样本数据集，其中，对所述对话样本数据集中预设数量的样本进行标注；针对评测数据集中的每条样本，利用置信度评测模型计算其机器评测置信度；采用回归随机森林模型计算每条样本的人力消耗，其中，所述人力消耗为每条样本标注花费的时间成本；利用整数线性规划算法，以最大化评测置信度和最小化人力消耗为目标进行优化，根据优化结果将对话样本数据集中的样本分配给人工和机器进行评测，完成对话系统评测。所述方案基于机器和人工的可靠性与消耗，决定任务是分给机器还是人工，能够有效平衡对话系统评测过程中的高效性和可靠性，提高测评效率。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供