基于并行编程模式的相似网页去重系统

发明专利无效专利

申请号：
CN200910061694.9
IPC分类号：G06F17/30
申请日期：
2009-04-17
申请人：
华中科技大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	基于并行编程模式的相似网页去重系统
申请号	CN200910061694.9	申请日期	2009-04-17
法律状态	权利终止	申报国家	中国
公开/公告日	2010-02-10	公开/公告号	CN101645082
优先权	暂无	优先权号	暂无
主分类号	G06F17/30 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F17/00 特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法〔6〕 G06F17/30 信息检索；及其数据库结构〔6〕	IPC分类号	G;0;6;F;1;7;/;3;0查看分类表>
申请人	华中科技大学	申请人地址	湖北省武汉市洪山区珞喻路1037号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	华中科技大学	当前权利人	华中科技大学
发明人	李瑞轩，丁益斌，文坤梅，陈珊珊，辜希武，卢正鼎，靳延安，郑鹏，赵勇
代理机构	华中科技大学专利中心	代理人	曹葆青

摘要

本发明提出的基于并行编程模式的相似网页去重系统，包括网页内容预处理模块、网页特征向量提取模块、网页特征指纹计算模块、网页指纹在线去重模块、网页指纹分布式批处理去重模块、基于特定分布式计算平台。该系统能够完成对网络爬虫爬行获得的网页进行文本内容编码的统一转换、文档结构的规范化、舍弃网页噪声内容和分析识别网页的主题内容、连续文本内容的词项切分等环节、形成能够代表网页的特征向量。针对该向量可以使用相关的算法得到代表网页特征的网页指纹。本发明设计提出的系统在互联网海量数据量的情况下，准确、快速地探测由于网站镜像和网络文档转载等因素造成的网页内容完全重复或近似重复，并完成相应的去重工作，从无提高搜索引擎的存储效率，给搜索引擎带来更好的用户体验。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
1	CN101102316A	2008-01-09	2007-06-22	一种网页去重的方法及系统无效专利	腾讯科技(深圳)有限公司

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供