一种分布式网络爬虫的URL排重系统及方法

发明专利有效专利

申请号：
CN201210425213.X
IPC分类号：H04L29/08
申请日期：
2012-10-30
申请人：
工业和信息化部电信传输研究所

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种分布式网络爬虫的URL排重系统及方法
申请号	CN201210425213.X	申请日期	2012-10-30
法律状态	授权	申报国家	暂无
公开/公告日	2013-02-13	公开/公告号	CN102932448A
优先权	暂无	优先权号	暂无
主分类号	H04L29/08 ? IPC结构图谱： H 电学 H9 电学 H04 电通信技术 H04L 数字信息的传输，例如电报通信（电报和电话通信的公用设备入H04M）〔4〕 H04L29/00 H04L 1/00至H04L 27/00单个组中不包含的装置、设备、电路和系统〔5〕 H04L29/02 通信控制；通信处理（H04L 29/12，H04L 29/14优先）〔5〕 H04L29/06 以协议为特征的〔5〕 H04L29/08 传输控制规程，例如数据链级控制规程〔5〕	IPC分类号	H;0;4;L;2;9;/;0;8查看分类表>
申请人	工业和信息化部电信传输研究所	申请人地址	北京市海淀区花园北路52号电信研究院B座6层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	工业和信息化部电信传输研究所	当前权利人	工业和信息化部电信传输研究所
发明人	刘述;徐贵宝;江文学;何宝宏;高强;赵劲
代理机构	北京连和连知识产权代理有限公司	代理人	贺小明

摘要

一种分布式网络爬虫的URL排重系统及方法，所述系统包括爬虫采集子节点，中心服务器，数据库服务器。所述方法包括：爬虫采集子节点在中心服务器上进行注册；爬虫采集子节点从数据库等待队列中获取URL，从此URL获取新的URL信息；爬虫采集子节点对新获取的URL进行一级排重，如一级排重未通过，则放弃该URL；如一级排重通过，将新获取的URL加入本地URL摘要表并发送给中心服务器；中心服务器对新获取的URL进行二级排重，如二级排重通过，将URL加入全局URL摘要表；爬虫采集子节点将该URL的链接加入到等待队列中。本发明提供的系统及方法通过分级排重机制可以将原来集中在中心节点进行的排重任务通过一级排重分解到各爬虫采集子节点，中心服务器通过二级排重的方式维护一张全局排重表格，十分方便于系统进行扩展，系统的设计、部署与运行变得十分灵活、方便。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供