爬虫种子获取方法与设备及爬虫爬取方法与设备

发明专利有效专利

申请号：
CN201110232595.X
IPC分类号：H04L29/08;G06F17/30
申请日期：
2011-08-15
申请人：
北京星网锐捷网络技术有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	爬虫种子获取方法与设备及爬虫爬取方法与设备
申请号	CN201110232595.X	申请日期	2011-08-15
法律状态	授权	申报国家	暂无
公开/公告日	2012-02-15	公开/公告号	CN102355488A
优先权	暂无	优先权号	暂无
主分类号	H04L29/08 ? IPC结构图谱： H 电学 H9 电学 H04 电通信技术 H04L 数字信息的传输，例如电报通信（电报和电话通信的公用设备入H04M）〔4〕 H04L29/00 H04L 1/00至H04L 27/00单个组中不包含的装置、设备、电路和系统〔5〕 H04L29/02 通信控制；通信处理（H04L 29/12，H04L 29/14优先）〔5〕 H04L29/06 以协议为特征的〔5〕 H04L29/08 传输控制规程，例如数据链级控制规程〔5〕	IPC分类号	H;0;4;L;2;9;/;0;8;;;G;0;6;F;1;7;/;3;0查看分类表>
申请人	北京星网锐捷网络技术有限公司	申请人地址	北京市海淀区复兴路29号中意鹏奥酒店东塔A座12层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京星网锐捷网络技术有限公司	当前权利人	北京星网锐捷网络技术有限公司
发明人	吴滨华;王祖海
代理机构	北京同立钧成知识产权代理有限公司	代理人	李勇

摘要

本发明提供一种爬虫种子获取方法与设备及爬虫爬去方法与设备。爬虫种子获取方法包括：根据预设检索词词典和目标导航网站的URL特性，构造动态页面请求；将动态页面请求发送给目标导航网站的服务器；根据预设提取策略，从服务器根据动态页面请求返回的检索结果页面中提取目标URL，目标URL为检索结果页面中的URL的主域名地址；对目标URL进行唯一化处理，获取唯一化目标URL，将唯一化目标URL作为爬虫种子。本发明技术方案能够提供大量的、离散度大的爬虫种子，从而缩短形成主流URL的时间，提高主流URL的覆盖性，降低爬虫系统进行爬取时的时间成本。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供