一种网络数据爬取方法和装置

发明专利有效专利

申请号：
CN201611243880.0
IPC分类号：G06F16/951
申请日期：
2016-12-29
申请人：
北京市天元网络技术股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种网络数据爬取方法和装置
申请号	CN201611243880.0	申请日期	2016-12-29
法律状态	授权	申报国家	中国
公开/公告日	2017-06-13	公开/公告号	CN106844522A
优先权	暂无	优先权号	暂无
主分类号	G06F16/951	IPC分类号	G;0;6;F;1;6;/;9;5;1查看分类表>
申请人	北京市天元网络技术股份有限公司	申请人地址	北京市海淀区西北旺东路10号院东区20号楼浪潮大厦变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	北京天元创新科技有限公司	当前权利人	北京天元创新科技有限公司
发明人	孙建通;李智;徐辉
代理机构	北京路浩知识产权代理有限公司	代理人	李相雨

摘要

本发明实施例提供了一种网络数据爬取方法和装置，所述方法包括：通过网页测试工具打开浏览器，并打开待爬取数据的网站；根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据。所述装置用于执行上述方法。本发明实施例通过控制浏览器对待爬取数据的网站进行浏览，并采用网页测试工具即selenium模拟用户浏览网站，可以很好的避免因网站反爬机制造成数据爬取失败的问题，提高了网络数据爬取的成功率。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供