数据爬取方法、装置、计算机设备和存储介质

发明专利有效专利

申请号：
CN202110544655.5
IPC分类号：G06F16/951;G06F16/955
申请日期：
2021-05-19
申请人：
平安国际智慧城市科技股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	数据爬取方法、装置、计算机设备和存储介质
申请号	CN202110544655.5	申请日期	2021-05-19
法律状态	公开	申报国家	中国
公开/公告日	2021-10-19	公开/公告号	CN113515682A
优先权	暂无	优先权号	暂无
主分类号	G06F16/951	IPC分类号	G;0;6;F;1;6;/;9;5;1;;;G;0;6;F;1;6;/;9;5;5查看分类表>
申请人	平安国际智慧城市科技股份有限公司	申请人地址	广东省深圳市前海深港合作区妈湾兴海大道3048号前海自贸大厦1-34层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	平安国际智慧城市科技股份有限公司	当前权利人	平安国际智慧城市科技股份有限公司
发明人	贾波涛
代理机构	深圳国新南方知识产权代理有限公司	代理人	周雷

摘要

本申请提出一种数据爬取方法、装置、计算机设备和存储介质，该方法包括：读取并解析爬虫配置文件，以获取作为当前页面的起始目标页面的统一资源定位符；获取当前页面的上一页面的目标数据，根据当前页面的统一资源定位符生成并发送携带上一页面的目标数据的访问请求；从访问请求的响应数据中提取当前页面的目标数据；判断当前页面是否存在下一页面；若存在下一页面，则获取下一页面的统一资源定位符，并将下一页面作为当前页面，循环上述步骤，直到当前页面不存在下一页面；根据最后页面得到的目标数据获取最终目标数据。本申请能够自动下钻到每个目标页面，并提取解析每个层级页面数据，同时还能够自动合并整合数据输出。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供