Web数据采集方法和Web数据采集系统

发明专利有效专利

申请号：
CN201711174715.9
IPC分类号：H04L29/08;G06F16/951;G06F16/955
申请日期：
2017-11-22
申请人：
用友金融信息技术股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	Web数据采集方法和Web数据采集系统
申请号	CN201711174715.9	申请日期	2017-11-22
法律状态	暂无	申报国家	中国
公开/公告日	2018-05-08	公开/公告号	CN108011931A
优先权	暂无	优先权号	暂无
主分类号	H04L29/08 ? IPC结构图谱： H 电学 H9 电学 H04 电通信技术 H04L 数字信息的传输，例如电报通信（电报和电话通信的公用设备入H04M）〔4〕 H04L29/00 H04L 1/00至H04L 27/00单个组中不包含的装置、设备、电路和系统〔5〕 H04L29/02 通信控制；通信处理（H04L 29/12，H04L 29/14优先）〔5〕 H04L29/06 以协议为特征的〔5〕 H04L29/08 传输控制规程，例如数据链级控制规程〔5〕	IPC分类号	H;0;4;L;2;9;/;0;8;;;G;0;6;F;1;6;/;9;5;1;;;G;0;6;F;1;6;/;9;5;5查看分类表>
申请人	用友金融信息技术股份有限公司	申请人地址	北京市海淀区永丰路9号院3号楼4层101-C18 变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	用友金融信息技术股份有限公司	当前权利人	用友金融信息技术股份有限公司
发明人	韦立鹏
代理机构	北京友联知识产权代理事务所（普通合伙）	代理人	尚志峰;汪海屏

摘要

本发明提出了一种Web数据采集方法、Web数据采集系统、计算机设备、计算机可读存储介质。其中，Web数据采集方法包括：布置待加入虚拟机的爬虫环境；获取待加入虚拟机的IP地址，并将IP地址添加至主节点配置中；控制主机更新运行脚本，以使待加入虚拟机和已加入虚拟机获取最新运行代码；当接收到待加入虚拟机的任务启动指令，根据最新运行代码执行任务启动指令，以使待加入虚拟机加入至爬取网站的集群中并开始Web数据采集。本发明实现了数据源大量增加时，Web数据爬取上和存储上的横向扩展，提高了爬取数据和存储数据的效率，在有限的时间内完成数据的采集。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供