一种基于分布式的一站式采集方法及采集系统

发明专利有效专利

申请号：
CN202010960596.5
IPC分类号：G06F16/9535;G06F16/955;G06K9/62;G06F9/48
申请日期：
2020-09-14
申请人：
山东亿云信息技术有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于分布式的一站式采集方法及采集系统
申请号	CN202010960596.5	申请日期	2020-09-14
法律状态	实质审查	申报国家	中国
公开/公告日	2020-12-18	公开/公告号	CN112100495A
优先权	暂无	优先权号	暂无
主分类号	G06F16/9535	IPC分类号	G;0;6;F;1;6;/;9;5;3;5;;;G;0;6;F;1;6;/;9;5;5;;;G;0;6;K;9;/;6;2;;;G;0;6;F;9;/;4;8查看分类表>
申请人	山东亿云信息技术有限公司	申请人地址	山东省济南市高新区新泺大街2008号银荷大厦B座3层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	山东亿云信息技术有限公司	当前权利人	山东亿云信息技术有限公司
发明人	李钊;孙露;孙浩;杨春;魏静;胡传会;陈通
代理机构	济南圣达知识产权代理有限公司	代理人	暂无

摘要

本公开提出了一种基于分布式的一站式采集方法及系统，包括分布式采集集群构建将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；全网采集集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；解析对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；采集任务配置配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。用户可根据采集需求自定义分配采集资源，采集任务结束后自动释放采集资源，有效的提高了采集效率。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供