一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置

1.本发明提供了一种基于大数据的信息安全管理运维服务平台的数据采集处理方法及装置，所述方法包括：
(1) 分布式存储引擎，能够并行地接收所采集到的数据，并进行存储,
(2) 分布式查询，能够根据查询请求查询所存储的采集数据ing快速返回,(3) 半结构化实时数据库，存储所采集数据的数据库，采用半结构化的实时数据库，或非结构化实时数据库。
2.如权利要求1所述的方法，还包括：
(1) 分布式存储引擎，还能够对所采集到的数据实现“就近存储”，即选择最近的存储节点存储所采集到的数据，或者说，将同一个地点的采集数据存储到最近节点（或者次最近节点）上,
(2) 分布式查询，还能够根据查询请求来决定所涉及到的一台还是多台索引服务器（或同一个节点内的多台索引服务器或多个节点的多台索引服务器）,
(3) 如果该查询请求涉及多台索引服务器，则同时转发该查询请求到所述多台索引服务器中,(4)各个索引服务器将查询结果返回给分布式查询引擎，分布式查询引擎负责合并查询结果。
3.如权利要求1或2所述的方法，还包括：
对所查询的数据进行展示。
4.如权利要求1或2所述的方法，还包括：
按照时间分片或存储空间分片的存储策略，对所采集到的数据，将同一个时间范围内的数据存储到所述时间范围内的所含多个时间分片或多个存储分片所对应的半结构化实时数据库中。
5.如权利要求1或2所述的方法，还包括：
索引服务器和存储采集数据的分片，可以保存多个副本。
6.一种基于大数据的信息安全管理运维服务平台的数据采集装置，所述装置包括：
(1) 分布式存储模块，并行地接收所采集的数据，并对所采集到的数据能够“就近存储”,
(2)分布式查询模块，从存储模块中快速查询相关采集数据并快速返回,
(3) 展示模块，对查询到的采集数据进行展示,
(4) 半结构化实时数据库，存储所采集数据的数据库，采用半结构化的实时数据库，或非结构化实时数据库。
7.如权利要求6所述装置，还包括：
分布式存储模块，用于存储采集数据的不同时间分片和存储分片，可以存储在同一台数据库服务器上，或存储在不同的数据库服务器上。

暂无