一种海量数据监控系统

1.一种海量数据监控系统，其特征在于，海量数据监控系统为多级集群架构，包括分成若干个分区的数据源、前置机集群、SCADA集群、操作员工作站和用于连接操作员工作站与SCADA集群的通信网络，基于数据源的每个分区，在前置机集群中相应的建立有前置机集群节点，在SCADA集群中相应的建立有SCADA集群节点，每个数据源的分区跟相应的前置机集群节点、SCADA集群节点形成一个单独的数据处理通道，其中前置机集群直接采集数据源的数据，SCADA集群访问前置机集群获取数据。
2.根据权利要求1所述的一种海量数据监控系统，其特征在于，一个数据处理通道中，前置机集群的一个节点中设置有一个前置处理服务模块；SCADA集群的一个节点中，设有一个数据处理服务模块、实时态实时数据库，以及一个用于访问所述实时态实时数据库的实时库访问服务模块，其中前置处理服务模块直接采集数据源数据后传输到数据处理服务模块进行再次加工，加工完成的数据存入到实时态实时数据库中供实时库访问服务模块访问调用。
3.根据权利要求1所述的一种海量数据监控系统，其特征在于，一个数据处理通道中，在前置集群的一个节点中设有两个前置处理服务模块，在SCADA集群的一个节点中相应的设有两个数据处理服务模块、两个实时态实时数据库、两个仿真态实时数据库和两个控制服务模块，一个用于访问实时态实时数据库的实时库访问服务模块，上述的一个处理通道为冗余架构，其中前置处理服务模块直接采集数据源数据后传输到数据处理服务模块进行再次加工，加工完成的数据存入到实时态实时数据库中供实时库访问服务模块访问调用。
4.根据权利要求1所述的一种海量数据监控系统，其特征在于，所述工作员站中设有用于访问SCADA集群节点中实时库访问服务模块的实时库访问客户端。
5.根据权利要求2或3所述的一种海量数据监控系统，其特征在于，所述SCADA集群中每一个节点中并行于实时态实时数据库还设有一个仿真态实时数据库，设有一个用于访问仿真态实时数据库的控制服务模块，在每一个操作员工作站中设有访问一个用于访问SCADA集群节点中控制服务模块的控制客户端。
6.根据权利要求1所述的一种海量数据监控系统，其特征在于，所述通信网络是高速数据总线。
7.根据权利要求1所述的一种海量数据监控系统，其特征在于，在通信网络与SCADA集群直接设有实时库访问路由，实时库访问路由连接有节点状态库。
8.根据权利要求1所述的一种海量数据监控系统，其特征在于，所述海量数据监控系统还包括连接在通信网络上用于访问SCADA集群的应用集群节点。

一种海量数据监控系统\n技术领域\n[0001] 本发明涉及软件工程领域及工控管理领域，尤其涉及一种基于分区集群技术的海量数据监控系统。\n背景技术\n[0002] 随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。面对动辄达到数百TB甚至数十上百PB规模的行业或者企业大数据，传统的计算机技术和信息系统的处理能力已经远远不能够满足。分区集群技术对海量数据的获取和处理呈现出了无可比拟的优势，具有良好的可扩展性、高度的可用性、负载平衡性和并行运算高效性等特点，非常适合于海量数据的处理。\n[0003] 现阶段对海量数据的处理中，往往是仅采用集群技术，而且其集群技术多没有出现分级集群的处理。\n[0004] 上述实施方式中，有效的解决了系统管理大规模数据的问题，但对于海量数据的采集和监控问题，没有给出较好的处理方案，因此，亟需一种方案来解决这一问题。\n发明内容\n[0005] 本发明的目的是提供一种基于分区集群技术的海量数据监控系统，实现对海量数据的并行处理，用以解决行业应用中海量数据采集和监控难度大的问题。\n[0006] 为实现上述目的，本发明的方案包括：\n[0007] 一种海量数据监控系统，为多级集群架构，包括分成若干个分区的数据源、前置机集群、SCADA集群、操作员工作站和用于连接操作员工作站与SCADA集群的通信网络，基于数据源的每个分区，在前置机集群中相应的建立有前置机集群节点，在SCADA集群中相应的建立有SCADA集群节点，每个数据源的分区跟相应的前置机集群节点、SCADA集群节点形成一个单独的数据处理通道，其中前置机集群直接采集数据源的数据，SCADA集群访问前置机集群获取数据。\n[0008] 进一步的，一个数据处理通道中，前置机集群的一个节点中设置有一个前置处理服务模块；SCADA集群的一个节点中，设有一个数据处理服务模块、实时态实时数据库，以及一个用于访问所述实时态实时数据库的实时库访问服务模块。\n[0009] 进一步的，一个数据处理通道中，在前置集群的一个节点中设有两个前置处理服务模块，在SCADA集群的一个节点中相应的设有两个数据处理服务模块、两个实时态实时数据库、两个仿真态实时数据库和两个控制服务模块，一个用于访问实时态实时数据库的实时库访问服务模块。\n[0010] 进一步的，工作员站中设有用于访问SCADA集群节点中实时库访问服务模块的实时库访问客户端。\n[0011] 进一步的，SCADA集群中每一个节点中并行于实时态实时数据库还设有一个仿真态实时数据库，设有一个用于访问仿真态实时数据库的控制服务模块，在每一个操作员工作站中设有访问一个用于访问SCADA集群节点中控制服务模块的控制客户端。\n[0012] 优选的，通信网络是高速数据总线。\n[0013] 进一步的，在通信网络与SCADA集群直接设有实时数据库路由，实时库路由连接有节点状态库。\n[0014] 进一步的，海量数据监控系统还包括连接在通信网络上用于访问SCADA集群的应用集群节点。\n[0015] 本发明基于分区集群技术的海量数据监控系统，解决了行业应用中因数据量大而带来的数据采集监控难度较大的问题，实现了数据的分布式并行采集处理，从数据源到前置采集再到后台实时处理，都是一个单独的数据处理通道，充分解决了数据的并发性，提高了数据监控系统的数据处理容量、提升了数据处理速度、极大地扩展了系统的应用范围。\n[0016] 并且，系统具有仿真态实时数据库，能够满足高级应用进行非实时态数据分析研究系统能够。充分的保证系统数据的并发性处理，加快了数据的采集和处理速度。\n[0017] 同时，该数据监控系统具备数据冗余性，在保证数据采集快速性的同时还保证了可靠性。另外，系统增加的应用集群，满足高级应用对海量数据监控系统的需求。\n附图说明\n[0018] 图1是海量数据监控系统的框图；\n[0019] 图2是具有仿真分析功能的海量数据监控系统框图；\n[0020] 图3是具有冗余和仿真分析功能的海量数据监控系统框图；\n[0021] 图4是分布式实时库访问机制原理框图。\n具体实施方式\n[0022] 下面结合附图对本发明做进一步详细的说明。\n[0023] 海量数据监控系统实施例1\n[0024] 基于分区集群技术的海量数据监控系统，将所要采集的海量数据源进行分区，然后采用集群技术构建前置机集群、SCADA集群、工作员站集群三级集群架构，实现对海量数据的并行采集和监控处理。\n[0025] 具体的，如图1所示，采用三台前置集群服务器，三台SCADA集群处理服务器，两台操作工作员站，九个用于分区的数据模拟源。此处，采用九个数据模拟源代替真实的数据源来完成海量数据监控系统的搭建，具体的是按照一定的物理及逻辑意义将九个数据模拟源分为三个数据源分区，如图1所示，数据模拟源1、2、3分为数据源分区A，数据模拟源4、5、6分为数据源分区B，数据模拟源7、8、9分为数据源分区C。\n[0026] 三台前置集群服务器分别对应于三个数据源分区A、B、C，每个前置集群节点中都设置有一个前置处理服务模块，如图1所示，前置集群节点A中的前置处理服务模块1采集数据源分区A中的三个数据模拟源的数据；前置集群节点B中的前置处理服务模块2采集数据源分区B中的三个数据模拟源的数据；前置集群节点C中的前置处理服务模块3采集数据源分区C中的三个数据模拟源的数据。这样，每个数据源分区的数据都是通过单独的前置处理服务模块进行处理的，不但保证了数据的并行处理，同时还保证了数据采集的快速性。\n[0027] 前置机集群节点采集到的数据经过前置处理后送到相应SCADA集群节点的数据处理服务单元，数据处理服务单元将数据处理完毕后直接传输到可靠的数据总线上或者送入实时数据库中以供实时库访问服务模块访问。从图1中可以看出，每个SCADA节点中都具有一个单独的实时数据处理服务模块，用以对应于每个前置集群节点中的前置处理服务模块，从而保证了数据从数据源到前置采集再到后台实时处理，都是一个单独的数据处理通道，充分的解决了数据的并发性。相应的，每个SCADA集群节点中每个数据处理服务模块还配置了一套实时态实时数据库，以供高级应用进行实时态数据分析研究。进一步的，每个SCADA集群节点中，配备了一套实时库访问服务模块用于访问SCADA集群节点中的实时态实时数据库，以对外提供数据访问接口和控制操作。\n[0028] 从图1中可以看出，海量数据监控系统设置了两个操作员工作站，操作员工作站与SCADA集群节点之间通过可靠的数据总线来提供消息数据总线服务。操作员工作站中配备了实时库访问客户端，用以访问SCADA集群节点的实时库访问服务模块，读取实时数据库的数据，以满足高级应用分析的需求。\n[0029] 进一步的，可靠的高速数据总线上还连接有用于访问SCADA集群的高级应用集群，以满足高级应用需求。应用集群里的高级应用对数据的时效性要求可能会比较高，为此系统还提供了一条特别通道，数据处理服务可以直接抛送熟数据到数据总线，然后提供给高级应用，这样就保证了数据的时效性，高级应用下面还配有独立的实时库，并对外提供单独的实时库访问服务。\n[0030] 作为其他实施方式，通信网络还可以是其他通信线，如以太网线、RS485线等。\n[0031] 海量数据监控系统实施例2\n[0032] 上述实施例给出了海量数据监控系统的一种实施方式，作为其他实施方式，如图2所示，在SCADA集群的每一个节点中对应于实时态实时数据库还并行的设有一个仿真态实时数据库。同时，在SCADA集群的节点中还设有用于访问仿真态实时库的控制服务模块，在每个操作员工作站中设有用于访问SCADA集群节点中控制服务模块的控制客户端。这样，就实现了上层的高级应用进行非实时态数据分析研究，对系统做出一些趋势性的预测。\n[0033] 海量数据监控系统实施例3\n[0034] 上述实施例给出了海量数据监控系统并行采集和处理数据的实施方式，作为其他实施方式，海量数据监控系统还具有冗余功能。如图3所示，在前置集群的每个节点中，相应于原有前置处理服务模块并行的设置有另外一个前置处理服务模块，在SCADA集群的每个节点中也并行的设有另外一个数据处理服务模块、实时态实时数据库、仿真态实时数据库和控制服务模块。如图3所示，在前置集群节点A中设有前置处理服务模块1和前置处理服务模块2，前置处理服务模块1采集数据源的分区A，前置处理服务模块2采集数据源的分区B；\n在前置集群节点B中设有前置处理服务模块2和前置处理服务模块3，前置处理服务模块2采集数据源的分区B，前置处理服务模块3采集数据源的分区C；在前置集群节点C中设有前置处理服务模块1和前置处理服务模块3，前置处理服务模块1采集数据源的分区A，前置处理服务模块3采集数据源的分区C；这样可以保证每个数据源的分区在同一时间被两个前置集群节点前置处理服务模块处理，形成实时热备用，实现对数据的冗余处理。\n[0035] 由于实时库都是分布式的，所以在海量数据监控系统中设置了一套分布式实时库访问机制。具体的，如图2所示，Rtdbrouter(实时库访问路由)每个连接SCADA集群节点的仿真态实时数据库和实时态实时数据库，通过节点状态库对Rtdbrouter的控制，Rtdbrouter向上通过消息总线连接到RtdbrouterClient，RtdbrouterClient则向上连接到Xbrowser。\n[0036] 以上给出了本发明具体的实施方式，但本发明不局限于所描述的实施方式。在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。