一种基于任务驱动的电力通信网数据采集方法

1.一种基于任务驱动的电力通信网数据采集方法，其特征在于，按如下步骤进行：
（1）系统管理器根据需要广播式下发任务驱动报文到与其连通的代理服务器；系统管理器下发任务驱动报文的步骤为：启动并初始化系统管理器，根据存储的节点终端和代理服务器的信息来绘制系统管理器UI界面，系统管理器通过JMX协议连接发布在指定URL上的JMX服务，然后，发送任务驱动报文和创建、启动、暂停、重启、销毁的控制命令报文；
（2）代理服务器接收任务驱动报文，并将报文广播式下发至与其连通的节点终端；
（3）节点终端响应代理服务器的指令，进行数据采集并将采集的信息预处理封装后上报至电力通信网集中监控平台的相关后台服务，同时反馈节点终端相关工作状态和心跳信息；所述的节点终端与代理服务器的连接方法为：每个节点终端开辟独立端口，新建监听，与代理服务器通过心跳保持连接,节点终端响应代理服务器的指令的方法为：节点终端加载代理服务器下发的采集任务，根据驱动任务和控制指令进行数据采集，按照约定格式把采集数据组织成XML报文作为数据源上报，其中，XML报文中包括报文的业务类型字段和驱动报文的工作类型字段，且节点终端采集数据的方法为轮询采集和主动采集；
（4）代理服务器接收节点终端采集的反馈信息和心跳信息，并将这些信息发送到系统管理器；
（5）系统管理器接收代理服务器所反馈的信息实现对节点终端的集中监管，完成一次数据采集；
其中，还包括自管理步骤，系统管理器、代理服务器和节点终端分别对自身在采集过程中出现的问题自动生成告警信息和特定的异常信息；
还包括后台服务器对节点终端的侦听步骤，包括：节点终端设置特定的接口与后台服务器通过TCP/IP协议进行通信，后台服务器自动侦测节点终端的在线状态，通过集中操作，实现对节点终端的远程协议部署和配置更新，并于节点终端的全过程，提供监视输出、保存日志、备份和控制运行操作；
步骤（1）和步骤（2）中所述的任务驱动报文包括采集的起始时间、采集粒度、采集参数、系统资源名称、资源名称、任务的ID，
步骤（1）至步骤（５）中所述的数据传输使用双向互通的数据通道，其中，系统管理器和代理服务器之间的数据通道采用JMX协议实现，代理服务器和节点终端之间的数据通道采用TCP/IP协议实现，
且在步骤（1）之前，还包括配置步骤，所述配置步骤按如下步骤进行：
（1）部署并开启代理服务器，通过JMX方式建立系统管理器与代理服务器之间的数据通道；
（2）部署系统管理器，配置系统管理器与服务总线之间的通信信息，所述通信信息包括IP地址和端口号；
（3）在系统管理器端添加协议包、协议所需的相关配置文件和资源文件；
（4）在代理服务器端创建采集节点终端，打开节点终端，配置后台数据，所述后台数据包括接收代理服务信息、工作方式、工作内容和采集协议；
（5）系统管理器广播下发协议包、协议所需的相关配置文件和资源文件，代理服务器存储系统管理器广播下发的文件，节点终端根据配置加载相关协议包。

一种基于任务驱动的电力通信网数据采集方法\n技术领域\n[0001] 本发明涉及一种电力通信网数据采集方法，更具体的说涉及一种基于任务驱动的电力通信网数据采集方法。\n背景技术\n[0002] 电力通信网随着近年来通信技术日新月异的发展，光纤通信已在整个电力通信网络中占据了主导位置，包括交换网、接入网、同步网、业务网在内的各类通信系统的飞速发展，使得整个网络中设备的种类和数量不断增加，单个系统的结构变得越来越复杂，系统间的相互联系变得越来越紧密，因此对整个通信网络的统一监视和系统管理提出了更新更高的要求。数据采集作为统一监视和系统管理的动态数据源，实现对传输系统、接入网系统、数据网系统、交换网系统、机房动力环境等几大类通信系统的数据采集和适配，实现告警信息、性能信息、配置信息的采集、预处理和上传等功能。目前，由于电力通信网网络设备的多样性，接口、协议、数据格式不尽相同，新的网络设备、协议不断涌现等原因，导致工程运维人员的工作量大，手工操作容易出错，采集程序的运行状态、日志等运行数据无法集中监视，经常出现采集程序异常中止但管理人员无法及时发现的问题。\n[0003] 如前所述，如何实现全新的、可管理、可配置、能适应未来新设备和新协议的接入的采集与控制框架已成为开发人员关注的焦点。\n发明内容\n[0004] 为解决现有技术的不足，本发明的目的在于提供一种保证通信质量、提高服务管理水平和运行维护效率的基于任务驱动的电力通信网数据采集方法。\n[0005] 为达到上述目的，本发明是通过以下的技术方案来实现的：一种基于任务驱动的电力通信网数据采集方法，按如下步骤进行：\n[0006] （1）系统管理器根据需要广播式下发任务驱动报文到与其连通的代理服务器；\n[0007] （2）代理服务器接收任务驱动报文，并将报文广播式下发至与其连通的节点终端；\n[0008] （3）节点终端响应代理服务器的指令，进行数据采集并将采集的信息预处理封装后上报至电力通信网集中监控平台的相关后台服务，同时反馈节点终端相关工作状态和心跳信息；\n[0009] （4）代理服务器接收节点终端采集的反馈信息和心跳信息，并将这些信息发送到系统管理器；\n[0010] （5）系统管理器接收代理服务器所反馈的信息实现对节点终端的集中监管，完成一次数据采集。\n[0011] 对本发明的进一步限定方案为，在步骤（1）之前，还包括配置步骤，所述配置步骤按如下步骤进行：\n[0012] （1）部署并开启代理服务器，通过JMX方式建立系统管理器与代理服务器之间的数据通道；\n[0013] （2）部署系统管理器，配置系统管理器与服务总线之间的通信信息，所述通信信息包括IP地址和端口号；\n[0014] （3）在系统管理器端添加协议包、协议所需的相关配置文件和资源文件；\n[0015] （4）在代理服务器端创建采集节点，打开节点终端，配置后台数据，所述后台数据包括接收代理服务信息、工作方式、工作内容和采集协议；\n[0016] 系统管理器广播下发协议包、协议所需的相关配置文件和资源文件，代理服务器存储系统管理器广播下发的文件，节点终端根据配置加载相关协议包。\n[0017] 进一步的，步骤（1）至步骤（５）中所述的数据传输使用双向互通的数据通道，其中，系统管理器和代理服务器之间的数据通道采用JMX协议实现，代理服务器和节点终端之间的数据通道采用TCP/IP协议实现。\n[0018] 进一步的，步骤（3）中节点终端与代理服务器的连接方法为：每个节点终端开辟独立端口，新建监听，与代理服务器通过心跳保持连接。\n[0019] 进一步的，步骤（3）中节点终端响应代理服务器的指令的方法为：节点终端加载代理服务器下发的采集任务，根据驱动任务和控制指令进行数据采集，按照约定格式把采集数据组织成XML报文作为数据源上报，其中，XML报文中包括报文的业务类型字段和驱动报文的工作类型字段。\n[0020] 进一步的，节点终端采集数据的方法为轮询采集和主动采集。\n[0021] 进一步的，本方法还包括自管理步骤，系统管理器、代理服务器和节点终端分别对自身在采集过程中出现的问题自动生成告警信息和特定的异常信息。\n[0022] 进一步的，步骤（1）和步骤（2）中所述的任务驱动报文包括采集的起始时间、采集粒度、采集参数、系统资源名称、资源名称、任务的ID。\n[0023] 进一步的，步骤（1）中系统管理器下发任务驱动报文的步骤为：启动并初始化系统管理器，根据存储的节点终端和代理服务器的信息来绘制系统管理器UI界面，系统管理器通过JMX协议连接发布在指定URL上的JMX服务，然后，发送创建、启动、暂停、重启、销毁等控制报文和任务驱动报文。\n[0024] 进一步的，所述采集方法还包括后台服务器对节点终端的侦听步骤，包括：节点终端设置特定的接口与后台服务器通过TCP/IP协议进行通信，后台服务器自动侦测节点终端的在线状态，通过集中操作，实现对节点终端的远程协议部署和配置更新，并于节点终端的全过程，提供监视输出、保存日志、备份和控制运行操作。\n[0025] 本发明的有益效果是：本发明所述的一种基于任务驱动的电力通信网数据采集方法根据系统管理器下发的驱动任务进行数据采集，使节终端的运行情况得到监听，使维护部门实时掌握各类通信资源的运行情况，正确、快速、高效配置通信系统、设备运行参数，合理安排通信检修，保证通信质量，提高服务管理水平和运行维护效率，为电网的安全稳定运行提供更好的支持和保障。\n附图说明\n[0026] 图1为本发明的一种基于任务驱动的电力通信网数据采集方法的流程图；\n[0027] 图2为本发明方法的框架结构。\n具体实施方式\n[0028] 以下结合附图和具体实施例对本发明作具体的介绍。\n[0029] 实施例：一种基于任务驱动的电力通信网数据采集方法，流程图如图1所示，包括配置步骤、数据采集步骤、自管理步骤和侦听步骤。\n[0030] 所述配置步骤按如下步骤进行：\n[0031] （1）部署并开启代理服务器，通过JMX方式建立系统管理器与代理服务器之间的数据通道。\n[0032] （2）部署系统管理器，配置系统管理器与服务总线之间的通信信息，所述通信信息包括IP地址和端口号。\n[0033] （3）在系统管理器端添加协议包、协议所需的相关配置文件和资源文件。\n[0034] （4）在代理服务器端创建采集节点，打开节点终端，配置后台数据，所述后台数据包括接收代理服务信息、工作方式、工作内容和采集协议。\n[0035] （5）系统管理器下发协议包、协议所需的相关配置文件和资源文件，代理服务器接送并存储这些文件，节点终端根据配置加载相关协议包。\n[0036] 数据数据采集步骤按如下步骤进行：\n[0037] （1）系统管理器根据需要广播式下发任务驱动报文到与其连通的代理服务器。\n[0038] 系统管理器下发的任务驱动报文包括采集的起始时间、采集粒度、采集参数、系统资源名称、资源名称、任务的ID。\n[0039] 系统管理器下发任务驱动报文的步骤为：启动并初始化系统管理器，根据存储的节点终端和代理服务器的信息来绘制系统管理器UI界面，系统管理器通过JMX协议连接发布在指定URL上的JMX服务，然后，发送创建、启动、暂停、重启、销毁等控制报文和任务驱动报文。\n[0040] （2）代理服务器接收任务驱动报文，并将报文广播式下发至与其连通的节点终端。\n[0041] （3）节点终端响应代理服务器的指令，进行数据采集并将采集的信息上报至电力通信网集中监控平台的相关后台服务，同时反馈节点终端相关工作状态和心跳信息。\n[0042] 在节点终端与代理服务器的连接过程中，每个节点终端开辟独立端口，新建监听，与代理服务器通过心跳保持连接。\n[0043] 节点终端响应代理服务器的指令的方法为：节点终端加载代理服务器下发的采集任务，根据驱动任务和控制指令进行数据采集，按照约定格式把采集数据组织成XML报文作为数据源上报，其中，XML报文中包括报文的业务类型字段和驱动报文的工作类型字段。节点终端采集数据的方法为轮询采集和主动采集。\n[0044] （4）代理服务器接收节点终端采集的反馈信息和心跳信息，并将这些信息发送到系统管理器。\n[0045] （5）系统管理器接收代理服务器所反馈的信息实现对节点终端的集中监管，完成一次数据采集。\n[0046] 其中，步骤（1）至步骤（５）中所述的数据传输使用双向互通的数据通道，其中，系统管理器和代理服务器之间的数据通道采用JMX协议实现，代理服务器和节点终端之间的数据通道采用TCP/IP协议实现。\n[0047] 自管理步骤，系统管理器、代理服务器和节点终端分别对自身在采集过程中出现的问题自动生成告警信息和特定的异常信息。\n[0048] 侦听步骤，按如下步骤进行，节点终端设置特定的接口与后台服务器通过TCP/IP协议进行通信，后台服务器自动侦测节点终端的在线状态，通过集中操作，实现对节点终端的远程协议部署和配置更新，并于节点终端的全过程，提供监视输出、保存日志、备份和控制运行操作。\n[0049] 图2为本发明方法的框架结构；\n[0050] 如图2所示：本发明所述的一种基于任务驱动的电力通信网数据采集方法，主要采用三个模块，系统管理器，代理服务器和节点终端。系统管理器（Manager）是控制端，代理服务器（Agent）代理了分布式计算机上对节点终端的控制服务，节点终端采集各个设备网管的信息数据。代理服务器发布节点控制的服务，系统管理器通过JMX协议与代理服务器交互获得对节点终端的控制。节点终端通过开辟独立端口，通过TCP/IP协议实现与代理服务器的信息交互，这种方式有助于代理服务器和节点终端之间的低耦合。\n[0051] 总体来说，本发明所述的方法通过一条JMX和TCP/IP的数据通道实现了对节点的集中控制和监视，最重要的是可以实现采集数据的轮询上报和人为根据驱动任务主动采集上报。\n[0052] 上述三个模块实现的主要功能为如下所示。\n[0053] 系统管理器的主要功能：\n[0054] （1）通过RMI连接器连接代理服务器的JMX服务；\n[0055] （2）发送架包、资源、配置和节点控制指令到代理服务器，接收代理服务器反馈的信息；\n[0056] （3）接收代理服务器发送的日志等数据信息；\n[0057] （4）接收任务驱动报文并下发至对应的采集节点执行采集，反馈相关采集信息；\n[0058] （5）发送指令至代理服务器查询当前各个节点运行状况，接收代理端反馈的信息；\n[0059] （6）发送创建某个或多个节点指令到代理服务器执行，接收代理服务器反馈的信息；\n[0060] （7）发送关闭某个或多个节点指令到代理服务器执行，接收代理服务器反馈的信息；\n[0061] （8）发送暂停某个或多个节点指令到代理服务器执行，接收代理服务器反馈的信息；\n[0062] （9）发送重启某个或多个节点指令到代理服务器执行，接收代理服务器反馈的信息。\n[0063] 代理服务器的主要功能：\n[0064] （1）发布JMX服务信息；\n[0065] （2）接收系统管理器的JAR包、附加包、资源、配置和启动指令，转发控制命令和任务驱动报文，启动本机单个或多个节点终端，并将执行结果信息反馈给系统管理器；\n[0066] （3）同单个或多个节点终端进行数据的交互采集信息；\n[0067] （4）将节点终端采集相关的信息发送给系统管理器；\n[0068] （5）监控各个节点运行状况，在节点异常终止运行的情况下，将状况反馈给系统管理器；\n[0069] （6）接收管理端创建指令，创建单个或多个节点，并将执行结果反馈给系统管理器；\n[0070] （7）接收管理端关闭指令，关闭单个或多个节点，并将执行结果反馈给系统管理器；\n[0071] （8）接收管理端暂停指令，暂停单个或多个节点，并将执行结果反馈给系统管理器；\n[0072] （9）接收管理端重启指令，重启单个或多个节点，并将执行结果反馈给系统管理器。\n[0073] 节点终端的主要功能：\n[0074] （1）加载代理端存储的JAR包，被代理服务器启动；\n[0075] （2）同代理服务器进行数据的交互，发送实时运行信息；\n[0076] （3）响应代理服务器的指令，被代理服务器关闭；\n[0077] （4）响应代理服务器的指令，被代理服务器暂停；\n[0078] （5）响应代理服务器的指令，被代理服务器重新启动；\n[0079] （6）执行告警、配置、性能等采集工作，采集数据上报。\n[0080] 此外，上述各模块之间的交互关系为如下所示。\n[0081] 系统管理器与代理服务器之间的交互：\n[0082] （1）交互方式：通过JMX框架发布节点控制的服务，管理端获取代理发布的服务对节点进行控制；\n[0083] （2）交互内容：注册；管理服务器对代理服务器控制命令（创建、启动、暂停、销毁、日志收集）；管理服务器对代理服务器业务下发（业务报文）；代理服务器对管理器反馈（心跳、日志）；代理对管理器反馈（心跳、日志）。\n[0084] 代理服务器与节点终端之间的交互：\n[0085] （1）交互方式：通过TCP/IP通信方式进行交互。虽然节点终端是代理服务器的子进程，但是为了避免代理服务器重启导致的节点控制丢失问题，在每个节点新建监听；\n[0086] （2）交互内容：节点终端的控制命令（新增、启动、暂停、销毁）；系统服务器对节点终端的业务下发（任务驱动报文）；节点终端对管理服务器的反馈（心跳、日志）。\n[0087] 另外，所述方法中还需要后台服务器实现对节点终端的侦测步骤，所述后台服务器与系统管理器之间的交互：\n[0088] （1）交互方式：通过数据总线（通信平台）；\n[0089] （2）交互内容：管理服务器对后台服务的报文（告警、心跳）；后台服务器对管理服务器的业务指令（任务驱动报文）；后台服务器对管理服务器的控制报文（集中控制）。\n[0090] 所述后台服务器与节点终端之间的交互：\n[0091] （1）交互方式：通过TCP/IP通信方式，后台服务器开通固定侦听端口；\n[0092] （2）交互内容：告警报文；性能报文；配置报文；异常报文。\n[0093] 本发明通过后台服务器自动侦测监控节点终端的在线状态，通过集中操作，实现对节点终端的远程协议部署和配置更新。并于节点终端工作的全过程，提供监视输出、保存日志、备份、控制运行等相关操作和功能。所述方法实现了特定的接口，以便于提供实现无关的节点终端管理，并且面向接口，可以灵活地支持不同的网络类型。有了接口约束，新协议的扩展成本就比较低，当有新的监控协议出现时，只需要按接口要求实现相应的功能，系统管理器就可以发布对应的采集程序。采集框架实现了自管理功能，能够对自身在采集过程中出现的问题自动生成告警和特定的异常信息提供维护人员参考。\n[0094] 上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。