数据采集方法及数据采集设备

暂无

数据采集方法及数据采集设备\n技术领域\n[0001] 本发明涉及数据处理技术，特别是涉及一种数据采集方法及数据采集设备。\n背景技术\n[0002] 目前，数据采集的方式主要采用简单网络管理协议(SNMP，Simple Network Management Protocol)，也就是说，网管服务器针对被采集网元发送设置(SET)命令和获取(GET)命令，所述SET命令包括SET请求和SET响应，同理，GET命令也包括GET请求和GET响应。在现有技术中，由于SET请求和GET响应是异步模式。因此，对海量被采集网元的SNMP数据的采集，网管服务器都会建立一个SNMP监听端口，用于异步监听每个被采集网元所返回的SET和GET请求的响应。同时将每个被采集网元生成SNMP数据的协议数据单元(PDU，Protocol Data Unit)，然后向该被采集网元发送PDU请求，等到该被采集网元返回PDU响应后就将该监听端口注销。\n[0003] 由上述现有技术方案可知，首先，针对相同版本的网元，作为每个被采集网元的SNMP的PDU设置都是一样的，而网管服务器每次对相同版本的网元都要新生成相同的SNMP的PDU，这样将导致程序堆栈的频繁开销。\n[0004] 其次，网管服务器为每个被采集网元都建立一个SNMP监听端口，在这个网元数据采集完成后就将这个监听端口注销。而每个SNMP端口的监听都需要新启动一个线程，浪费了大量的计算机资源，其浪费大量计算机资源主要体现在：一是线程建立和注销的频繁开销，需要浪费大量的计算机资源，二是网管服务器每个端口监听的建立和注销也需要浪费大量的计算机资源。\n发明内容\n[0005] 本发明实施例提供一种数据采集的方法及设备，利用为每个线程建立的SNMP监听端口监听海量网元的数据采集，节省计算机资源，提高SNMP数据采集的效率。\n[0006] 为解决上述技术问题，本发明是实施例提供一种数据采集方法，所述方法包括：\n[0007] 获取所有被采集的网元的信息；\n[0008] 将所有被采集的网元的信息封装成采集任务放入一个任务队列中；\n[0009] 启动网元采集线程池，为所述采集线程池中每个线程建立对应的简单网络管理协议SNMP监听端口，通过所述SNMP监听端口采集所述任务队列中每个网元的SNMP数据，具体包括：从所述任务队列中取出一个网元的采集任务，形成静态协议数据单元PDU，并根据所述网元的信息建立对应的SNMP访问地址；通过所述SNMP访问地址采集到所述网元的SNMP数据，重复该过程，直至采集到所述任务队列中每个网元的SNMP数据，其中，静态协议数据单元PDU是指：将需要访问的网元的内容保存，针对相同的网元不用每次新生成静态PDU，只在第一采集时，生成静态PDU。\n[0010] 相应地，本发明实施例提供一种数据采集设备，所述数据采集设备包括：\n[0011] 信息获取单元，用于获取所有被采集的网元的信息；\n[0012] 封装单元，用于将信息获取单元获取的所有被采集的网元的信息封装成采集任务放入一个任务队列中；\n[0013] 启动单元，用于启动网元采集线程池；\n[0014] 端口建立单元，用于为所述启动的采集线程池中的每个线程建立对应的简单网络管理协议SNMP端口；\n[0015] 数据采集单元，用于通过端口建立单元建立的所有SNMP端口采集所述任务队列中每个网元的SNMP数据，具体包括：\n[0016] 采集任务获取单元，用于从所述任务队列中取出一个网元的采集任务，形成静态协议数据单元PDU；\n[0017] SNMP访问地址建立单元，用于根据所述网元的信息建立对应的SNMP访问地址；\n[0018] SNMP数据采集单元，用于通过所述SNMP访问地址采集到对应网元的SNMP数据；\n[0019] 指示发送单元，用于向所述采集任务获取单元发送取出该任务队列中下一个网元的采集任务的指示；\n[0020] 其中，静态协议数据单元PDU是指：将需要访问的网元的内容保存，针对相同的网元不用每次新生成静态PDU，只在第一采集时，生成静态PDU。\n[0021] 由上述公开的技术方案可知，本发明实施例通过将所有被采集网元的信息封装成采集任务放入一个任务队列中，启动网元的采集线程池，为所述线程池中每个线程建立对应的SNMP监听端口，通过所述SNMP监听端口采集所述任务队列中每个网元的SNMP数据。\n由此可见，本发明实施例通过为线程池中的每个线程建立对应的SNMP监听端口，不但减少了SNMP监听端口的开销和线程创设的开销，节省了大量计算机资源，还提高了SNMP数据的采集效率。\n附图说明\n[0022] 图1为本发明实施例中数据采集方法的流程图；\n[0023] 图2为本发明实施例中对被采集网元的SNMP数据采集的整体流程图；\n[0024] 图3为本发明实施例中单个采集线程中采集SNMP数据的流程图；\n[0025] 图4为本发明实施例中数据采集设备的结构示意图。\n具体实施方式\n[0026] 下面我们将结合附图，对本发明的最佳实施方案进行详细描述。\n[0027] 请参阅图1，为本发明实施例中数据采集方法的流程图，所述方法包括：\n[0028] 步骤101：获取所有被采集的网元的信息；\n[0029] 可以从网管数据库中获取所有被采集的网元的信息。\n[0030] 步骤102：将所有被采集的网元的信息封装成采集任务放入一个任务队列中；\n[0031] 步骤103：启动网元采集线程池，为所述采集线程池中每个线程建立对应的简单网络管理协议SNMP监听端口；\n[0032] 步骤104：通过所述SNMP监听端口采集所述任务队列中每个网元的SNMP数据。\n[0033] 其中，所述通过SNMP端口采集到所述任务队列中每个网元的数据的步骤包括：\n[0034] 1)从所述任务队列中取出一个网元的采集任务，形成静态协议数据单元PDU，并根据所述网元的信息建立对应的SNMP访问地址；\n[0035] 2)通过所述SNMP访问地址采集到所述网元的SNMP数据；\n[0036] 3)判断所述任务队列是否为空，若否，则继续执行步骤1)，直至该任务队列为空。\n[0037] 优选的，所述方法还包括：将所述采集到每个网元的SNMP数据及对应的任务队列号存储在网管数据库中。\n[0038] 优选的，所述方法还包括：在启动网元的采集线程池时，监控所述采集线程池的采集时间是否达到预设的时间，若是，则向采集线程池发送停止采集的命令；若否，继续执行所述监控的步骤。\n[0039] 其中，如果所述任务队列为空，且采集时间没有达到预设的时间，则向所述采集线程池发送停止采集的命令。\n[0040] 为了便于本领域技术人员的理解，下面以具体的应用实施例来说明。\n[0041] 还请参阅图2，为本发明实施例中对被采集网元的SNMP数据采集的整体流程图。\n本实施例中以网管服务器对被采集网元的SNMP数据的采集为例，但并不限于此，还可以是其他的网管设备。在本实施例中，网管服务器对网元数据采集任务触发启动；并从网管数据库取得所有被采集网元的信息；将所有被采集网元的信息封装成采集任务放入一个任务队列中；启动网元的采集线程池，对网元数据进行采集；在启动线程池时，启动时间监控线程，监控采集时间是否到期，并根据监控的结果进行相应的处理。具体如图2所示，图2中的双划线，表示与该双划线相连的步骤可以同时进行，也可以有时间上的先后顺序，该图2具体包括：\n[0042] 步骤201：网管服务器启动；\n[0043] 步骤202：从网管数据库中获取所有被采集网元的信息；\n[0044] 步骤203：将所有被采集网元的信息封装成采集任务放入一个任务队列中；\n[0045] 步骤204：启动网元采集线程池；\n[0046] 步骤205：为所述采集线程池中每个线程建立对应的简单网络管理协议SNMP监听端口；\n[0047] 步骤206：从所述任务队列中取出一个网元的采集任务，并将所述网元的采集任务发送到SNMP监听端口；\n[0048] 步骤207：通过所述SNMP监听端口采集所述任务队列中每个网元的SNMP数据；\n[0049] 其中，在该步骤中，对每个线程中采集SNMP数据的过程，详见下图3所示，在此不再详细的描述。\n[0050] 步骤208：将所述采集所述任务队列中每个网元的SNMP数据存储到网管数据库中；\n[0051] 步骤209：启动线程池的监控任务；监控线程池中SNMP数据的采集时间；\n[0052] 步骤210：判断所述采集线程池的采集时间是否达到预设的时间，如果是，则执行步骤211；否则，执行步骤212；\n[0053] 步骤211：网管服务器向采集线程池发送停止采集的命令；\n[0054] 步骤212：休眠一段时间，继续执行步骤209。\n[0055] 需要说明的是，在本实施例中，步骤205和步骤206，可以没有时间上的先后顺序，也可同时进行；步骤203、204和209可以没有时间上的先后顺序；也可同时进行；也可以步骤203先执行，可以再、执行步骤208和209，本实施例不作限定。\n[0056] 由此可见，本实施例只针对线程池中的每个线程建立对应的SNMP监听端口，不但减少了SNMP监听端口的开销和线程创设的开销，节省了大量计算机资源，还提高了SNMP数据的采集效率。\n[0057] 还请参阅图3，为本发明实施例中单个采集线程中采集SNMP数据的流程图本实施例，以线程池中单个线程采集SNMP数据的处理过程为例，每个线程的处理过程包括：先建立与该线程对应的SNMP监听端口，该端口用于接收网元返回SNMP事件响应信息；针对不同的网元版本生成相应的PDU，其中，所述生成的PDU是静态的，也就是各个线程将共享每个不同版本的相对应的唯一PDU，以便于在第二次采集相同网元时，只需直接引用对应的静态PDU即可，不用重新生成PDU，因为，PDU的生成也是需要耗时的，可能会消耗外部资源，以便于采集不同的对象标识(OID，object Identifier)的静态PDU；从任务队列中取得一个网元的采集任务，形成相应的SNMP访问地址，并利用所述访问地址向该网元发送SET请求，在接收到网元返回的响应消息后，向该网元发送GET请求，并在同一个SNMP监听端口监听返回的GET请的响应消息求，解析这个返回的响应消息中的SNMP PDU数据，并将相关SNMP PDU数据存入网管数据库。如果SET或GET失败，则将此网元任务放入任务队列进行重新采取。重复执行上述过程，直至采集到所述任务队列中每个网元的SNMP数据。\n[0058] 另外，所述过程还可以包括步骤：判断所述任务队列是否为空，若任务队列不为空，则继续执行从所述任务队列中取出下一个网元的采集任务，形成静态协议数据单元PDU，并根据所述网元的信息形成对应的SNMP访问地址的步骤，直至该任务队列为空。如果队列为空，则休眠一段时间，然后继续尝试。\n[0059] 同时，在单个线程的数据采集过程中，网管服务器会启动监控任务，即启动监控线程每隔一定时间、实时或二者交替来检测任务队列，如果发现任务队列为空，则向所述采集线程池发送停止采集的命令。只有当线程池中所有线程都退出服务时采集完毕。\n[0060] 对于本实施例中的具体实现过程详见图3，具体包括步骤：\n[0061] 步骤301：建立与该线程对应的SNMP监听端口；\n[0062] 步骤302：从任务队列中取得一个网元的采集任务，生成唯一的静态PDU；\n[0063] 其中所述静态PDU是指，将需要访问的网元的内容保存，针对相同的网元不用每次新生成，如果不生成静态PDU，有可能会浪费大量的资源，比如：有一个版本A的网元，需采集的PDU有M个，且需从可扩展标记语言(XML，Extensible Markup Language)文件或其它存储系统中获取，这种情况下生成PDU就需要耗费大量的资源。再如，如果这个系统有N个版本A的网元，如果不生成静态PDU，就会每采集一次就需要生成一次PDU，则将会有N次PDU的生成开销；而如果第一采集时，生成了静态PDU，则就不需要后续的开销。\n[0064] 步骤303：根据所述网元的信息生成SNMP访问地址，通过所述SNMP访问地址向该网元发送SET请求；\n[0065] 步骤304：判断所述SET请求是否发送成功，若是，执行步骤305；否则执行步骤\n306；\n[0066] 也就是说，被采集网元在接收到网管服务器发送的SET请求后，会按照双方约定生成相应的数据，之后，向网管服务器返回SET请求的成功响应信息，该网管服务器在接收到所述成功响应信息后，则认为发送SET请求成功。\n[0067] 步骤305：接收到该网元返回所述SET请求的成功响应消息后，向该网元发送GET请求；\n[0068] 在接收到该网元返回的SET请求的成功响应消息，则对所述返回的SET请求的成功响应消息进行解析，获知该网元已经准备好需要采集的SNMP数据；\n[0069] 步骤306：将该网元的采集任务重新放回到该任务队列中，之后继续执行步骤\n302；\n[0070] 步骤307：判断所述GET请求是否发送成功，若是，执行步骤308；否则，执行步骤\n306；\n[0071] 也就是说，网管服务器在GET请求发送到被采集网元，被采集网元会将GET请求相应的PDU数据进行封装后，向该网管服务器返回响应消息，该响应消息中包括封装后的PDU数据，该网管服务器在接收到所述响应信息后，且判断出该响应消息中的有需要的PDU数据时，则认为GET请求发送成功。\n[0072] 步骤308：在收到该网元返回GET请求的响应消息后，则对所述GET请求的响应消息进行解析，获得该需要采集的SNMP数据，并将获得所述网元的SNMP数据存储到网管数据库中；\n[0073] 步骤309：在对单个网元完成采集任务后，将该网元的采集任务的任务号放入Hash MAP，以便于后继统计该队列中的采集任务是否完成。其中，HashMap，是指存储关键字和对应值的散列表。\n[0074] 也就是说，为了保证采集数据的完整性，需要在单个网元完成采集任务，将采集任务的任务号放入MAP中，以便于统计采集是否完成。比如，假设采集X个网元，如果你不保存采集的任务号，就不会知道最后是否成功完成了X个网元的数据采集，有可能只有Y个网元采集成功，还有X-Y个网元采集失败。\n[0075] 步骤309中完成后，重复执行上述步骤302至步骤309，直至该任务队列中的各个网元的采集任务全部完成。\n[0076] 优选的，在上述步骤309完成中，还可以执行：\n[0077] 步骤310：如果判断所述任务队列不为空，则继续执行步骤302；如果为空，则休眠一定时间后，继续判断该任务队列是否为空。\n[0078] 需要说明的是，本实施例只针对单个线程的过程进行描述，对于多个线程的情况，可以并发进行，每个线程的过程详见上述。\n[0079] 应当理解，实现本发明数据采集方法的软件可以存储于计算机可读介质中。该软件的在执行时，包括如下步骤：获取所有被采集网元的信息；将所有被采集网元的信息封装成采集任务放入一个任务队列中；启动网元的采集线程池，为所述采集线程池中每个线程建立对应的简单网络管理协议SNMP监听端口，通过所述SNMP监听端口采集所述任务队列中每个网元的SNMP数据。所述的可读介质，如：ROM/RAM、磁碟、光盘等。\n[0080] 另外，本发明实施例还提供一种数据采集设备，其结构示意图如图4所示。所述数据采集设备包括：信息获取单元41、封装单元42、启动单元43、端口建立单元43和数据采集单元44。\n[0081] 其中，所述信息获取单元41，用于获取所有被采集的网元的信息；所述封装单元\n42，用于将信息获取单元获取的所有被采集的网元的信息封装成采集任务放入一个任务队列中；所述启动单元43，用于启动网元采集线程池；所述端口建立单元44，用于为启动单元启动网元采集线程池中的每个线程建立对应的简单网络管理协议SNMP端口；所述数据采集单元45，用于通过端口建立单元建立的所有SNMP端口采集所述任务队列中每个网元的SNMP数据。\n[0082] 所述数据采集单元包括：\n[0083] 采集任务获取单元，用于从所述任务队列中取出一个网元的采集任务，形成静态协议数据单元PDU；\n[0084] SNMP访问地址建立单元，用于根据所述网元的信息建立对应的SNMP访问地址；\n[0085] SNMP数据采集单元，用于通过所述SNMP访问地址采集到所述对应网元的SNMP数据；\n[0086] 指示发送单元，用于向所述采集任务获取单元发送取出该任务队列中下一个网元的采集任务的指示。\n[0087] 其中，所述SNMP数据采集单元包括：\n[0088] SET请求发送单元，用于向所述SNMP访问地址对应的网元发送设置SET请求；\n[0089] SET请求接收单元，用于接收所述网元返回的SET请求的成功响应，所述SET请求的成功响应中包括该网元已经准备好SNMP数据的指示；\n[0090] GET请求发送单元，用于在SET请求接收单元接收到所述成功响应后，向所述网元发送获取GET请求；\n[0091] GET请求接收单元，用于接收所述网元返回的GET请求的成功响应，所述GET请求的成功响应中包括该网元的SNMP数据；\n[0092] 获取单元，用于从所述GET请求接收单元接收到的成功响应中获取该网元的SNMP数据。\n[0093] 优选的，所述SET请求接收单元在接收到所述网元返回SET请求的失败响应时，还用于将该网元的采集任务重新放回所述任务队列中；或者所述GET请求接收单元在接收到所述网元返回GET请求的失败响应时，还用于将该网元的采集任务重新放回所述任务队列中。\n[0094] 所述SNMP数据采集单元还包括：判断单元，用于判断所述任务队列是否为空，如果不为空，则向所述指示发送单发送指示；所述指示发送单元在接收到所述判断单元发送的指示后，指示所述采集任务获取单元取出所述任务队列中下一个网元的采集任务。\n[0095] 所述数据采集设备还包括：\n[0096] 网管数据库，用于存储网元的信息，以及存储采集到每个网元的SNMP数据；\n[0097] 散列表，用于存储采集到所述每个网元的SNMP数据对应的采集任务号。\n[0098] 也就是说，在对单个网元完成采集任务后，将该网元的采集任务的任务号放入Hash MAP，以便于后继统计该队列中的采集任务是否完成。其中，Hash Map，是指存储关键字和对应值的散列表。\n[0099] 所述数据采集设备还包括：还包括：时间监控单元、命令发送单元和指示单元，其中，\n[0100] 所述时间监控单元，用于在启动网元的采集线程池时，监控采集线程池的采集时间是否达到预设的时间，并将是的监控结果发送给命令发送单元；将否则监控结果发送给指示单元；\n[0101] 所述命令发送单元，用于在接收到所述时间监控单元发送是的监控结果时，向采集线程池发送停止该线程的采集命令；\n[0102] 所述指示单元，用于在接收到所述时间监控单元发送否的监控结果时，用于向所述时间监控单元发送继续监控的指示。\n[0103] 所述数据采集设备可以集成在网管服务器中，也可以独立存在网络中。\n[0104] 上述数据采集设备各个单元采集被采集网元的具体过程详见上述方法中对应的过程，在此不再赘述。\n[0105] 由此可见，本发明实施例通过为线程池中的每个线程建立对应的SNMP监听端口，通过各个线程对应的SNMP监听端口，可以并发进行采集该任务队列中网元的采集任务，与现有技术一个网元就需要建立一个SNMP监听端口，不但减少了SNMP监听端口的开销和线程创设的开销，节省了大量计算机资源，同时还提高了SNMP数据的采集效率。\n[0106] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。