一种实时数据处理分析系统

1.一种实时数据处理分析系统，其特征在于，所述分析系统包含：生产单元、数据采集单元、实时数据库、数据抽取单元和关系数据库；
所述数据采集单元与所述生产单元相连，用于采集所述生产单元的实时数据并发送；
所述实时数据库与所述数据采集单元相连，用于接收所述数据采集单元发送的实时数据并存储；
所述数据抽取单元与所述实时数据库相连，用于读取所述实时数据库中的实时数据并统计，将统计结果转换后发送；所述数据抽取单元包含：客户端与分布式服务端；
所述关系数据库与所述数据抽取单元相连，用于接收所述统计结果，并将统计结果与对应的所述数据采集单元关联保存；
所述分布式服务端的控制方法包含：所述分布式服务端包含主线程和从线程；
主线程接收客户端的数据抽取转换任务及相关配置文件；
主线程根据客户端配置文件，创建从线程；
主线程分析获得每个从线程处理的检测生产单元ID范围；
主线程启动从线程，并将检测生产单元ID范围传输至从线程，从线程完成实时数据抽取转换的任务；
主线程循环等待各从线程完成数据抽取转换任务的反馈信息；
主线程统计完成所有生产单元实时数据抽取转换任务后，将完成结果反馈给客户端从线程；
完成一个服务周期，服务端主线程循环等待下一次任务分配。
2.根据权利要求1所述的实时数据处理分析系统，其特征在于，所述实时数据库与所述数据采集单元通过光纤连接或无线连接。
3.根据权利要求1所述的实时数据处理分析系统，其特征在于，所述客户端用于：获取所述生产单元数量；
检测分布式服务端数量；
根据分布式服务端数量，创建客户端从线程，所述客户端从线程与对应的服务端通信；
计算每个服务端转化的实时数据。
4.根据权利要求3所述的实时数据处理分析系统，其特征在于，所述客户端的控制方法包含：所述客户端包含主线程和从线程；
主线程根据配置文件，启动物联网实时数据抽取任务周期；
主线程统计所有监测生产单元ID；
主线程根据配置文件，测试服务端通信接口，统计可用的分布式服务端地址和数量；
主线程根据分布式服务端数量，按照公式计算分配给每个服务端的检测生产单元ID范围；
主线程循环等待各个从线程对服务端的任务完成情况的反馈，直到所有检测生产单元的实时数据完成抽取和转化；
完成一个客户端任务周期，主线程按照配置，启动下一个物联网实时数据抽取任务。
5.根据权利要求4所述的实时数据处理分析系统，其特征在于，所述客户端的控制方法还包含：主线程根据可用服务端数量，生成从线程；
从线程根据主线程的配置，与对应的服务端通信；
从线程把检测生产单元ID范围发送给对应的服务端；
从线程循环等待服务端任务结束的反馈信息；
从线程将服务端任务完成情况反馈给主线程。
6.根据权利要求1所述的实时数据处理分析系统，其特征在于，所述分布式服务端用于：接收客户端从线程的检测生产单元范围信息；
根据检测单元范围及配置文件，创建服务端从线程；
服务端从线程根据检测单元范围，逐个统计实时数据库中生产单元对应的实时数据，对所述实时数据进行转换，并将转换结果插入关系型数据库。
7.根据权利要求1所述的实时数据处理分析系统，其特征在于，所述控制方法还包含：
从线程根据主线程的配置文件，从关系数据库查询生产检测单元的实时数据库标签；
从线程根据实时数据库标签查询实时数据库，读取实时数据；
从线程根据设定的数据转换规则静态算法，计算出分析后的值；
从线程将获得实时数据与关系数据库中实时数据进行比对，如从线程将获得实时数据与关系数据库中实时数据不同，则将获得实时数据更新至关系数据库中；
从线程迭代完成下一个生产单元的实时数据抽取转换任务，直到完成所有检测单元的数据转换任务。
8.根据权利要求1所述的实时数据处理分析系统，其特征在于，所述分析系统还包含一物联网应用单元，用于根据关系型数据库的数据，提供所述生产单元的数据统计信息。

一种实时数据处理分析系统\n技术领域\n[0001] 本发明涉及物联网大数据实时处理领域，特别涉及一种油田生产现场的物联网实时数据处理分析系统。\n背景技术\n[0002] 在物联网环境中，采集层传感器产生大量实时数据，这些数据通常包含时间、位置、采集信息等内容,具有明显的颗粒性特征，由于油气生产现场部署的传感器的多元化、差异化以及环境的多样化，这些数据呈现出异构性、多样性、非结构化、有噪声、高增长率等特征.物联网技术的应用涉及物联网实时大数据处理，所产生的数据量之密集、实时性之强是前所未有的,需要进行实时、高效的计算分析。物联设备采集的数据种类众多，数据量大，而且需要实时处理，对处理系统性能要求严格。所有这些凸显物联网实时数据抽取模型的重要性。例如，在油田生产现场采集数据的温度传感器、压力变送器、流量计、有毒有害气体传感器、RTU以及其他传感设备采集的大量实时数据，将通过物联网的有线或者无线传输设备，上传至应用层的实时数据库进行汇集，根据现场采集设备的数量和采集频率估算，实时数据库需要处理十万级至百万级数据插入的并发操作，应用系统需要对这些实时数据加以分析利用，来对生产单元当时的生产状态进行判断、统计，帮助系统用户了解实时生产情况。由于实时数据量大、实时性高，普通的应用系统无法及时处理实时数据，或者处理起来很慢，达不到实时监视生产单元状态、统计生产情况的效果，这势必影响正常的生产运行，采用先进的物联网实时数据抽取模型处理分析实时数据，是提高物联网应用效果的一种必然的技术发展方向。\n发明内容\n[0003] 本发明的目的是为了解决物联网系统中产生的大量实时数据的抽取分析等问题，为物联网应用提供高性能解决方案，尤其是生产单元实时状态以及生产情况统计的应用，针对这些问题提出一种物联网实时数据抽取模型，并为实现该目的提出一种实时数据处理分析系统。\n[0004] 本发明所提供的实时数据处理分析系统，具体包含：生产单元、数据采集单元、实时数据库、数据抽取单元和关系数据库；所述数据采集单元与所述生产单元相连，用于采集所述生产单元的实时数据并发送；所述实时数据库与所述数据采集单元相连，用于接收所述数据采集单元发送的实时数据并存储；所述数据抽取单元与所述实时数据库相连，用于读取所述实时数据库中的实时数据并统计，将统计结果转换后发送；所述关系数据库与所述数据抽取单元相连，用于接收所述统计结果，并将统计结果与对应的所述数据采集单元关联保存。\n[0005] 在上述实时数据处理分析系统中，所述实时数据库与所述数据采集单元通过光纤连接或无线连接。\n[0006] 在上述实时数据处理分析系统中，所述数据抽取单元包含：客户端与分布式服务端。\n[0007] 在上述实时数据处理分析系统中，所述客户端用于：获取所述生产单元数量；检测分布式服务端数量；根据分布式服务端数量，创建客户端从线程，所述客户端从线程与对应的服务端通信；计算每个服务端转化的实时数据。\n[0008] 在上述实时数据处理分析系统中，所述客户端的控制方法包含：所述客户端包含主线程和从线程；主线程根据配置文件，启动物联网实时数据抽取任务周期；主线程统计所有监测生产单元ID；主线程根据配置文件，测试服务端通信接口，统计可用的分布式服务端地址和数量；主线程根据分布式服务端数量，按照公式计算分配给每个服务端的检测生产单元ID范围；主线程循环等待各个从线程对服务端的任务完成情况的反馈，直到所有检测生产单元的实时数据完成抽取和转化；完成一个客户端任务周期，主线程按照配置，启动下一个物联网实时数据抽取任务。\n[0009] 在上述实时数据处理分析系统中，所述控制方法还包含：主线程根据可用服务端数量，生成从线程；从线程根据主线程的配置，与对应的服务端通信；从线程把检测生产单元ID范围发送给对应的服务端；从线程循环等待服务端任务结束的反馈信息；从线程将服务端任务完成情况反馈给主线程。\n[0010] 在上述实时数据处理分析系统中，所述分布式服务端用于：接收客户端从线程的检测生产单元范围信息；根据检测单元范围及配置文件，创建服务端从线程；服务端从线程根据检测单元范围，逐个统计实时数据库中生产单元对应的实时数据，对所述实时数据进行转换，并将转换结果插入关系型数据库。\n[0011] 在上述实时数据处理分析系统中，所述分布式服务端的控制方法包含：所述分布式服务端包含主线程和从线程；主线程接收客户端的数据抽取转换任务及相关配置文件；\n主线程根据客户端配置文件，创建从线程；主线程分析获得每个从线程处理的检测生产单元ID范围；主线程启动从线程，并将检测生产单元ID范围传输至从线程，从线程完成实时数据抽取转换的任务；主线程循环等待各从线程完成数据抽取转换任务的反馈信息；主线程统计完成所有生产单元实时数据抽取转换任务后，将完成结果反馈给客户端从线程；完成一个服务周期，服务端主线程循环等待下一次任务分配。\n[0012] 在上述实时数据处理分析系统中，所述控制方法还包含：从线程根据主线程的配置文件，从关系数据库查询生产检测单元的实时数据库标签；从线程根据实时数据库标签查询实时数据库，读取实时数据；从线程根据设定的数据转换规则静态算法，计算出分析后的值；从线程将获得实时数据与关系数据库中实时数据进行比对，如从线程将获得实时数据与关系数据库中实时数据不同，则将获得实时数据更新至关系数据库中；从线程迭代完成下一个生产单元的实时数据抽取转换任务，直到完成所有检测单元的数据转换任务。\n[0013] 在上述实时数据处理分析系统中，所述分析系统还包含一物联网应用单元，用于根据关系型数据库的数据，提供所述生产单元的数据统计信息。\n[0014] 本发明的有益技术效果在于：根据实时数据库数据，借助实时数据抽取模型，在后台对实时数据进行转换，并把转换结果保存在关系型数据库中，物联网应用则访问关系型数据库即可获得检测生产单元的状态以及生产统计信息，避免了物联网应用直接访问实时数据库带来的性能问题，同时，实现了实时数据自动转化成关系数据的任务，提高了物联网应用对于实时数据的利用程度，提高了应用系统的响应速度。\n附图说明\n[0015] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。\n[0016] 图1为本发明提出的物联网实时数据处理分析系统示意图；\n[0017] 图2为本发明提出物联网实时数据处理分析系统中数据抽取单元的客户端、服务端工作原理示意图；\n具体实施方式\n[0018] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0019] 请参考图1所示，图1为本发明所提供的实时数据处理分析系统，具体包含：生产单元、数据采集单元、实时数据库、数据抽取单元和关系数据库；所述数据采集单元与所述生产单元相连，用于采集所述生产单元的实时数据并发送；所述实时数据库与所述数据采集单元相连，用于接收所述数据采集单元发送的实时数据并存储；所述数据抽取单元与所述实时数据库相连，用于读取所述实时数据库中的实时数据并统计，将统计结果转换后发送；\n所述关系数据库与所述数据抽取单元相连，用于接收所述统计结果，并将统计结果与对应的所述数据采集单元关联保存。\n[0020] 在上述分析系统中，实时数据库汇集物联网采集层实时采集的各个生产单元数据；实时数据抽取单元访问实时数据库，并按照转换规则，将实时数据进行分析和统计，并产生结果数据；实时数据抽取单元将结果数据插入关系数据库；物联网应用根据转换的关系数据库提供转换数据给终端用户。在上述实时数据处理分析系统中，所述实时数据库与所述数据采集单元通过光纤连接或无线连接。\n[0021] 在上述实施例中，所述的生产单元包括抽油机井、螺杆泵井、电潜泵井、注入井、采气井、计量间、注配间、中转站、联合站等。\n[0022] 数据采集单元包括：温度传感器、压力变送器、流量计、有毒有害气体传感器、RTU以及其他传感设备。\n[0023] 实时数据库：物联网中，用于汇集数据采集传感设备采集的实时数据，并为数据抽取模型提供数据源；\n[0024] 数据抽取单元：包括客户端、服务端两个部分。为保证物联网实时数据抽取单元的处理效率，数据抽取单元采用分布式多线程的程序架构。程序分为数据转换服务端和控制客户端，控制客户端使用RMI(远程方法调用)通过socket连接数据服务端，数据转换服务端执行实时数据读取和转换。客户端可通过xml配置所需调用的一个或多个服务端。服务端可在一台或多台机器上部署。在一台机器上部署多个服务端可通过调用不同的端口来实现。\n[0025] 客户端：统计生产监控单元数量；检测可用分布式服务端数量；根据可用分布式服务端数量，产生客户端从线程，与对应的服务端通信；按照公式计算每个服务端转化的检测单元实时数据。\n[0026] 服务端：接收客户端从线程的检测单元范围、核心连接池数量信息；根据检测单元范围及配置信息，按照公式产生服务端从线程；服务端从线程根据检测单元范围，逐个统计生产单元实时数据库数据信息，按照公共转换算法进行数据转换，并把转换结果插入关系型数据库。\n[0027] 物联网应用：根据关系型数据库的数据，为用户提供生产数据统计信息等。\n[0028] 上述技术方案具有如下有益效果：根据实时数据库数据，借助实时数据抽取模型，在后台对实时数据进行转换，并把转换结果保存在关系型数据库中，物联网应用则访问关系型数据库即可获得检测生产单元的状态以及生产统计信息，避免了物联网应用直接访问实时数据库带来的性能问题。\n[0029] 请参考图2所示，在上述实时数据处理分析系统中，所述数据抽取单元包含：客户端与分布式服务端。\n[0030] 在上述实时数据处理分析系统中，所述客户端用于：获取所述生产单元数量；检测分布式服务端数量；根据分布式服务端数量，创建客户端从线程，所述客户端从线程与对应的服务端通信；计算每个服务端转化的实时数据。\n[0031] 在上述实时数据处理分析系统中，所述客户端的控制方法包含：所述客户端包含主线程和从线程；主线程根据配置文件，启动物联网实时数据抽取任务周期；主线程统计所有监测生产单元ID；主线程根据配置文件，测试服务端通信接口，统计可用的分布式服务端地址和数量；主线程根据分布式服务端数量，按照公式计算分配给每个服务端的检测生产单元ID范围；主线程循环等待各个从线程对服务端的任务完成情况的反馈，直到所有检测生产单元的实时数据完成抽取和转化；完成一个客户端任务周期，主线程按照配置，启动下一个物联网实时数据抽取任务。\n[0032] 在上述实时数据处理分析系统中，所述控制方法还包含：主线程根据可用服务端数量，生成从线程；从线程根据主线程的配置，与对应的服务端通信；从线程把检测生产单元ID范围发送给对应的服务端；从线程循环等待服务端任务结束的反馈信息；从线程将服务端任务完成情况反馈给主线程。\n[0033] 在上述实时数据处理分析系统中，所述分布式服务端用于：接收客户端从线程的检测生产单元范围信息；根据检测单元范围及配置文件，创建服务端从线程；服务端从线程根据检测单元范围，逐个统计实时数据库中生产单元对应的实时数据，对所述实时数据进行转换，并将转换结果插入关系型数据库。\n[0034] 在上述实时数据处理分析系统中，所述分布式服务端的控制方法包含：所述分布式服务端包含主线程和从线程；主线程接收客户端的数据抽取转换任务及相关配置文件；\n主线程根据客户端配置文件，创建从线程；主线程分析获得每个从线程处理的检测生产单元ID范围；主线程启动从线程，并将检测生产单元ID范围传输至从线程，从线程完成实时数据抽取转换的任务；主线程循环等待各从线程完成数据抽取转换任务的反馈信息；主线程统计完成所有生产单元实时数据抽取转换任务后，将完成结果反馈给客户端从线程；完成一个服务周期，服务端主线程循环等待下一次任务分配。\n[0035] 在上述实时数据处理分析系统中，所述控制方法还包含：从线程根据主线程的配置文件，从关系数据库查询生产检测单元的实时数据库标签；从线程根据实时数据库标签查询实时数据库，读取实时数据；从线程根据设定的数据转换规则静态算法，计算出分析后的值；从线程将获得实时数据与关系数据库中实时数据进行比对，如从线程将获得实时数据与关系数据库中实时数据不同，则将获得实时数据更新至关系数据库中；从线程迭代完成下一个生产单元的实时数据抽取转换任务，直到完成所有检测单元的数据转换任务。\n[0036] 在上述实时数据处理分析系统中，所述分析系统还包含一物联网应用单元，用于根据关系型数据库的数据，提供所述生产单元的数据统计信息。\n[0037] 在本发明所提供的实时数据处理分析系统中，数据抽取单元的详细处理流程如下：如图2所示，实时数据抽取单元采用分布式实现方式。分为客户端控制程序和数据转换服务端程序。\n[0038] 客户端控制模型分为主线程和从线程两个部分，下面是其工作流程。\n[0039] 主线程根据配置，启动物联网实时数据抽取任务周期；\n[0040] 主线程统计所有监测生产单元ID；\n[0041] 主线程根据配置文件，测试服务端通信接口，统计可用的分布式服务端地址和数量；\n[0042] 主线程根据可用服务端数量，按照公式计算分配给每个服务端的检测生产单元ID范围；\n[0043] 主线程循环等待各个从线程对服务端的任务完成情况的反馈，直到所有检测生产单元的实时数据完成抽取和转化，主线程根据可用服务端数量，生成从线程，从线程生成以后，工作流程如下：\n[0044] 从线程根据主线程的配置，与对应的服务端通信；\n[0045] 从线程把检测生产单元ID范围发送给对应的服务端；\n[0046] 从线程循环等待服务端任务结束的反馈信息；\n[0047] 从线程将服务端任务完成情况反馈给主线程。\n[0048] 完成一个客户端任务周期，主线程按照配置，启动下一个物联网实时数据抽取任务。\n[0049] 数据转换服务端属于分布式部署，即一个客户端可能分配转换任务给若干个服务端完成，达到并发计算的效果。一个服务端控制模型也分为主线程和从线程两个部分。下面是服务端工作流程。\n[0050] 服务端启动后，主线程循环等待对应的客户端从线程的任务下达；\n[0051] 服务端主线程接收客户端的数据抽取转换任务及相关配置信息；\n[0052] 主线程根据客户端配置信息，计算需要启动的从线程数量；\n[0053] 主线程根据公式，计算每个从线程处理的检测生产单元ID范围；\n[0054] 主线程启动从线程，并将检测生产单元ID范围等告知从线程，由从线程完成实时数据抽取转换的任务；\n[0055] 主线程循环等待各从线程完成数据抽取转换任务的反馈信息，下面是从线程的工作流程：\n[0056] 从线程根据主线程的配置，从关系数据库查询生产检测单元的实时数据库标签；\n[0057] 从线程根据实时数据库标签查询实时数据库，读取实时数据；\n[0058] 从线程根据设定的数据转换规则静态算法，计算出分析后的值；\n[0059] 从线程将比对关系数据库中，生产单元的当前状态，如果已发生变化，则修改生产单元状态，否则保持不变；\n[0060] 从线程迭代完成下一个生产单元的实时数据抽取转换任务，直到完成所有检测单元的数据转换任务。\n[0061] 主线程统计完成所有生产单元实时数据抽取转换任务后，将完成结果反馈给客户端从线程；\n[0062] 完成一个服务周期，服务端主线程循环等待下一次任务分配。\n[0063] 物联网应用系统直接访问关系数据库，查看转换之后的数据。\n[0064] 上述仅用以说明本发明而并非限制本发明所描述的技术方案；尽管本说明书对本发明已进行了详细的说明，但是，本领域的技术人员仍然可以对本发明进行修改或等同替换，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。