气体苯系物探测的数据可视化方法及系统

1.一种气体苯系物探测的数据可视化系统，其特征在于，包括传感探测器模块（1）、串口服务器（2）、数据采集服务器（3）、分布式存储系统（4）、云计算服务器（5）、数据计算服务器（6）、Web服务器（7）和用户终端（8），传感探测器模块（1）与串口服务器（2）相连接，串口服务器（2）与数据采集服务器（3）相连接，数据采集服务器（3）与分布式存储系统（4）相连接，分布式存储系统（4）与云计算服务器（5）相连接，云计算服务器（5）与数据计算服务器（6）相连接，数据计算服务器（6）与Web服务器（7）相连接，Web服务器（7）与用户终端（8）相连接；所述数据采集服务器（3）上设有数据采集模块和数据预处理模块，数据计算服务器（6）上设有大数据分析模块，Web服务器（7）上设有数据可视化模块；
所述数据计算服务器（6）对数据采集服务器（3）格式化后的数据建立数据统计分析汇总和数据挖掘的数据模型；
所述数据模型包括数据获得时间、传感探测器模块（1）所在的物理位置和逻辑标记、数据采集经由的路径、采集数据的应用程序所在位置和标识、数据存储的物理位置和逻辑位置标识、采集数据的用户标识以及传感探测器模块（1）本身感知的苯系物参数，数据以树形的层次结构以文本方式存储到分布式存储系统中；
所述数据采集服务器（3）采用Socket多线程方式读取串口服务器（2）经RS485协议获取的传感探测器模块（1）感知的数据，并经串口服务器（2）的RJ45端口传输到数据采集服务器（3）。
2.根据权利要求1所述的气体苯系物探测的数据可视化系统，其特征在于，所述传感探测器模块（1）包括若干个传感探测器，串口服务器（2）部署在任意气体苯系物的传感探测器接入的位置，多个串口服务器（2）经由以太网连接，级联层次连接至数据采集服务器（3），分布式存储系统（4）实现将数据存储到多个节点。
3.根据权利要求1所述的气体苯系物探测的数据可视化系统，其特征在于，所述数据采集服务器（3）中的数据预处理模块将处理后的数据发送至分布式存储系统（4），分布式存储系统（4）将接收的数据进行分片后发送给分布式存储系统的节点，通过分布式存储系统的数据集群进行多个数据备份，经由Web服务器（7）接入的用户终端实现数据的共享。
4.根据权利要求1所述的气体苯系物探测的数据可视化系统，其特征在于，所述数据可视化模块将气体苯系物监测数据建成可视化模型，可视化模型包括气体苯系物监测参数的实时状态和数据变化情况折线、多种气体苯系物影响环境或者危害程度大小的泡泡图、气体苯系物在监测数据中的比例或比率的饼状图或立方图、气体苯系物的综合监测评估数据的关系网状图、某段时间或区域内影响或危害程度的热点地图。
5.一种气体苯系物探测的数据可视化方法，其特征在于，采用如权利要求1所述的气体苯系物探测的数据可视化系统，其步骤如下：
步骤一：利用传感探测器感知探测所在区域的气体苯系物数据；
步骤二：将多个传感探测器监测的气体苯系物数据通过串口服务器实时的上传至数据中心；
步骤三；数据中心利用分布式大数据数据预处理技术Spark Streaming将采集的气体苯系物数据收集到数据集RDD；
步骤四：数据集RDD利用分布式文件系统HDFS将数据分片的发送至分布式存储系统；
步骤五：分布式存储系统利用数据仓库技术将数据集RDD的分类存储到HBase数据仓库；
步骤六：利用部署在云计算服务器为用户提供访问气体苯系物数据抽取的入口及数据统计分析汇总、数据挖掘的模型；
步骤七：对HBase数据仓库中的数据利用Spark Streaming进行实时流式数据分析和Spark MLlib历史数据挖掘；
步骤八：使用可视化工具D3 .js技术以直观、易懂的方式展现气体苯系物数据及变化情况实现抽取数据的可视化展现，用户终端通过Web浏览器访问可视化展现的数据。
6.根据权利要求5所述的气体苯系物探测的数据可视化方法，其特征在于，所述数据中心为数据采集服务器，数据采集服务器采用分布式网络编程技术Socket采集串口服务器的数据。

气体苯系物探测的数据可视化方法及系统\n技术领域\n[0001] 本发明涉及数据采集处理的技术领域，具体涉及一种气体苯系物探测的数据可视化方法及系统。\n背景技术\n[0002] 含苯环化合物可能存在于人们的工作、生活环境，对人体的血液、神经、生殖系统具有较强危害。通过物理、化学的方法能够检测出苯系物含量及对人的危害程度。通过传感器和网络技术可以探测空气中苯系物的含量，由计算机数据分析系统进行可视化的展现。\n[0003] 目前，苯系物数据检测的方法包括实验室化学成分分解、溶剂化验、光学分析等，也有通过传感器采集气体苯系物数据的方法，并通过网络传输到计算机系统进行分析、报警和控制等。但是，对于多数非专业人士来说，要能轻松读懂气体苯系物的类型、参数和危害并不是容易的事情，还没有一种直观、易于理解的可视化方法展现检测到的气体苯系物的数据。\n[0004] 现有数据采集方法虽然能够检测出苯系物的含量数据，实验室仪器的化学成分分析、物理分析方法存在三方面的问题：1、不能及时采集苯系物是否存在及存在的含量，并实时分析出来对生产生活的危害程度，特别是对公共安全、应急处理等场景至关重要；2、实验室仪器分析的结果数据，只能直观显示数据及参数指标，不能够很好地存储并进一步分析，尤其是还不能更好地进行分析预测，进行有效的预防和控制的决策建议；3、实验室分析的结果受限制于仪器安装和应用的软件功能局限性，只能供专业人员操作和观察结果，不能直观地展现。\n[0005] 现有传感探测技术虽然能进行网络数据采集和用户终端展现，但是这些技术存在\n3方面问题：1、现有气体苯系物传感探测数据的存储方式，只是局限于网络传输和远程存储，还没有形成分布式的存储和备份，这些情况不利于当前云端计算资源共享和实时响应的要求；2、现有传感探测的气体苯系物实时分析和多用途方面存在局限，不能够通过云端数据共享为多应用提供数据支撑，特别对于公共安全的信息发布和应急处理提供实时、共享数据支撑；3、现有气体传感探测数据发布和展现方面存在局限，不能方便高效地以直观、易懂的方式可视化展现。\n发明内容\n[0006] 为了解决上述技术问题，本发明提供了一种气体苯系物探测的数据可视化方法，利用传感探测技术实现数据的实时传输、存储和分析，利用云计算资源共享和分布式存储技术，充分发挥信息新技术优势，提高了气体苯系物探测数据直观、易懂的可视化展现。\n[0007] 为了达到上述目的，本发明的技术方案是：一种气体苯系物探测的数据可视化方法，其步骤如下：\n[0008] 步骤一：利用传感探测器感知探测所在区域的气体苯系物数据；\n[0009] 步骤二：将多个传感探测器监测的气体苯系物数据通过串口服务器实时的上传至数据中心；\n[0010] 步骤三；数据中心利用分布式大数据数据预处理技术Spark Streaming将采集的气体苯系物数据收集到数据集RDD；\n[0011] 步骤四：数据集RDD利用分布式文件系统HDFS将数据分片的发送至分布式存储系统；\n[0012] 步骤五：分布式存储系统利用数据仓库技术将数据集RDD的分类存储到HBase数据仓库；\n[0013] 步骤六：利用部署在云端的计算模块为用户提供访问气体苯系物数据抽取的入口及数据统计分析汇总、数据挖掘的模型；\n[0014] 步骤七：对HBase数据仓库中的数据利用Spark Streaming进行实时流式数据分析和Spark MLlib历史数据挖掘；\n[0015] 步骤八：使用可视化工具D3.js技术以直观、易懂的方式展现气体苯系物数据及变化情况实现抽取数据的可视化展现，用户终端通过Web浏览器访问可视化展现的数据。\n[0016] 所述数据中心为数据采集服务器，数据采集服务器采用分布式网络编程技术Socket采集串口服务器的数据。\n[0017] 一种气体苯系物探测的数据可视化系统，包括传感探测器模块、串口服务器、数据采集服务器、分布式存储系统、云计算服务器、数据计算服务器、Web服务器和用户终端，传感探测器模块与串口服务器相连接，串口服务器与数据采集服务器相连接，数据采集服务器与分布式存储系统相连接，分布式存储系统与云计算服务器相连接，云计算服务器与数据计算服务器相连接，数据计算服务器与Web服务器相连接，Web服务器与用户终端相连接；\n所述数据采集服务器上设有数据采集模块和数据预处理模块，数据计算服务器上设有大数据分析模块，Web服务器上设有数据可视化模块。\n[0018] 所述数据采集服务器采用Socket多线程方式读取串口服务器经RS485协议获取的传感探测器模块感知的数据，并经串口服务器的RJ45端口传输到数据采集服务器。\n[0019] 所述传感探测器模块包括若干个传感探测器，串口服务器部署在任意气体苯系物的传感探测器接入的位置，多个串口服务器经由以太网连接，级联层次连接至数据采集服务器，分布式存储系统实现将数据存储到多个节点。\n[0020] 所述数据采集服务器中的数据预处理模块将处理后的数据发送至分布式存储系统，分布式存储系统将接收的数据进行分片后发送给分布式存储系统的节点，通过分布式存储系统的数据集群进行多个数据备份，经由Web服务器接入的用户终端实现数据的共享。\n[0021] 所述数据计算服务器对数据采集服务器格式化后的数据建立数据统计分析汇总和数据挖掘的数据模型。\n[0022] 所述数据模型包括数据获得时间、传感探测器模块所在的物理位置和逻辑标记、数据采集经由的路径、采集数据的应用程序所在位置和标识、数据存储的物理位置和逻辑位置标识、采集数据的用户标识以及传感探测器模块本身感知的苯系物参数，数据以树形的层次结构以文本方式存储到分布式存储系统中。\n[0023] 所述数据可视化模块将气体苯系物监测数据建成可视化模型，可视化模型包括气体苯系物监测参数的实时状态和数据变化情况折线、多种气体苯系物影响环境或者危害程度大小的泡泡图、气体苯系物在监测数据中的比例或比率的饼状图或立方图、气体苯系物的综合监测评估数据的关系网状图、某段时间或区域内影响或危害程度的热点地图。\n[0024] 本发明的有益效果：利用传感探测技术实现数据的实时传输、存储和分析，克服了实验室仪器使用化学、物理方法采集气体苯系物数据的局限性问题，充分利用当前云计算技术和资源共享机制，为政府和组织进行决策分析、预测控制、应急管理服务提供了直观、易懂的可视化实时数据支撑；利用云计算资源共享和分布式存储技术，克服了现有传感探测技术采集到的气体苯系物数据单一、使用和易懂性不足等问题，充分发挥信息新技术优势，将气体苯系物数据备份到云端实现共享，为政府组织和研究者使用，进行决策分析、控制预测进行公共安全、应急处理服务和研究提供直观、易懂的可视化数据支撑；因此，本发明提出一种气体苯系物探测数据在云端共享，并以直观、易懂的可视化方式展现数据的方法。\n附图说明\n[0025] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。\n[0026] 图1为本发明的结构示意图。\n具体实施方式\n[0027] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0028] 一种气体苯系物探测的数据可视化方法，其步骤如下：\n[0029] 步骤一：利用传感探测器感知探测所在区域的气体苯系物数据。\n[0030] 步骤二：将多个传感探测器监测的气体苯系物数据通过串口服务器实时的上传至数据中心。数据中心为数据采集服务器，数据采集服务器采用分布式网络编程技术Socket采集串口服务器的数据。\n[0031] 步骤三；数据中心利用分布式大数据数据预处理技术Spark Streaming将采集的气体苯系物数据收集到数据集RDD。\n[0032] 步骤四：数据集RDD利用分布式文件系统HDFS将数据分片的发送至分布式存储系统。\n[0033] 步骤五：分布式存储系统利用数据仓库技术将数据集RDD的分类存储到HBase数据仓库。\n[0034] 步骤六：利用部署在云计算服务器为用户提供访问气体苯系物数据抽取的入口及数据统计分析汇总、数据挖掘的模型。\n[0035] 步骤七：对HBase数据仓库中的数据利用Spark Streaming进行实时流式数据分析和Spark MLlib历史数据挖掘。\n[0036] 步骤八：使用可视化工具D3.js技术以直观、易懂的方式展现气体苯系物数据及变化情况实现抽取数据的可视化展现，用户终端通过Web浏览器访问可视化展现的数据。\n[0037] 传感探测器感知探测到气体苯系物的监测数据后，串口服务器输入端接收RS485通讯协议数据，输出端将RJ45协议转后的数据封装经以太网传输。1台串口服务器输入端口可以并行连接8个RS485的气体传感探测器，并经1个RJ45输出给以太网，也可以实现以太网交换机的级联实现更多气体传感探测器的网络连接。数据采集服务器主要采用分布式网络编程技术Socket采集串口服务器RJ45端口的数据，并用分布式大数据预处理技术Spark Streaming将采集到的数据收集到数据集RDD里面，并存储到分布式存储系统的布式文件系统HDFS中，用户终端设备发送查询请求，云计算服务器从模型库调用Spark计算模型，根据用户查询需求抽取数据，经计算后推送到用户界面通过可视化工具D3.js可视化展现数据，供实时动态显示和统计汇总历史分析查询，并可进行气体苯系物影响或危害水平评估展现等用途。\n[0038] 如图1所示，一种气体苯系物探测的数据可视化系统，包括传感探测器模块1、串口服务器2、数据采集服务器3、分布式存储系统4、云计算服务器5、数据计算服务器6、Web服务器7和用户终端8。传感探测器模块1与串口服务器2相连接，串口服务器2与数据采集服务器\n3相连接，数据采集服务器3与分布式存储系统4相连接，分布式存储系统4与云计算服务器5相连接，云计算服务器5与数据计算服务器6相连接，数据计算服务器6与Web服务器7相连接，Web服务器7与用户终端8相连接。\n[0039] 数据采集服务器3上设有数据采集模块和数据预处理模块，云计算服务器5上设有云计算模块，数据计算服务器6上设有大数据分析模块，Web服务器7上设有数据可视化模块。\n[0040] 传感探测器模块1包括若干个气体传感探测器，其可以部署在各个监测点，是根据光学、物理或机械电子方式探测气体苯系物的传感器。气体传感探测器的目的是获得探测监测点的苯系物含量及参数，并且提供RS485通讯口进行传输数据。需要说明的是，监测点获得的气体类型和参数与部署的探测器类型和功能有关系。与实验室仪器使用化学、物理方法采集气体苯系物数据方法相比较而言，本发明利用传感探测技术实现数据的实时传输、存储和分析。\n[0041] 串口服务器2采集传感探测器模块1探测的参数数据。串口服务器2主要实现数据的采集、传输通道，将RS485通讯协议转换为使用以太网的RJ45口。串口服务器2输入端接收RS485通讯协议数据，输出端将RJ45协议转后的数据封装经以太网传输。串口服务器2的目的是通过通用通讯协议延伸传感探测器模块1中的传感探测器所采集数据的传输距离，同时能够实现多个气体传感探测器的网络连接。1台串口服务器2输入端口可以并行连接8个RS485的气体传感探测器，并经1个RJ45输出给以太网。串口服务器2部署在任意气体苯系物的传感探测器接入的位置，多个串口服务器2经由以太网连接，级联层次连接至数据采集服务器3，分布式存储系统4实现将数据存储到多个节点。串口服务器2可以实现以太网交换机的级联实现更多气体传感探测器的网络连接。\n[0042] 数据采集服务器3上设有数据采集模块和数据预处理模块，数据采集服务器3的功能主要是进行气体苯系物数据的预处理。数据采集模块接收从串口服务器2传输进入的数据，数据预处理模块进行气体苯系物数据的预处理。部署在数据采集服务器上的数据采集模块主要采用分布式网络编程技术Socket采集串口服务器2输出端RJ45端口的数据，数据预处理模块利用分布式大数据数据预处理技术Spark Streaming对数据采集模块采集的数据进行出来。数据采集服务器3将采集到的数据收集到数据集RDD里面进行格式化转换、冗余处理，然后再发送到分布式存储系统Hadoop分布式存储系统。数据采集服务器3上的数据存储应用程序发送数据给分布式存储系统4的数据接收应用程序，使用分布式文件存储技术HDFS存储到分布式存储系统4中。数据采集服务器3采用Socket多线程方式读取串口服务器2经RS485协议获取的传感探测器模块1感知的数据，并经串口服务器2的RJ45端口传输到数据采集服务器3，实现自动采集气体苯系物数据。当有多个气体苯系物监测系统连接时，串口服务器2可以实现气体苯系物监测系统的互通互联。\n[0043] 分布式存储系统4将数据采集服务器3采集并预处理的数据进行分片发送给分布式存储系统节点，通过分布式数据存储系统Hadoop的数据集群进行多个数据备份。分布式存储系统4利用Zookeeper的自动协调机制，保障了分布式存储系统的数据同步更新，进行自动数据更新。\n[0044] 分布式存储系统4用来存放气体传感探测器采集的数据，充分利用网络分布存储资源，将数据分布到多个存储节点通过分布式数据存储系统Hadoop的数据集群进行多个数据备份，本发明分布式存储设有n个。分布式存储系统4在系统空闲时，使用分布式数据存储系统Hadoop的数据仓库技术HBase进行分类，将分类后的数据存储到HBase数据仓库，目的是实现数据共享和多用途。数据采集服务器3中的数据预处理模块将处理后的数据发送至分布式存储系统4，分布式存储系统4将接收的数据进行分片后发送给分布式存储系统的节点，通过分布式存储系统的数据集群进行多个数据备份，分布式存储系统4实现了数据的分布式存储。\n[0045] 云计算服务器5上设有云计算模块，云计算模块利用云计算服务器5为用户提供访问气体苯系物数据抽取的入口。云计算服务器5上设有用户接口，通过云计算服务器5上的云计算模块可以根据用户的需求抽取分布式存储系统4中的数据。根据用户对气体苯系物参数的数据模型定义，使用MapReduce抽取分布式存储系统4的数据，即直接从串口服务器2采集到的实时数据，并交由Spark模型使用Spark Streaming RDD技术生成RDS数据集，并使用Spark Streaming RDD技术生成下一步数据分析需要的数据集。因此，云计算服务器5还提供进行数据统计分析汇总、数据挖掘需要的算法模型。\n[0046] 数据计算服务器6上设有大数据分析模块，利用Spark Streaming进行实时流式数据分析和Spark MLlib历史数据挖掘，目的是通过Spark Streaming大数据分析技术实现实时流计算进行实时监测和预警，使用Spark MLlib技术进行历史数据分析实现发展趋势预测和气体传感探测器的气体苯系物含量路径分析，为辅助决策和应急处理提供建议的数据支撑。数据计算服务器6对数据采集服务器3格式化后的数据建立数据统计分析汇总和数据挖掘的数据模型。数据模型包括数据获得时间、传感探测器模块1所在的物理位置和逻辑标记、数据采集经由的路径、采集数据的应用程序所在位置和标识、数据存储的物理位置和逻辑位置标识、采集数据的用户标识以及传感探测器模块1本身感知的苯系物参数，数据以树形的层次结构以文本方式存储到分布式存储系统中。\n[0047] 同时，也可以由数据计算服务器6上的计算程序直接抽取数据生成RDS数据集进行Saprk实时分析。目的是对气体苯系物数据进行采集和实时处理，提升数据分析的时效性体验。需要说明的是，在公共场景部署许多气体传感探测器接入云端的时候，对数据采集服务器的高通量接口要求较高。\n[0048] 云端Web服务器7上设有数据可视化模块，数据可视化模块借助于D3.js可视化技术，用户终端8通过Web浏览器访问数据可视化展现。数据可视化模块目的是以直观、易懂的方式展现气体苯系物数据及变化情况。用户终端8显示可视化数据界面，借助于网络连接和访问终端设备屏幕，在用户面前展示气体苯系物数据结果。与现有传感探测技术采集到的气体苯系物数据方法相比较而言，本发明利用云计算资源共享和分布式存储技术，充分发挥信息新技术优势，将气体苯系物数据备份到云端实现共享，提供直观、易懂的可视化展现提供数据支撑。通过分布式存储系统4，Web服务器7可以将接入的用户终端8之间实现数据的共享。\n[0049] 数据可视化模块将气体苯系物监测数据建成可视化模型，可视化模型包括气体苯系物监测参数的实时状态和数据变化情况折线、多种气体苯系物影响环境或者危害程度大小的泡泡图、气体苯系物在监测数据中的比例或比率的饼状图或立方图、气体苯系物的综合监测评估数据的关系网状图、某段时间或区域内影响或危害程度的热点地图。\n[0050] 用户在用户终端8上提出Web服务查询请求后，格式化后的数据经由数据计算服务器6上的应用程序建立数据模型，再经由云计算服务器5上的应用程序选择合适的计算模型，连接到分布式存储系统4进行抽取数据，再沿原路一步一步返回，最终在用户终端8的界面通过数据可视化技术展现查询结果。\n[0051] 用户在Web服务器7上设定评估参数，提交查询服务请求，应用数据计算服务器6的数据建模和云计算服务器5的计算模型，沿原路返回到Web服务器7进行数据可视化方法进行综合监测评估。综合监测评估包括气体苯系物传感器感知的历史数据，根据监测苯系物参数的数据模型汇总分析。用户终端8提交Web服务器7进行查询服务，输入查询参数和设定生产生活影响或危害的阈值，经由数据计算服务器6和云计算服务器5，将统计汇总结果比较返回进行评估，实现气体苯系物在生产生活中的水平评估。\n[0052] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。