一种GPS海量数据处理方法

1.一种GPS海量数据处理方法，用于处理服务器接收到的GPS海量数据，其特征在于：
该服务器包括若干台GPS数据库服务器和若干台GPS应用服务器，GPS应用服务器用于接收GPS海量数据、分配接收到的GPS海量数据到不同的GPS数据库服务器、并对GPS海量数据进行处理，GPS数据库服务器用于存储GPS应用服务器分配给它的GPS海量数据；该方法包括以下步骤：
步骤1：设置若干台GPS数据库服务器，组成分布式数据库服务器集群；设置若干台GPS应用服务器，组成分布式应用服务器集群；其中，GPS数据库服务器上的数据库采用Oracle数据库；
步骤2：根据定位终端的位置将GPS导航设备上报的GPS数据进行区域划分，将划分后的GPS数据分散至不同的GPS应用服务器；
步骤3：不同的GPS应用服务器接收到GPS数据后，对该GPS数据进行第一次分类，将分类后的GPS数据发送至不同的GPS数据库服务器进行存储；上述GPS数据至少包括定位终端标识、定位终端位置、定位终端速度和定位时间；
步骤4：当需要对GPS数据进行查询时，GPS应用服务器接收用户的查询请求，该查询请求至少包括定位终端标识、定位时间，GPS应用服务器首先根据定位终端标识找到存储该GPS数据的GPS数据库服务器，然后结合GPS数据的分类表找到被查询的记录，最后将查询结果发送给用户。
2.根据权利要求1所述的一种GPS海量数据处理方法，其特征在于：所述步骤2中，将划分后的GPS数据分散至不同的GPS应用服务器，是通过直接路由模式和加权最少链接调度模式进行分散；具体的，直接路由模式是客户端发出的请求数据包经过层层路由发送到调度器，调度器再将请求包分发给应用服务器集群节点，应用服务器集群节点接收到请求包后将地址设置为调度器的别名网卡来封装响应报文，并直接发送给客户端；加权最少链接调度模式是在应用服务器集群中的各个GPS应用服务器的性能差异较大的情况下，调度器采用加权最少链接调度算法优化负载均衡性能，具有较高权值的服务器承受较大比例的活动连接负载，调度器自动询问每个GPS应用服务器的负载情况，并动态地调整其权值。
3.根据权利要求1所述的一种GPS海量数据处理方法，其特征在于：所述步骤3中，对GPS数据进行分类，包括两次分类，其步骤如下：
步骤31：GPS应用服务器执行第一次分类，该分类分为三级：首先根据定位终端位置将定位终端的GPS数据划分为不同区块的GPS数据，然后根据定位时间再次进行划分，最后再根据定位终端标识进行划分；将不同划分等级的GPS数据存储至不同的GPS数据库服务器；
步骤32：在每台GPS数据库服务器上执行第二次分类，该分类是通过Oracle的范围分区、列表分区、散列分区、组合范围-散列分区、组合范围-列表分区，并结合实际的业务需求，将GPS数据存储到该GPS数据库服务器的Oracle数据库中的不同的分区表里，便于数据库数据的处理。

一种GPS海量数据处理方法\n技术领域\n[0001] 本发明涉及海量数据处理领域，特别涉及一种GPS海量数据处理方法。\n背景技术\n[0002] 随着科技的发展和生活水平的提高，GPS在生活中的应用越来越广泛，GPS导航设备逐渐成为汽车行业很重要的一款设备，对汽车定位有了更精确的描述和汽车安全方面有了很大的提高。\n[0003] 同时，由于整个系统接入的GPS导航设备可能有几十万到百万，进而给处理这些海量的GPS数据带来很大的困扰。假设每个GPS导航设备按照设定的周期定期上报数据，例如每30秒上报一条GPS数据，每天就有2880条数据，这样的话，在接入的GPS导航设备多时，例如有100万台GPS导航设备，其上报的数据量非常庞大：每天要处理的数据量仅GPS数据就有2880*1000000 = 2,880,000,000条数据，平均每秒要处理及存储上万笔记录。\n[0004] 现有的数据一般都采用关系数据库存储，如Oracle，Mysql，Mssqlserver等，GPS数据库服务器在达到一定的数据量后，关系数据库的查询就会变得非常慢，造成查询效率严重低下，有时候GPS数据库服务器的CPU使用率可达百分之百，也影响了其他业务数据的存储和查询。因此，目前急需一种可处理如此海量的数据的方法。\n发明内容\n[0005] 因此，针对上述的问题，本发明提出一种GPS海量数据处理方法，其采用新颖的数据处理机制，可提高GPS数据的处理速度，缩短数据存储和查询的时间，进而解决现有技术的问题。\n[0006] 为解决此技术问题，本发明采用了以下技术方案：\n[0007] 本发明提供一种GPS海量数据处理方法，用于处理服务器接收到的GPS海量数据，该服务器包括若干台GPS数据库服务器和若干台GPS应用服务器，GPS应用服务器用于接收GPS海量数据、分配接收到的GPS海量数据到不同的GPS数据库服务器、并对GPS海量数据进行处理，GPS数据库服务器用于存储GPS应用服务器分配给它的GPS海量数据；该方法包括以下步骤：\n[0008] 步骤1：设置若干台GPS数据库服务器，组成分布式数据库服务器集群；设置若干台GPS应用服务器，组成分布式应用服务器集群；其中，GPS数据库服务器上的数据库采用Oracle数据库；\n[0009] 步骤2：根据定位终端的位置将GPS导航设备上报的GPS数据进行区域划分，将划分后的GPS数据分散至不同的GPS应用服务器；\n[0010] 步骤3：不同的GPS应用服务器接收到GPS数据后，对该GPS数据进行第一次分类，将分类后的GPS数据发送至不同的GPS数据库服务器进行存储；上述GPS数据包括定位终端标识、定位终端位置（经度、纬度）、定位终端速度、定位时间（开始时间和结束时间）等信息数据；该定位终端可以安装在车辆上，也可以安装在其他移动终端上；\n[0011] 步骤4：当需要对GPS数据进行查询时，GPS应用服务器接收用户的查询请求，该查询请求至少包括定位终端标识和定位时间，GPS应用服务器首先根据定位终端标识找到存储该GPS数据的GPS数据库服务器，然后结合GPS数据的分类表找到被查询的该条记录，最后将查询结果发送给用户。\n[0012] 进一步的，上述步骤2中，将划分后的GPS数据分散至不同的GPS应用服务器，是通过直接路由（LVS-DR）模式和加权最少链接（WLC）调度模式进行分散。具体的，LVS-DR模式是客户端CIP发出的请求数据包经过层层路由发送到调度器VIP，调度器再将请求包通过forward分发给应用服务器集群节点RS，应用服务器集群节点RS接收到请求包后将通过地址设置为调度器VIP的别名网卡来封装响应报文并直接发送给客户端CIP，不再经过调度器转发，从而加快了响应速度。WLC调度模式是指在应用服务器集群中的各个GPS应用服务器的性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动询问真实应用服务器的负载情况，并动态地调整其权值。其通过LVS集群及并行处理技术将所有GPS导航设备上传上来的数据分散到不同的GPS应用服务器上，缓解单个GPS应用服务器上的压力。\n[0013] 步骤3中，多台GPS数据库服务器组成数据库服务器集群，不同的GPS数据库服务器接收GPS应用服务器分配的不同GPS数据，并实现GPS数据库服务器之间的并行处理。\n[0014] 另外，步骤3中，对GPS数据进行分类，包括两次分类，其步骤如下：\n[0015] 步骤31：GPS应用服务器执行第一次分类，该分类分为三级：首先根据定位终端位置将定位终端的GPS数据划分为不同区块的GPS数据，然后根据定位时间再次进行划分，最后再根据定位终端标识进行划分；将不同划分等级的GPS数据存储至不同的GPS数据库服务器；\n[0016] 步骤32：在每台GPS数据库服务器上执行第二次分类，该分类是通过Oracle的范围分区、列表分区、散列分区、组合范围-散列分区、组合范围-列表分区，并结合实际的业务需求，将GPS数据存储到该GPS数据库服务器的Oracle数据库中的不同的分区表里，便于数据库数据的处理。\n[0017] 本发明通过采用上述方法，其采用新颖的数据处理机制，通过分布式数据库服务器集群和分布式应用服务器集群的结合，提高GPS数据的处理速度，缩短数据存储和查询的时间；另外通过对存储的数据的二次分类，使得GPS数据的存储更有规律，可有效提高数据处理的准确度，提高数据处理的精度，提升得到有价值信息的速度。\n附图说明\n[0018] 图1是本发明的方法的流程图。\n具体实施方式\n[0019] 现结合附图和具体实施方式对本发明进一步说明。\n[0020] 数据库管理系统（DBMS）是海量数据存储检索系统的核心部件所有对数据的控制都要通过DBMS来实现。Oracle数据库管理系统应用十分普及，是目前高性能存储检索系统主要选择的关系数据库管理系统，因此本文海量数据的存储基于Oracle数据库管理系统来实现。\n[0021] 实现高性能的海量数据存储可采取的数据库策略有：\n[0022] 1. 分区技术：为了更精细地对数据库对象如表索引及索引编排表进行管理和访问，可以对这些数据库对象进行进一步的划分，这就是所谓的分区技术。\n[0023] Oracle分区的表通过使用“分区关键字”分区，分区关键字是确定某个行所在分区的一组列。Oracle提供了三种基本数据分配方法范围（range）、列表（list）、与散列（hash）。使用上述的数据分配方法，可以将表分成单一分区表或组合分区表。则Oracle提供的分区技术主要分为以下几种：范围分区、列表分区、散列分区，组合范围-散列分区，组合范围-列表分区。此外Oracle还提供三种类型的分区索引，包括本地索引、全局分区索引和全局非分区索引。可以根据业务需求选择相应的索引分区策略，从而实现最合适的分区，以支持任何类型的应用程序。Oracle提供一套强健的技术用于表、索引和索引编排表的分区。海量数据的数据库存储可以选用以上分区技术中的一种或几种，通过一组完整的 命令来管理分区表，从而达到高性能检索的目的。通过分区技术可以达到应用效果：\n[0024] 1）增强可用性：如果数据库表的某个分区出现了故障，可以确保数据库表在其它分区中的数据仍然可用。\n[0025] 2）维护方便：如果数据库表的某个分区出现了故障，则仅需修复该故障分区的数据即可，而不需要对整个数据库表进行维护。\n[0026] 3）均衡I/O：可以将数据库表不同的分区映射到磁盘用以平衡I/O，可以使系统的整体性能得到改善。\n[0027] 4）改善查询性能：用户对分区对象进行查询时，只需要搜索用户关心的分区，从而可以提高查询速度，改善查询性能。\n[0028] 2.并行处理技术：为了提高系统性能，可以让多个处理器协同工作来执行单个SQL 语句，这就是所谓的并行处理技术。\n[0029] 并行处理技术是数据库的一项核心技术，是指利用多个,CPU和I/O资源来执行单个数据库操作，从而使得数据库能够高效地管理和访问TB级的数据。尽管目前主流的数据库管理系统都表示可以提供并行处理能力，但在并行处理结构上都存在着关键的差异。所谓并行处理结构是指：将单个任务分解为多个更小的单元。不是将所有工作通过一个进程完成，而是将任务并行化，从而使得多个进程同时在更小的单元上运行，这样做能极大地提高系统性能并且能最佳地利用系统资源。\n[0030] Oracle使用动态并行处理框架，数据操作可以依据当前工作特征，查询及负载的重要性，使用1-N个真正应用集群节点并行运行。\n[0031] 并行处理技术的特性：Oracle数据库并行技术能提高数据库性能，并且能提高数据库的最大运行速度和最大负载量。由于并行系统的每个节点都相互独立，使得一个节点如果出现故障不会导致这个数据库崩溃，剩余的节点可以在为用户提供服务的同时对故障节点进行恢复，因此并行技术比单节点的可靠性要高。Oracle数据库并行技术还能根据需要随时分配和释放数据库实例，数据库的机动性高。还有一点就是并行技术可以克服内存限制，为更多的用户提供数据服务。\n[0032] 3.LVS负载均衡技术: LVS集群采用IP负载均衡技术和基于内容请求分发技术。\n调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。\n[0033] 基于以上理论，本发明提供一种GPS海量数据处理方法，用于处理服务器接收到的GPS海量数据，该服务器包括若干台GPS数据库服务器和若干台GPS应用服务器，GPS应用服务器用于接收GPS海量数据、分配接收到的GPS海量数据到不同的GPS数据库服务器、并对GPS海量数据进行处理，GPS数据库服务器用于存储GPS应用服务器分配给它的GPS海量数据；该方法包括以下步骤：\n[0034] 步骤1：设置若干台GPS数据库服务器，组成分布式数据库服务器集群；设置若干台GPS应用服务器，组成分布式应用服务器集群；其中，GPS数据库服务器上的数据库采用Oracle数据库；\n[0035] 步骤2：根据定位终端的位置将GPS导航设备上报的GPS数据进行区域划分，将划分后的GPS数据分散至不同的GPS应用服务器；\n[0036] 步骤3：不同的GPS应用服务器接收到GPS数据后，对该GPS数据进行第一次分类，将分类后的GPS数据发送至不同的GPS数据库服务器进行存储；上述GPS数据包括定位终端标识、定位终端位置（经度、纬度）、定位终端速度、定位时间（开始时间和结束时间）等信息数据；该定位终端可以安装在车辆上，也可以安装在其他移动终端上；\n[0037] 步骤4：当需要对GPS数据进行查询时，GPS应用服务器接收用户的查询请求，该查询请求至少包括定位终端标识和定位时间，GPS应用服务器首先根据定位终端标识找到存储该GPS数据的GPS数据库服务器，然后结合GPS数据的分类表找到被查询的该条记录，最后将查询结果发送给用户。\n[0038] 上述步骤2中，将划分后的GPS数据分散至不同的GPS应用服务器，是通过直接路由（LVS-DR）模式和加权最少链接（WLC）调度模式进行分散。具体的，LVS-DR模式是客户端CIP发出的请求数据包经过层层路由发送到调度器VIP，调度器再将请求包通过forward分发给应用服务器集群节点RS，应用服务器集群节点RS接收到请求包后将通过地址设置为调度器VIP的别名网卡来封装响应报文并直接发送给客户端CIP，不再经过调度器转发，从而加快了响应速度。WLC调度模式是指在应用服务器集群中的各个GPS应用服务器的性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动询问真实应用服务器的负载情况，并动态地调整其权值。其通过LVS集群及并行处理技术将所有GPS导航设备上传上来的数据分散到不同的GPS应用服务器上，缓解单个GPS应用服务器上的压力。\n[0039] 步骤3中，多台GPS数据库服务器组成数据库服务器集群，不同的GPS数据库服务器接收GPS应用服务器分配的不同GPS数据，并实现GPS数据库服务器之间的并行处理。\n[0040] 另外，步骤3中，对GPS数据进行分类，包括两次分类，其步骤如下：\n[0041] 步骤31：GPS应用服务器执行第一次分类，该分类分为三级：首先根据定位终端位置将定位终端的GPS数据划分为不同区块的GPS数据，然后根据定位时间再次进行划分，最后再根据定位终端标识进行划分；将不同划分等级的GPS数据存储至不同的GPS数据库服务器；\n[0042] 步骤32：在每台GPS数据库服务器上执行第二次分类，该分类是通过Oracle的范围分区、列表分区、散列分区、组合范围-散列分区、组合范围-列表分区，并结合实际的业务需求，将GPS数据存储到该GPS数据库服务器的Oracle数据库中的不同的分区表里，便于数据库数据的处理。\n[0043] 参考图1，本发明的处理流程如下：若干个GPS导航设备将GPS海量数据发送至分布式应用服务器集群，在GPS导航设备数量庞大的时候,每秒钟上传来的GPS数据将是庞大的。采用LVS集群和并行处理技术将GPS数据分散至各个GPS应用服务器上，然后再进行分类，并发送至GPS数据库服务器进行存储。\n[0044] 尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。