一种海量数据管理方法

1、一种海量数据管理方法，其特征在于，包括以下步骤：
A、把一个数据库大表分成多个分区，每个分区相当于一个数据库小表， 按日期划分分区，数据插入按分区顺序进行并在分区号范围内循环更新；
B、建立五个数据库表空间，一个分区使用一个表空间，相隔五个号的分 区使用相同的表空间，即第6个分区使用和第1个分区相同的表空间，其他类 推；
C、建立好数据库表空间后，每隔15分钟，从短信网关通过FTP协议，取 CDR文件到本地指定目录，取得数据库的连接，设置数据库的自动提交模式为 False，保证不是每条记录都自动提交，以降低和数据库交互的开销，提高插入 速度；
D、读入一条CDR记录，检查记录是否合法，检查各字段是否正确；
E、字段校验通过后，根据CDR的申请时间计算数据要插入的分区号，把 该条记录加入批处理命令中，如果已有1000条批命令未处理，或已到达文件 的结尾，则执行批处理，将批记录提交到数据库，插入的记录自动根据每条记 录的分区号，插入到数据库的不同分区中；
F、如果未达到1000条的批命令，则继续处理下一条记录直到该文件处理 完毕；
G、按同样的方法处理下一个文件，直到处理完目录下的全部文件。
2、根据权利要求1所述的一种海量数据管理方法，其特征在于：步骤A 中所述的分区为91个，用于保存连续90天的数据，每天的数据依序插入各个 分区，当90天的数据分别插入90个分区后，第91天的数据插入第91个分区， 然后删除第1个分区的数据，实现始终保存最近90天的数据。

暂无