一种带有数据立方存储索引结构的云计算系统

1.一种带有数据立方存储索引结构的云计算系统，其特征在于，由一个或多个管理节点，一个或多个计算及存储节点（数据节点）组成，系统在数据建立与查询时，分布式建立与应用数据立方索引结构（1）。
2.根据权利要求1所述的一种带有数据立方存储索引结构的云计算系统，其特征在于：数据索引结构（1）采用数据立方结构。
3.根据权利要求2所述的数据立方存储索引结构，其特征在于：在数据建立及存储时，对规范化的数据设定1个或多个关键字字段（3），将不同的关键字字段分别建立索引，每张不同的索引（2）生成一张独立的B+树结构，多个B+树结构垛叠在一起，与全局数据表形成一个完整的数据立方结构。
4.根据权利要求2所述的数据立方存储索引结构，其特征在于：数据在建立及存储同时建立由插入B+树构成的数据立方索引。
5.根据权利要求2所述的数据立方存储索引结构，其特征在于：由插入B+树构成的数据立方索引是分布式方法建立的，多节点多机器同步并行处理。
6.根据权利要求2所述的数据立方存储索引结构，其特征在于：数据设定的关键字字段（3）可以为1个或多个，针对每一个关键字字段分别建立索引（2），每个索引（2）的增加也同时增加数据立方的厚度。
7.根据权利要求2所述的数据立方存储索引结构，其特征在于：索引以B+树的结构生成，每一条新的记录只需要插入到B+树中。
8.根据权利要求2所述的数据立方存储索引结构，其特征在于：B+树的插入仅在叶结点上进行，每插入一个索引项后都要判断结点中的子树棵数是否超出范围，当插入后结点中的子树棵数大于某一值时，该数值可根据需要设定为任意数值，将叶结点分裂为两个结点，它们的双亲结点中同时包含这两个结点的最大关键码和结点地址。
9.根据权利要求2所述的数据立方存储索引结构，其特征在于：在非叶结点插入时，与叶结点的插入类似，非叶结点中的子树棵数的上限为一个范围，此范围可根据需要设定为任意数值，超出这个范围也要进行结点分裂，在做根结点分裂时，创建新的双亲结点，作为树的新根。
10.根据权利要求2所述的数据立方存储索引结构，其特征在于：所述的叶节点特征是数据关键词内容包含于双亲节点范围内。
11.根据权利要求2所述的数据立方存储索引结构，其特征在于：当有新的记录到来时，将新的数据记录对应的一条索引记录插入到所有的字段索引中，采取一定的写入策略。
12.根据权利要求11所述的新记录写入策略，其特征在于：当新的记录积累到若干条（可根据需要任意设定）或经过一定时间（可根据需要任意设定）时，对于存储在MemCache（分布式缓存服务器）中的字段索引，可以将这些数据记录对应的索引记录一次性批量写入；当新的记录积累到若干条（可根据需要人已设定）或经过一定时间（可根据需要任意设定）时，可以将这些数据记录对应的索引记录一次性批量写入HDFS（固态磁盘）上的索引文件。
13.根据权利要求2所述的数据立方存储索引结构，其特征在于：对B+树的查找类似于二分查找，B+树还可以进行对值进行顺序查找。
14.根据权利要求2所述的数据立方存储索引结构，其特征在于：对重要字段建立索引，存储在HDFS（固态磁盘）上，将最近常用的字段索引加载到MemCache（高性能的分布式的内存对象缓存系统）中，同时删除最不常用的字段索引以节省空间，对于每次查询，系统统计每个字段索引被调用的次数，对于被调用次数最多的那些字段索引就被加载到MemCache中，而在MemCache中被调用次数最少的某些字段将被删除。
15.根据权利要求1所述的一种带有数据立方存储索引结构的云计算系统，其特征在于：系统在数据存储时对数据的各个关键字分布式建立索引，通过检索对应关键字索引，快速定位到要读取和查找的源数据文件，进行数据过滤。
16.根据权利要求1所述的一种带有数据立方存储索引结构的云计算系统，其特征在于：每个字段的索引被分布式存储在不同的数据节点上，查询的索引的过程是一个同步的查询过程，每一台数据节点的机器都去查找各自索引的内容，检索出相关源文件记录后再过滤汇总，形成完整的结果。
17.根据权利要求1所述的一种带有数据立方存储索引结构的云计算系统，其特征在于：本系统采用完全分布式索引，分布式入库到各个不同的数据节点上，每个数据节点分别对该节点上的数据独立的建立索引，每个集群节点单独建立索引，在云中存在多个索引的备份，根据文件的冗余备份方式，不同的文件可能被分别指向了不同的节点索引。

暂无