首页专利查询专利详情

*来源于国家知识产权局数据,仅供参考,实际以国家知识产权局展示为准

一种基于Hadoop的OLAP数据存储与查询方法

发明专利无效专利
  • 申请号:
    CN201310330472.9
  • IPC分类号:G06F17/30
  • 申请日期:
    2013-07-31
  • 申请人:
    东南大学;山东科技大学
著录项信息
专利名称一种基于Hadoop的OLAP数据存储与查询方法
申请号CN201310330472.9申请日期2013-07-31
法律状态权利终止申报国家中国
公开/公告日2013-10-23公开/公告号CN103366015A
优先权暂无优先权号暂无
主分类号G06F17/30IPC分类号G06F17/30查看分类表>
申请人东南大学;山东科技大学申请人地址
江苏省南京市四牌*** 变更 专利地址、主体等相关变化,请及时变更,防止失效
权利人东南大学,山东科技大学当前权利人东南大学,山东科技大学
发明人宋爱波;宋爱美;李龙生
代理机构南京苏高专利商标事务所(普通合伙)代理人柏尚春
摘要
本发明公开了一种基于Hadoop的OLAP海量数据的存储与查询方法,在数据存储上,首先定义了新的列文件存储格式HCFile,然后给出了基于HCFile的数据表存储方法,在该方案中,读取一列数据只需读取若干HCFile,无需访问其它列数据,I/O效率与按行存储相比大大提高;同时,添加一列数据只需添加新的文件,极易扩展。在聚集计算上,首先创建了基于倒排结构的数据索引,然后利用MapReduce实现了OLAP的基本聚集计算,包括求和、最大/最小值和计数等,其它聚集计算可由这些基本聚集计算实现,得益于高效的数据索引,聚集计算的性能显著提升。本发明与现有技术相比,不仅有效的提高了数据存储与查询的效率,而且节省了硬件资源,降低了时间和硬件成本,同时,运用更方便灵活。

专利服务由北京酷爱智慧知识产权代理公司提供