一种基于Hadoop的海量非独立小文件关联存储方法

发明专利无效专利

申请号：
CN201110312671.8
IPC分类号：G06F17/30
申请日期：
2011-10-15
申请人：
西安交通大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于Hadoop的海量非独立小文件关联存储方法
申请号	CN201110312671.8	申请日期	2011-10-15
法律状态	撤回	申报国家	中国
公开/公告日	2012-01-25	公开/公告号	CN102332027A
优先权	暂无	优先权号	暂无
主分类号	G06F17/30 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F17/00 特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法〔6〕 G06F17/30 信息检索；及其数据库结构〔6〕	IPC分类号	G;0;6;F;1;7;/;3;0查看分类表>
申请人	西安交通大学	申请人地址	陕西省西安市咸宁西路28号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	西安交通大学	当前权利人	西安交通大学
发明人	郑庆华;董博;刘均;马瑞;宋凯磊
代理机构	西安通大专利代理有限责任公司	代理人	朱海临

摘要

本发明公开了一种基于Hadoop的海量非独立小文件关联存储方法，主要解决海量的非独立小文件存取效率和读取效率较低的问题。针对某个大文件被分割成的许多小文件，即非独立小文件，本发明的特征在于：(1)将属于某个大文件的所有小文件归并为一个文件，称为mergedfile；(2)对每个mergedfile建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；(3)在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。通过以上方法，提高了现有Hadoop系统存储小文件的存储效率和读取效率。本发明适用于通用场景下海量的非独立小文件的存储和管理。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供