一种HDFS的存储结构优化方法

发明专利有效专利

申请号：
CN201711337752.7
IPC分类号：G06F16/18;G06F16/13;G06F11/14
申请日期：
2017-12-14
申请人：
成都雅骏新能源汽车科技股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种HDFS的存储结构优化方法
申请号	CN201711337752.7	申请日期	2017-12-14
法律状态	授权	申报国家	中国
公开/公告日	2018-04-20	公开/公告号	CN107944041A
优先权	暂无	优先权号	暂无
主分类号	G06F16/18	IPC分类号	G;0;6;F;1;6;/;1;8;;;G;0;6;F;1;6;/;1;3;;;G;0;6;F;1;1;/;1;4查看分类表>
申请人	成都雅骏新能源汽车科技股份有限公司	申请人地址	四川省成都市天府新区新兴街办油坊村九组300号新兴工业园区B1栋1-3层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	成都雅骏新能源汽车科技股份有限公司	当前权利人	成都雅骏新能源汽车科技股份有限公司
发明人	何鑫
代理机构	成都九鼎天元知识产权代理有限公司	代理人	刘世权

摘要

本发明公开了一种HDFS存储结构的优化方法，具体实现步骤如下第一步，分别对数据文件分割的数据块进行指纹计算；第二步，利用Hash函数完成指纹匹配，若出现相同值，则判定该块重复；第三步，重复块存储对应的索引，新数据块进行存储和更新指纹库流程；第四步，更新文件的元数据信息；第五步，通过CubeHash函数计算Hash值，并引入关键词提取策略、特征向量权值计算、余弦系数法进行数据的相同和相似性判断；第六步，根据标签删除重复数据。本发明设计合理，实现了标签化去重，使得HDFS的存储结构得到优化。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供