一种数据去重的方法

发明专利有效专利

申请号：
CN202111115705.4
IPC分类号：G06F16/215;G06F16/2455
申请日期：
2021-09-23
申请人：
世纪龙信息网络有限责任公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种数据去重的方法
申请号	CN202111115705.4	申请日期	2021-09-23
法律状态	公开	申报国家	中国
公开/公告日	2021-11-26	公开/公告号	CN113704240A
优先权	暂无	优先权号	暂无
主分类号	G06F16/215	IPC分类号	G;0;6;F;1;6;/;2;1;5;;;G;0;6;F;1;6;/;2;4;5;5查看分类表>
申请人	世纪龙信息网络有限责任公司	申请人地址	广东省广州市天河区龙口中路211号华天国际广场东苑1、2层变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	世纪龙信息网络有限责任公司	当前权利人	世纪龙信息网络有限责任公司
发明人	唐微微;王刚;马幸晖;丁嘉嘉;黄开发;王家宾
代理机构	北京集佳知识产权代理有限公司	代理人	刘思言

摘要

本申请公开了一种数据去重的方法。本申请可按顺序逐行读取待检测数据；计算当前读取的目标行数据的MD5值并利用hash算法计算目标行数据的索引文件块的目标块号。判断是否存在目标块号的索引文件块；若是，则判断是否存在与目标块号的索引文件块对应的二级跳表索引文件块；若不存在，则检索目标块号的索引文件块是否存在目标行数据的MD5值；若目标块号的索引文件块存在目标行数据的MD5值，则删除目标行数据。因每行数据的MD5值的存储空间小于每行数据的存储空间，去重时，仅读取每行数据的MD5值来进行数据比对便可判断目标数据是否存在，不用读取每行数据，减轻服务器运行压力，节约服务器资源，提升了数据去重的速度。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供