一种Hadoop系统优化方法

发明专利有效专利

申请号：
CN201611148198.3
IPC分类号：G06F16/182;G06F3/06;G06F11/14
申请日期：
2016-12-13
申请人：
西北师范大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种Hadoop系统优化方法
申请号	CN201611148198.3	申请日期	2016-12-13
法律状态	授权	申报国家	中国
公开/公告日	2017-04-26	公开/公告号	CN106599184A
优先权	暂无	优先权号	暂无
主分类号	G06F16/182	IPC分类号	G;0;6;F;1;6;/;1;8;2;;;G;0;6;F;3;/;0;6;;;G;0;6;F;1;1;/;1;4查看分类表>
申请人	西北师范大学	申请人地址	甘肃省兰州市安宁区967号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	西北师范大学	当前权利人	西北师范大学
发明人	陈旺虎;马生俊;俞茂义;李金溶;郏文博
代理机构	济南鼎信专利商标代理事务所（普通合伙）	代理人	曹玉琳

摘要

本发明涉及大数据与云计算领域，尤其涉及一种Hadoop系统优化方法。其中，对HDFS数据分布存储阶段的优化包括：选择DataNode；对选出的DataNode排序；采用同向增量的轮循方法放置数据。对MapReduce数据并行计算阶段的优化包括：生成执行队列Q；执行R0备份；更新执行队列Q；执行R1备份；更新执行队列Q；执行R2备份；更新执行队列Q；针对性执行。本发明采用自适应的轮循放置策略，可以将数据基本均匀地放置在DataNode，防止出现节点负载不平衡等问题。同时将所有的map任务都在本机执行，很大程度上减少了数据的网络传输，减少了map任务对网络传输的依赖，极大地避免了网络延迟带给应用的瓶颈。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供