一种基于MapReduce的大规模数据分布式聚类处理方法

发明专利有效专利

申请号：
CN201710412014.8
IPC分类号：G06F16/26
申请日期：
2017-06-02
申请人：
东北大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种基于MapReduce的大规模数据分布式聚类处理方法
申请号	CN201710412014.8	申请日期	2017-06-02
法律状态	授权	申报国家	中国
公开/公告日	2017-10-24	公开/公告号	CN107291847A
优先权	暂无	优先权号	暂无
主分类号	G06F16/26	IPC分类号	G;0;6;F;1;6;/;2;6查看分类表>
申请人	东北大学	申请人地址	辽宁省沈阳市和平区文化路3号巷11号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	东北大学	当前权利人	东北大学
发明人	高天寒;孔雪
代理机构	沈阳东大知识产权代理有限公司	代理人	胡晓男

摘要

本发明提供一种基于MapReduce的大规模数据分布式聚类处理方法，包括对大规模数据以等规模不重复的原则进行抽样；向MapReduce分布式并行框架输入抽样数据并计算抽样数据的局部密度和平均密度；找出局部密度大于平均密度的所有抽样数据作为每个簇的初始聚类中心点的候选点集合并反馈给主节点，选取每两个相邻候选点之间距离大于2倍设定范围的所有候选点作为初始聚类中心点；利用MapReduce分布式并行框架进行并行聚类任务，针对每个簇计算数据间距离的平均值来更新聚类中心点；子节点应用误差平方和准则函数判断是否继续迭代；各子节点根据聚类中心点对大规模数据进行聚类。本发明实现并行聚类，减少聚类迭代次数，提高聚类准确率和并行聚类效率。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供