网络信息的云聚类提取方法

1.一种网络信息的云聚类提取方法，其特征在于，该方法主要包括以下步骤：
步骤a：利用分布式文件系统进行文件写入、数据存储及访问网络信息，该分布式文件系统包括一个主节点以及若干个子节点，主节点用以存储该分布式文件系统的元数据，所述元数据包括文件系统的名字空间以及管理文件的存储，所述子节点用以存放数据，由客户端直接与各子节点建立数据通信；
步骤b：利用SOM、Kmeans聚类算法与云计算的计算模型Map/Reduce进行无缝结合，得到基于云计算的Map/Reduce化的SOM、Kmeans聚类算法，其采用JobTracker/TaskTrackers的结构实现Map/Reduce计算模式，JobTracker负责整个Map/Reduce的控制工作，首先选择空闲的TaskTracker来分配这些Map任务或者Reduce任务，TaskTracker执行从JobTracker发出的指令并同时处理Map和Reduce阶段之间数据的移动，每个TaskTracker节点会周期性的报告完成的工作及状态的更新，若其中一个TaskTracker节点保持沉默超过一个预设的时间间隔，则JobTracker将这个节点状态记录为死亡，并把分配给这个节点的数据发到别的节点。
2.根据权利要求1所述的网络信息的云聚类提取方法，其特征在于，所述分布式文件系统中，以块序列的形式存储各个文件。
3.根据权利要求2所述的网络信息的云聚类提取方法，其特征在于，所述存储各个文件的块被复制，且块的大小和副本的个数都可以配置，主节点控制所有的块复制操，其周期性地接收子节点的心跳回应和块报告，收到子节点的心跳回应表示这个子节点是正常的，而一个块报告包括该子节点上的所有的块列表。
4.根据权利要求1所述的网络信息的云聚类提取方法，其特征在于，所述分布式文件系统中，所述文件写入主要包括以下步骤：
步骤a1：客户端向主节点发起文件写入的请求；
步骤a2：主节点根据文件大小和文件块向客户端返回该主节点所管理的子节点的地址信息；以及
步骤a3：客户端将文件划分为若干个块，根据子节点的地址信息，按顺序写入到每一个子节点的块中。
5.根据权利要求1所述的网络信息的云聚类提取方法，其特征在于，所述基于云计算的Map/Reduce化的SOM、Kmeans聚类算法主要包括以下步骤：
步骤b1：输入网络信息；
步骤b2：根据聚类算法提供Map和Reduce函数，Map/Reduce框架把用户作业的输入看作是若干组键值对，Map/Reduce框架会调用用户自定义的Map函数处理每一组键值对，生成一批新的中间键值对，这两组键值对的类型不一定相同；
步骤b3：在Shuffle阶段，Map/Reduce框架通过HTTP为每个键值对；在Sort阶段，由于不同map的输出中可能会有相同的key，Map/Reduce框架将按照key 的值对Reduce的输入进行分组，Shuffle阶段和Sort阶段是同时进行的，Reduce的输入也是一边被取出，一边被合并，以保证Reduce的输入是Map排好序的输出；
步骤b4：在Reduce阶段中，遍历中间数据，对每一个唯一key，执行用户自定义的Reduce函数，输出新的键值对；
步骤b5：这Output阶段中，把Reduce输出的结果写入到输出目录的文件中。
6.根据权利要求1所述的网络信息的云聚类提取方法，其特征在于，Map/Reduce 框架和分布式文件系统运行在一组相同的节点上。

暂无