一种基于大数据的舆情发现方法

1.一种基于大数据的舆情发现方法，包括：
步骤S100，数据采集，基于分布式云计算方式对网络数据进行数据采集，所述数据采集是由网络爬虫来实现的；通过分布式存储设备存储采集的网络数据，所述分布式存储设备基于HDFS实现；
步骤S200，数据预处理，对步骤S100采集的网络数据进行预处理，首先对采集的网络数据进行分词和词性标注处理，然后进行标点符号处理、表情字符处理和停用词处理，最后得到用于表示文本的特征项；
步骤S300，话题抽取，基于预处理后的网络数据，从中抽取出话题；
步骤S400，舆情分析，基于步骤S300抽取的话题进行舆情分析。
2.如权利要求1所述的基于大数据的舆情发现方法，其中，步骤S200进一步包括：
高质量词汇提取，步骤S200所得到的每一个特征项都隐含一个质量值，其反应特征项在文本中的贡献度，特征项t的质量Q(t)表示为：
其中，N表示所有文档的数量，fi表示文档特征项t在文档i中出现的次数，lt表示特征项t的长度，
设定阈值Q,对于Q(t)>Q的特征项予以保留，否则删除。
3.如权利要求1所述的基于大数据的舆情发现方法，其中，步骤S300包括：对步骤S200预处理得到的文本进行文本聚类，利用层次聚类算法计算每个类中文本对象的均值,得到k-means算法的初始聚类中心。利用k-means算法通过重新计算每个文本对象与聚类中心的距离,修正层次聚类结果中文本对象的归属类，算法步骤如下:
(1)确定聚类中心的个数k；
(2)利用层次聚类的方法对数据集进行层次聚类分析,得到k个类的均值,将它们作为k-means的初始聚类中心；
(3)计算每个文本对象与聚类中心的距离,将文本对象划分到离该文本对象最近的聚类中心所代表的簇；
(4)利用得到的值重新计算每个簇的聚类中心；
(5)重复(3)和(4),直到每个文本对象所属的类不再变化为止；
聚类结果所得到的类即确定为话题。
4.如权利要求3所述的基于大数据的舆情发现方法，进一步包括：
确定热点话题，通过下列公式计算步骤S300所得到的话题的热度，
Ri＝α1·RFi+α2·RTi+α3·CNi+α4·DNi,
其中，Ri表示话题i的热度，RFi：表示话题i的报道频率，RTi：表示在预定的N天时间内，对话题i的报道天数和所有天数的比值，CNi：表示话题i在预定天数内的网民对它的点击阅读数量，DNi：表示话题i在预定天数内的网民对它的评论数；α1、α2、α3、α4为权重系数；当Ri大于给定阈值R时，将话题i确定为热点话题。
5.如权利要求1所述的基于大数据的舆情发现方法，其中，所述网络数据包括博客、微博、论坛、新闻报道网页几个类别的数据，对于博客、微博、论坛、新闻报道网页的数据是分别独立进行话题抽取的，假设对于博客、微博、论坛、新闻报道网页的数据所抽取的热点话题集合分别为BLOG、M-BLOG、BBS、NEWS，计算BLOG、M-BLOG、BBS、NEWS的交集，所得到的结果确定为第一热点话题集合，计算BLOG、M-BLOG、BBS、NEWS其中每三个集合的交集，所得到的所有结果的和减去第一热点话题集合确定为第二热点话题集合，计算BLOG、M-BLOG、BBS、NEWS其中每二个集合的交集，所得到的所有结果的和减去第一热点话题集合以及第二热点话题集合确定为第三热点话题集合，集合BLOG、M-BLOG、BBS、NEWS的和减去第一热点话题集合、第二热点话题集合以及第三热点话题集合的结果确定为第四热点话题集合。

暂无