一种基于大数据的舆情分析方法

1.一种基于大数据的舆情分析方法，包括：
步骤S100，数据采集，基于分布式云计算方式对网络数据进行数据采集；
步骤S200，数据预处理，对步骤S100采集的网络数据进行预处理；
步骤S300，事件抽取，基于预处理后的网络数据，从中抽取出事件。
2.如权利要求1所述的基于大数据的舆情分析方法，步骤S100包括：所述数据采集是由网络爬虫来实现的；通过分布式存储设备存储采集的网络数据，所述分布式存储设备基于HDFS实现。
3.如权利要求1所述的基于大数据的舆情分析方法，步骤S200包括：首先对采集的网络数据进行分词和词性标注处理；然后,根据停用词列表,对分词后的结果进行停用词过滤；最后得到用于表示文档的特征项 。
4.如权利要求1所述的基于大数据的舆情分析方法，还包括：
步骤S400，热点事件抽取，从步骤S300中抽取的事件中再次抽取出热点事件；
步骤S500，舆情分析，对步骤S400中抽取的热点事件进行演化分析，从而得到舆情趋势。
5.如权利要求4所述的基于大数据的舆情分析方法，步骤S500包括：
对事件所包含的文档集合D＝{d1,d2,…di,…}，按照文档发表的时间进行聚类，得到该事件不同时间点所对应的文档数量，将聚类结果以坐标图的形式展示给用户，坐标横轴表示时间，坐标纵轴表示文档数量。
6.如权利要求4所述的基于大数据的舆情分析方法，其中，所述网络数据包括博客、微博、论坛、新闻报道网页几个类别的数据，对于博客、微博、论坛、新闻报道网页的数据是分别独立进行事件抽取的，假设对于博客、微博、论坛、新闻报道网页的数据所抽取的热点事件集合分别为BLOG、M-BLOG、BBS、NEWS，计算BLOG、M-BLOG、BBS、NEWS的交集，所得到的结果确定为第一热点事件集合，计算BLOG、M-BLOG、BBS、NEWS其中每三个集合的交集，所得到的所有结果的和减去第一热点事件集合确定为第二热点事件集合，计算BLOG、M-BLOG、 BBS、NEWS其中每二个集合的交集，所得到的所有结果的和减去第一热点事件集合以及第二热点事件集合确定为第三热点事件集合，集合BLOG、M-BLOG、BBS、NEWS的和减去第一热点事件集合、第二热点事件集合以及第三热点事件集合的结果确定为第四热点事件集合。

暂无