一种基于网络热词识别的网页自动分类方法

1.一种基于网络热词识别的网页自动分类方法，其特征在于，主要包括：
利用定制爬虫获取网页内容；
根据互联网关键词库以及互联网停用词库对获取的网页内容进行分词操作；
依据关键词热度值，利用贝叶斯多维分类模型对待分类网页内容进行初分类；
利用关联算法对已归类网页内容中未匹配分词项进行关联识别，找出互联网关键词库中尚未收集的热词后将其收录至相关类词库中，更新互联网词库；
利用更新的互联网词库对网页内容初分类步骤中无法归类的网页内容进行再分类。
2.如权利要求1所述的一种基于网络热词识别的网页自动分类方法，其特征在于，关键词的热度值除了与该词出现的频率有关，还与其时间权重有关，计算方法结合了频率权重和时间衰变函数，公式如下：
该公式为关键词K在类别α下的热度值，ω(k)为该词出现的频率，t为时间值。
3.如权利要求1或2所述的一种基于网络热词识别的网页自动分类方法，其特征在于，时间值t在默认情况下为30，依照公式(1)此时该词的热度值等于该词出现的频率；当该关键词在某天出现后，时间值t变为0，依照公式(1)此时该词的热度值增长至其频率的30倍；随着时间的推移，若该词不再出现，则时间值t每天递增1，30天后该词的热度值重新与该词出现的频率值相等。
4.如权利要求1所述的一种基于网络热词识别的网页自动分类方法，其特征在于，贝叶斯多维分类模型假设对于待分类的网页内容，将其进行分词操作及热词识别后得到的关键词有N个，分别为(x1，x2...xN)，通过查找已经构建的关键词类别库，找到各关键词所对应的的类别总数为M个(α1，α2...αM)，依据贝叶斯理论，对于任意两个类别αi，αj，若其满足：
则该网页属于类别αi的概率要大于其属于类别αj的概率，对于类别总数为M的分类模型，依据(2)式，最多进行 次比对即可得到该网页的所属类别信息。
5.如权利要求1所述的一种基于网络热词识别的网页自动分类方法，其特征在于，关联算法对已归类网页内容中未匹配分词项进行关联识别，需对网络新出现的热词将其过度拆分形成多个单词，然后运用基于关联规则的关键词合并方式对单词进行合并为新词放入网络热词库中。
6.如权利要求1或5所述的一种基于网络热词识别的网页自动分类方法，其特征在于，基于关联规则的关键词合并方式对单词进行合并，由于一个复合词所包含的的单词数量一般不超过三个，所以需要寻找具有强关联的1-频繁项词，2-频繁项词，3-频繁项词，方法是通过设置一定的置信度阈值及支持度阈值来寻找强关联的单词组，对支持度(support)和置信(confidence)的定义如下：
对于k-频繁项词(k＝2，3)，若其置信度与支持度均大于给定阈值，则将其合并为新词放入网络热词库中，而对于1-频繁项词，只要其支持度大于给定阈值，就将其放入网络热词库中。

暂无