采用特征扩展分类文本及构造文本分类器的方法和装置

1.一种通过对文本信息对象进行特征扩展处理构造分类器的方法，所述分类器用于确定一个文本信息对象是否属于一个种类，其特征在于，该方法包括以下步骤：
a)特征抽取处理模块从文本信息对象中抽取特征，生成一个包含多个特征的特征序列；
b)特征精简模块根据标准确定阈值，对与训练语料集的文本信息对象相对应的特征序列集进行特征选择处理，生成特征集的子集—精简特征集；
c)特征扩展模式抽取处理模块对特征序列集和精简特征集进行处理，抽取特征扩展模式，构成特征扩展模式集，所述特征扩展模式包括左部和右部两部分，左部由特征序列集中的一个或者多个特征构成，右部由精简特征集中的一个精简特征构成；
d)特征扩展处理模块利用精简特征集和特征扩展模式集对特征序列进行特征扩展处理，生成仅由精简特征构成的精简特征序列，精简特征序列中的元素为单个精简特征或者多个精简特征构成；
e)生成处理模块对精简特征序列中的每个精简特征调整权重，生成精简特征向量。
f)分类器构造处理模块根据与训练语料集的文本信息对象相对应的精简特征向量集构造文本分类器；文本分类器根据与待分类文本信息对象相对应的精简特征向量对文本信息对象进行分类处理。
2.根据权利要求1所述的方法，其特征在于，其特征序列集中的每个特征满足，Zipf定律，且为非停用词列表中的元素。
3.根据权利要求1所述的方法，其特征在于，步骤b)中所述标准包括：互信息，信息增益，平方，相关系数，贝叶斯评分，以及单值分解。
4.根据权利要求1所述的方法，其特征在于，利用关联规则算法抽取特征扩展模式，具体包括，从特征序列中抽取满足支持度要求的X阶频繁项，构造2至N阶特征频繁项集；模式处理模块对每个特征频繁项进行处理构成候选特征扩展模式集；抽取处理模块将候选特征扩展模式集元素中右部不为精简特征的候选特征扩展模式过滤掉，生成特征扩展模式集，其中，N-1为特征扩展模式左部最多所能包含的特征数目。
5.根据权利要求1所述的方法，其特征在于，利用知识词典抽取特征扩展模式，具体包括，抽取处理模块计算特征序列中两词语的位置之差，抽取词语对间位置之差小于词语对之间的距离阈值θ的词语对，生成词语对集合；扫描模块扫描词语对集合，如果构成词语对的两个词语中，有且仅有一个词语为精简特征，则以该精简特征词语为右部，非精简特征词语为左部，生成候选特征扩展模式，构成候选特征扩展模式集；根据知识词典将候选特征扩展模式集中左部词语和右部词语之间不存在上下位关系的候选特征扩展模式从候选特征扩展模式集中过滤掉，生成特征扩展模式集。
6.根据权利要求1所述的方法，其特征在于，所述步骤c)进一步包括，精选处理模块对特征扩展模式集中每个特征扩展模式根据类别趋同性标准判定它的左部和右部类别是否趋同，将那些类别不趋同的特征扩展模式去掉，生成高品质的特征扩展模式集。
7.根据权利要求4所述的方法，其特征在于，所述构成候选特征扩展模式集的具体步骤为：任意提取特征频繁项集中的一个元素作为右部，特征频繁项集中的其它元素作为左部，如果由左部和右部构成的关联规则满足置信度的要求，则将其组合成候选特征扩展模式，将其中的重复项去掉，构成候选特征扩展模式集。
8.根据权利要求5所述的方法，其特征在于，所述根据知识词典确定上下位关系具体为，
(a)查询知识词典，确定左部词语的概念集合和右部词语的概念集合；
(b)将左部词语概念集合中的每个概念和右部词语概念集合中的每个概念配对，生成概念对集合；
(c)查询知识词典，对概念对集合中的所有概念对进行判断，确定概念对之间的上下位关系强度；
(d)确定概念对在文本训练实例集中的概率分布；
(e)利用概念对的上下位关系强度及概率分布，确定左部词语和右部词语之间具有的上下位关系强度；
(f)将上下位关系强度与上下位关系强度阈值比较，判定左部词语和右部词语之间是否具有上下位关系。
9.一种通过对文本信息对象进行特征扩展处理构造分类器的装置，其特征在于，该装置包括：
特征抽取处理模块从文本信息对象中抽取特征，生成一个包含多个特征的特征序列；
特征精简模块根据标准确定阈值，对特征集中的特征进行特征选择处理，生成特征集的子集—精简特征集；
特征扩展模式抽取处理模块对特征序列集和精简特征集进行处理，抽取特征扩展模式，构成特征扩展模式集，所述特征扩展模式包括左部和右部两部分，左部由特征集中的一个或者多个特征构成，右部由精简特征集中的一个精简特征构成；
特征扩展处理模块对精简特征集和特征扩展模式集进行特征扩展处理，生成仅由精简特征构成的精简特征序列，精简特征序列中的元素为单个精简特征或者多个精简特征构成的集合；
生成处理模块对精简特征序列中的每个精简特征调整权重，生成精简特征向量。
分类器构造处理模块根据与训练语料集的文本信息对象相对应的精简特征向量集构造文本分类器；文本分类器根据与待分类文本信息对象相对应的精简特征向量对文本信息对象进行分类处理。
10.根据权利要求9所述的装置，其特征在于，特征扩展模式抽取处理模块利用关联规则算法抽取特征扩展模式，或利用知识词典抽取特征扩展模式。
11.根据权利要求10所述的装置，其特征在于，利用关联规则算法抽取特征扩展模式具体包括，特征扩展模式抽取处理模块从特征序列中抽取满足支持度要求的X阶频繁项，构造2至N阶特征频繁项集；模式处理模块对每个特征频繁项进行处理构成候选特征扩展模式集；抽取处理模块将候选特征扩展模式集元素中右部不为精简特征的候选特征扩展模式过滤掉，生成特征扩展模式集。
12.根据权利要求10所述的装置，其特征在于，利用知识词典抽取特征扩展模式具体包括，特征扩展模式抽取处理模块计算特征序列中两词语的位置之差，抽取词语对间位置之差小于词语对之间的距离阈值θ的词语对，生成词语对集合；扫描模块扫描词语对集合，如果构成词语对的两个词语中，有且仅有一个词语为精简特征，则以该精简特征词语为右部，非精简特征词语为左部，生成候选特征扩展模式，构成候选特征扩展模式集；扫描模块扫描候选特征扩展模式集，根据知识词典将左部词语和右部词语之间不存在上下位关系的候选特征扩展模式从候选特征扩展模式集中过滤掉，生成特征扩展模式集。

暂无