基于标签描述生成的评论文本情感分类方法

1.基于标签描述生成的评论文本情感分类方法，其特征在于，包括以下步骤：
S1：为各个情感标签生成对应的具有相关性和区分力的标签描述；
S2：将各个情感标签及其标签描述映射到预先建立的情感分类模型中；
S3：将待分类评论文本输入到所述情感分类模型中，由所述情感分类模型输出对应的预测情感标签；
S4：将待分类评论文本的预测情感标签作为其情感分类的结果；
其中，步骤S1中，通过如下步骤生成情感标签的标签描述：
S101：构建包含若干个评论文本d的语料库D，以及情感标签集C＝{1,2,…,c}；
S102：基于所有情感标签为c的评论文本d计算单词w与情感标签c的相关性得分；
S103：基于所有情感标签为c的评论文本d计算单词w与情感标签c的逆标签频次；
S104：计算单词w相对于情感标签c基于逆标签频次的描述相关性分数；
S105：为情感标签c选取描述相关性分数最高的K个单词[w1,c,…,wi,c,…,wk,c]作为对应的标签描述；
通过如下公式计算相关性得分：
通过如下公式计算逆标签频次：
通过如下公式计算描述相关性分数：
得到K个单词[w1,c,…,wi,c,…,wk,c]后，使用查找表将作为标签描述的单词wi,c嵌入为de维词向量qi,c，再通过公式 计算得到标签描述qc：
c
上述式中：rw,c表示相关性得分；D表示语料库D中所有情感标签为c的评论文本；fw,d表示单词w在评论文本d中出现的次数；fw,D表示语料库D中包含单词w的评论文本数量；ILF表示逆标签频次；LF表示标签频次；yd表示评论文本d对应的情感标签； 表示描述相关性分数；
2.如权利要求1所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S3中，所述情感分类模型通过如下步骤得到预测情感标签：
S301：对待分类评论文本进行编码，以得到对应的评论上下文表示；
S302：通过自注意力机制提取评论上下文表示对应的自注意力文本表示；
S303：通过标签注意力机制提取评论上下文表示对应的标签注意力文本表示；
S304：通过自适应门控机制融合所述自注意力文本表示和所述标签注意力文本表示，以生成对应的文本最终表示；
S305：基于所述文本最终表示计算评论上下文表示在情感标签上的分布概率，并将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签。
3.如权利要求2所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S301中，通过如下步骤对待分类评论文本进行编码：
将待分类评论文本转换成评论文本序列d＝{w1,…,wi,…,wn}；
使用词向量矩阵 把评论文本序列中的单词wi嵌入为一个词向量
将词向量xi输入到第一双向GRU中计算词向量xi的浅层隐藏表示；
将词向量xi的浅层隐藏表示输入到第二双向GRU中计算单词之间更复杂的交互作用，以得到词向量xi的交互作用表示；
使用残差连接融合词向量xi的浅层隐藏表示和交互作用表示得到词向量xi的文本表示；
计算各个词向量xi的文本表示以得到待分类评论文本的评论上下文表示；
其中，第一双向GRU分别通过对应的正向GRU和反向GRU计算 和 进而计算词向量xi的浅层隐藏表示
表示从x1到xn读取词向量序列；
表示从xn到x1读取词向量序列；
第二双向GRU分别通过对应的正向GRU和反向GRU计算 和 进而计算词向量xi的文本表示
表示从x1到xn读取词向量序列；
表示从xn到x1读取词向量序列；
词向量xi的文本表示如下：
待分类评论文本的评论上下文表示如下：
上述式中：γ∈[0,1]表示超参数；
4.如权利要求3所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S2中，具体包括如下步骤：
基于各个情感标签及其标签描述qc生成对应的标签表示矩阵QL；
将标签表示矩阵QL映射到与评论上下文表示 相同的空间向量 并将空间向量融合到注意力机制中得到对应的标签注意力机制；
QL＝(q1,q2,…,qC)；
上述式中： 是可训练的模型参数。
5.如权利要求4所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S302中，通过如下步骤提取自注意力文本表示：
(s)
通过公式 计算评论上下文表示的注意力分数A ；
表示评论上下文表示中所有单词对第j个情感标签的贡献；
通过公式 计算评论上下文表示沿第j个情感标签的新表示
(s)
计算评论上下文表示沿其他情感标签的新表示得到对应的自注意力文本表示H ；
上述式中： 和 是可训练的自注意力参数；
6.如权利要求5所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S303中，通过如下步骤提取标签注意力文本表示：
(l)
通过公式 计算单词与情感标签之间的语义关系A ；
通过公式 计算评论上下文表示中所有单词与情感标签之间的语义关系，进(l)
而得到对应的标签注意力文本表示H ；
上述式中：
7.如权利要求6所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S304中，通过如下步骤生成文本最终表示：
(s) (l)
通过权重向量a和μ决定自注意力文本表示H 和标签注意力文本表示H 的重要性；
(s)
a＝sigmoid(H W4)；
(l)
μ＝sigmoid(H W5)；
通过aj和μj分别表示沿第j个情感标签构造文本最终表示时自注意力和标签注意力的重要性；
对aj和μj进行正则化得到
μj＝1‑aj；
结合公式 计算评论上下文表示沿第j个情感标签的最终表示Hj′；
计算评论上下文表示沿其他情感标签的最终表示得到对应的文本最终表示H′；
使用均值池化 计算得到评论上下文表示的文本最终表示
上述式中： W4, 均是可训练的模型参数；
8.如权利要求7所述的基于标签描述生成的评论文本情感分类方法，其特征在于，步骤S305中，通过如下步骤生成预测情感标签：
使用一个两层前馈神经网络作为情感分类器；
将评论上下文表示的文本最终表示输入所述情感分类器中，由所述情感分类器基于公式 计算评论上下文表示在情感标签上的分布
概率；
将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签；
上述式中： 均是可训练的模型参数。

基于标签描述生成的评论文本情感分类方法
技术领域
[0001] 本发明涉及互联网大数据技术领域，具体涉及基于标签描述生成的评论文本情感分类方法。
背景技术
[0002] 随着互联网的飞速发展，网上购物变得越来越普遍。用户在电商平台购物的过程中会留下相关评论。用户评论对于商家提高其服务水平和产品质量有着重要的价值，因为评论表达了客户的意见与情感倾向。如今，企业可以通过电商平台轻易地收集用户的评论，但无法有效处理所有冗长的用户评论。所以，从用户评论中识别出情感倾向变得十分重要。
目前，情感分类已经成为许多研究者重点关注的重要任务。情感分类的目的是给评论文本分配一个情感标签，情感标签反映了评论文本的情感倾向。
[0003] 针对现有大多数基于神经网络的文本情感分类模型和方法只考虑文本内容相关的情感语义，忽略了与文本相关的评论主体信息以及文本内容所描述评论客体信息的问题，公开号为CN108363753B的中国专利公开了一种《评论文本情感分类模型训练与情感分类方法、装置及设备》，其模型训练包括：获取评论文本、关联的主体和客体信息；基于第一层Bi‑LSTM网络融入评论主体和客体注意力机制提取句子级特征表示；在基于第二层Bi‑LSTM网络融入评论主体和客体注意力机制提取文档级特征表示；采用双曲正切非线性映射函数将文档级特征映射至情感类别空间，采用softmax分类对模型中的参数进行训练，得到最优文本情感分类模型。
[0004] 上述现有方案的情感分类方法采用层次双向Bi‑LSTM网络模型和注意力机制，实现了文本的上下文语义稳健感知与语义表达，改善文本情感分类的鲁棒性，能够在一定程度上提高分类正确率。但是，现有的情感分类模型只是将类别表示作为情感标签表中的索引，模型缺乏关于分类的细粒度情感标签指导信息。同时，申请人发现情感标签带有的语义信息对文本分类具有积极作用。然而，目前利用情感标签辅助分类的方法，依赖于数据集本身提供的类别标签描述信息，例如“积极”、“消极”或“中性”等；并且，在一些应用场景中数据集只含有简单的类别标签，如“1”、“2”、“3”、“4”、“5”，甚至某些数据集不带有标签文本信息，这使得基于标签描述的情感分类方法难以应用，进而导致情感分类的准确性和效果均不好。因此，如何设计一种能够在数据集不带有标签文本信息的情况下应用标签描述实现评论文本情感分类的方法是亟需解决的技术问题。
发明内容
[0005] 针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够在数据集不带有标签文本信息的情况下应用标签描述实现评论文本情感分类的方法，从而提高情感分类的准确性和效果。
[0006] 为了解决上述技术问题，本发明采用了如下的技术方案：
[0007] 基于标签描述生成的评论文本情感分类方法，包括以下步骤：
[0008] S1：为各个情感标签生成对应的具有相关性和区分力的标签描述；
[0009] S2：将各个情感标签及其标签描述映射到预先建立的情感分类模型中；
[0010] S3：将待分类评论文本输入到所述情感分类模型中，由所述情感分类模型输出对应的预测情感标签；
[0011] S4：将待分类评论文本的预测情感标签作为其情感分类的结果。
[0012] 优选的，步骤S3中，所述情感分类模型通过如下步骤得到预测情感标签：
[0013] S301：对待分类评论文本进行编码，以得到对应的评论上下文表示；
[0014] S302：通过自注意力机制提取评论上下文表示对应的自注意力文本表示；
[0015] S303：通过标签注意力机制提取评论上下文表示对应的标签注意力文本表示；
[0016] S304：通过自适应门控机制融合所述自注意力文本表示和所述标签注意力文本表示，以生成对应的文本最终表示；
[0017] S305：基于所述文本最终表示计算评论上下文表示在情感标签上的分布概率，并将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签。
[0018] 优选的，步骤S1中，通过如下步骤生成情感标签的标签描述：
[0019] S101：构建包含若干个评论文本d的语料库D，以及情感标签集C＝{1,2,…,c}；
[0020] S102：基于所有情感标签为c的评论文本d计算单词w与情感标签c的相关性得分；
[0021] S103：基于所有情感标签为c的评论文本d计算单词w与情感标签c的逆标签频次；
[0022] S104：计算单词w相对于情感标签c基于逆标签频次的描述相关性分数；
[0023] S105：为情感标签c选取描述相关性分数最高的K个单词[w1,c,…,wi,c,…,wk,c]作为对应的标签描述。
[0024] 优选的，通过如下公式计算相关性得分：
[0025]
[0026] 通过如下公式计算逆标签频次：
[0027]
[0028]
[0029] 通过如下公式计算描述相关性分数：
[0030]
[0031] 得到K个单词[w1,c,…,wi,c,…,wk,c]后，使用查找表将作为标签描述的单词wi,c嵌入为de维词向量qi,c，再通过公式 计算得到标签描述qc：
[0032] 上述式中：rw,c表示相关性得分；Dc表示语料库D中所有情感标签为c的评论文本；
fw,d表示单词w在评论文本d中出现的次数；fw,D表示语料库D中包含单词w的评论文本数量；
ILF表示逆标签频次；LF表示标签频次；yd表示评论文本d对应的情感标签； 表示描述相关性分数；
[0033] 优选的，步骤S301中，通过如下步骤对待分类评论文本进行编码：
[0034] 将待分类评论文本转换成评论文本序列d＝{w1,…,wi,…,wn}；
[0035] 使用词向量矩阵 把评论文本序列中的单词wi嵌入为一个词向量
[0036] 将词向量xi输入到第一双向GRU中计算词向量xi的浅层隐藏表示；
[0037] 将词向量xi的浅层隐藏表示输入到第二双向GRU中计算单词之间更复杂的交互作用，以得到词向量xi的交互作用表示；
[0038] 使用残差连接融合词向量xi的浅层隐藏表示和交互作用表示得到词向量xi的文本表示；
[0039] 计算各个词向量xi的文本表示以得到待分类评论文本的评论上下文表示；
[0040] 其中，第一双向GRU分别通过对应的正向GRU和反向GRU计算 和 进而计算词向量xi的浅层隐藏表示
[0041] 表示从x1到xn读取词向量序列；
[0042] 表示从xn到x1读取词向量序列；
[0043] 第二双向GRU分别通过对应的正向GRU和反向GRU计算 和 进而计算词向量xi的文本表示
[0044] 表示从x1到xn读取词向量序列；
[0045] 表示从xn到x1读取词向量序列；
[0046] 词向量xi的文本表示如下：
[0047]
[0048] 待分类评论文本的评论上下文表示如下：
[0049]
[0050] 上述式中：γ∈[0,1]表示超参数；
[0051] 优选的，步骤S2中，具体包括如下步骤：
[0052] 基于各个情感标签及其标签描述qc生成对应的标签表示矩阵QL；
[0053] 将标签表示矩阵QL映射到与评论上下文表示 相同的空间向量 并将空间向量融合到注意力机制中得到对应的标签注意力机制；
[0054] QL＝(q1,q2,…,qC)；
[0055]
[0056] 上述式中： 是可训练的模型参数。
[0057] 优选的，步骤S302中，通过如下步骤提取自注意力文本表示：
[0058] 通过公式 计算评论上下文表示的注意力分数A(s)；
[0059] 表示评论上下文表示中所有单词对第j个情感标签的贡献；
[0060] 通过公式 计算评论上下文表示沿第j个情感标签的新表示
[0061] 计算评论上下文表示沿其他情感标签的新表示得到对应的自注意力文本表示H(s)
；
[0062] 上 述 式 中 ： 和 是 可 训 练 的 自 注 意 力 参 数 ；
[0063] 优选的，步骤S303中，通过如下步骤提取标签注意力文本表示：
[0064] 通过公式 计算单词与情感标签之间的语义关系A(l)；
[0065] 通过公式 计算评论上下文表示中所有单词与情感标签之间的语义关
(l)
系，进而得到对应的标签注意力文本表示H ；
[0066] 上述式中：
[0067] 优选的，步骤S304中，通过如下步骤生成文本最终表示：
[0068] 通过权重向量a和μ决定自注意力文本表示H(s)和标签注意力文本表示H(l)的重要性；
[0069] a＝sigmoid(H(s)W4)；
[0070] μ＝sigmoid(H(l)W5)；
[0071] 通过aj和μj分别表示沿第j个情感标签构造文本最终表示时自注意力和标签注意力的重要性；
[0072] 对aj和μj进行正则化得到
[0073]
[0074] μj＝1‑aj；
[0075] 结合公式 计算评论上下文表示沿第j个情感标签的最终表示
H′j；
[0076] 计算评论上下文表示沿其他情感标签的最终表示得到对应的文本最终表示H′；
[0077] 使用均值池化 计算得到评论上下文表示的文本最终表示
[0078] 上 述 式 中 ： 均 是 可 训 练 的 模 型 参 数 ；
[0079] 优选的，步骤S305中，通过如下步骤生成预测情感标签：
[0080] 使用一个两层前馈神经网络作为情感分类器；
[0081] 将评论上下文表示的文本最终表示输入所述情感分类器中，由所述情感分类器基于公式 计算评论上下文表示在情感标签上的
分布概率；
[0082] 将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签；
[0083] 上述式中： 均是可训练的模型参数。
[0084] 本发明中的评论文本情感分类方法与现有技术相比，具有如下有益效果：
[0085] 本发明能够为各个情感标签生成具有相关性和区分力的标签描述，并映射到情感分类模型中，使得情感分类时能够有效获取相应的类别标签表述信息，进而能够在数据集不带有标签文本信息的情况下生成高质量的标签描述信息，以分类得到更准确的情感标签，即能够在数据集不带有标签文本信息的情况下有效的应用标签描述实现评论文本情感分类，从而提高评论文情感分类的准确性和效果。
[0086] 本发明基于文本编码机制能够学习得到有效的评论上下文表示，这有利于更准确的实现情感分类。同时，基于双注意力机制(网络)分别提取基于自注意力的文本表示和基于标签注意力的文本表示，使得能够更好的捕获评论文本中的情感特征，进而提高评论文本情感分类的准确性和效果。此外，基于自适应门控机制来融合两个文本表示得到文本最终表示，并通过两层前馈神经网络作为分类器进行情感分类，使得能够有效的对评论文本中的情感特征进行融合表示和分类，从而进一步提高评论文本情感分类的准确性和效果。
[0087] 本发明通过在三个公开真实数据集上的实验表明，与现有最好的方法相比，本发明的评论文本情感分类方法能够取得更好的分类效果，并且显著减少了训练时长和计算代价。
附图说明
[0088] 为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0089] 图1为评论文本情感分类方法的逻辑框图；
[0090] 图2为情感分类模型的网络构架图；
[0091] 图3为生成标签描述时取不同K值的实验结果示意图。
具体实施方式
[0092] 下面通过具体实施方式进一步详细的说明：
[0093] 实施例：
[0094] 本实施例中公开了一种基于标签描述生成的评论文本情感分类方法。
[0095] 如图1和图2所示，基于标签描述生成的评论文本情感分类方法，包括以下步骤：
[0096] S1：为各个情感标签生成对应的具有相关性和区分力的标签描述。具体的，相关性是指标签描述中的单词应该在语义上代表该情感标签，即每个单词应该与情感标签有很强的相关性；区分力是指标签描述应具有对不同情感标签的高区分能力，即标签描述中的单词与该情感标签的相关性强，而与其他情感标签的相关性较弱。
[0097] S2：将各个情感标签及其标签描述映射到预先建立的情感分类模型中。
[0098] S3：将待分类评论文本输入到情感分类模型中，由情感分类模型输出对应的预测情感标签。
[0099] S4：将待分类评论文本的预测情感标签作为其情感分类的结果。
[0100] 在本发明中，能够为各个情感标签生成具有相关性和区分力的标签描述，并映射到情感分类模型中，使得情感分类时能够有效获取相应的类别标签表述信息，进而能够在数据集不带有标签文本信息的情况下生成高质量的标签描述信息，以分类得到更准确的情感标签，即能够在数据集不带有标签文本信息的情况下有效的应用标签描述实现评论文本情感分类，从而提高评论文情感分类的准确性和效果。同时，通过在三个公开真实数据集上的实验表明，与现有最好的方法相比，本发明的评论文本情感分类方法能够取得更好的分类效果，并且显著减少了训练时长和计算代价。
[0101] 具体实施过程中，结合图2所示，情感分类模型通过如下步骤得到预测情感标签：
[0102] S301：对待分类评论文本进行编码，以得到对应的评论上下文表示。
[0103] S302：通过自注意力机制(Self‑Attention mechanism)提取评论上下文表示对应的自注意力文本表示。
[0104] S303：通过标签注意力机制提取评论上下文表示对应的标签注意力文本表示。
[0105] S304：通过自适应门控机制融合自注意力文本表示和标签注意力文本表示，以生成对应的文本最终表示。
[0106] S305：基于文本最终表示计算评论上下文表示在情感标签上的分布概率，并将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签。具体的，使用一个两层前馈神经网络作为情感分类器进行情感分类，进而得到评论上下文表示在情感标签上的分布概率。
[0107] 在本发明中，基于文本编码机制能够学习得到有效的评论上下文表示，这有利于更准确的实现情感分类。同时，本发明基于双注意力机制(网络)分别提取基于自注意力的文本表示和基于标签注意力的文本表示，使得能够更好的捕获评论文本中的情感特征，进而提高评论文本情感分类的准确性和效果。此外，本发明基于自适应门控机制来融合两个文本表示得到文本最终表示，并通过两层前馈神经网络作为分类器进行情感分类，使得能够有效的对评论文本中的情感特征进行融合表示和分类，从而进一步提高评论文本情感分类的准确性和效果。
[0108] 具体的，通过如下步骤对待分类评论文本进行编码：
[0109] 将待分类评论文本转换成评论文本序列d＝{w1,…,wi,…,wn}；
[0110] 使用词向量矩阵 把评论文本序列中的单词wi嵌入为一个词向量
[0111] 将词向量xi输入到第一双向GRU(bi‑directional Gated‑Recurrent Unit，双向选通循环单元)中计算词向量xi的浅层隐藏表示；
[0112] 将词向量xi的浅层隐藏表示输入到第二双向GRU中计算单词之间更复杂的交互作用，以得到词向量xi的交互作用表示；
[0113] 使用残差连接融合词向量xi的浅层隐藏表示和交互作用表示得到词向量xi的文本表示；
[0114] 计算各个词向量xi的文本表示以得到待分类评论文本的评论上下文表示；
[0115] 其中，第一双向GRU分别通过对应的正向GRU和反向GRU计算 和 进而计算词向量xi的浅层隐藏表示
[0116] 表示从x1到xn读取词向量序列；
[0117] 表示从xn到x1读取词向量序列；
[0118] 第二双向GRU分别通过对应的正向GRU和反向GRU计算 和 进而计算词向量xi的文本表示
[0119] 表示从x1到xn读取词向量序列；
[0120] 表示从xn到x1读取词向量序列；
[0121] 词向量xi的文本表示如下：
[0122]
[0123] 待分类评论文本的评论上下文表示如下：
[0124]
[0125] 上述式中：γ∈[0,1]表示超参数；
[0126] 具体的，通过如下步骤提取自注意力文本表示：
[0127] 通过公式 (label‑word注意力分数)计算评论上下
(s)
文表示的注意力分数A ；
[0128] 表示评论上下文表示中所有单词对第j个情感标签的贡献；
[0129] 通过公式 计算评论上下文表示沿第j个情感标签的新表示
[0130] 计算评论上下文表示沿其他情感标签的新表示得到对应的自注意力文本表示H(s)
；
[0131] 上 述 式 中 ： 和 是 可 训 练 的 自 注 意 力 参 数 ；
[0132] 具体的，通过如下步骤提取标签注意力文本表示：
(l)
[0133] 通过公式 计算单词与情感标签之间的语义关系A ；
[0134] 通过公式 计算评论上下文表示中所有单词与情感标签之间的语义关
(l)
系，进而得到对应的标签注意力文本表示H ；
[0135] 上述式中：
[0136] 具体的，通过如下步骤生成文本最终表示：
[0137] H(s)更侧重于文本内容，H(l)更注重文本内容与标签表示之间的语义关系；
[0138] 通过权重向量a和μ决定自注意力文本表示H(s)和标签注意力文本表示H(l)的重要性；
[0139] a＝sigmoid(H(s)W4)；
[0140] μ＝sigmoid(H(l)W5)；
[0141] 通过aj和μj分别表示沿第j个情感标签构造文本最终表示时自注意力和标签注意力的重要性；
[0142] 对aj和μj进行正则化得到
[0143]
[0144] μj＝1‑aj；
[0145] 结合公式 计算评论上下文表示沿第j个情感标签的最终表示
H′j；
[0146] 计算评论上下文表示沿其他情感标签的最终表示得到对应的文本最终表示H′；
[0147] 使用均值池化 计算得到评论上下文表示的文本最终表示
[0148] 上 述 式 中 ： 均 是 可 训 练 的 模 型 参 数 ；
[0149] 具体的，通过如下步骤生成预测情感标签：
[0150] 使用一个两层前馈神经网络作为情感分类器；
[0151] 将评论上下文表示的文本最终表示输入情感分类器中，由情感分类器基于公式计算评论上下文表示在情感标签上的分布概
率；
[0152] 将分布概率最高的情感标签作为对应待分类评论文本的预测情感标签；
[0153] 上述式中： 均是可训练的模型参数。
[0154] 训练所述情感分类模型时，使用负对数似然作为损失函数：
[0155] L＝‑log(P(z*|d))；
[0156] 式中：z*表示真实的评论文本情感标签。
[0157] 具体实施过程中，通过如下步骤生成情感标签的标签描述：
[0158] S101：构建包含若干个评论文本d的语料库D，以及情感标签集C＝{1,2,…,c}(c表示情感标签)。
[0159] S102：基于所有情感标签为c的评论文本d计算单词w与情感标签c的相关性得分。
[0160] S103：基于所有情感标签为c的评论文本d计算单词w与情感标签c的逆标签频次。
具体的，基于与逆文档频次(Inverse Document Frequency,IDF)相似的逆标签频次策略来计算逆标签频次，用以衡量一个词的识别能力。
[0161] S104：计算单词w相对于情感标签c基于逆标签频次的描述相关性分数；
[0162] S105：为情感标签c选取描述相关性分数最高的K个单词[w1,c,…,wi,c,…,wk,c]作为对应的标签描述。
[0163] 在本发明中，通过相关性得分和逆标签频次为每个标签生成特定标签描述的方式，使得能够为无标签描述的数据集生成高质量的标签描述信息，以分类得到更准确的情感标签，即能够在数据集不带有标签文本信息的情况下有效的应用标签描述实现评论文本情感分类，从而提高评论文情感分类的准确性和效果。
[0164] 具体的，通过如下公式计算相关性得分：
[0165]
[0166] 通过如下公式计算逆标签频次：
[0167]
[0168]
[0169] 通过如下公式计算描述相关性分数：
[0170]
[0171] 得到K个单词[w1,c,…,wi,c,…,wk,c]后，使用查找表将作为标签描述的单词wi,c嵌入为de维词向量qi,c，再通过公式 计算得到标签描述qc：
[0172] 上述式中：rw,c表示相关性得分；Dc表示语料库D中所有情感标签为c的评论文本；
fw,d表示单词w在评论文本d中出现的次数；fw,D表示语料库D中包含单词w的评论文本数量；
ILF表示逆标签频次；LF表示标签频次；yd表示评论文本d对应的情感标签； 表示描述相关性分数；
[0173] 具体实施过程中，步骤S2具体包括如下步骤：
[0174] 基于各个情感标签及其标签描述qc生成对应的标签表示矩阵QL；
[0175] 将标签表示矩阵QL映射到与评论上下文表示 相同的空间向量 并将空间向量融合到注意力机制中得到对应的标签注意力机制；
[0176] QL＝(q1,q2,…,qC)；
[0177]
[0178] 上述式中： 是可训练的模型参数。
[0179] 为了更好的说明本发明评论文本情感分类方法的优势，本实施例还公开了如下实验。
[0180] 一、引用文献说明：
[0181] 数据集：来自(Chan H P,Chen W,King I.A unified dual‑view model for review summarization and sentiment classification with inconsistency loss[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.2020:1191‑1200)。
[0182] 数据集：从(McAuley J,Targett C,Shi Q,et al.Image‑based recommendations on styles and substitutes[C]//Proceedings of the 38th international ACM SIGIR conference on research and development in information retrieval.2015:43‑52)中收集的。
[0183] word2vec：来自(Mikolov T,Sutskever I,Chen K,et al.Distributed 
representations of words and phrases and their compositionality[C]//Advances in neural information processing systems.2013:3111‑3119)。
[0184] Adam：来自(Kingma D P,Ba J L,Radford A,et al.Adam:A Method for 
Stochastic Optimization[J])。
[0185] bi‑directional GRU layer：来自(Ramos J.Using tf‑idf to determine word relevance in document queries[C]//Proceedings of the first instructional conference on machine learning.2003,242(1):29‑48)。
[0186] attention mechanism：来自(Bahdanau D,Cho K H,Bengio Y.Neural machine translation by jointly learning to align and translate[C]//3rd International Conference on Learning Representations,ICLR 2015.2015)。
[0187] with glimpse operation：来自(Vinyals O,Bengio S,Kudlur M.Order 
matters:Sequence to sequence for sets[J].2016)。
[0188] DARLM：来自(Zhou  Q,Wang X,Dong X.Differentiated Attentive 
Representation Learning for Sentence Classification[C]//IJCAI.2018:4630‑
4636)。
[0189] HSSC、MAX：来自(Ma S,Sun X,Lin J,et al.A hierarchical end‑to‑end model for jointly improving text summarization and sentiment classification[C]//Proceedings of the 27th International Joint Conference on Artificial 
Intelligence.2018:4251‑4257)。
[0190] Dual‑view：来自(Chan H P,Chen W,King I.A unified dual‑view model for review summarization and sentiment classification with inconsistency loss[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.2020:1191‑1200)
[0191] copy mechanism：来自(See A,Liu P J,Manning C D.Get To The Point:
Summarization with Pointer‑Generator Networks[C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics(Volume 1:Long Papers).2017:1073‑1083)。
[0192] 二、实验数据集
[0193] 本实验使用三个领域的商品评论作为数据集：Sports&Outdoors(后续表示为Sports)；Toys&Games(表示为Toys)；Home&Kitchen(表示为Home)。实验中，每一个数据样本由一个评论文本和一个评分组成；把评分作为情感标签，它是一个整数，取值范围是[1,5]。
[0194] 为了减少数据集的噪音，将评论文本长度小于16或者大于800的数据样本过滤。把每个数据集随机分割为训练集、验证集、测试集。数据集的统计信息，如表1所示。其中，“Ave.RL”表示训练集中评论文本的平均长度，“L+c”表示情感标签为c的数据样本在训练集中的比例。
[0195] 表1数据集统计信息
[0196]
[0197] 三、实验评价指标
[0198] 使用Macro‑averaged F1(表示为M.F1)和balance daccuracy(表示为B.Acc)作为评价指标。
[0199] Macro‑averaged F1赋予每个标签相同的权重，Macro‑averaged F1公式定义如下：
[0200] 式中： TPi、FPi、FNi分别表示
情感标签集合C中情感标签i的真阳性、假阳性和假阴性；|C|表示情感标签集合C的大小。
[0201] B.Acc:balanced accuracy是accuracy针对不平衡数据集的一种变体，其定义如下：
[0202] 式中：
[0203] 四、实验设置
[0204] 在每个数据集的训练集上训练一个128维的word2vec，用以初始化包括基线模型在内的所有模型的词嵌入。词汇表被定义为训练集中出现次数最频繁的50000个单词。在实验中de设置为128，du设置为512，γ设置为0.5，batch size设置为32。优化器使用Adam，初始学习率设置为0.001，如果验证集损失停止下降，学习率将减少一半。
[0205] 五、实验对比模型
[0206] 本实验的基线模型分为两组：只做情感分类的模型和联合评论摘要与情感分类的模型。
[0207] 1、只做情感分类的模型
[0208] BiGRU+Attention：首先使用一个bi‑directional GRU layer，把输入的评论文本编码成隐藏状态。然后利用attention mechanism with glimpse operation，从编码器生成的隐藏状态中聚合信息，生成一个向量。这个向量再经过一个两层前馈神经网络预测情感标签。
[0209] DARLM:一个先进的句子分类模型。
[0210] 2、联合评论摘要与情感分类的模型
[0211] HSSC:先进的联合改进评论摘要和情感分类的模型。
[0212] MAX:首先使用一个bi‑directional GRU layer将输入的评论编码为隐藏状态。然后，这些隐藏状态被摘要解码器和情感分类器共享。情感分类器利用最大池化将编码器生成的隐藏状态聚合成一个向量，然后通过一个两层前馈神经网络预测情感标签。
[0213] HSSC+copy：把copy mechanism应用到HSSC模型中，作为一个强基线。
[0214] Max+copy:把copy mechanism应用到Max模型中，作为另外一个强基线。
[0215] Dual‑view:最先进的联合改进评论摘要和情感分类的模型。首先使用编码器学习评论的上下文表示，然后摘要解码器应用copy mechanism逐字生成评论摘要。然后，评论视图情感分类器使用编码器输出的上下文表示来预测评论的情感标签，而摘要视图情感分类器使用解码器的隐藏状态来预测生成的摘要的情感标签。并且在训练过程中，引入一个不一致性损失来惩罚这两个分类器之间的不一致。
[0216] 六、实验结果与分析
[0217] 1、情感分类实验结果
[0218] 本实验在三个公开的数据集上进行实验，表2展示了情感分类实验结果。最好的结果用下划线标出，第二好的结果用波浪线标出。由表2可知，本发明的双注意力深度神经网络模型(表示为LGDA)在三个真实数据集的两个指标上都取得了最好的分类效果。
[0219] 在Toys数据集上，本发明模型的M.F1达到了57.55％，B.Acc达到了57.59％，分别比最好的基线模型提高了1.85％和3.53％；在Sports数据集上，本发明模型的M.F1达到了
56.89％，B.Acc达到55.70％，分别比最好的基线模型提高了0.58％和1.42％；在Home数据集上，本发明模型的M.F1达到了60.95％，B.Acc达到59.81％，分别比最好的基线模型提高了0.22％和0.18％。结果表明，LGDA能够比基线模型更准确地预测评论情感标签。另外，Toys，Sports，Home三个数据集的训练样本数是依次增加的，并且LGDA在三个数据集上比之前最好的模型的提升依次减少。这表明训练数据越充分，LGDA相较于Dual‑view提升越少。
[0220] 表2情感分类实验结果对比(单位：％)
[0221]
[0222] 2、消融实验
[0223] 为了验证本发明模型LGDA中的自注意力、标签注意力、自适应门控机制以及逆标签频次的有效性，本实验在三个数据集上进行了消融实验。实验结果如表3所示，“‑L”表示移除标签注意力；“‑S”表示移除自注意力；“‑G”表示移除自适应门控机制，使用拼接；“‑ILF”表示在生成标签描述时不使用ILF，只用TFIDF；“Full”表示完整的模型，最好的实验结果使用下划线标出。
[0224] 从表3中，可以看到分别移除标签注意力、自注意力、逆标签频次以及用拼接代替自适应门控机制之后，三个数据集上的两个指标都有不同程度的下降。这表明了这四个部分都是有积极作用的。
[0225] 表3消融实验(单位：％)
[0226]
[0227] 3、参数敏感性实验
[0228] 为了探究生成标签描述时不同K值的影响，本实验在三个数据集上进行了参数敏感性实验。分别取K为10、30、50、70、90，实验结果如图3所示。从图3中，可以看到在Sports和Toys数据集上，K取50时，分类效果最好；在Home数据集上，K取70时,分类效果最好。另外，可以看到随着K值的增大，三个数据集上的所有指标曲线都是先上升后下降。这是因为当K值过小时，选取的关键词较少，信息不充足，无法很好的描述标签，分类性能较差。随着K值增加，选取的关键词增加，信息变得丰富，可以更好的描述标签，分类效果开始提升。当K到达某个值时，分类效果最好。此时K值继续增大，分类效果开始下降，这是因为选取的关键词过多，引入了噪音，降低了模型分类效果。
[0229] 4、模型计算代价比较
[0230] 表4报告了LGDA与最优基线模型Dual‑view之间的计算代价比较。在训练过程中，两个模型的batch size均设置为32，采用相同的早停策略。从表中，可以看到LGDA在GPU内存消耗以及训练时长上都显著低于Dual‑view。这是因为LGDA没有联合摘要生成进行训练，因此，LGDA更简单、消耗GPU内存小、训练时长短。但是通过生成标签描述指导模型分类，在简化模型、降低计算代价的同时，提高了分类效果。
[0231] 表4不同模型的计算代价比较
[0232]
[0233] 5、案例研究
[0234] 为了更加直观的对比LGDA与最优基线模型Dual‑view之间捕获情感特征词的能力，本实验将两个模型对于同一个评论文本单词的注意力权重可视化。如表5所示，颜色越深权重越大，颜色越浅权重越小。从表5中可以看到，Dual‑view虽然关注了“love”、“good”等积极的情感词，但是分配的权重较小，同时对于与情感无关的词“buy”、“product”等也分配了较大的权重。而LGDA对于情感词“love”、“good”、“favors”、“well”分配了较大的权重，对于与情感无关的词，分配了很少的权重。所以，LGDA正确地预测了情感标签，而Dual‑view预测错了。这表明LGDA拥有更好的捕捉情感特征的能力。
[0235] 表5不同模型的注意力权重可视化对比
[0236]
[0237] 需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。