基于强化依赖图的方面情感分类方法

1.基于强化依赖图的方面情感分类方法，其特征在于，包括以下步骤：
S1：获取待分类评论文本；
S2：学习待分类评论文本的方面词信息和句法依赖关系，并生成对应的强化依赖图；
S3：基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，然后
计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；
S4：基于所述文本最终表示进行方面情感分类，并将对应的分类结果作为待分类评论
文本的方面情感分类结果。
2.如权利要求1所述的基于强化依赖图的方面情感分类方法，其特征在于，步骤S2中，
通过如下步骤生成强化依赖图：
w
S201：对待分类评论文本X进行词嵌入，得到对应的词嵌入表示H；
w p p
S202：将词嵌入表示H与对应的词性矩阵E进行拼接，得到对应的词性表示H；
p c
S203：将词性表示H进行上下文信息融合，得到对应的上下文表示H；
c
S204：基于上下文表示H 将对应的依赖词 依赖关系r、被依赖词 和方面词表示
拼接成为状态st；其中，状态st对应的动作表示为
S205：基于深度强化学习得到的策略网络选择待分类评论文本X中各个单词对应的动
作 并生成对应的强化依赖图。
3.如权利要求2所述的基于强化依赖图的方面情感分类方法，其特征在于：
X＝{x1,…,xτ+1,…,xτ+m,…,xn}；
策略网络表示为
强化依赖图的邻接矩阵表示为
p
上述式中： |V |表示词性p的个数，dp表示词性p的维度，词性
表示拼接操作； 表示策略网络中状
态st选择动作 的概率；θ＝{w,b}表示可学习的参数，
4.如权利要求2所述的基于强化依赖图的方面情感分类方法，其特征在于，步骤S4中，
得到待分类评论文本的方面情感分类结果后，计算对应的延迟奖励优化所述策略网络；
延迟奖励的计算公式为
式中：R表示延迟奖励；L表示所述策略网络损失函数的输出；n表示待分类评论文本的
单词个数，每个单词具有正向与反向的关系，n′表示动作 为“删除”关系的个数；γ表示一
个超参数。
5.如权利要求4所述的基于强化依赖图的方面情感分类方法，其特征在于：通过
REINFORCE算法和梯度下降算法优化所述策略网络，并使得期望的延迟奖励最大化；
REINFORCE算法的公式如下：
式中：J(θ)表示期望的延迟奖励；动作 由状态st唯一决定；p(st)＝1；
最终，所述策略网络的梯度表示为：
表示对参数θ求偏导。
6.如权利要求2所述的基于强化依赖图的方面情感分类方法，其特征在于：步骤S3中，
通过如下步骤得到文本最终表示：
c
S301：设置L层图注意力网络，将上下文表示H作为图注意力网络的输入，将强化依赖图
作为图注意力网络的图结构，使用多头注意力机制融合邻居节点的信息并增强当前节点表
L
示，得到对应的隐藏状态表示H；
L
S302：基于隐藏状态表示H遮掩非方面词的向量并使得方面词的向量保持不变，得到对
应的方面特征表示
c
S303：基于方面特征表示 匹配上下文表示H中与方面词语义相关的重要特征，并
基于检索的注意力机制计算每个单词与方面词相关的注意力权重at；
S304：对各个注意力权重at进行加权求和，得到对应的文本最终表示z。
7.如权利要求6所述的基于强化依赖图的方面情感分类方法，其特征在于：
增强当前节点表示的计算公式为
其中，
注意力权重的计算公式为 其中，
文本最终表示为
上述式中： 表示节点i在l+1层的表示；||表示拼接操作；σ表示非线性激活
lk
函数；Ni表示节点i的邻居节点集合； 表示第l层第k个注意力的归一化注意力系数；W 表
示第l层第k个头的转换矩阵； eij表示节点i与节点j之间的注意力； 表示第l
层第j个节点的表示；
8.如权利要求6所述的基于强化依赖图的方面情感分类方法，其特征在于：通过梯度下
降算法优化所述图注意力网络；通过热启动和交替训练的方式训练所述图注意力网络。
9.如权利要求8所述的基于强化依赖图的方面情感分类方法，其特征在于，训练所述图
注意力网络时：
使用原始的依赖树对图注意力网络的参数进行预训练，即热启动；
固定图注意力网络的参数，训练强化依赖图部分的参数，以期望得到对分类更有效的
图结构，固定强化依赖图部分的参数，训练图注意力网络的参数，依次交替，最终得到图注
意力网络和强化依赖图两者都最优的结果，即交替训练。
10.如权利要求6所述的基于强化依赖图的方面情感分类方法，其特征在于，步骤S4中，
通过如下步骤进行方面情感分类：
S401：将文本最终表示z输入至全连接层，再通过softmax层进行归一化，得到预测的情
感分类标签概率分布
其中，
S402：将概率分布最高的情感分类标签作为对应待分类评论文本的方面情感分类结
果；
上述式中： 表示预测的情感分类标签；dz为方面情感分类的类别数；
表示可学习参数， 表示偏差。

基于强化依赖图的方面情感分类方法
技术领域
[0001] 本发明涉及方面情感分类技术领域，具体涉及基于强化依赖图的方面情感分类方
法。
背景技术
[0002] 商品评论，是买家购买商品的主要参考信息，也是卖家挖掘商品不足从而进行改
进的重要依据，简单分析用户对商品整体的评价已经无法满足需求，针对不同方面挖掘用
户更细腻的情感倾向，已经成为研究人员关注的热点。其中，方面情感分类(aspect‑based 
sentiment classification,ABSC)作为情感分类的子任务，其旨在挖掘文本在不同方面表
达的更细腻的情感倾向，可以有效地帮助人们了解商品评论在不同方面的情感倾向。方面
情感分类的核心任务是在文本中找到与方面相匹配的情感表达。
[0003] 基于方面的情感分类任务是预测文本中一个或者多个方面的情感极性，方面是指
句子中的实体，包括具体事物(食物，计算机等)或抽象事物(环境、氛围等)。情感极性表示
句子表达的对方面的情感倾向，例如积极(positive)、中性(neutral)和消极(negative)
等。针对现有基于注意力模型的方面情感分类方法容易丢失重要信息，以及上下文单词和
句子中方面之间的句法依赖性不足等问题，公开号为CN112347248A的中国专利公开了《一
种方面级文本情感分类方法及系统》，其包括：根据获取的句子文本的局部特征向量提取句
子文本的长距离依赖特征，得到句子文本的上下文特征表示；根据句子文本的上下文特征
表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；构建基于
依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类
别。
[0004] 上述现有方案中的方面级文本情感分类方法采用卷积神经网络提取句子中的局
部特征信息，利用双向长短时记忆网络学习卷积神经网络池化后的特征，获取句子的上下
文信息，能够在一定程度上提高情感分类的性能。但是，现有方案对句法依赖关系(句法依
赖树)的准确率要求较高，而句法依赖树不可避免的会包含与方面情感分类无关的噪音信
息，噪音信息具体可分为两种：一是与方面无关的噪音信息；二是与任务无关的噪音信息。
这些噪音信息会干扰方面特征的提取和生成，使得方面词与其对应的关键情感信息距离很
远，导致方面情感分类时的注意力分散，进而导致方面情感分类的准确性低。因此，如何设
计一种能够克服噪音信息影响并保证分类准确性的方面情感分类方法是亟需解决的技术
问题。
发明内容
[0005] 针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够克
服噪音信息影响并保证分类准确性的方面情感分类方法，从而提高方面情感分类的效果。
[0006] 为了解决上述技术问题，本发明采用了如下的技术方案：
[0007] 基于强化依赖图的方面情感分类方法，包括以下步骤：
[0008] S1：获取待分类评论文本；
[0009] S2：学习待分类评论文本的方面词信息和句法依赖关系，并生成对应的强化依赖
图；
[0010] S3：基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，
然后计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；
[0011] S4：基于所述文本最终表示进行方面情感分类，并将对应的分类结果作为待分类
评论文本的方面情感分类结果。
[0012] 优选的，步骤S2中，通过如下步骤生成强化依赖图：
[0013] S201：对待分类评论文本X进行词嵌入，得到对应的词嵌入表示Hw；
[0014] S202：将词嵌入表示Hw与对应的词性矩阵Ep进行拼接，得到对应的词性表示Hp；
[0015] S203：将词性表示Hp进行上下文信息融合，得到对应的上下文表示Hc；
c
[0016] S204：基于上下文表示H将对应的依赖词 依赖关系r、被依赖词 和方面词表
示 拼接成为状态st；其中，状态st对应的动作表示为
[0017] S205：基于深度强化学习得到的策略网络选择待分类评论文本X中各个单词对应
的动作 并生成对应的强化依赖图。
[0018] 优选的，X＝{x1,…,xτ+1,…,xτ+m,…,xn}；
[0019]
[0020]
[0021]
[0022]
[0023] 策略网络表示为
[0024] 强化依赖图的邻接矩阵表示为
[0025] 上述式中： |Vp|表示词性p的个数，dp表示词性p的维度，词
性 表示拼接操作； 表示策略网络中
状态st选择动作 的概率，θ＝{w,b}表示可学习的参数，
[0026] 优选的，步骤S4中，得到待分类评论文本的方面情感分类结果后，计算对应的延迟
奖励优化所述策略网络；
[0027] 延迟奖励的计算公式为
[0028] 式中：R表示延迟奖励；L表示所述策略网络损失函数的输出；n表示待分类评论文
本的单词个数，每个单词具有正向与反向的关系，n′表示动作 为“删除”关系的个数；γ
表示一个超参数。
[0029] 优选的，通过REINFORCE算法和梯度下降算法优化所述策略网络，并使得期望的延
迟奖励最大化；
[0030] REINFORCE算法的公式如下：
[0031]
[0032] 式中：J(θ)表示期望的延迟奖励；动作 由状态st唯一决定；p(st)＝1；
[0033] 最终，所述策略网络的梯度表示为：
[0034] 表示对参数θ求偏导。
[0035] 优选的，步骤S3中，通过如下步骤得到文本最终表示：
[0036] S301：设置L层图注意力网络，将上下文表示Hc作为图注意力网络的输入，将强化
依赖图作为图注意力网络的图结构，使用多头注意力机制融合邻居节点的信息并增强当前
L
节点表示，得到对应的隐藏状态表示H；
[0037] S302：基于隐藏状态表示HL遮掩非方面词的向量并使得方面词的向量保持不变，
得到对应的方面特征表示
c
[0038] S303：基于方面特征表示 匹配上下文表示H 中与方面词语义相关的重要特
征，并基于检索的注意力机制计算每个单词与方面词相关的注意力权重at，
[0039] S304：对各个注意力权重at进行加权求和，得到对应的文本最终表示z。
[0040] 优选的，增强当前节点表示的计算公式为
[0041] 其中，
[0042]
[0043]
[0044] 注意力权重的计算公式为 其中，
[0045] 文本最终表示为
[0046] 上述式中： 表示节点i在l+1层的表示；||表示拼接操作；σ表示非线性
激活函数；Ni表示节点i的邻居节点集合； 表示第l层第k个注意力的归一化注意力系数；
lk
W 表示第l层第k个头的转换矩阵； eij表示节点i与节点j之间的注意力； 表
示第l层第j个节点的表示；
[0047] 优选的，通过梯度下降算法优化所述图注意力网络；通过热启动和交替训练的方
式训练所述图注意力网络。
[0048] 优选的，训练所述图注意力网络时：
[0049] 使用原始的依赖树对图注意力网络的参数进行预训练，即热启动；
[0050] 固定图注意力网络的参数，训练强化依赖图部分的参数，以期望得到对分类更有
效的图结构，固定强化依赖图部分的参数，训练图注意力网络的参数，依次交替，最终得到
图注意力网络和强化依赖图两者都最优的结果，即交替训练。
[0051] 优选的，步骤S4中，通过如下步骤进行方面情感分类：
[0052] S401：将文本最终表示z输入至全连接层，再通过softmax层进行归一化，得到预测
的情感分类标签概率分布
[0053] 其中，
[0054] S402：将概率分布最高的情感分类标签作为对应待分类评论文本的方面情感分类
结果；
[0055] 上述式中： 表示预测的情感分类标签；dz为方面情感分类的类别
数； 表示可学习参数， 表示偏差。
[0056] 本发明中的方面情感分类方法与现有技术相比，具有如下有益效果：
[0057] 本发明通过学习评论文本的方面词信息和句法依赖关系的方式，考虑了句法依赖
树的关系类型与方面词之间的关系以生成强化依赖图，强化依赖图能够精确的表达与方面
词相关的、单词之间的依赖关系，从而能够克服噪音信息的影响；同时，本发明基于强化依
赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，使得能够为每个上下文信
息设置与方面词信息相关的注意力权重，以生成更为精确的文本最终表示用于方面情感分
类，从而能够保证方面情感分类的准确性，并提高方面情感分类的效果。
[0058] 本发明基于深度强化学习得到的策略网络，能够通过选择各个单词对应动作来生
成强化依赖图，即根据评论文本语义信息、方面词信息和单词之间的依赖关系类型学习生
成强化依赖图，使得强化依赖图能够更为精确的表达与方面词相关的、单词之间的依赖关
系，从而更为有效的克服了噪音信息的影响，并进一步提高方面情感分类的效果。
[0059] 本发明中通过计算延迟奖励来优化策略网络的方式，能够不断更新和优化策略网
络，进而能够选取更准确的动作来生成强化依赖图，从而能够进一步克服噪音信息的影响，
提高方面情感分类的效果。
附图说明
[0060] 为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一
步的详细描述，其中：
[0061] 图1为实施例中方面情感分类方法的逻辑框图；
[0062] 图2为实施例中方面情感分类方法的网络结构图；
[0063] 图3为实施例中交替实验的结果示意图。
具体实施方式
[0064] 下面通过具体实施方式进一步详细的说明：
[0065] 实施例：
[0066] 本实施例中公开了一种基于强化依赖图的方面情感分类方法。
[0067] 如图1和图2所示，基于强化依赖图的方面情感分类方法，包括以下步骤：
[0068] S1：获取待分类评论文本；
[0069] S2：学习待分类评论文本的方面词信息和句法依赖关系，并生成对应的强化依赖
图；
[0070] S3：基于强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，
然后计算每个上下文信息与方面词信息相关的注意力权重，并得到对应的文本最终表示；
[0071] S4：基于文本最终表示进行方面情感分类，并将对应的分类结果作为待分类评论
文本的方面情感分类结果。
[0072] 在本发明中，通过学习评论文本的方面词信息和句法依赖关系的方式，考虑了句
法依赖树的关系类型与方面词之间的关系以生成强化依赖图，强化依赖图能够精确的表达
与方面词相关的、单词之间的依赖关系，从而能够克服噪音信息的影响；同时，本发明基于
强化依赖图融合方面词信息与句法信息和远距离单词之间的依赖关系，使得能够为每个上
下文信息设置与方面词信息相关的注意力权重，以生成更为精确的文本最终表示用于方面
情感分类，从而能够保证方面情感分类的准确性，并提高方面情感分类的效果。
[0073] 具体实施过程中，通过如下步骤生成强化依赖图：
[0074] S201：对待分类评论文本X进行词嵌入，得到对应的词嵌入表示Hw。具体的，待分类
评论文本X＝{x1,…,xτ+1,…,xτ+m,…,xn}中包含了从τ+1开始的m个方面词，通过词向量矩阵
(其中|V|表示词汇表的大小，de表示词嵌入的维度)将其映射到低维的向量空间
同样的方法可得到关系向量矩阵 和
r p
词性向量矩阵 |V|和|V |分别表示关系和词性的个数，dr和dp分别表示关系和
词性的维度。
[0075] S202：将词嵌入表示Hw与对应的词性矩阵Ep进行拼接，得到对应的词性表示Hp。具
体的，使用句法解析器构造句法依赖树(句法依赖关系)，得到邻接矩阵 每个单词
w
的词性p， 以及词与词之间的关系类型r， 将词嵌入表示H与词性p拼接，生成
新的表示
[0076] S203：将词性表示Hp进行上下文信息融合，得到对应的上下文表示Hc。
[0077] S204：基于上下文表示Hc将对应的依赖词 依赖关系r、被依赖词 和方面词表
示 拼接成为状态st；其中，状态st对应的动作表示为 具体的，对邻接矩阵A，可将存
在关系的词与词用三元组 表示， 表示依赖词(图2中强化依赖图中箭头指出的
词)， 表示被依赖词(图2中强化依赖图中箭头指向的词)， 有且仅有一个 依赖和被
依赖是两种不同的关系类型，所以对反向的关系构建为 其中，r′也由关系向量
r
矩阵E得到，依赖关系类型为“amod”时，反向的依赖关系类型为“amod‑r”。
[0078] S205：基于深度强化学习得到的策略网络选择待分类评论文本X中各个单词对应
的动作 并生成对应的强化依赖图。具体的，动作由状态唯一决定，动作包含“保留”
(Retain)和“删除”(Delete)，表示该关系对方面情感分类是否有贡献。“保留”表示在强化
依赖图中保留该关系，用于后续的方面情感分类，“删除”表示在强化依赖图中删除该关系。
为了丰富深度强化学习的样本，动作通过随机采样得到；测试时，希望能得到最好的分类效
果，所以选择概率最大的动作。
[0079] 具体的，X＝{x1,…,xτ+1,…,xτ+m,…,xn}；
[0080]
[0081]
[0082]
[0083]
[0084] 策略网络表示为
[0085] 强化依赖图的邻接矩阵表示为
[0086] 上述式中： |Vp|表示词性p的个数，dp表示词性p的维度，词
性 表示拼接操作； 表示策略网络
中状态st选择动作 的概率，θ＝{w,b}表示可学习的参数，
[0087] 在本发明中，基于深度强化学习得到的策略网络能够通过选择各个单词对应动作
来生成强化依赖图，即根据评论文本语义信息、方面词信息和单词之间的依赖关系类型学
习生成强化依赖图，使得强化依赖图能够更为精确的表达与方面词相关的、单词之间的依
赖关系，从而更为有效的克服了噪音信息的影响，并进一步提高方面情感分类的效果。
[0088] 具体实施过程中，得到待分类评论文本的方面情感分类结果后，计算对应的延迟
奖励优化策略网络；
[0089] 延迟奖励的计算公式为
[0090] 式中：R表示延迟奖励；L表示策略网络损失函数的输出；n表示待分类评论文本的
单词个数，每个单词具有正向与反向的关系，n′表示动作 为“删除”关系的个数；γ表示一
个超参数。
[0091] 具体的，通过REINFORCE算法(是指在Williams R J《. Simple statistical 
gradient‑following algorithms for connectionist reinforcement learning》中公开
的算法)和梯度下降算法优化策略网络，并使得期望的延迟奖励最大化；
[0092] REINFORCE算法的公式如下：
[0093]
[0094] 式中：J(θ)表示期望的延迟奖励；动作 由状态st唯一决定；p(st)＝1；
[0095] 最终，策略网络的梯度表示为：
[0096] 表示对参数θ求偏导。
[0097] 在本发明中，通过计算延迟奖励来优化策略网络的方式，能够不断更新和优化策
略网络，进而能够选取更准确的动作来生成强化依赖图，从而能够进一步克服噪音信息的
影响，提高方面情感分类的效果。同时，REINFORCE算法和梯度下降算法能够更好的保证策
略网络的更新和优化效果。
[0098] 具体实施过程中，通过如下步骤得到文本最终表示：
[0099] S301：设置L层图注意力网络，将上下文表示Hc作为图注意力网络的输入，将强化
依赖图作为图注意力网络的图结构，使用多头注意力机制融合邻居节点的信息并增强当前
L
节点表示，得到对应的隐藏状态表示H；
[0100] S302：基于隐藏状态表示HL遮掩非方面词的向量并使得方面词的向量保持不变，
得到对应的方面特征表示 具体的， 则融合了文本中所有与方面相关的信息。
[0101] S303：基于方面特征表示 匹配上下文表示Hc中与方面词语义相关的重要特
征，并基于检索的注意力机制计算每个单词与方面词相关的注意力权重at，
[0102] S304：对各个注意力权重at进行加权求和，得到对应的文本最终表示z。
[0103] 具体的，增强当前节点表示的计算公式为
[0104] 其中，
[0105]
[0106]
[0107] 注意力权重的计算公式为 其中，
[0108] 文本最终表示为
[0109] 上述式中： 表示节点i在l+1层的表示；||表示拼接操作；σ表示非线性
激活函数；Ni表示节点i的邻居节点集合； 表示第l层第k个注意力的归一化注意力系数；
lk
W 表示第l层第k个头的转换矩阵； eij表示节点i与节点j之间的注意力； 表
示第l层第j个节点的表示；
[0110] 在本发明中，通过图注意力网络融合评论文本中与方面词相关的特征，使用基于
检索的注意力机制为上下文信息设置与方面词相关的注意力权重，使得能够更好的融合长
距离单词依赖关系，生成简单、精确的文本最终表示用于方面情感分类，能够更好的保证方
面情感分类的准确性，从而进一步提高方面情感分类的效果。
[0111] 具体实施过程中，通过梯度下降算法优化图注意力网络；
[0112] 其中，交叉熵损失函数为
[0113] 式中：y表示真实的情感分类标签；C表示方面情感分类的类别数。
[0114] 具体的，通过热启动和交替训练的方式训练图注意力网络：
[0115] 使用原始的依赖树对图注意力网络的参数进行预训练，即热启动；
[0116] 固定图注意力网络的参数，训练强化依赖图部分的参数，以期望得到对分类更有
效的图结构，固定强化依赖图部分的参数，训练图注意力网络的参数，依次交替，最终得到
图注意力网络和强化依赖图两者都最优的结果，即交替训练。
[0117] 在本发明中，通过热启动和交替训练来训练图注意力网络的方式，能够使得强化
依赖图部分的深度强化学习快速收敛，并且能够解决局部最优的问题，即能够获取两者都
最优的结果，从而保证图注意力网络的训练效果，并进一步提高方面情感分类的效果。
[0118] 具体实施过程中，通过如下步骤进行方面情感分类：
[0119] S401：将文本最终表示z输入至全连接层，再通过softmax层进行归一化，得到预测
的情感分类标签概率分布
[0120] 其中，
[0121] S402：将概率分布最高的情感分类标签作为对应待分类评论文本的方面情感分类
结果；
[0122] 上述式中： 表示预测的情感分类标签；dz为方面情感分类的类别
数； 表示可学习参数， 表示偏差。
[0123] 为了更好的说明本发明中方面情感分类方法的优势，本实施例中公开了如下实
验。
[0124] 一、实验数据集与实验设置
[0125] 本实验对五个公开的数据集实施，表1列举了数据集的统计情况，#Pos.、#Neu.和#
Neg.分别表示积极、中性和消极的情感倾向样本个数。
[0126] 其中，Twitter表示社交平台(是指Dong L,Wei F,Tan C,et al.《Adaptive 
recursive  neural  network  for target‑dependent twitter sentiment 
classification》中公开的社交软件)Twitter用户的评论，包含了用户提及的人名、公司的
等方面；Lap14与Rest14、Rest15和Rest16分别来自SemEval 2014 task 4(是指Maria 
Pontiki,Dimitris  Galanis,John Pavlopoulos,Harris Papageorgiou,Ion 
Androutsopoulos,and Suresh Manandhar《. SemEval‑2014 task 4:Aspect based 
sentiment analysis》中公开的数据集)、SemEval 2015 task 12(是指Pontiki M,Galanis 
D,Papageorgiou H,et al《. Semeval‑2015 task 12:Aspect based sentiment analysis》
中公开的数据集)和SemEval 2016 task 5(是指Pontiki M,Galanis D,Papageorgiou H,
et al《. Semeval‑2016task 5:Aspect based sentiment analysis》中公开的数据集)，包
含了用户对笔记本电脑和餐厅的评价。
[0127] 表1数据集统计
[0128]
[0129] 在实验中，采用300维的Glove(是指Pennington J,Socher R,Manning C D.
《Glove:Global vectors for word representation》中公开的预训练向量)预训练向量作
为词嵌入的初始化，模型的参数使用均匀分布初始化。其中de为300、dp和dr为100，ds为800，
dh为600，dz为3，γ为0.7；图注意力网络(GAT)中，多头注意力头的个数为1，GAT的层数L为1
或2；Leaky ReLU小于零的斜率为0.2；最终分类的类别数C为3，表示三种情感极性，批处理
的大小为16，优化器Adam的学习率为0.001，交替训练轮次为4。
[0130] 二、基线模型
[0131] 本实验提出的RDGSC(是指本发明中基于强化依赖图的方面情感分类模型)与现有
的9种基线方法在五个不同的数据集上进行实验：
[0132] SVM(是指Kiritchenko S,Zhu X,Cherry C,et al《.Nrc‑canada‑2014:Detecting 
aspects and sentiment in customer reviews》中公开的机器学习方法)：传统的机器学
习方法，使用传统的特征提取方法，通过内部序列标记方面词。
[0133] LSTM(是指Duyu Tang,Bing Qin,Xiaocheng Feng,and Liu Ting.2016a.
《Effective lstms for target‑dependent sentiment classification.In Proceedings 
of COLING》中公开的模型)：对传统的LSTM模型进行扩展，输入文本为有序的单词序列，设
置两个与方面相关的长短期记忆模型，充分融合上下文信息。
[0134] MemNet(是指Tang D,Qin B,Liu T《. Aspect Level Sentiment Classification 
with Deep Memory Network》中公开的模型)：使用多跳结构和外部记忆学习单词在文本中
的重要性，最终生成文本的表示。
[0135] AOA(是指Huang  B,Ou  Y,Carley  K  M.《Aspect  level  sentiment 
classification with attention‑over‑attention neural networks》中公开的模型)：将
机器翻译领域的注意‑过度注意方法引入到方面情感分类任务，以联合的方式对各个方面
与句子进行建模，准确的捕捉了各方面和上下文之间的相互作用。
[0136] IAN(是指Ma D,Li S,Zhang X,et al《. Interactive attention networks for 
aspect‑level sentiment classification》中公开的模型)：输入文本建模为有序的单词
序列，使用注意力网络学习方面的上下文表示。
[0137] TD‑GAT(是指Huang B,Ou Y,Carley  K M.《Aspect level sentiment 
classification with attention over attention neural networks》中公开的模型)：使
用图注意力网络，利用单词的依赖关系进行学习，使用多头注意力融合相互依赖的单词之
间的信息。
[0138] ASCNN(是指Zhang C,Li Q,Song D《. Aspect‑based Sentiment Classification 
with Aspect‑specific Graph Convolutional Networks》中公开的模型)：使用卷积操作
学习句子的上下文信息，通过对非方面词进行遮掩，得到方面的特征，使用基于检索的注意
力机制，为每一个上下文信息学习注意力权重。
[0139] ASGCN(是指Zhang C,Li Q,Song D《. Aspect‑based Sentiment Classification 
with Aspect‑specific Graph Convolutional Networks》中公开的模型)：使用句法依赖
图融合句法依赖信息，对非方面词遮掩得到方面的特征，利用注意力机制来学习文本的表
示。
[0140] kumaGCN(是指Chen C,Teng Z,Zhang Y《. Inducing Target‑Specific Latent 
Structures for Aspect Sentiment Classification》中公开的模型)：将句法依赖树和自
动诱导的方面相关的特定图相关联，使用自注意力机制动态地将结合依赖树与潜在图的信
息，再使用注意力机制学习文本中上下文信息的注意力权重。
[0141] 本实验重复运行三次，取平均值作为实验的结果，使用准确率(Acc)和宏观F1(F1)
作为评价指标。
[0142] 三、实验结果
[0143] 本实验将本发明方法的效果与现有的基线模型的效果进行对比，证明了本发明方
法的有效性。如表2所示，从整体上看，五个数据集中，本发明方法在四个数据集的结果都优
于现有的模型。对单个的数据集而言，与最好的方法相比，本发明的方法在Twitter上，Acc
和F1分别提升了0.9％和1.3％；在Lap14上提升了0.1％和0.2％；在Rest14数据集上提升了
0.5％和0.7％；Rest15数据集，Acc与F1下降了0.8％和0.3％；而在Rest16，Acc下降0.3％的
同时，F1提升了1.1％(对于Rest15效果下降的原因，我们认为是因为Rest15的数据样本较
小，策略网络没有得到充分的训练)。各项数据都表明了本发明方法的有效性，证明了本发
明的强化依赖图是更适应方面情感分类的图结构。
[0144] 表2与不同模型的对比
[0145]
[0146] 四、消融实验
[0147] 本实验设计了消融实验，研究深度强化学习中状态的组成成分实验结果的影响，
状态是决定动作的唯一指示器，而动作决定了强化依赖图的生成，强化依赖图对方面情感
分类有决定性作用，因此状态的组成成分是关注的重点。如表3所示，RDGSC w/o RL表示不
使用深度强化学习，仅使用图注意力网络的结果；RDGSC w/o Rel表示在深度强化学习，状
态不包含词与词之间句法依赖关系类型；RDGSC w/o Aspect表示状态中不包含句子中的方
面词，即动作的学习与方面无关。在五个数据集上，RDGSC的结果与前两项相比，除了在
Rest16的Acc上比RDGSC w/o RL均下降了0.1％，其余的均为最高值。与RDGSC w/o RL，即不
使用强化依赖图相比，Acc和F1最高分别提升了2％和4％，表明了强化依赖图对方面情感分
类的积极的作用；与RDGSC w/o Rel，即强化依赖图的状态不包含依赖关系类型相比，最高
可提升3.2％和6.3％，表明依赖关系类型在模型中也是不可或缺的。而RDGSC w/o RL与
RDGSC w/o Rel相比，在除Rest15数据集，其余数据集的指标都有所下降，我们认为是因为
词与词之间的关系更为复杂，导致策略网络训练不充分，即仅使用单词之间的信息和方面
词的信息无法准确地判断方面情感分类是否需要这个依赖关系。
[0148] 表3消融实验
[0149]
[0150] 五、交替训练实验
[0151] 在实验细节上，策略网络生成的强化依赖图决定图注意力网络的结果，而图注意
力网络的结果又会对策略网络进行更新，两者相互依赖、相互制约，导致同时训练策略网络
和图注意力网络十分困难，极易陷入局部最优解。因此本发明采用交替训练的方式，分别对
策略网络和图注意力网络进行学习。如图3所示，横坐标表示交替学习的轮次，纵坐标表示
实验的结果。对Twitter和Lap14数据集，在第二轮时Acc下降，我们认为是因为强化依赖图
的变化较大，图注意力网络训练不充分导致结果下降。对F1而言，可以看出随着交替轮次的
增加，实验效果逐步提高，直到第三轮或者第四轮时达到最优效果，因此选择四次交替训练
的结果作为最终结果。
[0152] 将公式 中的a进行注意力可视化，展示我们模型的有效性。
[0153] 如表4所示，方面词表示对该词进行情感分类；注意力可视化中，颜色越深，表示模
型越关注该单词的信息；预测标签表示模型预测的方面的情感倾向；真实标签表示人为判
断的结果。第一个例子中，“Space is limited,but the food made up for it.”,方面词
为“food”，但是ASGCN将注意力集中在情感表达明显的“limited”上，认为“food”是消极的
情感倾向，而RDGSC则正确的将注意力放在“but”和“made up”上，表明“made up”具有与
“limited”相反的情感倾向。在“The fish is fresh,through it was cut very thin.”句
子中，ASGCN考虑整个句子的情感倾向，前半部分为积极的情感，后半部分具有转折的含义，
认为“fish”也是中性的情感；而本发明的方法则重点关注“fresh”这个词，得出“fish”的情
感倾向为积极的。第三个句子中，ASGCN虽然也关注了“never recommend”这个表达了消极
情感的词，但是也关注了“casual”，最终认为这个句子为积极的情感；而RDGSC关注了
“never recommend”和“anybody”，这些具有否定意义的单词，加强了消极的情感倾向。从注
意力可视化看出，强化依赖图可以更有效的融合与方面相关的信息，使模型更加关注与方
面相关的特征。
[0154] 表4案例分析
[0155]
[0156] 六、实验总结
[0157] 在公开的五个数据集上进行大量实验，实验结果表明你发明的方法在两个评价指
标Acc和F1上要优于所有的基线方法，通过大量实验证明了我们的方法的有效性和健壮性。
[0158] 需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参
照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可
以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明
的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本
发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以
用于解释权利要求的内容。