基于层次注意力机制和门机制的属性级别情感分析

近年来,作为细粒度的属性级别情感分析在商业界和学术界受到越来越多的关注,其目的在于识别一个句子中多个属性词所对应的情感极性。目前,在解决属性级别情感分析问题的绝大多数工作都集中在注意力机制的设计上,以此突出上下文和属性词中不同词对于属性级别情感分析的贡献,同时使上下文和属性词之间相互关联。该文提出使用层次注意力机制和门机制处理属性级别情感分析任务,在得到属性词的隐藏状态之后,通过注意力机制得到属性词新的表示,然后利用属性词新的表示和注意力机制进一步得到上下文新的表示,层次注意力机制的设计使得上下文和属性词的表达更加准确;同时通过门机制选择对属性词而言上下文中有用的信息,以此丰富上下文的表达,在SemEval 2014 Task 4和Twitter数据集上的实验结果表明了该文提出模型的有效性。     

基于螺旋注意力网络的方面级别情感分析模型

方面级别情感分析是一项细粒度的情感分类任务,旨在确定特定方面的情感极性。以往的方法大都是基于方面或上下文向量的平均值来学习上下文或方面词的注意力权重,但当方面词和上下文较长时,这种方法可能会导致信息丢失。该文提出了一种建立在BERT表示上的螺旋注意力网络(BHAN)来解决这一问题,模型中的螺旋注意力机制与之前注意力机制不同的是,基于方面词得到加权后的上下文表示后,用这个新的表示计算方面词的权重,然后用这个新的方面词的表示重新计算上下文的权重,如此循环往复,上下文和方面词的表示会得到螺旋式的提高。该文在2014年SemEval任务4和Twitter数据集上进行了模型评估,实验结果表明,其性能超过了之前最佳模型的结果。     

基于交互式叠加注意力网络的实体属性情感分类

当上下文中单词的情感对给定属性敏感时,仅通过注意力建模无法解决情感分类性能下降的问题。提出一种基于交互式叠加注意力(Attention-Over-Attention,AOA)网络的属性级情感分类模型。模型在词向量层用BERT代替传统静态词向量表示;用LSTM分别提取属性和上下文中单词的隐藏语义;用AOA网络计算属性和上下文中每个单词的注意力权重;将权重与对应的隐藏语义状态做点积分别得到属性和上下文的最终特征表示,拼接两个特征表示用来分类。研究并分析模型中词向量和属性单独建模对情感分类结果的影响。实验表明,该模型较其他LSTM结合注意力机制的模型在准确率和F1值上都有显著提高。     

基于混合多头注意力和胶囊网络的特定目标情感分析

特定目标情感分析旨在判断上下文语境在给定目标词下所表达的情感倾向。对句子语义信息编码时,目前大部分循环神经网络或注意力机制等方法,不能充分捕捉上下文中长距离的语义信息,同时忽略了位置信息的重要性。该文认为句子的语义信息、位置信息和多层次间的信息融合对该任务至关重要,从而提出了基于混合多头注意力和胶囊网络的模型。首先,使用多头自注意力分别在位置词向量基础上对上下文长句子和在双向GRU基础上对目标词进行语义编码;然后,使用胶囊网络在语义信息交互拼接基础上进行位置信息编码;最后,在融入原始语义信息基础上,使用多头交互注意力对上下文与目标词并行融合的方法得到情感预测结果。在公开数据集SemEval 2014 Task4和ACL 14 Twitter上的实验表明,该文模型性能较传统深度学习和标准注意力方法有显著提升,验证了模型的有效性和可行性。     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

基于双指导注意力网络的属性情感分析模型

鉴于深度学习技术的不断发展,越来越多的研究者倾向于使用深度神经网络学习文本特征表示用于情感分析,其中序列模型(sequence models)和图神经网络(graph neural networks)已得到广泛的应用,并取得了不错的效果.然而,对于属性情感分类任务,属性对象与其他单词之间存在远距离的依赖关系,虽然序列型神经网络能捕获句子的上下文语义信息,但是对词语之间的远距离依赖关系无法进行有效学习;而图神经网络虽然可以通过图结构聚合更多的属性依赖信息,但会忽略有序词语间的上下文语义联系.因此结合双向长短时记忆网络(bi-directional long short-term memory, BiLSTM)和图卷积神经网络(graph convolutional network, GCN),提出一种基于双指导注意力网络(bi-guide attention network, BiG-AN)的属性情感分析模型.该模型通过交互指导注意力机制,同时关注到文本的上下文信息和远距离依赖信息,提高了模型对于文本属性级别情感特征的表示学习能力.在4个公开数据集Laptop,Rest14,Rest16,Twitter的实验结果表明,与其他几种基准模型相比,所提模型能够提取到更丰富的属性文本特征,有效提高属性情感分类的结果.     

基于注意力网络的情感分析中的对比句处理

方面级情感分析旨在确定评论中对特定方面的情绪极性,但目前较少研究复杂句对情感分类的影响。基于此,提出了一种基于BERT和带相对位置自注意力网络的方面级情感分析模型。首先,通过动态加权采样方法平衡对比句稀缺的问题,使模型学习到更多的对比句特征信息;其次,利用双头自注意力网络提取带相对位置的特征表示,与预训练模型得到的带绝对位置的特征表示联合训练;最后,通过标签平衡技术对模型正则化处理,稳定模型对中性样本的辨识。该模型在SemEval 2014 Task 4 Sub Task 2上进行实验,在两个数据集上的accuracy和macro-F1指标都有所提高。实验结果表明该模型在对比句分类上是有效的,同时在整个测试集上分类也优于其他基准模型。     

基于BG-DATT-CNN网络的方面级别情感分析

分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于图神经网络的方面级情感分析

目前基于循环神经网络和注意力机制的方面级情感分析模型缺乏解释相关句法约束和远程单词依赖关系.针对该问题提出结合句子依存树和单词序列信息建立句子关系图模型.首先将句子表示为图,单词作为图的节点,依存句法树的边和单词序列作为图的边;然后提出邻接矩阵标记方案对句子关系图进行标记;最后利用图神经网络实现节点和边的分类任务.该模型在SemEval2014任务中的restaurant和laptop两个数据集上进行实验,在两个数据集上F1值提升了5％左右.实验结果表明,将句子转换成图利用图神经网络对句子进行方面级情感分析是有益的.     

基于自注意力门控图卷积网络的特定目标情感分析

基于特定目标的情感分析旨在预测句子中不同方面表达的不同情感倾向。针对之前利用循环神经网络（RNN）结合注意力机制的网络模型所带来的训练参数多且缺少对相关句法约束和长距离词依赖机制解释的问题,提出自注意力门控图卷积网络MSAGCN。首先,模型采用多头自注意力机制编码上下文词和目标,捕获句子内部的语义关联;然后,采用在句子的依存树上建立图卷积网络的方法获取句法信息以及词的依存关系;最后,通过带有目标嵌入的门控单元（GTRU）获取特定目标的情感。与基线模型相比,所提模型的准确率和调和平均值F1分别提高了1%~3.3%和1.4%~6.3%;同时,预训练的BERT模型也被应用到当前任务中,使模型效果获得了新的提升。实验结果表明所提出的模型能更好掌握用户评论的情感倾向。     

Aspect-level sentiment analysis based on semantic heterogeneous graph convolutional network

The deep learning methods based on syntactic dependency tree have achieved great success on Aspect-based Sentiment Analysis (ABSA). However, the accuracy of the dependency parser cannot be determined, which may keep aspect words away from its related opinion words in a dependency tree. Moreover, few models incorporate external affective knowledge for ABSA. Based on this, we propose a novel architecture to tackle the above two limitations, while fills up the gap in applying heterogeneous graphs convolution network to ABSA. Specially, we employ affective knowledge as an sentiment node to augment the representation of words. Then, linking sentiment node which have different attributes with word node through a specific edge to form a heterogeneous graph based on dependency tree. Finally, we design a multi-level semantic heterogeneous graph convolution network (Semantic-HGCN) to encode the heterogeneous graph for sentiment prediction. Extensive experiments are conducted on the datasets SemEval 2014 Task 4, SemEval 2015 task 12, SemEval 2016 task 5 and ACL 14 Twitter. The experimental results show that our method achieves the state-of-the-art performance.     

基于局部特征聚焦的方面级情感分析

现有方面级情感分析模型忽略了各词间句法关系且未能针对性地提取语义信息。为此,提出一种可聚焦局部上下文特征的方面级情感分析模型,其核心思想在于构建局部上下文加权邻接图和动态赋权方法,通过图卷积神经网络生成聚焦于局部上下文信息的方面词特征。具体地,首先采用局部上下文动态赋权方式增加局部上下文的关注度;其次,在提取句法依存关系的基础上为上下文各节点赋权,构建针对局部上下文赋权的邻接图;最后,由图卷积神经网络提取聚焦于局部上下文信息的方面词特征。在公开数据集上的实验结果表明,与ASGCN相比,提出模型在restaurant和laptop数据集中的宏F₁值分别提高了1.76%和1.12%,经过局部上下文加权,聚焦局部特征所得信息有助于提高分类效果。     

用于短文本情感分类的多头注意力记忆网络

随着社交网络的发展,对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类,短文本情感分类需要挖掘隐含的情感语义特征,具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征,提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先,利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进,以对文本上下文内联关系进行充分提取,使模型可以获得更丰富的文本特征信息。然后,利用多头注意力机制对多跳记忆网络的结构进行优化,使得在拓展模型深度的同时,挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明,与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比,所提MAMN取得了较优的分类效果,验证了多跳结构对于性能改善的重要作用。     

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%～3.45%和6.97%～11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。     

基于注意力机制的文本情感倾向性研究

社交媒体上短文本情感倾向性分析作为情感分析的一个重要分支,受到越来越多研究人员的关注。为了改善短文本特定目标情感分类准确率,提出了词性注意力机制和LSTM相结合的网络模型PAT-LSTM。将文本和特定目标映射为一定阈值范围内的向量,同时用词性标注处理句子中的每个词,文本向量、词性标注向量和特定目标向量作为模型的输入。PAT-LSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,不需要对句子进行句法分析,且不依赖情感词典等外部知识。在SemEval2014-Task4数据集上的实验结果表明,在基于注意力机制的情感分类问题上,PAT-LSTM比其他模型具有更高的准确率。     

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...