基于混合多头注意力和胶囊网络的特定目标情感分析

特定目标情感分析旨在判断上下文语境在给定目标词下所表达的情感倾向。对句子语义信息编码时,目前大部分循环神经网络或注意力机制等方法,不能充分捕捉上下文中长距离的语义信息,同时忽略了位置信息的重要性。该文认为句子的语义信息、位置信息和多层次间的信息融合对该任务至关重要,从而提出了基于混合多头注意力和胶囊网络的模型。首先,使用多头自注意力分别在位置词向量基础上对上下文长句子和在双向GRU基础上对目标词进行语义编码;然后,使用胶囊网络在语义信息交互拼接基础上进行位置信息编码;最后,在融入原始语义信息基础上,使用多头交互注意力对上下文与目标词并行融合的方法得到情感预测结果。在公开数据集SemEval 2014 Task4和ACL 14 Twitter上的实验表明,该文模型性能较传统深度学习和标准注意力方法有显著提升,验证了模型的有效性和可行性。     

基于关系特征交互的方面级情感分类方法

方面级情感分类是一项细粒度的情感分析任务,其目的是识别一句话中的方面词、观点项及其对应的情感极性。现有的方面级情感分类方法对模型的构建存在不足,难以有效利用句子中的依存关系信息,从而导致分类准确率较低。基于此,该文提出一种基于关系交互的图注意力网络模型。该模型首先利用单词之间的依存关系构建句法依存树,并使用双向门控循环单元提取句子上下文特征,然后将两者融入图注意力网络和关系感知网络中进行关系交互,以学习句子间的句法和语义信息,最后将关系的表征结果结合并输出方面词的情感类别(正面、负面、中性)。在四个公开数据集上的实验结果表明,该模型在方面级情感分类任务上充分挖掘并利用了文本的句法关系信息,进一步提升了情感分类的准确率。     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

基于ELMo的混合注意力网络的方面级情感分析研究

方面级情感分析作为情感分析的一项细粒度任务,具有非常高的研究价值。方面词和对应的情感词之间的联系对于确定情感极性起着至关重要的作用。先前的研究大多仅利用一种注意力机制来关注句子和目标之间的联系,未考虑到词性中包含的情感信息。为解决这一问题,该文提出了一种基于ELMo的混合注意力网络(ELMo-based Hybrid Attention Network, EHAN)。与现有网络不同的是,模型不仅将ELMo与Transformer网络相结合来捕获文本信息的情感特征,还利用词性注意力机制对词性和单词进行交互获得方面与情感词之间的联系。在公开数据集上的实验结果表明,EHAN与基准模型相比在准确率和Macro-F₁值上都有显著提升,证明该方法可有效改善方面级情感分析的性能。     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

用于方面级情感分析的图指导的差异化注意力网络

方面级情感分析旨在识别句子中每个方面的情感极性。近年来，将注意力机制和依存树语法结构信息相结合的方法被用于建模方面项和意见项间的依赖关系。然而，这类方法通常具有高度依赖依存树解析质量的缺点。此外，注意力机制也存在因权重分布密集而引入噪声的固有缺陷。为解决以上问题，该文设计并提出了用于方面级情感分析的图指导的差异化注意力网络模型。模型利用图指导机制帮助自注意力机制主动学习接近语法结构的注意力权重，减轻模型对依存树的依赖程度。同时利用注意力差异化操作鼓励注意力权重分布趋于离散，以有效减少噪声引入。在3个公开数据集上进行的实验，验证了该文所提出的方法能更合理地利用语义和语法信息，具有较为先进的情感分类性能。     

基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

基于情感增强与双图卷积网络的方面级情感分析

方面级情感分析旨在检测给定方面句子的情感极性。现有研究大多在句法依存树上构造图卷积网络,以获取方面词与上下文之间的句法信息。然而这类方法存在提取信息不够丰富、缺乏对句子中情感信息的挖掘等问题。针对上述问题,提出基于情感增强与双图卷积网络的方面级情感分析模型。该模型由双通道图卷积网络组成,旨在挖掘句子中的情感信息、句法信息和语义信息。利用位置信息和情感知识在依存树上构造情感增强依存图,并以此构建情感增强图卷积网络,增强方面词与上下文之间的情感依赖关系,同时挖掘句子中丰富的句法信息特征。构建基于多头注意力机制的图卷积网络,获取句子中的语义特征信息。对双图卷积网络的输出特征进行掩码、平均池化和拼接等操作,并通过情感分类层进行分类。实验结果表明,该模型与经典的图卷积网络模型(ASGCN)相比,在Restaurant、Laptop和Twitter数据集上的准确率和F1值分别提升3.43和5.69、3.13和3.92、3.57和4.02个百分点,具有较好的情感分类性能。     

基于辅助记忆循环神经网络的视角级情感分析

现有视角级情感分析方法大多数利用视角词信息从句子中提取特征,不能同时利用视角和视角词信息,导致模型性能较低,为此文中提出基于辅助记忆循环神经网络的视角级情感分析方法.首先通过深度双向长短期记忆网络和单词的位置信息构建位置权重记忆,利用注意力机制结合视角词建立视角记忆.再联合位置权重记忆和视角记忆输入多层门循环单元,得到视角情感特征.最后由归一化函数识别情感极性.实验表明,相对基准实验,文中方法在3个公开数据集上的效果更好,该方法是有效的.     

基于BG-DATT-CNN网络的方面级别情感分析

分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。     

基于螺旋注意力网络的方面级别情感分析模型

方面级别情感分析是一项细粒度的情感分类任务,旨在确定特定方面的情感极性。以往的方法大都是基于方面或上下文向量的平均值来学习上下文或方面词的注意力权重,但当方面词和上下文较长时,这种方法可能会导致信息丢失。该文提出了一种建立在BERT表示上的螺旋注意力网络(BHAN)来解决这一问题,模型中的螺旋注意力机制与之前注意力机制不同的是,基于方面词得到加权后的上下文表示后,用这个新的表示计算方面词的权重,然后用这个新的方面词的表示重新计算上下文的权重,如此循环往复,上下文和方面词的表示会得到螺旋式的提高。该文在2014年SemEval任务4和Twitter数据集上进行了模型评估,实验结果表明,其性能超过了之前最佳模型的结果。     

基于权重增强的方面级情感分析模型

方面级情感分析的目的在于判断文本在不同方面的情感极性.以往的研究大多集中在基于无权的句法依存树来构建网络模型.由于方面词和非方面词的句法依存关系对于目标情感的重要性是不同的,提出了基于权重增强并结合图卷积的神经网络模型(AW-IGCN).通过带权矩阵来储存更完整的句法结构,同时利用GRU来获得上下文信息,并输入到改良的...     

基于双通道语义差网络的方面级别情感分类

方面级别情感分类旨在分析一个句子中不同方面词的情感极性。先前的研究在文本表示上,难以产生依赖于特定方面词的上下文表示;在语义特征分析上,忽略了方面词的双侧文本在整体语义上与方面词情感极性之间具备不同关联度这一特征。针对上述问题,该文设计了一种双通道交互架构,同时提出了语义差这一概念,并据此构建了双通道语义差网络。双通道语义差网络利用双通道架构捕捉相同文本中不同方面词的上下文特征信息,并通过语义提取网络对双通道中的文本进行语义特征提取,最后利用语义差注意力增强模型对重点信息的关注。该文在SemEval2014的Laptop和Restaurant数据集以及ACL的Twitter数据集上进行了实验,分类准确率分别达到了81.35%、86.34%和78.18%,整体性能超过了所对比的基线模型。     

基于领域特有情感词注意力模型的跨领域属性情感分析

虽然近年来情感分析相关研究取得很大进展,但跨领域属性情感分析仍是一个挑战。现有的方法主要关注源领域和目标领域的共有信息,忽略了目标领域的特有信息。此外,情感词作为句子中的重要信息,不仅能反映属性的情感极性,而且可以被划分为共有情感词和特有情感词。针对目标领域的特有信息和情感词,该文提出领域特有情感词注意力模型(DSSW-ATT)。该模型设立两个独立的子空间,分别使用注意力机制提取共有情感词特征和特有情感词特征,并建立相应的共有特征分类器和特有特征分类器,同时使用协同训练方法融合这两种特征。该文还构建了酒店领域(源领域)和手机领域(目标领域)的属性级用户评论数据集。在该数据集上的实验结果表明,该方法明显优于基线方法。     

嵌入常识的混合注意力LSTM用于主题情感分析

传统神经网络模型在捕捉上下文信息时,缺乏对于某一主题重要线索的准确分析能力。对此提出嵌入常识知识库的混合注意力长短时记忆网络(LSTM)主题情感分析模型。通过引入全局注意力和位置注意力机制来改进长短时记忆网络LSTM;将常识知识库嵌入到LSTM的情感分类训练中。该模型在推断特定主题的情感极性时明确地抓住了每个上下文词的重要性,使分类更加准确。实验结果表明,混合注意力模型与常识知识库的引入,提高了主题情感分析的分类效果。     

基于Graph-LSTMs的双重位置感知方面级情感分类

目前针对用户评论中方面词项情感分类任务的研究大多忽略了依存句法信息,或并未建立依存句法结构与单词之间的联系。为此,提出一种基于Graph-LSTMs的双重位置感知方面级情感分类方法。通过Graph-LSTMs学习词项的上下文语境特征;在双向GRU的输入中拼接具有双重位置信息的位置向量,优化句子情感编码;利用注意力机制捕获关键的情感特征,实现分类。在SemEval2014的两个数据集上的实验结果表明,该模型相比几种基线模型在准确率和Macro-F1这两个指标上提升明显。     

基于交互注意力图卷积网络的方面情感分类

基于方面的情感分类任务旨在识别句子中给定方面词的情感倾向性.以往的方法大多基于长短时记忆网络和注意力机制,这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法信息.针对这种缺陷,提出了一种交互注意力的图卷积网络,同时建模了句中单词的语义相关性和语法相关性.首先使用双向长短时记忆网络来...     

基于双层注意力循环神经网络的方面级情感分析

在方面级情感分析中,常用的方法是将循环神经网络和注意力机制结合,利用注意力获取序列中不同单词的重要程度,但这并不能获取不同句子的重要程度,仅仅依赖单层注意力难于获取深层次情感特征信息。为了解决上述问题,该文提出一种基于双层注意力循环神经网络模型。通过双层注意力分别对单词层和句子层进行建模,捕获不同单词和不同句子的重要性,利用双向的循环神经网络获取更多的序列上下文依赖信息。情感特征信息具有重要性,但在深层神经网络中却未被充分利用。因此,该文将方面、词性信息和位置信息作为模型的辅助信息,进行更深层次情感特征信息学习,有效识别不同方面的情感极性。该方法与IAN模型相比,在SemEval 2014中的Restaurant数据集和Laptop数据集上进行实验,分类准确率分别提升了2.0%和5.2%。在与TD-LSTM模型对比中,Twitter数据集的分类准确率提升了1.7%。     

基于方面-词性感知的方面级情感分析

方面级情感分析是自然语言处理的研究热点之一,其任务目的是预测句子中给定方面的情感极性。目前已有研究大多忽略了方面词和特定词性单词在过滤情感极性相关上下文语义信息和理解上下文语法信息中的作用。为此,提出一种基于方面-词性感知的图卷积网络ASP＿POSGCN。采用双向长短期记忆网络建模上下文和词性信息,经由门控机制筛选方面词相关上下文语义信息,再使用词性信息隐藏层状态进一步过滤;同时设计方面-词性感知矩阵算法,根据不同词性单词对方面词情感极性的贡献重构句子原始依存关系以获取重构依存句法图,将原始依存句法图和重构依存句法图应用于双通道图卷积网络和多图感知机制;最后,使用过滤后的上下文语义信息与双通道图卷积网络的输出计算注意力得到最终分类表示。实验结果表明,该模型在Twitter、Laptop14、Restaurant14和Restaurant164个公开数据集上的准确率分别为74.57%、79.15%、83.84%、91.23%,F1值分别为72.59%、75.76%、77.00%、77.11%,与传统方面级情感分析基准模型相比均有提升,有助于方面级的情感极性分类。     

基于情感词典的藏语文本句子情感分类

该文通过借鉴中文及英文情感分析中基于极性词典的方法来对藏文句子文本进行情感分析。首先我们通过人工的方法构建了一个全面、高效的极性词典,包括基础词词典、否定词词典、双重否定词词典、程度副词词典以及转折词词典,将极性词与修饰词组合成极性短语作为极性计算的基本单元,并研究了转折词对句子情感极性的影响,提出了一种基于极性词典的藏语文本句子情感分析方法。实验结果表明,利用该文构建的词典进行的倾向性分析效果良好。