融合多注意力神经网络的方面级情感分析

针对现有方面级情感分析模型中特征向量信息不足和语义丢失问题,提出一种多注意力融合的神经网络模型。利用词向量注意力机制捕捉句子上下文和方面词之间的语义关系;利用位置注意力机制影响方面词周围的情感特征;利用自注意力机制捕捉序列内部特征用于加强序列表示。为验证模型的有效性,在SemEval 2014 Task 4和ACL 14 Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究。文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类。AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出。实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8%,88.3%和91.3%;在多元情感分类语料库SSTb5上取得50.6%的准确率。     

基于依存树增强的注意力模型的方面级情感分析

近年来的方面级情感分析研究尝试利用注意力机制与基于依存树的图卷积模型对上下文词和方面之间的依赖关系进行建模,然而,基于注意力机制的模型具有容易引入噪声信息的缺点,基于依存树的图模型则具有高度依赖于依存树解析质量、鲁棒性较差的缺点。为解决以上问题,探索一种将注意力机制与语法知识相结合的新方法,利用依存树和位置信息分别对注意力机制进行监督,设计并提出了一种用于方面级情感分析的依存树增强的注意力模型,能够更合理地利用语义和句法信息的同时减轻对依存树的依赖程度。在三个基准数据集上进行的实验验证了所提方法的有效性和可解释性。     

用户评论方面级情感分析研究

方面级情感分析是自然语言处理的热门研究方向之一,相比于传统的情感分析技术,基于方面的情感分析是细粒度的,能够判断句子中多个目标的情感倾向,能更加准确地挖掘用户对目标的情感极性。针对以往研究忽略目标单独建模的问题,提出了一种基于双向长短期记忆神经网络(BiLSTM)的交互注意力神经网络模型(Bi-IAN)。该模型通过BiLSTM对目标和上下文分别进行建模,获得目标和上下文的隐藏表示,提取其中的语义信息。接下来利用交互注意模块学习上下文和目标之间的注意力,分别生成目标和上下文的表示,捕捉目标和上下文之内和之间的相关性,并重构评价对象和上下文的表示,最终通过非线性层得到分类结果。在数据集SemEval 2014任务4和Chinese review datasets上的实验训练显示,在正确率和F1-score上,比现有的基准情感分析模型有更好的效果。     

面向双注意力网络的特定方面情感分析模型

特定方面情感分析已经成为自然语言处理领域的研究热点,其通过学习文本上下文的信息判别文本中特定方面的情感极性,可以更加有效地帮助人们了解用户对不同方面的情感表达.当前,将注意力机制和神经网络相结合的模型在解决特定方面情感分析任务时大多仅考虑单一层面的注意力信息,并且卷积神经网络无法获取全局结构信息、循环神经网络训练时间过长且单词间的依赖程度随着距离增加而逐渐减弱.针对上述问题,提出一种面向双注意力网络的特定方面情感分析(dual-attention networks for aspect-level sentiment analysis, DANSA)模型.首先,引入多头注意力机制,通过对输入进行多次不同的线性变换操作,获取更全面的注意力信息,同时,多头注意力机制可以实现并行化计算,保证了DANSA的训练速度.其次,DANSA引入自注意力机制,通过计算输入中每个单词与其他所有单词的注意力得分获取全局结构信息,并且单词间的依赖程度不会受到时间和句子长度的影响.最后,融合上下文自注意力信息与特定方面单词注意力信息,共同作为特定方面情感预测的依据,最终实现特定方面情感极性的预测.相比结合注意力机制的神经网络,DANSA弥补了注意力信息单一问题,不仅可以有效获取全局结构信息,还能够实现并行化计算,大大降低了训练时间.在SemEval2014数据集和Twitter数据集上进行实验,DANSA获得了更好的分类效果,进一步证明了DANSA的有效性.     

基于自注意力机制的方面情感分类

基于方面的情感分类方法判断句子中给定实体或属性的情感极性。针对使用全局注意力机制计算属性词和句子其他词的注意力分数时,会导致模型关注到与属性词不相关的词,并且对于长距离的依赖词、否定词关注不足,不能检测到并列关系和短语的问题,提出了基于自注意力机制的语义加强模型（SRSAM）。该模型首先使用双向长短时记忆神经网络模型（bidirectional long short-term memory,BiLSTM）获取文本编码,其次用自注意力机制计算文本编码的多个语义编码,最后将属性词和语义编码交互后判断属性词在句中的情感极性。使用SemEval 2014数据集的实验表明,由于模型能发现长距离依赖和否定词,对并列关系和短语有一定检测效果,相比基础模型在分类精度上有0.6%~1.5%的提升。     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

基于ATT-DGRU的文本方面级别情感分析

方面级别情感分类是针对给定文本、分析其在给定方面所表达出的情感极性.现有的主流解决方案中,基于注意力机制的循环神经网络模型忽略了关键词邻近上下文信息的重要性,而结合卷积神经网络(Convolutional Neural Network,CNN)的多层模型不擅长捕捉句子级别的长距离依赖信息.因此,提出了一种基于截断循环神...     

基于多注意力卷积神经网络的特定目标情感分析

特定目标情感分析作为情感分析一个重要的子任务,近年来得到越来越多研究人员的关注.针对在特定目标情感分析中,将注意力机制和LSTM等序列性输入网络相结合的网络模型训练时间长、且无法对文本进行平行化输入等问题,提出一种基于多注意力卷积神经网络(multi-attention convolution neural networks, MATT-CNN)的特定目标情感分析方法.相比基于注意力机制的LSTM网络,该方法可以接收平行化输入的文本信息,大大降低了网络模型的训练时间.同时,该方法通过结合多种注意力机制有效弥补了仅仅依赖内容层面注意力机制的不足,使模型在不需要例如依存句法分析等外部知识的情况下,获取更深层次的情感特征信息,有效识别不同目标的情感极性.最后在SemEval2014数据集和汽车领域数据集(automotive-domain data, ADD)进行实验,取得了比普通卷积神经网络、基于单注意力机制的卷积神经网络和基于注意力机制的LSTM网络更好的效果.     

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理（NLP）的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型（PLM）对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络（GCN）,提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络（AE-GCN）模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络（EMC-GCN）模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC...     

用于方面级情感分析的图指导的差异化注意力网络

方面级情感分析旨在识别句子中每个方面的情感极性。近年来,将注意力机制和依存树语法结构信息相结合的方法被用于建模方面项和意见项间的依赖关系。然而,这类方法通常具有高度依赖依存树解析质量的缺点。此外,注意力机制也存在因权重分布密集而引入噪声的固有缺陷。为解决以上问题,该文设计并提出了用于方面级情感分析的图指导的差异化注意力网络模型。模型利用图指导机制帮助自注意力机制主动学习接近语法结构的注意力权重,减轻模型对依存树的依赖程度。同时利用注意力差异化操作鼓励注意力权重分布趋于离散,以有效减少噪声引入。在3个公开数据集上进行的实验,验证了该文所提出的方法能更合理地利用语义和语法信息,具有较为先进的情感分类性能。     

基于注意力双层BiReGU模型的方面术语提取方法

方面术语提取是方面级情感分析中的一项重要任务,目的是从在线产品评论中提取关键的方面术语。针对方面术语提取问题,提出基于注意力机制的双层BiReGU模型。该模型在传统BiLSTM模型的基础上,引入双嵌入机制和ReGU（Residual Gated Unit）作为辅助,以提高特征提取的能力。使用BiReGU学习文本特征表示,更好地捕捉词语间的长期依赖关系;在第一层BiReGU之后引入注意力机制,为文本中每个词语赋予不同的权重,得到融合特征后新的知识表示,再输入到第二层BiReGU中学习更加全局的文本特征表示,最后完成提取方面术语的任务。分别在SemEval 2014的Restaurant数据集和Laptop数据集做了相关的对比实验,实验结果证明了所提出方法的有效性。     

基于多层次注意力的语义增强情感分类模型

由于自然语言的复杂语义、词的多情感极性以及文本的长期依赖关系,现有的文本情感分类方法面临严峻挑战。针对这些问题,提出了一种基于多层次注意力的语义增强情感分类模型。首先,使用语境化的动态词嵌入技术挖掘词汇的多重语义信息,并且对上下文语义进行建模;其次,通过内部注意力层中的多层并行的多头自注意力捕获文本内部的长期依赖关系,从而获取全面的文本特征信息;再次,在外部注意力层中,将评论元数据中的总结信息通过多层次的注意力机制融入评论特征中,从而增强评论特征的情感信息和语义表达能力;最后,采用全局平均池化层和Softmax函数实现情感分类。在4个亚马逊评论数据集上的实验结果表明,与基线模型中表现最好的TE-GRU(Transformer Encoder with Gated Recurrent Unit)相比,所提模型在App、Kindle、Electronic和CD数据集上的情感分类准确率至少提升了0.36、0.34、0.58和0.66个百分点,验证了该模型能够进一步提高情感分类性能。     

一种基于自注意力机制的用户评论情感分类方法

近年来,用户评论情感分类方法成为自然语言处理领域的重要研究内容.本文利用自注意力机制在文本中捕捉重要局部特征的优势,在没有外部语法信息的条件下自动学习上下文关系,并结合卷积神经网络模型TextCNN,提出一种基于自注意力机制的文本分类模型(TextCNN Attention,TextCNN-Att),TextCNN-A...     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

基于上下文感知的方面类别情感分类

由于一个评论往往会涉及多种方面类别及情感倾向,而传统注意力机制难以区分方面词和情感词的对应关系,从而影响评论同时存在多种方面类别时的情感极性分析.为了解决上述问题,提出了一种基于上下文感知的方面类别情感分类模型(MA-DSA).该模型通过重构方面向量捕获句子中更多样且有效的语义特征,并将其融入上下文向量,然后将上下文向量通过DiSA模块进一步捕捉句子内部情感特征,确定方面词与情感词的关系,进而对指定方面类别进行情感分类.在SemEval的三个数据集上的实验结果表明,MA-DSA模型在Restaurant-2014数据集上的三个指标值均优于基准模型,证明了该模型的有效性.     

基于交叉注意力的方面级情感分析

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。     

基于双通道语义差网络的方面级别情感分类

方面级别情感分类旨在分析一个句子中不同方面词的情感极性。先前的研究在文本表示上,难以产生依赖于特定方面词的上下文表示;在语义特征分析上,忽略了方面词的双侧文本在整体语义上与方面词情感极性之间具备不同关联度这一特征。针对上述问题,该文设计了一种双通道交互架构,同时提出了语义差这一概念,并据此构建了双通道语义差网络。双通道语义差网络利用双通道架构捕捉相同文本中不同方面词的上下文特征信息,并通过语义提取网络对双通道中的文本进行语义特征提取,最后利用语义差注意力增强模型对重点信息的关注。该文在SemEval2014的Laptop和Restaurant数据集以及ACL的Twitter数据集上进行了实验,分类准确率分别达到了81.35%、86.34%和78.18%,整体性能超过了所对比的基线模型。