多注意力层次神经网络文本情感分析

在文本情感分析研究中,一条评论分别包含了篇章级、句子级和词语级等不同粒度的语义信息,而不同的词和句子在情感分类中所起的作用也是不同的,直接使用整条评论进行建模的情感分析方法则过于粗糙,同时也忽略了表达情感的用户信息和被评价的产品信息。针对该问题,提出一种基于多注意力机制的层次神经网络模型。该模型分别从词语级别、句子级别和篇章级别获取语义信息,并分别在句子级和篇章级引入基于用户和商品的注意力机制来计算不同句子和词的重要性。最后通过三个公开数据集进行测试验证,实验结果表明,基于多注意力层次神经网络的文本情感分析方法较其他模型性能有显著的提升。     

融入情感和话题信息的中文方面级情感分析

近年来的方面级情感分析模型应用图卷积神经网络（GCN）学习语句的语法结构信息,但是在建模时忽略了已知情感词信息和评论所属的已知话题环境,渐渐不能满足中文社交网络情感分析需求。针对以上问题,提出一种基于词典和深度学习软融合的字词双通道模型（2D-SGCN）。该模型首先基于基础情感词典扩展得到微博领域词典,获得领域适用性的情感词;其次使用预训练模型获得字、词初始特征向量,并在字维度融入方面词和话题信息,分别使用Bi-LSTM和融入情感信息的GCN（SGCN）学习全局与局部信息;应用注意力机制得到方面词最终特征并进行多维度融合;最后将话题和方面词结合进行分类纠正。在SemEval-2014的Restaurant数据集上F▼1为73.67%,在NLPCC2012数据集上F▼1为91.5%,证明了该模型的有效性。     

基于注意力的多通道特征融合情感分析

为解决现今情感分析方法多利用单通道浅层的文本情感因素,不能获取词与词之间更深层语义联系的问题,提出一种基于注意力机制的多通道特征融合情感分析模型(triple channel BIGRU and attention model,Tri-Bi GRU-Atten)。结合词性特征、依存句法、位置信息3种不同语义特征混合建模,将Bi GRU与注意力机制相结合,充分挖掘上下文中更深层次的情感信息,引入特征图扰动技术(feature map distortion,Disout)提高模型泛化性能。实验结果表明,与传统的注意力机制、LSTM、Bi-LSTM等模型相比,该模型情感分类效果更有效。     

基于领域情感词典特征表示的细粒度意见挖掘

细粒度意见挖掘的主要目标是从观点文本中获取情感要素并判断情感倾向。现有方法大多基于序列标注模型,但很少利用情感词典资源。该文提出一种基于领域情感词典特征表示的细粒度意见挖掘方法,使用领域情感词典在观点文本上构建特征表示并将其加入序列标注模型的输入部分。首先构建一份新的电商领域情感词典,然后在电商评论文本真实数据上,分别为条件随机场(CRF)和双向长短期记忆-条件随机场(BiLSTM-CRF)这两种常用序列标注模型设计基于领域情感词典的特征表示。实验结果表明,基于电商领域情感词典的特征表示方法在两种模型上都取得了良好的效果,并且超过其他情感词典。     

中文音乐情感词典构建及情感分类方法研究

作为仅次于及时通信和搜索引擎的中国互联网网民第三大应用,网络音乐及其应用技术受到业界学者的青睐。音乐作为人类最重要的交流媒介,携带着丰富的情感信息,计算机音乐情感分析更是得到人机情感交互技术领域的高度重视。在基于歌词文本的音乐情感分析过程中,一部合理的音乐领域情感词典,将提供更加细致、更加准确的分析结果。以改进后的Hevner情感环模型为基础,借助HowNet所提供的语义资源和从网络爬取的歌词文本语料库,构建了一部树形层次结构的音乐领域中文情感词典,并利用LRC歌词携带的时间标签获取歌曲的语速信息,实现了基于情感向量空间模型和情感词典的歌词情感分类。实验表明与人工构建的情感词典相比,所构建的情感词典更适用于音乐领域。     

基于注意力网络的属性级别情感分析

传统的属性级别情感分析方法缺乏对属性实体与前后文之间交互关系的研究,导致情感分类结果的正确率不高。为了有效提取文本特征,提出了一种利用多头注意力机制学习属性实体与前后文之间关系的属性级别情感分析模型（intra&inter multi-head attention network, IIMAN）,从而提高情感极性判断结果。该模型首先利用BERT预训练完成输入语句的词向量化;通过注意力网络中的内部多头注意力与联合多头注意力学习属性实体与前后文以及前后文内部间的关系;最后通过逐点卷积变换层、面向属性实体的注意力层和输出层完成情感极性分类。通过在三个公开的属性级别情感分析数据集Twitter、laptop、restaurant上的实验证明,IIMAN相较于其他基线模型,正确率和F₁值有了进一步的提升,能够有效提高情感极性分类结果。     

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT- BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元（BiSRU）二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。     

面向中文歌词的音乐情感分类方法

情感是音乐最重要的语义信息,音乐情感分类广泛应用于音乐检索,音乐推荐和音乐治疗等领域.传统的音乐情感分类大都是基于音频的,但基于现在的技术水平,很难从音频中提取出语义相关的音频特征.歌词文本中蕴含着一些情感信息,结合歌词进行音乐情感分类可以进一步提高分类性能.本文将面向中文歌词进行研究,构建一部合理的音乐情感词典是歌词情感分析的前提和基础,因此基于Word2Vec构建音乐领域的中文情感词典,并基于情感词加权和词性进行中文音乐情感分析.本文首先以VA情感模型为基础构建情感词表,采用Word2Vec中词语相似度计算的思想扩展情感词表,构建中文音乐情感词典,词典中包含每个词的情感类别和情感权值.然后,依照该词典获取情感词权值,构建基于TF-IDF （Term Frequency-Inverse Document Frequency）和词性的歌词文本的特征向量,最终实现音乐情感分类.实验结果表明所构建的音乐情感词典更适用于音乐领域,同时在构造特征向量时考虑词性的影响也可以提高准确率.     

基于注意力与门控机制相结合的细粒度情感分析

细粒度情感分析(fine-grained sentiment analysis)是自然语言处理领域的关键问题之一,其通过学习文本的上下文信息来进行特定方面的情感分析,可以帮助用户和商家更好地了解用户评论特定方面的情感.针对基于用户评论的方面级别细粒度情感分析任务,提出了BiGRU-Attention与门控机制(gated mechanisms)相结合的文本情感分类模型.首先,通过整合现有的情感资源,将HOWNET评价情感词典作为种子情感词典,利用SO-PMI算法扩充用户评论情感词典,结合否定词典以及词性信息扩充用户评论情感知识,将用户评价情感知识作为用户评论情感特征信息;其次,引入字词特征与情感特征信息,将它们联合作为模型输入,使用BiGRU对文本进行深层次的特征提取;然后,结合门控机制以及注意力机制,根据获取的方面词信息进一步提取与方面词相关的上下文情感特征信息;最后,在输出层进行文本情感分析,经过softmax获得最终的情感极性.在AIchallenger2018细粒度情感分析中文数据集上,所提模型的Macro_F1_score值达到了0.7218,性能超过基线系统,获得了较好的实验结果.     

基于Word2Vec的情感词典自动构建与优化

情感词典的构建是文本挖掘领域中重要的基础性工作。近几年,情感词典的极性标注从二元褒贬标注向多元情绪标注发展,词典的领域特性也日趋明显。但是情感类别的手工标注不但费时费力,而且情感强度难以得到准确量化,同时对领域性的过分关注也大大限制了情感词典的适用性[1]。通过神经网络语言模型对大规模中文语料进行统计训练,并在此基础上提出了基于转换约束集的多维情感词典自动构建方法;然后研究了基于词分布密度的感情色彩消歧方法,对兼具褒贬意味词语的感情极性进行区分和识别,并分别计算两种感情色彩下的情感类别与强度;最后提出基于多个语义资源的全局优化方案,得到包含10种情绪标注的多维汉语情感词典SentiRuc。实验证实该词典¹⁾在类别标注检验、强度标注检验、情感消歧效果及情感分类任务中均具有良好的效果,其中的情感强度检验证实该词典具有极强的情感语义描述力。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

基于领域特有情感词注意力模型的跨领域属性情感分析

虽然近年来情感分析相关研究取得很大进展,但跨领域属性情感分析仍是一个挑战。现有的方法主要关注源领域和目标领域的共有信息,忽略了目标领域的特有信息。此外,情感词作为句子中的重要信息,不仅能反映属性的情感极性,而且可以被划分为共有情感词和特有情感词。针对目标领域的特有信息和情感词,该文提出领域特有情感词注意力模型(DSSW-ATT)。该模型设立两个独立的子空间,分别使用注意力机制提取共有情感词特征和特有情感词特征,并建立相应的共有特征分类器和特有特征分类器,同时使用协同训练方法融合这两种特征。该文还构建了酒店领域(源领域)和手机领域(目标领域)的属性级用户评论数据集。在该数据集上的实验结果表明,该方法明显优于基线方法。     

基于语义规则与RNN模型的在线评论情感分类研究

为提高互联网中在线评论文本的情感倾向分类准确率,方便消费者和商家准确高效地获取信息,该文提出一种将语义规则方法与深度学习方法相结合的在线评论文本情感分类模型,对基于情感词典的语义规则信息进行扩展,嵌入到常用特征模板中组合成更有效的混合特征模板;采用Fisher判别准则方法对混合特征模板进行降维以消除特征间的信息冗余;深度学习模型采用基于LSTM改进的RNN模型,将网络爬取的数据输入到模型进行训练和测试。结果表明,语义规则抽取出的特征包含更多、更准确的情感信息,使得混合特征模板可以更加全面地考虑文本的情感特征粒度;Fisher准则可有效识别出高判别性的低维文本特征,进一步提高改进RNN模型对评论文本的分类性能。     

基于情感词典的酒店评论情感分析与可视化

为研究高端酒店服务中的亮点和不足,分析酒店用户评论舆情,文章对高端酒店用户评论进行情感分析和可视化,提出酒店优势与改进策略。文章采用通用情感词典Hownet与酒店评论相关的评论领域专业词典相结合的方式构建领域情感词典。结合所构建的领域情感词典和其他特殊词典,比如短语词典、否定词词典和副词词典等进行情感分类,然后将分类完成的三个极性的情感词进行词频统计和词云绘制,最后根据词云结果,给出高端酒店在经营策略上的改进建议。     

基于交互式叠加注意力网络的实体属性情感分类

当上下文中单词的情感对给定属性敏感时,仅通过注意力建模无法解决情感分类性能下降的问题。提出一种基于交互式叠加注意力(Attention-Over-Attention,AOA)网络的属性级情感分类模型。模型在词向量层用BERT代替传统静态词向量表示;用LSTM分别提取属性和上下文中单词的隐藏语义;用AOA网络计算属性和上下文中每个单词的注意力权重;将权重与对应的隐藏语义状态做点积分别得到属性和上下文的最终特征表示,拼接两个特征表示用来分类。研究并分析模型中词向量和属性单独建模对情感分类结果的影响。实验表明,该模型较其他LSTM结合注意力机制的模型在准确率和F1值上都有显著提高。     

基于情感词抽取与LDA特征表示的情感分析方法

情感分析作为文本挖掘的一个新型领域,可用于分类、归纳用户发布的产品评论,从而有助于商家改善服务,提高产品质量;同时为其他消费者提供购买决策。本文提出一种基于情感词抽取与LDA特征表示的情感分析方法,对产品评论进行褒贬二元分类。在情感词抽取中,采用人工构造的情感词典对预处理之后的文本抽取情感词;用LDA模型建立文档的主题分布,以评论-主题分布作为特征,用SVM分类器进行分类。实验结果表明,本文方法在评论褒贬分类方面有着良好的效果。     

一种基于LDA主题模型的评论文本情感分类方法

针对互联网出现的评论文本情感分析,引入潜在狄利克雷分布(Latent Dirichlet allocation,LDA)模型,提出一种分类方法。该分类方法结合情感词典,依据指定的情感单元搭配模式,提取情感信息,包括情感词和上、下文。使用主题模型发掘情感信息中的关键特征,并融入到情感向量空间中。最后利用机器学习分类算法,实现中文评论文本的情感分类。实验结果表明,提出的方法有效降低了特征向量的维度,并且在文本情感分类上有很好的效果。     

文本情感倾向性分析

Aiming at the problem of manual annotation in the text sentiment analysis, a new method based on five tuple of appraisal expression is proposed. This  method just needs appropriate sentiment dictionary. The sentiment tendencies of comments are analyzed without lots of markup work. Through the combination of unsupervised and supervised learning methods to construct the evaluation thesaurus and evaluation object list; the extraction of appraisal expression is based on these lists, using linear chain conditional random fields model, which is in the chain of sentiment words. Finally, evaluation objects are divided into four categories and emotional words are divided into five types according to the relationship between semantic collocation, combined with the influence of sentence pattern, negative word and degree word on the sentiment analysis, a method of calculating the sentiment tendency of the text is put forward. Compared with other methods, this method based on the appraisal expression has obtained better F value, and it has a certain cross domain.     

基于图注意力神经网络的中文隐式情感分析

情感分析是自然语言处理领域的重要任务之一,情感分析任务包含显式情感分析和隐式情感分析。由于隐式情感不包含显式情感词语,情感表达更加委婉,所以面临更大的挑战。提出基于图注意力神经网络的隐式情感分析模型ISA-GACNN（Implicit Sentiment Analysis Based on Graph Attention Convolutional Neural Network）,构建文本和词语的异构图谱,使用图卷积操作传播语义信息,使用注意力机制计算词语对文本情感表达的贡献程度。针对多头注意力保存重复信息问题,使用注意力正交约束使得不同注意力存储不同的情感信息;针对情感信息分布不均的情况,提出注意力分值约束使模型关注部分重要词语。在隐式情感分析评测数据集上验证模型效果,所提出模型的[F]值达到91.7%,远高于文献中的基准模型;对注意力机制进行分析,验证了正交约束和分值约束的有效性。