多注意力层次神经网络文本情感分析

在文本情感分析研究中,一条评论分别包含了篇章级、句子级和词语级等不同粒度的语义信息,而不同的词和句子在情感分类中所起的作用也是不同的,直接使用整条评论进行建模的情感分析方法则过于粗糙,同时也忽略了表达情感的用户信息和被评价的产品信息。针对该问题,提出一种基于多注意力机制的层次神经网络模型。该模型分别从词语级别、句子级别和篇章级别获取语义信息,并分别在句子级和篇章级引入基于用户和商品的注意力机制来计算不同句子和词的重要性。最后通过三个公开数据集进行测试验证,实验结果表明,基于多注意力层次神经网络的文本情感分析方法较其他模型性能有显著的提升。     

基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。     

融合注意力机制和CNN-GRNN模型的读者情绪预测

针对主流面向文本的读者情绪预测算法难以捕捉文本中复杂的语义和语法信息,以及局限于使用多标签分类方法的问题,提出一种融合注意力机制和卷积门限循环神经网络的读者情绪预测方法。该方法将文本划分为多个句子,利用卷积神经网络从每个句子中提取不同粒度的n-gram信息,构建句子级别的特征表示;然后通过门限循环神经网络顺序地集成这些句子特征,并利用注意力机制自适应地感知上下文信息提取影响读者情绪的文本特征;最后利用softmax回归进行细粒度的读者情绪分布预测。在雅虎新闻读者情感分析数据集上的实验结果证明了该方法的有效性。     

基于注意力机制与情感的多通道RCNN和ON-LSTM模型

近年来在方面级情感分析任务上,基于卷积神经网络和循环神经网络的模型取得了不错的效果,但仍存在着文本长距离依赖问题.有序神经元长短时记忆(ON-LSTM)可建模句子的层级结构,解决文本长距离依赖问题,但会忽略文本局部特征.区域卷积神经网络(RCNN)能提取文本不同区域的局部特征,却无法有效提取文本的上下文语义,而且现有模型均未考虑到情感词与句子上下文的联系.针对这些问题,本文提出一种基于注意力机制与情感的多通道RCNN和ON-LSTM的神经网络模型(MCRO-A-S).首先,向上下文词向量中融入情感特征向量,弥补仅使用上下文词向量作为模型输入的不足.其次,结合RCNN模型提取文本局部特征与ON-LSTM模型提取文本上下文语义信息的优势,可有效提高模型特征提取能力.最后,利用注意力机制融合语义信息,给予情感词更多的关注.在SemEval 2014两个数据集和Twitter数据集上验证模型的有效性,取得了比其他模型更好的分类效果.     

字词融合的双通道混合神经网络情感分析模型

针对双向门控循环神经网络(BiGRU)无法获取文本局部特征,卷积神经网络(CNN)无法聚焦文本全局特征的问题,提出一种字词融合的双通道混合神经网络文本情感分析模型(CW_BGCA).首先,将文本分别用字符级词向量和词语级词向量表示;然后使用门控循环神经网络和卷积神经网络结合的混合神经模型分别从字向量和词向量中提取隐层特征,并分别引入注意力机制进行特征权重分配;最后将双通道网络提取的特征融合,输入到Softmax函数进行分类.在数据集上进行了多组实验验证,该方法取得了93.15%的F1值、93.47%的准确率,优于其他对照模型.试验结果表明,该模型能够有效的提高文本情感分析的性能.     

融合多特征的分段卷积神经网络对象级情感分类方法

对象级情感分类旨在判断句子中特定对象的情感极性类别。在现有基于卷积神经网络的研究中,常在模型的池化层采用最大池化操作提取文本特征作为句子表示,该操作未考虑由对象所划分的上下文,因此无法得到更细粒度的对象上下文特征。针对该问题,该文提出一种融合多特征的分段卷积神经网络(multi-feature piecewise convolution neural network,MP-CNN)模型,根据对象将句子划分为两个部分作为上下文,并在池化层采用分段最大池化操作提取上下文特征。此外,该模型还将有助于情感分类的多个辅助特征融入其中,如词的相对位置、词性以及词在情感词典中的情感得分,并通过卷积操作计算词的注意力得分,有效判断对象的情感极性类别。最后在SemEval 2014数据集和Twitter数据集的实验中,取得了较基于传统机器学习、基于循环神经网络以及基于单一最大池化的卷积神经网络分类模型更好的分类效果。     

基于字符级双通道复合网络的中文文本情感分析

针对传统卷积神经网络（CNN）缺乏句子体系特征的表示,以及传统双向门限循环神经网络（BiGRU）缺乏提取深层次特征能力。以中文文本为研究对象,在字符级词向量的基础上提出双通道的CNN-BiGRU复合网络,同时引入注意力机制的模型进行情感分析。首先,在单通道上利用CNN提取深层次短语特征,利用BiGRU提取全局特征的能力深度学习短语体系特征,从而得到句子体系的特征表示;再通过增加注意力层进行有效特征筛选;最后,采用双通道结构的复合网络,丰富了特征信息,加强了模型的特征学习能力。在数据集上进行多组对比实验,该方法取得92.73%的◢F◣1值结果优于对照组,说明了提出的模型能有效地提高文本分类的准确率。同时在单句测试上量化出模型优势,且实现了模型的实际应用能力。     

一种基于联合深度神经网络的食品安全信息情感分类模型

针对因中文食品安全文本特征表达困难,而造成语义信息缺失进而导致分类器准确率低下的问题,提出一种基于深度神经网络的跨文本粒度情感分类模型。以食品安全新闻报道为目标语料,采用无监督的浅层神经网络初始化文本的词语级词向量。引入递归神经网络,将预训练好的词向量作为下层递归神经网络(Recursive Neural Network)的输入层,计算得到具备词语间语义关联性的句子特征向量及句子级的情感倾向输出,同时动态反馈调节词向量特征,使其更加接近食品安全特定领域内真实的语义表达。然后,将递归神经网络输出的句子向量以时序逻辑作为上层循环神经网络(Recurrent Neural Network)的输入,进一步捕获句子结构的上下文语义关联信息,实现篇章级的情感倾向性分析任务。实验结果表明,联合深度模型在食品安全新闻报道的情感分类任务中具有良好的效果,其分类准确率和F1值分别达到了86.7%和85.9%,较基于词袋思想的SVM模型有显著的提升。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

用于短文本情感分类的多头注意力记忆网络

随着社交网络的发展,对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类,短文本情感分类需要挖掘隐含的情感语义特征,具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征,提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先,利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进,以对文本上下文内联关系进行充分提取,使模型可以获得更丰富的文本特征信息。然后,利用多头注意力机制对多跳记忆网络的结构进行优化,使得在拓展模型深度的同时,挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明,与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比,所提MAMN取得了较优的分类效果,验证了多跳结构对于性能改善的重要作用。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

上下文感知的树递归神经网络下隐式情感分析

针对现有的序列化模型对中文隐式情感分析中特征信息提取不准确以及对篇章级的文本信息提取存在的梯度爆炸或者梯度消失的问题,提出了双向长短时神经网络和上下文感知的树形递归神经网络(context-aware tree recurrent neutral network,CA-TRNN)的并行混合模型.该模型分别利用双向循环长...     

基于图卷积网络的客服对话情感分析

随着电力业务的发展,客服环节时刻产生着大量的数据,然而传统对话数据情感检测方法对于客服质量检测的手段存在着诸多的问题和挑战.本文根据词语出现的排列和定位构建字图,对整个语句进行非连续长距离的语义建模;并针对文档不同组成部分之间的关系,对语句上下文之间的交互依赖或自我依赖关系进行建模;最后通过卷积神经网络对所构建的图进行...     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于情感评分的分层文本表示情感分类方法

文本中的词并非都具有相似的情感倾向和强度,较好地编码上下文并从中提取关键信息对于情感分类任务而言非常重要。为此,提出一种基于情感评分的分层注意力网络框架,以对文本情感进行有效分类。利用双向循环神经网络编码器分别对词向量和句向量进行编码,并通过注意力机制加权求和以获得文档的最终表示。设计辅助网络对文本的词、句进行情感评分,利用该评分调整注意力权重分布。在探究文本的情感信息对分类性能的影响后,通过辅助网络进一步促使模型关注情感色彩强烈的信息。在4个常用情感分类数据集上的实验结果表明,该框架能够关注文本中的情感表达并获得较高的分类准确率。