基于LSTM的商品评论情感分析

随着电子商务的发展,产生了大量的商品评论文本.针对商品评论的短文本特征,基于情感词典的情感分类方法需要大量依赖于情感数据库资源,而机器学习的方法又需要进行复杂的人工设计特征和提取特征过程.本文提出采用长短期记忆网络（Long Short-Term Memory）文本分类算法进行情感倾向分析,首先利用Word2vec和分词技术将评论短文本文本处理为计算机可理解的词向量传入LSTM网络并加入Dropout算法以防止过拟合得出最终的分类模型.实验表明：在基于深度学习的商品评论情感倾向分析中,利用LSTM网络的短时记忆独特特征对商品评论的情感分类取得了很好的效果,准确率达到99%以上.     

基于变分自编码的半监督微博文本情感分析

针对微博文本情感分析中大量有标记数据难获取,以及文本特征学习不完全的问题,提出将长短时记忆网络(Long Short-Term Memory,LSTM)及其衍生模型双向长短时记忆网络(Bi-LSTM)引入变分自编码生成模型,构建基于变分自编码的半监督文本分类模型.其中LSTM作为变分编码器中的编码器和解码器,Bi-LSTM作为分类器.分类器既为编码器提供标签信息共同生成隐变量,也与隐变量通过解码器共同重构数据,利用无标记数据的有用信息提高分类器的性能.与其他方法在同一公开数据集上对比的实验结果表明,该模型的分类效果更好.     

用于情感分类的双向深度LSTM

对商品、电影等的评论的体现人们对商品的喜好程度,从而为意向购买该商品的人提供参考,也有助于商家调整橱窗货品以取得最大利润。近年来,深度学习在文本上强大的表示和学习能力为理解文本语义、抓取文本所蕴含的情感倾向提供了极好的支持,特别是深度学习中的长短记忆模型(Long Short-Term Memory,LSTM)。评论是一种时序数据形式,通过单词前向排列来表达语义信息。而LSTM恰好是时序模型,可以前向读取评论,并把它编码到一个实数向量中,该向量隐含了评论的潜在语义,可以被计算机存储和处理。利用两个LSTM模型分别从前、后两个方向读取评论,从而获取评论的双向语义信息;再通过层叠多层双向LSTM来达到获取评论深层特征的目的;最后把这个模型放到一个情感分类模型中,以实现情感分类任务。实验证明,该模型相对基准LSTM取得了更好的实验效果,这表示双向深度LSTM能抓取更准确的文本信息。将双向深度LSTM模型和卷积神经网络(Convolutional Neural Network,CNN)进行实验对比,结果表明双向深度LSTM模型同样取得了更好的效果。     

基于用户兴趣词典和LSTM的个性化情感分类方法

微博是一个可以分享生活、发表看法、发泄情感的社交平台,由于数据量大且易于获取,微博数据已被广泛用于网络用户情感分析.传统对微博进行情感预测的研究没有考虑用户的用词喜好、语言风格等个性化因素的影响,使得情感分类结果的准确性不高.首先通过分析用户兴趣特征构建用户兴趣词典,在此基础上提出基于用户兴趣词典的情感分类模型;然后利用长短期记忆网络(Long Short-Term Memory,LSTM)分类准确性高的特点训练一个通用的LSTM分类模型;最后利用支持向量机融合不同模型以得到最终的情感分类结果.实验结果表明,与支持向量机、朴素贝叶斯等传统分类器相比,基于用户兴趣词典与LSTM的个性化情感分类方法在分类精度上有较大提升;与LSTM、循环神经网络等深度学习方法相比,该方法在保证运行效率的前提下能获得更高的分类精度.     

基于语义规则与RNN模型的在线评论情感分类研究

为提高互联网中在线评论文本的情感倾向分类准确率,方便消费者和商家准确高效地获取信息,该文提出一种将语义规则方法与深度学习方法相结合的在线评论文本情感分类模型,对基于情感词典的语义规则信息进行扩展,嵌入到常用特征模板中组合成更有效的混合特征模板;采用Fisher判别准则方法对混合特征模板进行降维以消除特征间的信息冗余;深度学习模型采用基于LSTM改进的RNN模型,将网络爬取的数据输入到模型进行训练和测试。结果表明,语义规则抽取出的特征包含更多、更准确的情感信息,使得混合特征模板可以更加全面地考虑文本的情感特征粒度;Fisher准则可有效识别出高判别性的低维文本特征,进一步提高改进RNN模型对评论文本的分类性能。     

基于Bi-LSTM的财金文本情感分类研究

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络(Bi-LSTM)模型。利用双向循环长短时记忆神经网络(Bi-LSTM)提取文本的上下文信息;然后,对已提取的上下文特征利用LSTM进行局部语义特征提取;最后,采用语法规则,构建情感分类器。通过与RNN、Bi-LSTM等单一模型对比。实验结果表明,多层LSTM结构相比传统RNN(循环神经网络)的ROUGE(语义恢复度)值更高,具有较好的学习能力。     

融合语法规则的双通道中文情感模型分析

针对使用中文文本进行情感分析时,忽略语法规会降低分类准确率的问题,提出一种融合语法规则的双通道中文情感分类模型CB_Rule。首先设计语法规则提取出情感倾向更加明确的信息,再利用卷积神经网络（CNN）的局部感知特点提取出语义特征;然后考虑到规则处理时可能忽略上下文的问题,使用双向长短时记忆（Bi-LSTM）网络提取包含上下文信息的全局特征,并对局部特征进行融合补充,从而完善CNN模型的情感特征倾向信息;最后将完善后的特征输入到分类器中进行情感倾向判定,完成中文情感模型的构建。在中文电商评论文本数据集上将所提模型与融合语法规则的Bi-LSTM中文情感分类方法R-Bi-LSTM以及融合句法规则和CNN的旅游评论情感分析模型SCNN进行对比,实验结果表明,所提模型在准确率上分别提高了3.7个百分点和0.6个百分点,说明CB_Rule模型具有很好的分类效果。     

基于注意力与Bi-LSTM混合算法的车企舆情情感分析

随着大数据时代的来临,网络舆情对消费者情感分析和商家营销策略产生重大影响。如何利用大数据技术提高车企舆情情感分析效能,受到文本挖掘研究者广泛关注。针对传统RNN在长文本分类中的长期依赖问题,提出了一种注意力机制与Bi-LSTM结合的混合分类算法(At-Bi-LSTM)。算法利用BiLSTM分析车企网络评论的情感,引入注意力机制计算不同单词对评论情感的贡献权重,降低长文本中无关词对分类结果的影响。实验证明,At-Bi-LSTM算法在车企舆情情感分类上取得了比朴素贝叶斯、SVM、LSTM更好的分类效果。     

基于深度学习的商品评论情感分类

近年来,随着互联网技术的进步,我国电子商务也有了快速的发展,越来越多的人选择网络购物,顾客利用互联网平台对所购产品进行文字评价或数字评分已成为一种常态。商品评论的情感分类是获取顾客对该商品直接反馈的一个重要方式。现阶段,在情感分类研究中最常用的是基于机器学习和情感词典的传统方法,但这些方法都存在一些不足之处。因此,本文主要采用深度学习中的LSTM网络对某品牌电视的评论进行模型构建与数据分析,并与基于机器学习的SVM方法进行对比分析。     

融合关键对象识别与深层自注意力的Bi-LSTM情感分析模型

在线评论文本通常涉及多个评价对象,对象的表达方式有显式和隐式之分,针对不同对象的情感倾向可能不会完全一致.关键评价对象是评论中最受关注的对象,其相应的情感语义对整条评论的情感观点起主导作用.本文构建了融合关键对象识别与深层自注意力机制的Bi-LSTM模型,以提升短文本情感分类的效果.使用CNN处理文本,基于卷积层输出结果识别关键评价对象,并在此基础上完成深层自注意力的学习.将对象信息与文本信息进行融合,利用注意力机制强化的Bi-LSTM模型得到评论文本的情感分类结果.在酒店评论数据集上进行实验,与之前基于深度学习的模型相比,本文方法在精确率、召回率和F-score评价指标方面均有更好的表现.     

面向BSP-CNN的短文本情感倾向性分类研究

针对消费短文本评论中的情感倾向性分类问题,提出了一种BSP-CNN混合神经网络模型。模型先使用双向简单循环单元（BiSRU）对数据进行特征表示,再使用逐点卷积神经网络（P-CNN）进一步学习语义特征,并输出情感倾向性分类结果。实验结果表明,与传统的长短期记忆神经网络（LSTM）和卷积神经网络（CNN）相比,BSP-CNN混合神经网络模型有效简化了计算,缩短了运行时间,并且在不同大小和不同文本长度的数据集上均能取得更高的F1值。     

基于Transformer模型的商品评论情感分析

该文通过研究商品评论正、负向情感识别任务,基于Transformer模型,提出了一种结合多头自注意力层和卷积层的神经网络模型,其中多头自注意力层丰富了词语之间的关联关系,卷积操作进行特征的再提取和融合。通过和双向长期时记忆网络(bidirectional long short-term memory networks, BILSTM)、基于注意力机制的BILSTM网络、文本卷积神经网络(text convolutional neural networks, TEXTCNN)进行对比,实验证明,该文提出的模型在商品评论情感分类任务的最高准确率分别提高了4.12%、1.47%、1.36%,同时训练用时也大大缩减。     

基于本体特征的影评细粒度情感分类

针对中文影评情感分类中缺少特征属性及情感强度层面的粒度划分问题,提出一种基于本体特征的细粒度情感分类模型。首先,利用词频逆文档频率（TF-IDF）和TextRank算法提取电影特征,构建本体概念模型。其次,将电影特征属性和普鲁契克多维度情绪模型与双向长短时记忆网络（Bi-LSTM）融合,构建了在特征粒度层面和八分类情感强度下的细粒度情感分类模型。实验中,本体特征分析表明：观影人对故事属性关注度最高,继而是题材、人物、场景、导演等特征;模型性能分析表明：基于特征粒度和八分类情感强度,与应用情感词典、机器学习、Bi-LSTM网络算法在整体粒度和三分类情感强度层面的其他5个分类模型相比,该模型不仅有较高的F1值（0.93）,而且还能提供观影人对电影属性的情感偏好和情感强度参考,实现了中文影评更细粒度的情感分类。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题：模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了一种基于多通道特征和自注意力的双向LSTM情感分类方法（MFSA-BiLSTM）,该模型对情感分析任务中现有的语言知识和情感资源进行建模,形成不同的特征通道,并使用自注意力重点关注加强这些情感信息.MFSA-BiLSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,且不依赖人工整理的情感词典.另外,在MFSA-BiLSTM模型的基础上,针对文档级文本分类任务提出了MFSA-BiLSTM-D模型.该模型先训练得到文档的所有的句子表达,再得到整个文档表示.最后,对5个基线数据集进行了实验验证.结果表明：在大多数情况下,MFSA-BiLSTM和MFSA-BiLSTM-D这两个模型在分类精度上优于其他先进的文本分类方法.     

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术（Bidirectional Encoder Representations from Transformers,BERT）的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型（Multi-level Convolutional Neural Network,MCNN）,该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。     

多特征混合模型文本情感分析方法

近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络（TextCNN）最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模型（BiLSTM-MFCNN）的文本情感分析方法。该方法使用双向长短记忆网络（BiLSTM）学习文本的长期依赖关系;改进TextCNN的卷积层和池化层提出多特征卷积神经网络（MFCNN）,卷积层利用五种不同的卷积算法,分别从句子维度、整个词嵌入维度、单个词嵌入维度、相邻词向量维度和单个词向量维度提取文本的语义特征,池化层利用最大池化算法和平均池化算法,获取文本的情感特征。在中文NLPCC Emotion Classification Challenge和COAE2014数据集、英文Twitter数据集进行对比实验,实验结果表明该混合模型在文本情感分析任务中能够取得更好的效果。     

情境特征及其在情感分类模型中的应用

研究情境特征在文本分类中的作用,提出了一种层级双向LSTM模型用于情感分类问题。该模型首先将句子分词,把词向量作为第一层双向LSTM模型的输入;其次从文档中提取出稠密、连续的向量作为情境特征;然后将第一层模型的输出向量和情境向量共同输入第二层双向LSTM;最后将这种层级双向的LSTM模型的输出向量通过sigmoid函数进行分类。情境向量作用于每个句子,一致的情感得到增强,不一致的情感被弱化,从而提高了分类的精度。在两个公开数据集上的实验表明,整合了情境特征的层级双向LSTM取得较优的精度。除此之外,通过在一个包含两万余条中文评论的公开数据集上对模型进行测试,表明该模型测试正确率相比于普通的LSTM和双向LSTM都有提升,说明情境特征对于提升情感分类的作用比较显著。     

基于文本筛选和改进BERT的长文本方面级情感分析

方面级情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中,由于长文本存在的冗余和噪声问题,导致现有的方面级情感分析算法对于长文本中方面相关信息的特征提取不够充分,分类不精准;而在方面分层为粗粒度和细粒度方面的数据集上,现有的解决方案没有利用粗粒度方面中的信息。针对以上问题,提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句;然后将部分语句按次序进行组合,并与细粒度方面相结合输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取;最后使用Softmax进行情感分类。通过与基于卷积神经网络（CNN）的GCAE（Gated Convolutional Network with Aspect Embedding）、基于LSTM的交互式注意力模型（IAN）等经典模型相比,该算法在验证集上的相关评价指标分别提高了3.66%和4.59%,与原始BERT模型相比提高了0.58%。实验结果表明,基于文本筛选和改进BERT的算法在长文本方面级情感分析任务中具有较大的价值。