一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究。文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类。AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出。实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8%,88.3%和91.3%;在多元情感分类语料库SSTb5上取得50.6%的准确率。     

基于注意力的多通道特征融合情感分析

为解决现今情感分析方法多利用单通道浅层的文本情感因素,不能获取词与词之间更深层语义联系的问题,提出一种基于注意力机制的多通道特征融合情感分析模型(triple channel BIGRU and attention model,Tri-BiGRU-Atten).结合词性特征、依存句法、位置信息3种不同语义特征混合建模,...     

基于自注意力机制的方面情感分类

基于方面的情感分类方法判断句子中给定实体或属性的情感极性。针对使用全局注意力机制计算属性词和句子其他词的注意力分数时,会导致模型关注到与属性词不相关的词,并且对于长距离的依赖词、否定词关注不足,不能检测到并列关系和短语的问题,提出了基于自注意力机制的语义加强模型（SRSAM）。该模型首先使用双向长短时记忆神经网络模型（bidirectional long short-term memory,BiLSTM）获取文本编码,其次用自注意力机制计算文本编码的多个语义编码,最后将属性词和语义编码交互后判断属性词在句中的情感极性。使用SemEval 2014数据集的实验表明,由于模型能发现长距离依赖和否定词,对并列关系和短语有一定检测效果,相比基础模型在分类精度上有0.6%~1.5%的提升。     

基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究

国内电商网站的快速发展促使产生大量的中文商品评论信息。对这些评论进行情感分类有利于获取其中的有用信息,具有重要的应用意义。目前,情感分类的研究主要基于情感词典或者传统机器学习。这些方法通常需要人工选取特征,费事费力,分类效果不好。针对这些不足,本文提出一种基于注意力机制的双向LSTM模型,对中文商品评论进行情感分类。实验结果表明,该模型在中文商品评论二分类任务和三分类任务中均获得了较好的准确率、召回率、F1值。     

自注意力机制的短文本分类方法

针对短文本信息量少导致隐藏的信息难以充分挖掘和深度学习模型易受干扰导致分类准确度下降的问题,提出一种融合对抗训练自注意力多层双向长短期记忆网络(Con-Att-BiLSTMs)短文本分类模型.将文本训练集按不同比例进行分类对抗训练,通过对抗训练提升模型的健壮性;利用多层双向长短期记忆网络对语义进行提取,利用自注意力机制...     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

情境特征及其在情感分类模型中的应用

研究情境特征在文本分类中的作用,提出了一种层级双向LSTM模型用于情感分类问题。该模型首先将句子分词,把词向量作为第一层双向LSTM模型的输入;其次从文档中提取出稠密、连续的向量作为情境特征;然后将第一层模型的输出向量和情境向量共同输入第二层双向LSTM;最后将这种层级双向的LSTM模型的输出向量通过sigmoid函数进行分类。情境向量作用于每个句子,一致的情感得到增强,不一致的情感被弱化,从而提高了分类的精度。在两个公开数据集上的实验表明,整合了情境特征的层级双向LSTM取得较优的精度。除此之外,通过在一个包含两万余条中文评论的公开数据集上对模型进行测试,表明该模型测试正确率相比于普通的LSTM和双向LSTM都有提升,说明情境特征对于提升情感分类的作用比较显著。     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据.结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况.使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid...     

用于情感分类的双向深度LSTM

对商品、电影等的评论的体现人们对商品的喜好程度,从而为意向购买该商品的人提供参考,也有助于商家调整橱窗货品以取得最大利润。近年来,深度学习在文本上强大的表示和学习能力为理解文本语义、抓取文本所蕴含的情感倾向提供了极好的支持,特别是深度学习中的长短记忆模型(Long Short-Term Memory,LSTM)。评论是一种时序数据形式,通过单词前向排列来表达语义信息。而LSTM恰好是时序模型,可以前向读取评论,并把它编码到一个实数向量中,该向量隐含了评论的潜在语义,可以被计算机存储和处理。利用两个LSTM模型分别从前、后两个方向读取评论,从而获取评论的双向语义信息;再通过层叠多层双向LSTM来达到获取评论深层特征的目的;最后把这个模型放到一个情感分类模型中,以实现情感分类任务。实验证明,该模型相对基准LSTM取得了更好的实验效果,这表示双向深度LSTM能抓取更准确的文本信息。将双向深度LSTM模型和卷积神经网络(Convolutional Neural Network,CNN)进行实验对比,结果表明双向深度LSTM模型同样取得了更好的效果。     

基于多通道BERT的跨语言属性级情感分类方法

属性级情感分类是情感分析领域中一个细粒度的情感分类任务,旨在判断文本中针对某个属性的情感极性.现有的属性级情感分类方法大多是使用同一种语言的标注文本进行模型的训练与测试,而现实中很多语言的标注文本规模并不足以训练一个高性能的模型,因此跨语言属性级情感分类是一个亟待解决的问题.跨语言属性级情感分类是指利用源语言文本的语义...     

基于Bi-tagged特征的维吾尔文情感分类方法研究

现有的维吾尔文文本情感分类方法以从空格分词中得到的unigram特征作为文本表示,因而无法挖掘与情感表达相关的深层语言现象。该文从维吾尔文词汇之间的顺序依赖关系入手,总结若干个词性组合规则,提取能够表达丰富情感信息的Bi-tagged特征,并基于支持向量机(SVM)分类器对维吾尔文情感语料库进行了正负情感分类。实验结果表明,在维吾尔文文本情感分类中: (1)当包含该文提出的各项词性规则时,Bi-tagged特征的性能最优;(2)Bi-tagged特征不仅能够提取情感丰富的信息,而且可以提取否定信息;(3)与常用的unigram、bigram特征以及unigram和bigram的组合特征在该文数据集上的分类效果相比,该文所提取的Bi-tagged与unigram的组合特征分类效果更佳,比该文的Baseline的分类准确率提高了4.225%。该研究成果不但可以进一步提高维吾尔文文本情感分类效率,也可为哈萨克语、柯尔克孜语等亲属语言的情感分类提供借鉴。     

基于自注意力机制的点云分类分割

3D点云由于其无序性以及缺少拓扑信息使得点云的分类与分割仍具有挑战性.针对上述问题,我们设计了一种基于自注意力机制的3D点云分类算法,可学习点云的特征信息,用于目标分类与分割.首先,设计适用于点云的自注意力模块,用于点云的特征提取.通过构建领域图来加强输入嵌入,使用自注意力机制进行局部特征的提取与聚合.最后,通过多层感知机以及解码器-编码器的方式将局部特征进行结合,实现3D点云的分类与分割.该方法考虑了输入嵌入时单个点在点云中的局部语境信息,构建局部长距离下的网络结构,最终得到的结果更具区分度.在ShapeNetPart、RoofN3D等数据集上的实验证实所提方法的分类与分割性能较优.     

基于多通道Bi-GRU和损失再平衡的不平衡样本情感分类研究

通常情感分类模型都假定数据集中各类别样本数之间处于平衡状态,实际上数据集中不同类别样本间并不平衡.当样本间存在样本类别不平衡问题时,会导致训练结果偏向多数类样本,少数类样本分类精度不高.另外,在训练过程中,新加入样本存在贡献衰减问题,这将导致新样本对情感分类的效果影响降低,从而影响最终分类效果.针对以上问题,该文提出一...     

ELMo-CNN-BiGRU双通道文本情感分类模型

文本情感分类通过对带有情感色彩的主观性文本进行分析和推理,帮助用户更好地做出判断与决策。针对传统情感分类模型难以根据上下文信息调整词向量的问题,提出一种双通道文本情感分类模型。利用ELMo和Glove预训练模型分别生成动态和静态词向量,通过堆叠嵌入2种词向量生成输入向量。采用自注意力机制处理输入向量,计算内部的词依赖关系。构建融合卷积神经网络（CNN）和双向门控递归单元（BiGRU）的双通道神经网络结构,同时获取文本局部特征和全局特征。最终将双通道处理结果进行拼接,经过全连接层处理后输入分类器获得文本情感分类结果。实验结果表明,与同类情感分类模型中性能较优的H-BiGRU模型相比,ELMo-CNN-BiGRU模型在IMDB、yelp和sentiment140数据集上的准确率和F1值分别提升了2.42、1.98、2.52和2.40、1.94、2.43个百分点,具有更好的短文本情感分类效果和稳定性。     

基于情感词向量的微博情感分类

该文提出了一种基于情感词向量的情感分类方法。词向量采用连续实数域上的固定维数向量来表示词汇,能够表达词汇丰富的语义信息。词向量的学习方法,如word2vec,能从大规模语料中通过上下文信息挖掘出潜藏的词语间语义关联。本文在从语料中学习得到的蕴含语义信息的词向量基础上,对其进行情感调整,得到同时考虑语义和情感倾向的词向量。对于一篇输入文本,基于情感词向量建立文本的特征表示,采用机器学习的方法对文本进行情感分类。该方法与基于词、N-gram及原始word2vec词向量构建文本表示的方法相比,情感分类准确率更高、性能和稳定性更好。     

情感分类研究进展

文本情感分析是多媒体智能理解的重要问题之一.情感分类是情感分析领域的核心问题,旨在解决评论情感极性的自动判断问题.由于互联网评论数据规模与日俱增,传统基于词典的方法和基于机器学习的方法已经不能很好地处理海量评论的情感分类问题.随着近年来深度学习技术的快速发展,其在大规模文本数据的智能理解上表现出了独特的优势,越来越多的研究人员青睐于使用深度学习技术来解决文本分类问题.主要分为2个部分：1)归纳总结传统情感分类技术,包括基于字典的方法、基于机器学习的方法、两者混合方法、基于弱标注信息的方法以及基于深度学习的方法;2)针对前人情感分类方法的不足,详细介绍所提出的面向情感分类问题的弱监督深度学习框架.此外,还介绍了评论主题提取相关的经典工作.最后,总结了情感分类问题的难点和挑战,并对未来的研究工作进行了展望.     

一种基于自注意力机制的用户评论情感分类方法

近年来,用户评论情感分类方法成为自然语言处理领域的重要研究内容.本文利用自注意力机制在文本中捕捉重要局部特征的优势,在没有外部语法信息的条件下自动学习上下文关系,并结合卷积神经网络模型TextCNN,提出一种基于自注意力机制的文本分类模型(TextCNN Attention,TextCNN-Att),TextCNN-A...