融合位置注意力机制和改进BLSTM的食品评论情感分析

为了对食品评价的情感倾向进行更加精确的分类,在进行情感语义分析时,卷积神经网络(convolutional neural networks,CNN)方法在提取目标的结构特征方面具有一定的优势,可以提取到多种局部特征,循环神经网络(recurrent neural networks,RNN)具有记忆功能,在序列特征提取方面具有一定的优势,双向长短时记忆网络(bidirectional long short-term memory,BLSTM)在提取远距离依赖序列语义特征方面可以得到很好的效果。在BLSTM的基础上,又引入基于食品领域的语义角色标注与位置相结合的位置注意力机制,来实现距离相关的序列语义特征提取,利用CNN实现序列语义特征的情感语义分类,从而构造出了一种基于BLSTM和位置注意力机制的食品评论情感分析模型。实验结果表明,设计的模型在情感分类方面取得了很好的分类效果,与之前的情感分类模型进行比较,在准确率结果上有所提高。     

面向目标情感分析的双重图注意力网络模型

目标情感分析旨在分析评论文本中不同目标所对应的情感倾向。当前,基于图神经网络的方法使用依存句法树来融入依存句法关系,一方面,此类方法大多忽略了依存关系缺乏区分度的事实;另一方面,未考虑依存句法树提供的依存关系存在目标与情感词关系缺失的问题。为此,提出双重图注意力网络模型。该模型首先使用双向长短期记忆网络得到具有语义信息的词节点表示,然后根据依存句法树在词节点表示上构建句法图注意力网络,实现依存句法关系重要程度的区分,更有效地建立目标与情感词之间的关系,进而得到更准确的目标情感特征表示;同时根据句子的无向完全图构建全局图注意力网络来挖掘目标与情感词缺失的关系,进一步提升模型的性能。实验结果表明,与现有模型对比,双重图注意力网络模型在不同数据集上的准确率与宏平均F1值均取得了更好结果。     

基于注意力和双向LSTM的评价对象类别判定

在线评论在用户的购买决策中起到日益重要的作用,电商网站提供海量的用户评论,但是个体很难充分利用所有信息。因此,对这些评论进行分类、分析和汇总是很迫切的任务。首次提出一个基于注意力机制和双向LSTM(bi-directional long short-term memory,BLSTM)的模型来判定评论对象的类别,用于评论的分类。模型首先使用BLSTM对词向量形式的评论进行训练;然后根据词性为BLSTM的输出向量赋予相应权重,权重作为先验知识能指导注意力机制的学习;最后使用注意力机制捕捉与类别相关的重要信息用于类别判定。在SemEval数据集上进行了实验,结果表明,模型能有效提高评论对象类别判定的效果,优于其他算法。     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

基于MGCNN的商品评论情感分析

为了解决传统的深度学习模型会忽略语料库中全局词共现信息所包含的非连续和长距离语义的问题。本文提出记忆图卷积神经网络（MGCNN）引入注意力机制的商品评论情感分析方法。首先提取词与词、词与文档之间的关系,以全部的词和文档作为节点,将整个数据集构造成一个异构文本图。再基于图卷积网络（GCN）来构建用于图结构数据的神经网络,利用长短期记忆网络（LSTM）提取上下文相关特征,并使用注意力层获取重要特征。多组对比实验结果表明,本方法的分类效果更好,且随着训练集数据所占比例的降低,其优势更加显著。     

基于迁移学习的电力短文本情感分类研究

为了有效提高客服效率与主动服务意识,从电力短文本中挖掘客户的情感状态,提出了一种基于迁移学习的情感分析方法,将具有丰富标注信息的商品评论语料库作为源域,提高了目标域中的电力短文本的情感分类性能。在现有基于注意力机制的双向长短型记忆网络模型之上引入域适应层,以学习跨域知识并保留特定域的知识。实验结果表明,与其他算法相比较,该算法对电力短文本进行情感分类的效果优于非迁移学习方法,具有更好的分类性能。     

嵌入注意力机制并结合层级上下文的语音情感识别

由于情感语料问题、情感与声学特征之间关联问题、语音情感识别建模问题等因素,语音情感识别一直充满挑战性.针对传统基于上下文的语音情感识别系统仅局限于特征层造成标签层上下文细节丢失以及两层级差异性被忽略的缺陷,本文提出嵌入注意力机制并结合层级上下文学习的双向长短时记忆(BLSTM)网络模型.模型分3个阶段完成语音情感识别任务,第1阶段提取情感语音特征全集后采用SVM-RFE特征排序算法降维得到最优特征子集,并对其进行注意力加权;第2阶段将加权后的特征子集输入BLSTM网络学习特征层上下文获得最初情感预测结果;第3阶段利用情感标签值对另一独立BLSTM网络训练学习标签层上下文信息并据此在第2阶段输出结果基础上完成最终预测.模型嵌入注意力机制使其自动学习调整对输入特征子集的关注度,引入标签层上下文使其联合特征层上下文实现层级上下文信息融合提高鲁棒性,提升了模型对情感语音的建模能力,在SEMAINE和RECOLA数据集上实验结果表明:与基线模型相比RMSE和CCC均得到较好改善.     

基于MABM的消费者情感倾向识别模型——以电影评论为例

识别线上消费者群体评论的情感倾向,有助于优化平台推荐算法及提升服务质量,如何有效识别消费者情感倾向,是一个热门的研究选题。本文基于多头自注意力机制的双向长短期机制提出MABM(Multi-head self-Attention and Bidirectional long-short term Memory neural network)情感倾向识别模型,采用知名电影点评网站豆瓣点评在线评论数据作为语料,使用文本挖掘工具对数据进行预处理,以10个机器学习模型和4个深度学习模型为对照组,按照8:2划分训练集和测试集来验证对比评估MABM模型的有效性和稳健性。两组对比实验结果发现,深度神经网络模型预测效果整体优于机器学习模型,并且以MABM模型的分类效果最佳。MABM模型能够有效识别消费者评论的情感倾向,使推荐算法能有效结合消费者的心理行为,以获得更显著的营销效果。     

融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

基于自注意力与图卷积网络的方面级情感分析

针对以往大多数方面级情感分析研究中方面词与上下文交互信息缺失,无法充分利用语义信息等问题,提出一种基于自注意力与图卷积网络结合的方面级情感分析模型。为了提高模型的语义表示能力,一方面利用多头自注意力机制,获取文本长距离依赖关系,与依存关系类型矩阵结合,计算融合位置信息和关系类型信息的权重矩阵,输入图卷积网络获取文本特征表示;另一方面设计了文本-方面注意力层,增强方面与上下文的交互,输入图卷积网络获取方面特征表示;最后连接2个向量,完成情感分析任务。在2个开放数据集中,所提模型的整体性能优于其他对比模型。