基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

基于改进BERT-BiGRU模型的文本情感分类研究

针对目前网络评论文本情感分类准确性不高的问题,提出一种基于BERT和双向门控循环单元（BiGRU）的改进模型,使用能够表征文本丰富语义特征的BERT模型进行词向量表示,结合能够长期保留文本上下文关联信息的BiGRU神经网络提高模型的分类效果,并在此基础上引入注意力机制,突出文本中更能表达分类结果的情感词权重,提高情感分类的准确率。将上述模型分别在Acllmdb＿v1和酒店评论两个公开数据集上进行测试,实验结果表明,该模型在中、英文文本情感分类任务中都获得了良好的性能。     

基于对抗双向GRU网络的跨语言情感分类方法

为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成对抗网络缩小中英文向量特征分布之间的差距;通过情感分类器进行情感分类。实验结果分析表明,该方法有效地提升了跨语言情感分类的准确率。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。     

基于激活-池化增强BERT模型的在线课程评论情感分析

分析在线课程评论中蕴含的情感对理解学习者状态变化、改进课程质量具有重要意义.依据课程评论的特征,提出一种激活-池化增强的BERT情感分析模型.构建BERT情感分析预训练模型来编码评论文本中分句内词语上下文语义和分句间逻辑关系;设计激活函数层和最大-平均池化层解决BERT模型在课程评论情感分析中存在的过拟合问题;通过新增的情感分类层对在线课程评论进行情感正负极性分类.实验结果表明,激活-池化增强的BERT模型准确率和AUC值与原始BERT模型相比分别提升了约5.5％和5.8％.     

基于深度神经网络的个性化混合商品推荐模型

针对推荐系统广泛采用的协同过滤算法存在的稀疏性和冷启动问题,提出了一种基于深度神经网络和动态协同滤波的推荐模型.该模型采用预训练BERT模型结合双向GRU从用户和商品评论中提取隐含特征向量,利用耦合CNN构建评分预测矩阵,通过动态协同滤波融入用户兴趣变化的时间特征.在亚马逊公开数据集上进行实验,结果表明该模型提高了商品评分预测的准确性.     

融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究

文本情感分析作为自然语言处理领域的一大分支,具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取,提取后的特征信息经过融合送入双向 GRU 中,结合注意力机制获得文本的上下文情感特征,最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征,在模型的基础上引入Maxout神经元,解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验,实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。     

面向深度学习网络的细粒度商品评价分析

利用BERT预训练模型的优势,将句法特征与BERT词嵌入模型融入到深度学习网络中,实现细粒度的商品评价分析。提出一种基于深度学习的两阶段细粒度商品评价情感分析模型,利用融合句法特征与BERT词嵌入的BILSTM-CRF注意力机制模型提取用户评论中的商品实体、属性与情感词;运用BILSTM模型对提取的结果进行情感分析。在SemEval-2016 Task 5和COAE Task3商品评价数据集上的特征提取F1值达到88.2%,分别高出BILSTM模型、BILSTM-CRF模型4.8个百分点、2.3个百分点;情感分类精度达到88.5%,比普通的RNN高出8个百分点,比支持向量机、朴素贝叶斯等传统机器学习方法高出15个百分点。通过模型的复杂度分析,进一步证明融合句法特征与BERT词嵌入后的深度学习模型,在细粒度商品评价情感分析上的优势。     

基于BERT和LDA模型的酒店评论文本挖掘

通过主题模型对酒店评论文本进行文本挖掘,有利于引导酒店管理者和客户对评论信息做出合适的鉴别和判断。提出一种基于预训练的BERT语言模型与LDA主题聚类相结合的方法;利用中文维基百科语料库训练BERT模型并从中获取文本向量,基于深度学习算法对评论文本进行情感分类;通过LDA模型对分类后的文本进行主题聚类,分别获取不同情感极性文本的特征主题词,进而挖掘出酒店客户最为关注的问题,并对酒店管理者提出具有参考价值的建议。实验结果表明,通过BERT模型获取的文本向量在情感分类任务中表现较好,且BERT-LDA文本挖掘方法能使酒店评论文本的主题更具表达性。     

基于BERT-BiGRU集成学习的情感语义识别

如今,在社交网络上发表评论已成为公众对社会现象表达态度和立场的主要方式。精准识别社交文本的情感倾向性对于舆情管控、社会维稳等有重要价值。针对传统情感识别模型大多集中于评论的表层语义挖掘,存在分类效果不佳、泛化能力有限等问题,提出了一种基于BERT-BiGRU多模集成学习的深层情感语义识别方法。首先,通过BERT预训练模型获取评论文本的上下文语义特征表示,再结合BiGRU提取深层非线性特征向量,实现单模型下的最优效果;接着,为了使模型效果稳定且多方面表现均衡,基于BERT系列预训练模型训练出表现优异且具有差异化的多个情感分类器;最后,利用数据扰动和投票策略的集成学习方法,实现各模型深层特征的充分融合。实验结果显示:BERT-BiGRU模型相较于其他传统模型,在两个公开数据集(COV19和ChnSenti)上具有更优的情感识别效果。     

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术（Bidirectional Encoder Representations from Transformers,BERT）的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型（Multi-level Convolutional Neural Network,MCNN）,该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。     

基于情感特征的新冠肺炎疫情舆情演化分析

针对突发事件的舆情演变态势进行分析,发现社会舆情的演变规律,提出了一种基于情感特征的舆情演化分析方法,该方法包含舆论情感分析模块与舆情演化分析模块.舆论情感分析模块基于B E RT预训练模型和BiGRU模型,其中BERT作为词嵌入模型提取舆情文本特征向量,BiGRU则用于提取文本特征向量的上下文联系实现对舆情数据情感极...     

ABAFN：面向多模态的方面级情感分析模型

随着互联网的不断发展,面向电商产品的用户评论日益增加。研究这些用户评论的情感导向,对于指导产品的更新迭代具有重要意义。以往的方面级情感分析任务通常只涉及文本模态,然而用户的评论数据一般不仅包括纯文本,还包括大量的图文数据。针对这种包括文本和图片的多模态数据,提出了一种新的方面级多模态情感分析模型ABAFN（aspect-based attention and fusion network）。模型结合预训练语言模型BERT和双向长短时记忆网络来获得文本和方面词的上下文表示,同时利用预训练残差网络ResNet提取图片特征生成视觉表示;利用注意力机制基于方面词对上下文表示和视觉表示进行加权;将两个模态加权后的表示级联融合执行情感标签分类任务。在Multi-ZOL数据集上的实验表明,ABAFN模型的性能超过了目前已知文献的结果。     

Integrated BERT embeddings,BiLSTM-BiGRU and 1-D CNN model for binary sentiment classification analysis of movie reviews

Now a days, understanding the review of the articles, movies are the major issue due to different sentiment present on them. Reviews are short texts which expressing the opinion of the writer on certain texts and express the sentiment related to them. In the recent past, many researchers pay attention to sentiment analysis. In this research work, a novel binary sentiment classification is proposed to classify either positive or negative sentiment. First, the Bidirectional Encoder Representations from Transformers (BERT) embeddings are introduced to tokenize and preprocess the input text. The Bidirectional Long Short-Term Memory (BiLSTM) – Bidirectional Gated Recurrent Unit (BiGRU) and 1-D Convolutional Neural Network (CNN) model is integrated and proposed for sentiment classification. The proposed integrated BERT Embedding and BiLSTM-BiGRU is applied to extract the specified target and self-attention layer is added for better understanding of context, further 1-D CNN along with few other deep learning layers, the sentiment is classified for the selected IMDB movie review dataset. The proposed BERT Embedding + BiLSTM-BiGRU + self-attention and 1-D CNN model is trained and validated with the IMDB movie review dataset. From the simulation, it is found that the testing accuracy and AUC (Area Under the Curve) values are 93.89% and 0.9828 respectively. The performance of the proposed integrated BERT Embedding + BiLSTM-BiGRU+ self-attention and 1-D CNN model is compared with existing models and it is observed that it outperforms better in binary sentiment classification analysis.

     

基于多通道BERT的跨语言属性级情感分类方法

属性级情感分类是情感分析领域中一个细粒度的情感分类任务,旨在判断文本中针对某个属性的情感极性.现有的属性级情感分类方法大多是使用同一种语言的标注文本进行模型的训练与测试,而现实中很多语言的标注文本规模并不足以训练一个高性能的模型,因此跨语言属性级情感分类是一个亟待解决的问题.跨语言属性级情感分类是指利用源语言文本的语义...     

基于BG-CN联合网络的文本情感分析

针对传统卷积神经网络只提取局部短语特征而忽略了上下文的句子特征,影响了文本分类效果这一问题,提出一种基于BiGRU网络和胶囊网络的文本情感分析模型.采用联合神经网络,利用Glove模型预训练词向量,将其输入到双向门限循环单元(BiGRU)模型进行序列化学习得到上下文特征;添加胶囊网络(capsule network)模...     

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。     

基于情感描述项的文本倾向性识别研究

文本倾向性识别可以广泛应用于用户产品评论、舆情分析等。针对文本倾向性识别往往需要借助外部资源的问题,提出一种基于情感描述项及改进的互信息计算相结合的方法,通过句法分析提取出若干可以获得文本情感描述项的匹配模式,根据模式匹配及计算情感描述项的互信息作为特征值,训练分类模型得出文本的褒贬性。通过对酒店、手机语料集实验后的结果进行分析,该方法具有良好的效果。     

基于双特征嵌套注意力的方面词情感分析算法

针对目前方面词情感分析方法忽视了以方面词为核心的局部特征的重要性，并难以有效减小情感干扰项的负面噪声的问题，本文提出了一种带有基于变换器的双向编码器表示技术（bi-directional encoder representations from transformers，BERT）加持的双特征嵌套注意力模型(dual features attention-over-attention with BERT，DFAOA-BERT)，首次将AOA(attention-over-attention)与BERT预训练模型结合，并设计了全局与局部特征提取器，能够充分捕捉方面词和语境的有效语义关联。实验结果表明:DFAOA-BERT在SemEval 2014任务4中的餐馆评论、笔记本评论和ACL-14 Twitter社交评论这3个公开数据集上均表现优异，而子模块的有效性实验，也充分证明了DFAOA-BERT各个部分的设计合理性。