基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分：文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。     

基于ERNIE-BiLSTM的社交网络文本情感分析

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析的ERNIE-BiLSTM方法,实现了对用户评论情感的七种情绪分类,包括恐惧、厌恶、乐观、惊喜、感恩、悲伤和愤怒。ERNIE-BiLSTM方法利用ERNIE预训练模型获取文本的语义信息,结合BiLSTM提取文本的双向特征,最后使用softmax函数获得最终的情感分类结果。实验结果表明,ERNIE-BiLSTM方法具有87.7%的精确率、86.9%的召回率和86.8%的F1得分,比其他方法得到了有效提升。     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。     

基于BERT-BiLSTM的短文本情感分析

传统的神经网络模型主要是以词向量的形式处理短文本的分类任务,造成模型过度依赖分词的精度,而短文本又具有语料短、特征发散的特点,针对这一系类问题提出一种基于BERT和BiLSTM相融合的短文本情感分类模型。首先,利用BERT模型将训练的文本转换成以字为单位的向量表示形式;随后,将生成的字向量作为双向长短期记忆网络输入,获取到相关字的上下文的语义表示;并通过加入随机Dropout机制防止模型发生过拟合;最后,将提取的特征向量输入到全连接层,经过Softmax函数计算出文本所属的情感类别。经实验表明,在处理短文本方面,基于BERT-BiLSTM的算法模型比传统的利用词向量的神经网络模型分类更加精准可靠。     

基于胶囊网络的跨语言方面级情感分析

跨语言情感分析的目的是利用数据资源丰富的源语言帮助资源较少的目标语言进行情感分析。针对中文文本标注语料较少和不同方面项的不同情感极性特征重叠影响文本情感分析准确率的问题,提出一种基于胶囊网络的跨语言方面级情感分类方法 BBCapNet,该方法利用BERT模型学习源语言的语义特征训练词向量作为嵌入层,然后利用BiLSTM学习上下文信息,利用胶囊网络（Capsule Network）获取文本中局部信息和整体情感极性间的关系,从而提取不同方面项的情感特征,最后使用归一化指数函数（Softmax）进行分类。通过与其他主流方法进行对比论证,论证结果表明,该方法在跨语言方面级情感分类效果上有显著提升。     

基于特征融合的层次结构微博情感分类

情感分类是观点挖掘的热点研究之一,微博文本情感分类具有很高的应用价值.鉴于传统特征选择方法存在语义缺陷,采用神经网络语言模型,提出了基于概率模型的对词向量进行权重分配的深层特征表示方法,构建文本语义向量.将文本深层特征与浅层特征融合,构建融合语义信息的特征向量,弥补传统特征选择方法语义的缺陷.采用SVM层次结构分类模型,实现多种情感分类.实验结果表明,采用特征融合的层次结构情感分类方法,能有效提高微博情感分类的准确率.     

基于Transformer的微博文本情感分析算法研究

针对传统情感分析方法在复杂语境中特征表达能力有限、缺乏深层语义信息、模型分类准确率低等问题,文章提出一种基于Transformer和TextCNN融合的新机制。首先,使用jieba工具对微博文本进行分词处理,利用Word2Vec方法将文本转化为词向量,降低词向量中的噪声数据;其次,将词向量作为神经网络模型的输入,进一步对词向量特征进行筛选,提取更有价值的特征信息;最后,将不同粒度的词向量特征进行融合拼接,利用Softmax激活函数实现情感多分类,实验结果表明,文章所提出的情感分析模型正确率达到92.17%,证明了该模型的有效性。     

基于改进的BERT-CNN模型的新闻文本分类研究

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于全局特征图的半监督微博文本情感分类

网络社交的流行与普及,使得微博等短文本区别于以往传统文章,具有了独有的文学表达形式和情感发泄方式,导致基于短文本的机器学习情感分析工作难度逐渐增大。针对微博短文本的语言表达新特性,爬取收集大量无情感标记微博数据,建立微博短文本语料库,基于全局语料库构建词与短文本的全局关系图,使用BERT（Bidirectional Encoder Representations from Transformers）文档嵌入作为图节点的特征值,采用图卷积进行节点间的特征传递和特征提取。采样部分无情感标记微博数据进行人工标注,采用半监督机器学习方法结合全局关系图提高情感分类器的性能,实验表明通过无情感标记数据比例的增加,该方法可以更好地捕捉全局特征,提高情感分类的精度。在自建人工标记数据、COAE2014数据集和NLP&CC2014数据集上进行了对比实验,实验结果表明该方法在精确率和召回率上均具有很好的表现。      

结合MacBERT的在线课程评论情感分析模型

针对静态词向量语义表征能力弱、传统模块特征抽取不全面等问题,提出了结合MacBERT和多尺度融合网络的在线课程评论情感分析模型。MacBERT模型根据词的具体上下文进行动态编码,提升词的语义表征能力。多尺度融合网络用于捕捉评论文本多层次局部情感特征和全局上下文特征,软注意力机制用于计算每个特征的重要程度,由输出层得到情感分类结果。在真实在线课程评论文本数据集进行实验,结果表明,结合MacBERT和多尺度融合网络模型的F1分数达到了95.27%,高于实验对比模型,证明了模型的有效性。     

基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。     

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。     

融合TextCNN与TextRNN模型的谣言识别方法

传统的谣言识别方法耗费人力物力并且准确率较低。为了有效识别社交网络中的谣言,提出一种基于融合模型的谣言识别方法.该方法首先通过BERT预训练模型构建文本句向量;其次构建TextCNN模型挖掘文本的语义特征,构建TextRNN模型用于挖掘文本的时序特征;最后,对两种模型进行加权融合,实现对谣言的识别.此外,还对原始主流模...     

基于BERT和LightGBM的文本关键词提取方法

传统的文本关键词提取方法忽略了上下文语义信息,不能解决一词多义问题,提取效果并不理想。基于LDA和BERT模型,文中提出LDA-BERT-LightG BM(LB-LightG BM)模型。该方法选择LDA主题模型获得每个评论的主题及其词分布,根据阈值筛选出候选关键词,将筛选出来的词和原评论文本拼接在一起输入到BERT模型中,进行词向量训练,得到包含文本主题词向量,从而将文本关键词提取问题通过LightG BM算法转化为二分类问题。通过实验对比了textrank算法、LDA算法、LightG BM算法及文中提出的LB-LightG BM模型对文本关键词提取的准确率P、召回率R以及F1。结果表明,当Top N取3～6时,F1的平均值比最优方法提升3.5%,该方法的抽取效果整体上优于实验中所选取的对比方法,能够更准确地发现文本关键词。     

面向心理健康与改进CNN-BiLSTM的文本情感分类研究

传统文本情感极性判断时易忽视外部信息的有效性，进而导致最终分类准确性不高。基于心理健康，构建CNN-BiLSTM-Att文本情感分类模型。首先，构建基于主题模型的BiLSTM和CNN情感分类模型；其次，将BiLSTM和CNN采用并行融合，构建CNN-BiLSTM文本情感分类模型，为提高情感极性词语分类的准确性，引入Attention机制对CNN-BiLSTM模型进行改进；最后，以Stop Words数据集对设计的模型进行实验验证。结果表明，相较于对比模型，研究构建模型性能更优越，可提升情感分类的准确率。     

基于改进特征选择方法的文本情感分类研究

提出了结合情感词典的改进信息增益特征选择方法。首先,针对现有的信息增益特征选择存在注重特征词的文档频率而忽视语料均衡等问题,提出了改进方法。其次,考虑情感词对文本分类的影响,提出了基于情感词典的特征选择（information gain combining sentiment classification,IGSC）算法进行文本分类。该算法通过对文本情感词进行匹配并结合情感词赋权重,实现了特征降维并解决了文本数据稀疏影响分类性能的问题;最后,针对旅游评论数据集对所提出的特征选择方法进行了实验验证及分析。实验结果表明,本文提出的改进文本情感分类特征选择方法在分类准确率、召回率和F值方面均得到了提升,并且具有较好的分类稳定性。     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

BERT的图模型文本摘要生成方法研究

基于图模型的TextRank方法形成的摘要不会脱离文档本身,但在抽取文本特征的时候,传统的词向量获取方法存在一词多义的问题,而基于BERT的词向量获取方式,充分挖掘了文本语义信息,缓解了一词多义问题.对不同词嵌入方法进行了实验对比,验证了BERT模型的有效性.基于词频统计的相似度计算方法也忽略了句子的语义信息,文中选择...