面向短文本情感分析的词扩充LDA模型

针对短文本在情感极性判断上准确率不高的缺点,在隐含狄利克雷分配(latent Dirichlet allocation, LDA)的基础上提出一种适用于短文本的情感分析模型。该模型在短文本中按词性寻找情感词汇,并对其进行有约束的词语扩充形成扩充集合,增强情感词汇之间的共现频率。将扩充集合加入文本中已发现的情感词汇,使得短文本长度增加并且模型可以提取到情感信息,模型通过这种方法将主题聚类变成情感主题聚类。该模型使用4 000条带有正负情感极性的短文本进行验证,结果表明该模型准确率比情感主题联合模型提高约11%,比隐含情感模型提高约9.5%,同时可以发现更多的情感词汇,证明该模型对于短文本能够提取更丰富的情感特征并在情感极性分类上准确率较高。     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

上下文感知的判别式主题模型

为了解决主题识别过程中词的上下文语境缺失问题,通过卷积神经网络将特定的上下文信息嵌入到词向量中,再将词向量输入到判别式主题模型中。本方法可以融合附加标签信息进行有监督的训练,处理文档分类等下游任务。通过与现有判别式主题模型进行对比和分析,能够获取到更加连贯的主题,同时在文本分类任务上表现出更好的预测性能,从而验证了方法的有效性和准确性。     

采用词向量注意力机制的双路卷积神经网络句子分类模型

针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型（AT-DouCNN）.该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明：所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果.     

基于word2vec词模型的中文短文本分类方法

针对受字数限定影响的文本特征表达能力弱成为短文本分类中制约效果的主要问题,提出基于word2vec维基百科词模型的中文短文本分类方法(chinese short text classification method based on embedding trained by word2vec from wikipedia, CSTC-EWW),并针对新浪爱问4个主题的短文本集进行相关试验。首先训练维基百科语料库并获取word2vec词模型,然后建立基于此模型的短文本特征,通过SVM、贝叶斯等经典分类器对短文本进行分类。试验结果表明:本研究提出的方法可以有效进行短文本分类,最好情况下的F-度量值可达到81.8%;和词袋(bag-of-words, BOW)模型结合词频-逆文件频率(term frequency-inverse document frequency, TF-IDF)加权表达特征的短文本分类方法以及同样引入外来维基百科语料扩充特征的短文本分类方法相比,本研究分类效果更好,最好情况下的F-度量提高45.2%。     

基于LDA主题模型的文本语料情感分类改进方法

针对传统LDA主题模型无法体现词与词之间的顺序及关联性这一不足,提出一种改进的加权W-LDA情感分类方法.首先,在该模型的主题采样及其分布期望计算过程中引入平均加权值,以此避免与主题紧密相关词被高频词所淹没,从而提高主题间的区分度; 然后,以提取到的高质量文档-主题分布及主题-词向量为基础,引入支持向量机算法(SVM),构建一个集有情感词分析与提取、主题分布计算与情感分类功能的文本语料情感分析方法; 最后,利用真实的教学评价数据和公共评论集对本文方法的有效性进行了验证.结果表明,本文提出的方法在主题区分度     

融合句法依存与BERT-Att-BiLSTM的属性分类

针对细粒度情感分析属性分类准确率低的问题，提出了一种融合句法依存关系和基于转换器的双向编码器-注意力机制-双向长短期记忆网络(BERT-Att-BiLSTM)的属性分类模型。该模型首先构建基于句法依存关系的目标信息提取层，进行属性-观点对提取；其次，在词嵌入层，使用BERT模块实现结合上下文动态特征的词向量预训练；然后，在特征提取层，融入Att的BiLSTM模块进行特征空间降维处理；最后，在分类层，通过激活函数输出属性-观点对的属性类别。实验结果表明，所提模型的精准度、召回率和F1值分别为85.25%、72.38%和77.06%,均优于其他模型，证明了所提模型的有效性。     

基于混合神经网络的中文短文本分类模型

针对已有算法中特征表示存在的稀疏问题以及文本高层特征提取效果不佳问题,提出了一种基于混合神经网络的中文短文本分类模型。该模型首先通过自定义筛选机制将文档以短语层和字符层进行特征词筛选;然后将卷积神经网络(CNN)和循环神经网络(RNN)相结合,提取文本高阶特征,并引入注意力机制优化高阶向量特征;最后将得到的高阶向量特征输入到全连接层得到分类结果。实验结果表明:该方法能有效提取出文档的短语层和字符层特征;与传统CNN、传统LSTM和CLSTM模型对比,二分类数据集上准确率分别提高10.36%、5.01%和2.39%,多分类数据集上准确率分别提高12.33%、4.16%和2.33%。     

基于Huffman-LDA和Weight-Word2vec的文本表示模型研究

LDA是对主题到文档的全局结构建模,但其特征中缺少文档内部的局部词之间的关系,只能获得稀疏特征。Word2vec是一种基于上下文预测目标词的词嵌入模型,然而,基于这种方法只能以局部信息表示文档特征,缺乏全局信息。LDA和Word2vec的文本表示模型是基于主题向量和文档向量计算新的特征表示文本,但直接计算所得的稀疏主题特征与基于词向量的文档特征的距离,缺乏特征的一致性。本文提出了Huffman-LDA和Weight-Word2vec的文本表示模型,首先,使用LDA模型得到主题向量后构建主题哈夫曼树,再运用梯度上升方法更新主题向量,新的主题向量包含不同主题词之间的关系,求得的特征不再具有稀疏性;然后,使用LDA主题向量与主题矩阵中词的主题特性计算词权重更新Word2vec的词向量,使得词向量包含主题词之间的关系进而表示文档向量;最后,通过主题向量和文档向量的欧式距离得到具有强分类特征的文本表示。实验结果表明,该方法可获得更强的文本表示特征,有效提高文档分类精度。     

基于BiRNN的维吾尔语情感韵律短语注意力模型

当前维吾尔语情感语音合成采用韵律边界预测方法来实现情感语音转换。通过该方法合成出来的语音,虽然可表现出相应的情感,然而其情感表现力不够理想。针对此问题,该文提出一种基于BiRNN的维吾尔语情感韵律短语注意力模型。在情感韵律转换前使用该模型进行情感分类,并将其分类结果作为韵律边界预测的输入,改进了情感韵律转换方法。使用改进的词性特征向量和韵律短语向量作为词向量的补充,从而有效提升维吾尔文文本情感分类的准确率。实验结果表明,该模型由两个单词构成的韵律短语作为特征时,准确率在维吾尔五分类情感数据集上达到了很好的分类效果。     

基于BERT语义分析和CNN的短文本分类研究

针对短文本数据量较小情况下CNN模型无法获得较好文本分类特征造成文本分类精度不高的问题,提出一种结合BERT语义分析和CNN的短文本分类模型,通过对BERT预训练模型进行微调获得文本向量表示,文本向量能够体现文本特征的全局语义关系,并将文本向量表示数据输入CNN模型进行分类模型训练,获得最终的文本分类特征实现分类。此方法能够实现短文本分类精度的有效提升。     

基于CNN特征空间的微博多标签情感分类

面对微博情感评测任务中的多标签分类问题时,基于向量空间模型的传统文本特征表示方法难以提供有效的语义特征。词向量表示能体现词语的语法和语义关系,并依据语义合成原理构建句子的特征表示。本文提出一个针对微博句子的多标签情感分类系统,采用经过有监督情感分类学习后的卷积神经网络(Convolution Neural Network, CNN)模型,将词向量合成为微博句子的向量表示,使得此CNN特征空间中的句子向量具有很好的情感语义区分度。在2013年NLPCC(Natural Language Processing and Chinese Computing)会议的微博情感评测公开数据集上,相比最优评测结果的宽松指标和严格指标,本系统的最佳分类性能分别提升了19.16%和17.75%;相比目前已知文献中的最佳分类性能,则分别提升了3.66%和2.89%。     

面向情感分析的短文本意义串发现及分析算法

针对网络环境中大量短文本信息的鲜明特点,突破传统基于词标注的分类方法,提出了一种短文本频繁模式发现及其有效意义串分析算法。通过改进的FP-树算法挖掘最大频繁模式得到关键词库之后,结合中文词语局部性原理对关键词按照位置点聚类,进行意义串二次挖掘,最后进行文本情感分析。仿真结果表明,对于意义串词组挖掘,该算法具有较高的准确率,并有助于及时了解网络群体的情感方向。     

基于最小二乘支持向量机的黏着状态辨识

针对重载机车黏着状态辨识中分类准确率不高的问题,提出采用布谷鸟遗传算法对最小二乘支持向量机的参数进行优化,并采用交叉验证原理提高该模型的整体泛化性能。首先,采用布谷鸟算法寻找惩罚因子和核参数的初始值;然后,采用遗传算法对最小二乘支持向量机进行训练,从而得到具有最佳参数的最小二乘支持向量机的分类模型。该分类模型将重载机车黏着状态分为正常、故障征兆、微小故障和严重故障4个状态。实验结果表明,提出的最小二乘支持向量机模型在黏着状态辨识中的分类准确率高达94.59%,高于极限学习机的分类准确率(84.61%),证明布谷鸟遗传算法能够有效提高最小二乘支持向量机的分类准确率。     

一种基于LDA主题模型的话题发现方法

话题发现是提取热点话题并掌握其演化规律的关键技术之一。针对社交网络中海量短文本信息具有高维性导致主题模型难以处理以及主题分布不均导致主题不明确的问题,提出一种基于LDA(latent dirichlet allocation)主题模型的CBOW-LDA主题建模方法,通过引入基于CBOW(continuous bag-of-word)模型的词向量化方法对目标语料进行相似词的聚类,能够有效降低LDA模型输入文本的维度,并且使主题更明确。通过在真实数据集上计算分析,与现有基于词频权重的词向量化LDA方法相比,在相同主题词数情况下困惑度可降低约3%。     

基于ERNIE和BiLSTM的中文名词隐喻识别

隐喻普遍存在于自然语言中,精确的识别隐喻可以促进自然语言处理具体任务中语义的理解.为了提高中文名词隐喻识别效果,提出一种基于知识增强的语义表示(ERNIE)和双向长短期记忆网络(BiLSTM)的分类模型ERNIE_BiLSTM.该模型使用ERNIE进行编码,获取上下文相关的语义表示;并利用双向LSTM再次训练词向量,捕获文本长距离的语义关系.实验结果表明,ERNIE_BiLSTM模型在中文名词隐喻识别数据集上表现良好,准确率达到90.34％.     

融合对抗训练与ERNIE的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

LDA特征扩展的多类SVM短文本分类方法研究

针对短文本信息量少、特征稀疏的特点,提出一种基于LDA主题扩展的多类SVM短文本分类方法。在短文本基础上,利用LDA主题模得到文档的主题分布,将主题中的词扩充到原短文本的特征中,在特征空间上使用基于经典权重计算方法的多类SVM分类器进行分类。实验结果表明,在各个类别上的查准率、查全率和F1值都有所提高,验证了该方法的可行性。     

短文本信息流中的用户建模与应用

社交媒体中存在着大量的短文本信息流,包含着丰富的用户信息。针对短文本信息流的特点,提出一种新的用户建模的方法。首先将用户发表的内容进行合并得到用户数据;然后将用户数据分割为固定长度的词链,在分割处添加用户名构造上下文关系;最后结合外部数据,使用Skip gram模型进行训练得到用户的向量表示。基于用户向量的用户标签推荐和用户聚类方法在真实聊天记录语料进行实验中都取得了优于传统方法的结果。