用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。     

融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

运用CNN-LSTM混合模型的短文本分类

针对分类短文本时卷积神经网络(CNN)只提取局部特征和长短时记忆网络(LSTM)学习计算量大、处理时间长且随着短文本文字量增加与上下文的联系会减弱的问题,给出了基于CNN-LSTM混合模型算法.该算法融合CNN对短文本的特征提取能力,降低了文本数据量;利用LSTM的记忆能力,充分学习短文本的全局特征,进而对短文本进行更加有效地分类.实验结果表明,CNN-LSTM混合模型对短文本的分类效果远远好于CNN模型和LSTM模型.     

基于混合神经网络的中文短文本分类模型

针对已有算法中特征表示存在的稀疏问题以及文本高层特征提取效果不佳问题,提出了一种基于混合神经网络的中文短文本分类模型。该模型首先通过自定义筛选机制将文档以短语层和字符层进行特征词筛选;然后将卷积神经网络(CNN)和循环神经网络(RNN)相结合,提取文本高阶特征,并引入注意力机制优化高阶向量特征;最后将得到的高阶向量特征输入到全连接层得到分类结果。实验结果表明:该方法能有效提取出文档的短语层和字符层特征;与传统CNN、传统LSTM和CLSTM模型对比,二分类数据集上准确率分别提高10.36%、5.01%和2.39%,多分类数据集上准确率分别提高12.33%、4.16%和2.33%。     

基于MGCNN的商品评论情感分析

为了解决传统的深度学习模型会忽略语料库中全局词共现信息所包含的非连续和长距离语义的问题。本文提出记忆图卷积神经网络（MGCNN）引入注意力机制的商品评论情感分析方法。首先提取词与词、词与文档之间的关系,以全部的词和文档作为节点,将整个数据集构造成一个异构文本图。再基于图卷积网络（GCN）来构建用于图结构数据的神经网络,利用长短期记忆网络（LSTM）提取上下文相关特征,并使用注意力层获取重要特征。多组对比实验结果表明,本方法的分类效果更好,且随着训练集数据所占比例的降低,其优势更加显著。     

基于深度学习的中文标准文献语言模型

为解决中文标准文献的自然语言处理问题,对Hierarchical Log-Bilinear英文统计语言模型算法进行了改进,构建了适用于中文语言的模型。采用深度神经网络技术,将无监督学习与有监督学习相结合,利用多层受限玻尔兹曼机训练文本词向量,并将训练好的词向量输入到前馈神经网络进行有监督训练,完成对中文标准文献内容的机器学习。对100多万条标准题录数据进行训练的实验结果表明,该方法能有效提高语言模型的学习能力。     

中文短文本分类技术研究综述

随着信息技术的迅速发展,网络上产生了海量的中文短文本数据。利用中文短文本分类技术,在低信息量的数据中挖掘出有价值的信息是当前的一个研究热点。中文短文本相较于长文本,存在字数少、歧义多、特征稀疏和信息不规范等特点,导致使用传统文本分类技术效果不佳。首先介绍中文短文本分类技术的研究现状;其次围绕中文短文本分类的基本流程和关键技术进行阐述,并对文本预处理、文本表示、特征扩展和分类算法做出详细介绍;最后对中文短文本分类技术未来发展的趋势进行展望。     

基于ERNIE和BiLSTM的中文名词隐喻识别

隐喻普遍存在于自然语言中,精确的识别隐喻可以促进自然语言处理具体任务中语义的理解.为了提高中文名词隐喻识别效果,提出一种基于知识增强的语义表示(ERNIE)和双向长短期记忆网络(BiLSTM)的分类模型ERNIE_BiLSTM.该模型使用ERNIE进行编码,获取上下文相关的语义表示;并利用双向LSTM再次训练词向量,捕获文本长距离的语义关系.实验结果表明,ERNIE_BiLSTM模型在中文名词隐喻识别数据集上表现良好,准确率达到90.34％.     

融合多粒度动态语义表征的文本分类模型

在对化工领域类文本进行分类任务时,由于文本的专业性以及复杂多样性,仅仅依靠现有的词向量表征方式,很难对其中的专业术语以及其他化工领域内相关字词的语义进行充分表征,从而导致分类任务的准确率不高.本文提出一种融合多粒度动态语义表征的文本分类模型,首先在词嵌入层使用动态词向量表征语义信息并引入对抗扰动,使得词向量具有更好的表征能力,然后利用多头注意力机制进行词向量权重分配,获得带有关键语义信息的文本表示,最后使用提出的多尺度残差收缩深层金字塔形的卷积神经网络与混合注意力胶囊双向LSTM网络模型分别提取不同粒度的文本表示,融合后对得到的最终文本表示进行分类.实验结果表明,相比于现有模型,所提出的模型使用不同词向量表示时,在化工领域文本数据集上F1-Score最高可达84.62％,提升了0.38~5.58个百分点;在公开中文数据集THUCNews和谭松波酒店评论数据集ChnSentiCorp上进行模型泛化性能评估,模型也有较好表现.     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

基于深度学习的推荐算法研究综述

深度学习技术是机器学习领域的一个研究热点,已被深入研究并广泛应用于许多领域. 推荐系统是缓解信息过载的重要技术,如何将深度学习融入推荐系统,利用深度学习的优势从各种复杂多维数据中学习用户和物品的内在本质特征,构建更加符合用户兴趣需求的模型,以提高推荐算法的性能和用户满意度,是深度学习应用于推荐系统的主要研究任务. 对基于深度学习的推荐算法研究和应用现状进行了综述,讨论并展望了深度学习应用于推荐系统的研究发展趋势.     

基于组合凸线性感知器的文本分类模型

针对文本分类问题,从分片线性学习的角度出发,提出了一种文本分类的组合凸线性感知器模型.首先,对文本样本集进行预处理,包括特征选择、特征项赋权等;然后,分别利用生长支持组合凸线性感知器算法(growing support multiconlitron algorithm,GSMA)和支持组合凸线性感知器算法(support multiconlitron algorithm,SMA)构造组合凸线性感知器,对样本集进行分类.该模型基于支持向量机的最大间隔思想,通过集成线性分类器,实现了对2类数据的划分,具有计算简单、适应能力强的优点.在标准文本数据集上的实验结果表明:该模型所构造的分类器具有良好的文本分类性能,与其他典型文本分类方法的对比也说明了该方法的有效性.     

融合对抗训练与ERNIE的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明, PERNIE RCNN模型的文本分类性能更好,泛化能力更优。     

基于MABM的消费者情感倾向识别模型——以电影评论为例

识别线上消费者群体评论的情感倾向,有助于优化平台推荐算法及提升服务质量,如何有效识别消费者情感倾向,是一个热门的研究选题。本文基于多头自注意力机制的双向长短期机制提出MABM(Multi-head self-Attention and Bidirectional long-short term Memory neural network)情感倾向识别模型,采用知名电影点评网站豆瓣点评在线评论数据作为语料,使用文本挖掘工具对数据进行预处理,以10个机器学习模型和4个深度学习模型为对照组,按照8:2划分训练集和测试集来验证对比评估MABM模型的有效性和稳健性。两组对比实验结果发现,深度神经网络模型预测效果整体优于机器学习模型,并且以MABM模型的分类效果最佳。MABM模型能够有效识别消费者评论的情感倾向,使推荐算法能有效结合消费者的心理行为,以获得更显著的营销效果。     

基于堆栈式稀疏自编码器的高光谱影像分类

为挖掘高光谱影像数据的内在光谱特征,该文基于深度学习理论,引用堆栈式稀疏自编码器构建原始数据的深层特征表达。首先通过稀疏自编码器,得到原始数据的稀疏特征表达。其次通过逐层学习稀疏自编码器构建深度神经网,输出原始数据的深度特征。最后将其连接到支持向量机分类器,完成模型的精调。实验结果分析表明:基于堆栈式稀疏自编码器的最优分类模型,总体精度可达87.82%,优于实验中的其他方法,证明了深度学习方法在高光谱影像处理中具有良好的分类性能。     

基于文本倾向性分类技术的图书评价模型

介绍了文本分类技术和文本倾向性分类技术,并基于文本倾向性分类技术分析了图书评论中的信息,研究如何将机器学习方法应用在图书评论的倾向性分类中,提出了一种图书评价模型构建的解决方法．     

文本词向量与预训练语言模型研究

介绍了文本词向量及预训练语言模型的发展体系,系统整理并分析了其中重点方法的思想特点。首先,阐述了传统的文本词向量表征方法及基于语言模型的文本表征方法;然后,详述了预训练语言模型方法的研究进展,包括动态词向量的表征方法和基于Transformer架构的预训练模型;最后,指出了未来探究多模态间更有效的融合方式和迁移学习将成为该领域的发展趋势。     

基于改进的kNN算法的中文网页自动分类方法研究

概述了中文网页分类的一般过程,重点论述了在分类过程中特征词提取、训练库建立和文本分类算法等关键问题,针对向量空间模型的文本特征表示方法中特征词数量的多少与分类算法的效率有着密切关系的特点,提出了基于词性的特征词提取方法,并且在文本相似度计算时,融入传统的特征向量的比较方法来对kNN算法进行改进,提出了基于特征词减少的改进kNN算法,提高了分类算法的效率和性能.