基于AM的BLSTM网络电商评论情感倾向分类

针对电商评论中所包含的消费者情感倾向信息问题,提出一种基于注意力机制和双向长短期记忆(bidirectional long-short term memory,BLSTM)网络的情感倾向分类模型。该模型使用预训练的字向量作为输入特征,通过双向长短期记忆网络来学习文本的语义特征。依此特征,设计了一种新的注意力机制来捕捉BLSTM模型生成的文本语义特征中重要的信息,以降低文本中冗余噪声对于情感倾向分类的影响。实验结果表明,与传统机器学习方法以及长短期记忆模型和双向长短期记忆模型相比,所提出模型在电商评论的情感倾向分类上取得了较好的结果。     

融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(Bi GRU),将训练后的词向量作为Bi GRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94. 32%,召回率为94. 12%,F1值为0. 942 2,在中文文本分类任务中具有良好的性能。     

基于ERC Roberta的提示学习实现对话情感识别

使用Transformer架构的预训练模型进行对话情感识别时，用传统的微调分类方法难以充分考虑对话文本的语序和结构特征。而且情感对话分类任务与预训练任务不匹配。而使用提示学习方法可通过重建下游任务缩小情感对话分类任务与预训练任务之间的差距。因此，提出一种将提示学习与Roberta模型相融合的对话情感识别(PERC Roberta)模型。利用该模型通过文本掩码预测任务学习对话的语序和结构特征；然后通过提示学习重建下游任务，进一步激发学习到的丰富对话知识。将该模型在2个对话情感识别公共数据集上进行了实验，实验结果表明，PERC Roberta模型比其他模型具有更好的分类效果。此外，消融实验的对比结果也证明了所提模型的有效性。     

一种基于对抗训练的医疗问答匹配方法

相较于英文开放领域的问答匹配,中文专业医疗领域的问答匹配任务更具有挑战性。针对中文语义和医疗数据的复杂、多样,大多数研究人员都专注于设计繁杂的神经网络来探索更深层次的文本语义,工作思路较为单一,同时神经网络模型很容易因为微小扰动而误判,模型的泛化能力较差。为此,提出了一种基于对抗训练的问答匹配模型,利用双向预训练编码器来捕获问答句的语义信息,从而得到对应的向量表征;再通过在词嵌入表示上添加扰动因子生成对抗样本;最后将初始样本和对抗样本共同输入带有线性层的模型中进行分类预测。在cMedQA V2.0数据集上通过对比实验证明了对抗训练可以有效提升问答匹配模型的性能。     

基于攻击成本的信号调制分类对抗样本检测算法

针对基于深度神经网络的无线电信号调制分类任务所面临的对抗样本安全问题，提出了一种基于攻击成本的信号调制分类对抗样本检测算法。首先，使用攻击成本表征样本的相对位置；然后，运用攻击迭代次数衡量样本的攻击成本，寻找待测样本在训练集中的最近邻样本；最后，计算待测样本与最近邻样本之间攻击迭代次数的Ｚ－Ｓｃｏｒｅ来检测对抗样本。实验结果表明该算法具有稳定且优越的检测效果。     

面向智能驾驶视觉感知的对抗样本攻击与防御方法综述

现如今,深度学习已然成为机器学习领域最热门的研究方向之一,其在图像识别、目标检测、语音处理、问答系统等诸多领域都取得了巨大成功.然而通过附加经过特殊设计的细微扰动而构造出的对抗样本,能够破坏深度模型的原有性能,其存在使许多对安全性能指标具有极高要求的技术领域,特别是以视觉感知为主要技术优先的智能驾驶系统,面临新的威胁和挑战.因此,对对抗样本的生成攻击和主动防御研究,成为深度学习和计算机视觉领域极为重要的交叉性研究课题.本文首先简述了对抗样本的相关概念,在此基础上详细介绍了一系列典型的对抗样本攻击和防御算法.随后,列举了针对视觉感知系统的多个物理世界攻击实例,探讨了其对智能驾驶领域的潜在影响.最后,对对抗样本的攻击与防御研究进行了技术展望.     

针对心电图分类模型的平滑攻击算法

在心电图分类领域中,传统攻击算法生成的对抗样本存在生理上不可解释的方波且生成效率低下,为此,提出了一种补丁平滑攻击（PatchSAP）算法。针对卷积神经网络、长短记忆网络和基于注意力机制的长短期记忆网络3种常见心电图分类模型开展对抗攻击,比较了心电分类模型的"脆弱"程度并分析了模型超参数。实验结果表明,PatchSAP算法的攻击效率与传统攻击算法的攻击效率相比具有明显的优势,生成的对抗样本能很好地维持真实性,卷积核和约束范围等超参数对对抗样本的有效性和真实性有较大影响。     

基于多变量时序数据的对抗攻击与防御方法

为了保证时序数据攻击检测模型的安全性,提出了基于多变量时间序列数据的对抗攻击与对抗防御方法.首先,针对基于自编码器的攻击检测模型,设计了在测试阶段实施的逃逸攻击.其次,针对设计的对抗攻击样本,提出了一种基于雅克比(Jacobian)正则化方法的对抗攻击防御策略,将模型训练过程中的Jacobian矩阵作为目标函数中的正则项,提高了深度学习模型对对抗攻击的防御能力.在工业水处理数据集BATADAL上进行实验,验证了所提出的对抗攻击方法和对抗防御方法的有效性.     

基于域对抗网络和BERT的跨领域文本情感分析

跨领域文本情感分析时,为了使抽取的共享情感特征能够捕获更多的句子语义信息特征,提出域对抗和BERT(bidirectional encoder representations from transformers)的深度网络模型。利用BERT结构抽取句子语义表示向量,通过卷积神经网络抽取句子的局部特征。通过使用域对抗神经网络使得不同领域抽取的特征表示尽量不可判别,即源领域和目标领域抽取的特征具有更多的相似性;通过在有情感标签的源领域数据集上训练情感分类器,期望该分类器在源领域和目标领域均能达到较好的情感分类效果。在亚马逊产品评论数据集上的试验结果表明,该方法具有良好的性能,能够更好地实现跨领域文本情感分类。     

用于文本情感极性分析的动态卷积神经网络超限学习算法

为改善动态卷积神经网络在文本情感分类方法中的泛化能力,提出了一种动态卷积超限学习算法.对动态卷积神经网络的输出层加以改进,使用浅层随机神经网络替代全连接层,利用参数随机生成的扰动性能,降低分类端对训练样本的依赖,避免过拟合,提升分类性能.在公共数据集上的实验证明:相对改进前的动态卷积学习算法以及超限学习机,所提出的方法在准确率、F1测度等多个标准指标上均体现了更优的分类性能.     

基于MABM的消费者情感倾向识别模型——以电影评论为例

识别线上消费者群体评论的情感倾向,有助于优化平台推荐算法及提升服务质量,如何有效识别消费者情感倾向,是一个热门的研究选题。本文基于多头自注意力机制的双向长短期机制提出MABM(Multi-head self-Attention and Bidirectional long-short term Memory neural network)情感倾向识别模型,采用知名电影点评网站豆瓣点评在线评论数据作为语料,使用文本挖掘工具对数据进行预处理,以10个机器学习模型和4个深度学习模型为对照组,按照8:2划分训练集和测试集来验证对比评估MABM模型的有效性和稳健性。两组对比实验结果发现,深度神经网络模型预测效果整体优于机器学习模型,并且以MABM模型的分类效果最佳。MABM模型能够有效识别消费者评论的情感倾向,使推荐算法能有效结合消费者的心理行为,以获得更显著的营销效果。     

基于迁移学习的电力短文本情感分类研究

为了有效提高客服效率与主动服务意识,从电力短文本中挖掘客户的情感状态,提出了一种基于迁移学习的情感分析方法,将具有丰富标注信息的商品评论语料库作为源域,提高了目标域中的电力短文本的情感分类性能。在现有基于注意力机制的双向长短型记忆网络模型之上引入域适应层,以学习跨域知识并保留特定域的知识。实验结果表明,与其他算法相比较,该算法对电力短文本进行情感分类的效果优于非迁移学习方法,具有更好的分类性能。     

基于BERT模型的安全生产事故多标签文本分类

结合安全生产事故案例文本特点,利用自然语言处理（NLP）技术对安全生产事故分类,基于转换器的双向编码表征（BERT）模型利用“抽取+生成”相结合的方式获得文本摘要,再通过迁移学习训练提升模型性能,并利用分组分类算法对文本的52个标签进行多标签分类,获得较好的分类效果,为安全生产监管、事故隐患的排查和分析奠定基础。     

融合表情符号与短文本的微博多维情感分类

表情符号已成为网络语言重要组成部分,是分析社交媒体情感的主要特征之一.目前分析社交媒体情感符号的方法多针对Emoji,对颜文字的情感倾向没有相应分析.为获取中文媒体的多维度情感并分析热点话题的群体情感走向,本文以微博为例提出一种新的融合表情符号与短文本的多维情感分类方法.在该框架中,采用深度学习模型分析文本与Emoji组合部分、颜文字部分,分别计算两部分的7种情感强度,挖掘各部分与情感标签的深层次关联,并设计计算模型来反映语句包含的多维情感属性,实现对语句多维情感强度的检测.实验选择NLPCC2014数据集和爬取的带有颜文字的微博数据集进行验证,实验证明当文本与Emoji组合、颜文字占比分别为0.6和0.4时情感分类效果最好,且含颜文字的语句情感分类性能指标始终高于不含颜文字的语句,这表明融合表情符号和短文本的形式有效提高了情感检测精度.该方法为研究群体情感趋势提供了更细粒度的分析,为中文社交媒体的情感分析提供了新思路.     

一种基于动态词典和三支决策的情感分析方法

提出了一种新的特征提取方式,与三支决策思想相结合,运用在文本情感分析中,以提高分类器的效率。根据训练集合创建动态情感词典,然后根据情感词典提取文本的抽象特征,形成特征矩阵。在分类过程中,如果分类器对于目标文本的所属分类确信程度不够高,那么分类器会利用三支决策的思想,将文本置于边界域中,等待别的处理方法。实验结果表明,在英文影评数据集上,基于动态词典的特征提取方法可以取得更好的分类准确率,而且三支决策规则可将一些样例放入边界域,提高了分类准确率。     

用于目标情感分类的多跳注意力深度模型

文本情感分类是近年来自然语言处理领域的研究热点,旨在对文本蕴含的主观倾向进行分析,其中,基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制,可以使分类性能显著提升。针对中文的语言特点,提出一种结合多跳注意力机制和卷积神经网络的深度模型（MHA-CNN）。该模型利用多维组合特征弥补一维特征注意力机制的不足,可以在没有任何先验知识的情况下,获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络,该模型训练时间开销更小,并能保留特征的局部词序信息。最后在一个网络公开中文数据集（包含6类领域数据）上进行实验,取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。