基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于反馈图卷积神经网络的事件检测方法

事件检测是自然语言处理领域的重要任务之一,其结果可以有效支撑信息抽取、文本分类和事件推理等下游任务. 预训练语言模型BERT在事件检测任务上取得了显著的成绩,然而该类方法无法有效获取长距离和结构化的文本信息. 为了缓解该问题,本文提出基于反馈网络的图卷积神经网络模型进行文本结构信息捕获,同时这种新方法能够有效解决图卷积神经网络带来的语义信息衰减性问题. 本文首先使用BERT预训练模型获取文本的语义特征,然后使用融入反馈网络的图卷积神经网络提取文本的句法结构特征,最终使用多分类器实现对事件触发词的识别和分类.公开数据集ACE 2005上的实验结果表明,本文提出的事件检测方法在事件触发词识别和分类任务上的F1值分别达到了74.46%和79.49%,较现有工作平均提高了4.13%和4.79%.     

基于时间关系的Bi-LSTM+GCN因果关系抽取

针对传统时间关系只应用在机器学习方向关系抽取的问题, 提出一种基于序列标注实体识别的关系抽取方法. 先构建双向长短期记忆网络(Bi-LSTM)模型进行特征提取, 再输入时间关系作为特征矩阵进行图卷积. 实验结果表明: 时间关系能提高因果关系抽取效果, 并且包含时间关系的Bi-LSTM+GCN模型能有效抽取因果事件; 带有时间关系的Bi-LSTM+GCN模型获得因果关系的抽取结果优于传统方法因果关系的抽取结果.     

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域，由于文本分类标注数据的稀缺，相关研究工作进展缓慢.为了充分利用有限的标注数据，更有效地挖掘出文本之间的关系，本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model, CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks, GCN)层，得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验，分类准确率达到73.51%,远优于其他基线模型；同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明，该文提出的模型能够结合预训练词向量和图神经网络的优势，显著提高藏文文本分类的准确率.     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于集成神经网络的短文本分类模型

针对短文本具有稀疏性强和文本长度较小等特性, 为更好地处理短文本分类问题, 提出一个基于集成神经网络的短文本分类模型. 首先, 使用扩展词向量作为模型的输入, 从而使数值词向量可有效描述短文本中形态、 句法及语义特征; 其次, 利用递归神经网络（RNN）对短文本语义进行建模, 捕获短文本内部结构的依赖关系; 最后, 在训练模型过程中, 利用正则化项选取经验风险和模型复杂度同时最小的模型. 通过对语料库进行短文本分类实验, 验证了所提出模型有较好的分类效果, 且该分类模型可处理变长的短文本输入, 具有良好的鲁棒性.     

基于神经网络语言模型的分布式词向量研究进展

单词向量化是自然语言处理领域中的重要研究课题之一,其核心是对文本中的单词建模,用一个较低维的向量来表征每个单词.生成词向量的方式有很多,目前性能最佳的是基于神经网络语言模型生成的分布式词向量,Google公司在2012年推出的Word2vec开源工具就是其中之一.分布式词向量已被应用于聚类、命名实体识别、词性分析等自然语言处理任务中,它的性能依赖于神经网络语言模型本身的性能,并与语言模型处理的具体任务有关.本文从三个方面介绍基于神经网络的分布式词向量,包括:经典神经网络语言模型的构建方法;对语言模型中存在的多分类问题的优化方法;如何利用辅助结构训练词向量.     

基于word-hashing的DGA僵尸网络深度检测模型

针对使用域名生成算法(DGA)僵尸网络隐蔽性强,传统检测算法特征提取复杂的问题,提出一种无需提取具体特征的深度学习模型DGA域名检测方法.首先基于word-hashing将所有域名转用二元语法字符串表示,利用词袋模型把域名映射到高维向量空间.然后利用5层深度神经网络对转换为高维向量的域名进行训练分类检测.通过深度模型,能够从训练数据中发现不同层次抽象的隐藏模式和特征,而这些模式和特征使用传统的统计方法大多是无法发现的.实验中使用了10万条DGA域名和10万条合法域名作为样本,与基于自然语言特征分类算法进行对比实验.实验结果表明该深度模型对DGA域名检测准确率达到97.23%,比基于自然语言特征分类算法得到的检测准确率高3.7%.     

HLMGAN：分层学习的多奖励文本生成对抗网络

文本生成是自然语言处理的一项重要任务.针对生成的文本大多缺乏多样性,且当生成文本过长时,文本生成的质量会有明显下降的问题,提出了一种采用Sentences and Words(SW)奖励机制的传递向量文本生成对抗网络.首先,为生成器提出了层次结构设计,包括传递特征向量训练模块和生成向量训练模块,同时传递判别模型中真实文本特征向量给生成器的传递特征向量训练模块,由此来提高长文本生成的准确率,生成向量训练模块接收其生成词序列;然后,在训练过程中,使用关系存储核心代替传统的长短期记忆循环神经网络模型作为生成器,提高了模型的表达能力和捕获信息的能力;最后,采用SW奖励机制提高文本生成的多样性.实验结果表明,分层学习的多奖励文本生成对抗网络(Generation Adversarial Network Based on Hierarchical Learning with Multi-reward Text,HLMGAN)模型在合成数据负对数似然度和双语互译质量评估辅助工具指标中均有所提升.     

多文档短摘要生成技术研究

自动摘要技术用于将较长篇幅的文章压缩为一段较短的能概括原文中心内容的文本。多文档冗余度高,电子设备所展示的空间有限,成为摘要发展面临的挑战。本文提出融合图卷积特征的句子粗粒度排序方法。首先将句子之间的相似度矩阵视为拓扑关系图,对其进行图卷积计算得到图卷积特征。然后通过排序模型融合图卷积特征以及主流的抽取式多文档摘要技术对句子进行重要度排序,选取排名前四的句子作为摘要。最后提出基于Seq2seq框架的短摘要生成模型:①在Encoder部分采用基于卷积神经网络(CNN)的方法;②引入基于注意力的指针机制,并将主题向量融入其中。实验结果表明,在本文场景下,相较于循环神经网络(RNN),在Encoder部分基于CNN能够更好地进行并行化,在效果基本一致的前提下,显著提升效率。此外,相较于传统的基于抽取和压缩的模型,本文提出的模型在ROUGE指标以及可读性(信息度和流利度)方面均取得了显著的效果提升。     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

融合动态掩码预训练与膨胀卷积的实体识别

针对传统的BERT模型在使用中文语料进行预训练时无法获取词的信息问题,本文中在预训练阶段引入基于动态掩码的RoBERTa预训练模型;该预训练模型所生成的语义表示含有词的信息,能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,更适用于中文命名实体识别任务;同时通过字在上下文中能形成词的词向量对相应的字向量进行了增强;为了提高模型的效率,在序列建模层引入膨胀卷积神经网络。实验表明,该模型在多尺度上下文和结构化预测方面比传统CNN有更好的容量,在常用中文实体识别任务语料库上,验证了模型的有效性。     

融合最近距离和人名窗口信息的人物关系抽取

主要针对中文网页语料研究人物关系抽取,提出一种融合最近距离和人名窗口信息的人物关系抽取方法。首先利用远程监督的方法构建人物关系库,提取关系候选语料,通过打分函数过滤掉语料中的噪音数据以提高语料质量;然后在卷积神经网络中引入最近距离,将词与人名之间的距离信息加入到网络中;在循环神经网络中以人名窗口内词向量代替整句词向量作为网络的输入。最后融合两部分网络信息并对网络模型进行训练。结果显示,该方法比传统基于SVM的中文人物关系抽取方法和一些其他的神经网络模型F1值提高3个以上百分点。     

基于图卷积神经网络的跨域行人再识别

针对由源域训练的行人再识别模型通常在目标域的泛化能力不强的问题,提出基于图卷积神经网络的跨域行人再识别方法,将源域数据学习到的整合邻居样本信息的能力迁移至目标域数据.首先,为经过特征提取后的源域数据建立亲属子图,并将源域数据特征和亲属子图作为所设计的图卷积神经网络模块的输入,以基于源域的监督信息训练图卷积神经网络模块;然后,对经过特征提取后的目标域数据建立亲属子图,将训练过的图卷积神经网络模块应用于目标域数据,为目标域数据赋伪标签;最后,联合源域数据和目标域数据训练得到一个泛化能力强的行人再识别模型.分别在两个大规模公开数据集Market-1501和DukeMTMC-reID上对所提出方法进行实验验证,结果表明所提出的方法与所选择的基准模型相比使得Market-1501的rank-1准确率和平均准确率均值(mAP)分别提高了7.4%和9.2%,而DukeMTMC-reID的rank-1准确率和m AP分别提高了14.2%和14.9%.     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于图卷积神经网络的电力变压器故障诊断

针对电力变压器故障多、诊断精确度低等问题,提出了一种基于图卷积神经网络(Graph Convolutional Network, GCN)电力变压器故障诊断的方法,该算法可以准确地识别电力变压器的故障类别,且实现了将数据结构转化成图结构.以电力变压器为实验对象,利用小波包变换(Wavelet Packet Transform, WPT)提取变压器油中特征气体数据特征,构建特征向量;接着利用马氏距离(Mahalanobis Distance, MD)来表示各个向量之间的相似度,以数据特征为顶点、相似度为边构建图结构;最后利用图卷积神经网络实现变压器的故障类别分类,准确识别出变压器故障类别,能够针对变压器故障部分进行检修.仿真实验表明:与深度信念网络(Deep Belief Network, DBN)和卷积神经网络(Convolutional Neural Networks, CNN)相比,本文提出的方法做出的诊断结果更加精确,综合诊断效果最好.     

基于多特征融合的新疆旅游领域关系抽取研究

通过结合2 738个领域词汇组成的词典对新疆旅游领域语料进行预处理操作，对文本信息进行实体关系抽取研究，提出基于旅游领域的词典信息，融合多级特征的Bi-LSTM、CNN和Attention机制的领域级关系抽取模型.该模型首先使用预训练模型生成含较强的语义表征能力的词向量；再使用Bi-LSTM获取更好的语义信息和词向量拼接以捕获长距离的语义特征；用CNN进行特征提取，加强局部特征的学习，并使用注意力池化层(Attentive-pooling)用以强化特征的表达；最后通过Softmax完成关系抽取任务.结果表明：该模型在SemEval-2010 Task 8公开数据集中F1值达到83.46%,证明了其有效性.且模型在新疆旅游领域语料的关系抽取任务中的F1值达到92.73%,优于目前的主流关系抽取模型.     

基于多路融合卷积神经网络的网购商品情感分类

通过提出一种多路融合卷积神经网络(multi-mixed convolutional neural network,MMCNN)对网购商品评论数据进行文本情感分类。采用skip-gram模型进行词向量的训练,并用训练好的向量表示评论数据。针对评论数据长短不一的情况,提出了循环词向量填充和随机词向量填充算法,有助于提升模型分类的准确率。针对传统卷积神经网络特征提取方式单一的问题,将多路卷积特征和池化特征在全连接层进行了特征融合,以此提升网络的文本分类效果。选择京东网站上45 000条婴儿奶粉的评论数据进行试验,并与支持向量机、最大熵模型、朴素贝叶斯等传统机器学习方法以及经典卷积神经网络方法进行对比。试验结果表明,提出的多路融合卷积神经网络具有较高的分类正确率。     

基于门限卷积神经网络和词嵌入的中文分词法

目前,许多研究者将神经网络模型应用到中文分词任务中,其表现虽然优于传统的机器学习分词法,但未能充分发挥神经网络自动学习特征的优势,且未使用词向量信息.针对该问题,提出基于门限卷积神经网络(gated convolutional neural networks,GCNNs)的中文分词法,并利用词嵌入方法将词向量融入模型中,使该模型在不需要大量特征工程的情况下可以自动学习二元特征.通过在简体中文数据集(PKU、MSRA和CTB6)上进行实验,结果表明,与以往的神经网络模型相比,在不依赖特征工程的情况下,该模型仍能取得较好的分词效果.