面向互联网问诊文本的医疗事件时序关系抽取

互联网问诊文本中存在大量的医疗事件及其时序关系，这些信息是推断患者患病诊疗时间线的关键信息，但问诊文本通常有不规范的特点。针对不规范的问诊数据，在注意力双向LSTM模型的基础上，添加关系发现词特征为关系识别提供了重要时序线索，弥补了不规范数据中针对两个医疗事件发生时间的描述缺失；添加时序背景知识对模型预测的错误结果进行关系修正，提升了关系抽取效果。从好大夫网站获取到患者真实的问诊文本作为数据进行实验。实验表明，该方法在各种时序关系抽取的F1值上都优于现有方法，提升效果在4%～16%之间。     

结合注意力和双向LSTM的开放域问句分类研究

针对现有端对端模型没有对问句局部信息进行显式建模以及模型可解释性差等方面的不足，本文提出面向开放域的基于注意力机制和双向LSTM的问句分类方法。该法一方面使用注意力机制捕捉问句的局部信息；另一方面将注意力机制视为一种模型内置的自解释机制，将其与双向LSTM结合完成对问句局部和全局信息的建模。在TREC、MSQC、Baidu-Zhidao、Baidu-Search四个公开的开放域问句分类数据集上的实验结果表明，本文提出的方法在分类性上优于现有的基准方法，而且该方法的注意力机制能捕捉到问句分类的关键局部信息，提高模型的可解释性，为下游任务提供除类别以外的关键信息。     

基于深度学习的中文生物医学实体关系抽取系统

在生物医学文本挖掘领域, 生物医学的命名实体和关系抽取具有重要意义。然而目前中文生物医学实体关系标注语料十分稀缺, 这给中文生物医学领域的信息抽取任务带来许多挑战。 该文基于深度学习技术搭建了中文生物医学实体关系抽取系统。首先利用公开的英文生物医学标注语料, 结合翻译技术和人工标注方法构建了中文生物医学实体关系语料。然后在结合条件随机场(Conditional Random Fields, CRF)的双向长短期记忆网络 (Bi-directional LSTM, BiLSTM) 模型上加入了基于生物医学文本训练的中文 ELMo (Embedding from Language Model) 完成中文实体识别。最后使用结合注意力(Attention) 机制的双向长短期记忆网络抽取实体间的关系。实验结果表明,该系统可以准确地从中文文本中抽取生物医学实体及实体间关系。     

基于注意力机制的LSTM的语义关系抽取*

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM模型(Long Short-term memory)与注意力机制(Attention Mechanism)相结合的关系抽取方法。首先将文本信息向量化,提取文本局部特征;然后将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在SemEval-2010 Task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。     

融合Graph state LSTM与注意力机制的跨句多元关系抽取

已有的跨句多元关系抽取工作将输入文本表示为集成句内和句间依赖关系的复杂文档图,但图中包含的噪声信息会影响关系抽取的效果。针对这种情况,该文利用Graph state LSTM获得上下文信息,再分别利用词级注意力机制或位置感知的注意力机制,自动聚焦在对关系抽取起到决定性作用的关键词上,降低噪声信息的影响。并且比较了两种注意力机制对使用Graph state LSTM进行关系抽取的影响。通过在一个重要的精确医学数据集上进行实验,验证了该文所提出模型的有效性。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

基于Mogrifier LSTM的序列标注关系抽取方法

对文本中的上下文信息进行充分利用能够提高关系抽取性能,但当前多数基于深度学习的关系抽取方法仅捕获文本序列中的浅层特征信息,在长序列文本中易丢失上下文信息。针对传统LSTM中输入和隐藏状态之间相互独立且缺少信息交互的问题,建立一种基于Mogrifier LSTM的序列标注关系抽取模型。将由词嵌入、字符嵌入和位置嵌入构成的嵌入层结果输入Mogrifier LSTM层,该层通过在传统LSTM计算之前交替地让当前输入与之前隐藏状态进行多轮运算,以增强上下文交互能力。使用自注意力机制提高模型对重要特征的关注度,同时采用基于关系的注意力机制获取特定关系下的句子表示,从而解决实体关系重叠问题。在关系分类模块,利用Bi-LSTM进行序列标注,将句子中的每个词汇映射为相应的标签。实验结果表明,在NYT数据集上该模型的F1值达到0.841,优于HRL、OrderRL等模型,在存在SEO重叠类型的关系抽取中,F1值仍能达到0.745,所提模型能够在一定程度上解决关系重叠问题同时有效提升关系抽取性能。     

基于实体对注意力机制的实体关系联合抽取模型

实体关系抽取是实现海量文本数据知识化、自动构建大规模知识图谱的关键技术。考虑到头尾实体信息对关系抽取有重要影响,该文采用注意力机制将实体对信息融合到关系抽取过程中,提出了基于实体对注意力机制的实体关系联合抽取模型(EPSA)。首先,使用双向长短时记忆网络(Bi-LSTM)结合条件随机场(CRF)完成实体的识别;其次,将抽取的实体配对,信息融合成统一的嵌入式表示形式,用于计算句子中各词的注意力值;然后,使用基于实体对注意力机制的句子编码模块得到句子表示,再利用显式融合实体对的信息得到增强型句子表示;最后,通过分类方式完成实体关系的抽取。在公开数据集NYT和WebNLG上对提出的EPSA模型进行评估,实现结果表明,与目前主流联合抽取模型相比,EPSA模型在F₁值上均得到提升,分别达到84.5%和88.5%,并解决了单一实体重叠问题。     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

民航突发事件领域本体关系提取方法的研究

针对民航突发事件领域本体关系抽取准确率低的问题,提出了一种结合注意力机制与双向门控循环单元(BiGRU)的关系抽取模型。首先查询预先训练的词向量矩阵,将文本中每个词语映射为向量表示;其次构建BiGRU,得到词语序列的上下文语义信息;然后在词语层面和句子层面分别引入注意力机制,为表达语义关系更重要的词语和句子分配更大的权重;最后进行模型的训练与优化。将该模型应用在民航突发事件领域本体的关系提取中,实验结果表明该模型相较于其他方法具有更好的提取效果,验证了该模型的有效性,为民航突发事件领域本体关系的自动获取提供了新的方法支持。     

基于混合神经网络的实体和事件联合抽取方法

实体和事件抽取旨在从文本中识别出实体和事件信息并以结构化形式予以呈现。现有工作通常将实体抽取和事件抽取作为两个单独任务,忽略了这两个任务之间的紧密关系。实际上,事件和实体密切相关,实体往往在事件中充当参与者。该文提出了一种混合神经网络模型,同时对实体和事件进行抽取,挖掘两者之间的依赖关系。模型采用双向LSTM识别实体,并将在双向LSTM中获得的实体上下文信息进一步传递到结合了自注意力和门控卷积的神经网络来抽取事件。在英文ACE 2005语料库上的实验结果证明了该文方法优于目前最好的基准系统。     

基于非线性堆叠双向网络的端到端声纹识别

传统声纹识别方法过程繁琐且识别率低,现有的深度学习方法所使用的神经网络对语音信号没有针对性从而导致识别精度不够。针对上述问题,本文提出一种基于非线性堆叠双向LSTM的端到端声纹识别方法。首先,对原始语音文件提取出Fbank特征用于网络模型的输入。然后,针对语音信号连续且前后关联性强的特点,构建双向长短时记忆网络处理语音数据提取深度特征,为进一步增强网络的非线性表达能力,利用堆叠多层双向LSTM层和多层非线性层实现对语音信号更深层次抽象特征的提取。最后,使用SGD优化器优化训练方式。实验结果表明提出的方法能够充分利用语音序列信号特征,具有较强的时序全面性和非线性表达能力,所构造模型整体性强,比GRU和LSTM等模型具有更好的识别效果。     

基于双层CNN-BiGRU-CRF的事件因果关系抽取

针对现有事件因果关系抽取方法关系边界识别能力弱和文本语义表征不足的问题,提出一种基于双层CNN-BiGRU-CRF深度学习模型的事件因果关系抽取方法。将因果关系抽取任务转换为两次序列标注任务分别由两层CNN-BiGRU-CRF模型完成,上层模型用于识别事件因果关系语义角色词,其标注结果作为特征输入下层模型划分因果关系边界。在每层模型中,采用突发事件样本数据对BERT模型进行微调,形成文本表示模型以获取语义特征向量矩阵,利用卷积神经网络和双向门控循环单元分别提取局部和全局深层特征,并将上述特征在每个时间序列步进行线性加权融合以增强语义表征能力,最终基于残差思想将高区分度特征输入CRF模型解码完成序列标注任务。在中文突发事件语料集上的实验结果表明,与BiLSTM-Att-规则特征、GAN-BiGRU-CRF等因果关系抽取方法相比,该方法的事件因果关系抽取效果更好,F值达到91.81%,能有效实现事件因果关系的准确抽取。     

基于注意力机制的TCN-BiLSTM船舶轨迹预测

针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络（TCN-ABiLSTM）的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表明,TCN-ABiLSTM模型相比LSTM、Bi-LSTM、TCN、BiLSTM-Attention、TCN-Attention模型船舶轨迹预测精度更高,拟合程度更好,验证了所设计的TCN-ABiLSTM模型在船舶轨迹预测方面的的有效性和实用性。     

基于MCNN-BiGRU-Attention的轴承故障诊断

传统的故障诊断方法在对轴承故障进行判定时, 存在特征提取不充分, 时序特性运用不完全且计算较为复杂的问题. 对于此问题, 本文提出一种基于多尺度卷积神经网络(multi-scale convolutional neural network, MCNN)、双向门控循环单元(bidirectional gated recurrent unit, BiGRU)和注意力机制(attention)的组合诊断方法. 该方法首先使用MCNN对信号数据进行多尺度特征提取, 在空间层面上, 实现了对特征的进一步提炼. 其次使用了BiGRU网络, 在时间层面上, 从正反两个方向获取时序关系. 接下来引入注意力机制, 忽略一些与结果不相关的信息并且降低信息丢失的风险以提高精度, 在经过全连接层创建映射后, 最后通过Softmax分类方法完成轴承故障诊断. 本文通过实验, 与LSTM模型、GRU模型、SVM模型、CNN-BiGRU等模型进行对比, 实验结果表明, 本文提出的模型相比以往提出的模型准确率更高, 单一工况下的故障诊断准确率达到了98.1%, 多工况条件下平均准确率达到了97.8%.     

面向语音谎言检测的智能机器学习特征融合算法研究

针对目前语音谎言检测识别效果差、特征提取不充分等问题,提出了一种基于注意力机制的欺骗语音识别网络。首先,将双向长短时记忆与帧级声学特征相结合,其中帧级声学特征的维数随语音长度的变化而变化,从而有效提取声学特征。其次,采用基于时间注意增强卷积双向长短时记忆模型作为分类算法,使分类器能够从输入中学习与任务相关的深层信息,提高识别性能。最后,采用跳跃连接机制将时间注意增强卷积双向长短时记忆模型的底层输出直接连接到全连接层,从而充分利用了学习到的特征,避免了消失梯度的问题。实验阶段,与LSTM以及其他基准模型进行对比,所提模型性能最优。仿真结果进一步验证了所提模型对语音谎言检测领域发展及提升识别率提供了一定借鉴作用。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。