结合实体描述信息的跨句包关系抽取方法

远程监督关系抽取方法能够大幅减少标注成本,但现有方法忽略了关系间的关联信息和实体背景知识。结合实体描述信息提出一种新的跨句包关系抽取方法。引入分段卷积神经网络进行句编码,解决特征提取的误差传播问题。同时设计跨关系跨句包注意力机制获取关系特征,更好地从远程监督的噪声数据中鉴别有效实例,从而充分利用关系之间丰富的相关信息并降低噪音句子的影响。在此基础上,利用卷积神经网络提取实体描述信息,补充关系抽取任务所需的背景知识,为跨关系跨句包注意力模块提供更好的实体表示。在NYT公共数据集上的实验结果表明,该方法在句子层面抽取任务上的F1值较结合句注意力与实体描述信息的分段卷积方法提高了4%左右,能够有效改善远程监督关系抽取效果。     

基于图注意力卷积神经网络的文档级关系抽取

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型。该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息。该文分别在DocRED语料和自主扩展的ACE 2005语料上进行实验,与基准模型相比,基准模型上融入图注意力卷积的模型在两个数据集上的F₁值分别提升了2.03％和3.93％,实验结果表明了该方法的有效性。     

基于Mogrifier LSTM的序列标注关系抽取方法

对文本中的上下文信息进行充分利用能够提高关系抽取性能,但当前多数基于深度学习的关系抽取方法仅捕获文本序列中的浅层特征信息,在长序列文本中易丢失上下文信息。针对传统LSTM中输入和隐藏状态之间相互独立且缺少信息交互的问题,建立一种基于Mogrifier LSTM的序列标注关系抽取模型。将由词嵌入、字符嵌入和位置嵌入构成的嵌入层结果输入Mogrifier LSTM层,该层通过在传统LSTM计算之前交替地让当前输入与之前隐藏状态进行多轮运算,以增强上下文交互能力。使用自注意力机制提高模型对重要特征的关注度,同时采用基于关系的注意力机制获取特定关系下的句子表示,从而解决实体关系重叠问题。在关系分类模块,利用Bi-LSTM进行序列标注,将句子中的每个词汇映射为相应的标签。实验结果表明,在NYT数据集上该模型的F1值达到0.841,优于HRL、OrderRL等模型,在存在SEO重叠类型的关系抽取中,F1值仍能达到0.745,所提模型能够在一定程度上解决关系重叠问题同时有效提升关系抽取性能。     

用于方面级情感分析的图指导的差异化注意力网络

方面级情感分析旨在识别句子中每个方面的情感极性。近年来，将注意力机制和依存树语法结构信息相结合的方法被用于建模方面项和意见项间的依赖关系。然而，这类方法通常具有高度依赖依存树解析质量的缺点。此外，注意力机制也存在因权重分布密集而引入噪声的固有缺陷。为解决以上问题，该文设计并提出了用于方面级情感分析的图指导的差异化注意力网络模型。模型利用图指导机制帮助自注意力机制主动学习接近语法结构的注意力权重，减轻模型对依存树的依赖程度。同时利用注意力差异化操作鼓励注意力权重分布趋于离散，以有效减少噪声引入。在3个公开数据集上进行的实验，验证了该文所提出的方法能更合理地利用语义和语法信息，具有较为先进的情感分类性能。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

基于注意力机制的双向长短时记忆网络模型突发事件演化关系抽取

针对现有突发事件关系抽取研究多集中于因果关系抽取而忽略了其他演化关系的问题，为了提高应急决策中信息抽取的完备性，应用一种基于注意力机制的双向长短时记忆（LSTM）网络模型进行突发事件演化关系抽取。首先，结合突发事件演化关系的概念，构建演化关系模型并进行形式化定义，依据模型对突发事件语料进行标注；其次，搭建双向LSTM网络结构，并引入注意力机制计算注意力概率以突出关键词汇在文本中的重要程度；最终，使用搭建的网络模型进行演化关系抽取得到结果。在演化关系抽取实验中，相对于现有因果关系抽取方法，所提方法不仅抽取出更加充分的演化关系，为突发事件应急决策提供了更完善的信息；同时，在正确率、召回率和F1分数上分别平均提升了7.3%、6.7%和7.0%，有效提高了突发事件演化关系抽取的准确性。     

基于混合神经网络的实体和事件联合抽取方法

实体和事件抽取旨在从文本中识别出实体和事件信息并以结构化形式予以呈现。现有工作通常将实体抽取和事件抽取作为两个单独任务,忽略了这两个任务之间的紧密关系。实际上,事件和实体密切相关,实体往往在事件中充当参与者。该文提出了一种混合神经网络模型,同时对实体和事件进行抽取,挖掘两者之间的依赖关系。模型采用双向LSTM识别实体,并将在双向LSTM中获得的实体上下文信息进一步传递到结合了自注意力和门控卷积的神经网络来抽取事件。在英文ACE 2005语料库上的实验结果证明了该文方法优于目前最好的基准系统。     

基于实体对注意力机制的实体关系联合抽取模型

实体关系抽取是实现海量文本数据知识化、自动构建大规模知识图谱的关键技术。考虑到头尾实体信息对关系抽取有重要影响,该文采用注意力机制将实体对信息融合到关系抽取过程中,提出了基于实体对注意力机制的实体关系联合抽取模型(EPSA)。首先,使用双向长短时记忆网络(Bi-LSTM)结合条件随机场(CRF)完成实体的识别;其次,将抽取的实体配对,信息融合成统一的嵌入式表示形式,用于计算句子中各词的注意力值;然后,使用基于实体对注意力机制的句子编码模块得到句子表示,再利用显式融合实体对的信息得到增强型句子表示;最后,通过分类方式完成实体关系的抽取。在公开数据集NYT和WebNLG上对提出的EPSA模型进行评估,实现结果表明,与目前主流联合抽取模型相比,EPSA模型在F₁值上均得到提升,分别达到84.5%和88.5%,并解决了单一实体重叠问题。     

基于动态标签的关系抽取方法

针对远程监督数据集的关系抽取研究方法存在着大量标签噪声的问题,提出了一种作用于分层注意力机制关系抽取模型的动态标签方法。首先，提出了一种根据关系类别相似性生成动态标签的概念。由于相同的关系标签包含相似的特征信息，计算特征信息的关系类别相似性有助于生成与特征信息相对应的动态标签。其次，利用动态标签方法的评分函数来评价远程监督标签是否为噪声，以决定是否需要生成新的标签代替远程监督标签，通过调整远程监督标签来抑制标签噪声对模型的影响。最后，根据动态标签来更新分层注意力机制以关注有效实例，重新学习每个有效实例的重要性，进一步抽取关键的关系特征信息。实验结果表明，相较于原始的分层注意力机制关系抽取模型，所提方法在Micro和Macro分数上分别有1.3个百分点和1.9个百分点的提升，实现了噪声标签的动态纠正，提升了模型的关系抽取能力。     

基于最短依存路径和集成学习的化学物蛋白质关系抽取

化学物与蛋白质之间的相互作用关系抽取对精准医学和药物发现等方面的研究有着重要作用。该文提出了一种基于最短依存路径和注意力机制的双向LSTM模型,并将其应用于化学物蛋白质关系抽取。在特征上综合考虑了最短依存路径上的词性、位置和依存关系类型等。在BioCreative VI CHEMPROT任务上的实验表明,该方法在基于依存信息的系统中获得了较好的F₁值性能。同时,集成学习也进一步提高了化学物蛋白质关系抽取性能。     

基于藏文Albert预训练语言模型的图采样与聚合实体关系抽取

实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation, GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案: ①使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征; ②使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性; ③借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。     

基于控制输入长短期记忆网络的关系抽取方法——

目前基于传统深度学习的关系抽取方法在复杂语境下抽取较为困难, 且未考虑语境中非目标关系对关系抽取所带来的影响. 针对这一问题, 本文提出了控制输入长短期记忆网络CI-LSTM (control input long short-term memory), 该网络在传统LSTM的基础上增加了由注意力机制和控制门阀单元组成的输入控制单元, 控制门阀单元可依据控制向量进行关键位置上的重点学习, 注意力机制对单个LSTM的输入的不同特征进行计算. 本文通过实验最终选择使用句法依存关系生成控制向量并构建关系抽取模型, 同时使用SemEval-2010 Task8关系数据集以及该数据集中具有复杂语境的样本对所提方法进行实验. 结果表明, 相比于传统的关系抽取方法, 本文所提CI-LSTM在准确率上有进一步提升, 并在复杂语境中具有更好的表现.     

基于GAUNet的深度学习相位解缠方法

提出了一种基于全局注意力上采样网络的相位解缠方法。首先，结合全局注意力上采样机制和PU-M-Net,对不同噪声量级的干涉图进行解缠。其中，全局注意力上采样机制有效利用高级特征信息为低级特征图提供加权指导以减少高级特征与低级特征之间语义条纹信息的差距；PU-M-Net所采用的跳跃连接促进了相位细节信息和语义条纹信息的有效融合。其次，利用噪声量级评估系统对干涉图进行噪声等级划分，构建不同噪声量级的数据集对网络模型进行训练，使完成训练后的网络可有效处理不同噪声量级干涉图的相位解缠问题。最后，将待解缠干涉图匹配至相应噪声量级的解缠网络进行解缠。模拟和实测干涉图相位解缠实验验证了该方法的有效性。     

基于图依存分析的情感原因对抽取任务

情感原因对抽取是情感分析任务中的子任务,旨在抽取出给定文档中的所有情感子句以及引起该情感所对应的原因子句。先前的研究在生成情感子句与原因子句表示时忽略了情感子句与原因子句之间的相互联系。为了解决上述问题,基于图依存分析的思想并融入了图注意力机制,提出了GAT-ECPE模型。该模型在获取到情感子句表示与原因子句表示时,将句向量作为节点输入图注意力层从而学习到子句之间关系的信息,而后进行双仿射映射得到情感原因对的编码表示。并且设置了多任务来将情感抽取与原因抽取任务建立联系。在ECPE数据集上的实验结果证明,本文模型相较于先前的一系列模型,在评估指标上有所提升。     

基于双重注意力机制的远程监督中文关系抽取

相比于传统有监督的中文关系抽取方法，基于远程监督的方法可极大地避免训练语料匮乏的问题，因此得到了广泛关注。然而，远程监督方法的性能却严重受困于构建语料过程中引入的错误标签，因此为缓解噪声数据所带来的影响，提出一种基于双重注意力机制的关系抽取模型。该模型可通过双向门限循环单元（Bidirectional Gated Recurrent Unit，BI-GRU）网络获取训练实例的双向上下文语义信息，并利用字符级注意力机制关注实例中重要的语义特征，同时在多个实例间引入实例级注意力机制计算实例与对应关系的相关性，以降低噪声数据的权重。在基于互动百科构建的中文人物关系抽取语料上的实验结果表明，该模型相比于单注意力机制模型可有效利用实例中所包含的语义信息并降低错误标签实例的影响，获取更高的准确率。     

Sen-BiGAT-Inter:情绪原因对抽取方法

情绪原因对抽取任务是将情绪子句与原因子句同时抽取。针对该任务,现有模型的编码层未考虑强化情感词语义表示,且仅使用单一图注意力网络,因此,该文提出了一个使用情感词典、图网络和多头注意力的情绪原因对抽取方法(Sen-BiGAT-Inter)。该方法首先利用情感词典与子句中的情感词汇匹配,并将匹配的情感词汇与该子句进行合并,再使用预训练模型BERT(Bidirectional Encoder Representation from Transformers)对句子进行表示。其次,建立两个图注意力网络,分别学习情绪子句和原因子句表示,进而获取候选情绪原因对的表示。在此基础上,应用多头注意力交互机制学习候选情绪原因对的全局信息,同时结合相对位置信息得到候选情绪原因对的表示,用于实现情绪原因对的抽取。在中文情绪原因对抽取数据集上的实验结果显示,相比目前最优的结果,该文所提出的模型在 F₁ 值上提升约1.95。     

基于图的人-物交互识别

提出了一种基于图的人与物体的交互（Human-Object Interactions,HOIs）识别方法。为了对静态图像中人与物体间丰富的交互关系进行有效的表示,采用具有强大关系建模能力的图结构为图像生成对应的人-物交互关系图。为了对图像中上下文（context）信息加以利用,提出了引入注意力机制的特征处理网络（Feature Processing Network,FPNet）。通过图注意力（Graph Attention Network,GAT）网络完成对真实的HOIs的检测和识别。该方法在V-COCO数据集与HICO-DET数据集上进行了验证,并与其他方法进行了比较,结果表明该方法具有较好的效果。     

基于注意力机制的LSTM的语义关系抽取*

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM模型(Long Short-term memory)与注意力机制(Attention Mechanism)相结合的关系抽取方法。首先将文本信息向量化,提取文本局部特征;然后将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在SemEval-2010 Task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。     

基于门控双层异构图注意力网络的半监督短文本分类

针对现有的基于异构图神经网络的短文本分类方法未充分利用节点之间的有效信息,以及存在的过拟合问题,文中提出基于门控双层异构图注意力网络的半监督短文本分类方法(Semi-Supervised Short Text Classification with Gated Double-Layer Heterogeneous Graph Attention Network, GDHG).GDHG包含节点注意力机制和门控异构图注意力网络两层.首先,使用节点注意力机制,训练不同类型的节点注意力系数,再将系数输入门控异构图注意力网络,训练得到门控双层注意力.然后,将门控双层注意力与节点的不同状态相乘,得到聚合的节点特征.最后,使用softmax函数对文本进行分类.GDHG利用节点注意力机制和门控异构图注意力网络的信息遗忘机制对节点信息进行聚集,得到有效的相邻节点信息,进而挖掘不同邻居节点的隐藏信息,提高聚合远程节点信息的能力.在Twitter、MR、Snippets、AGNews四个短文本数据集上的实验验证GDHG性能较优.     

融合实体特征及多种类注意力机制的领域关系抽取模型

基于远程监督的关系抽取方法可以明显地减少人工标注数据集的成本,已经被广泛应用于领域知识图谱的构建任务中.然而,现有的远程监督关系抽取方法领域针对性不强,同时也忽略了对领域实体特征信息的利用.为了解决上述问题,提出了一种融合实体特征和多种类注意力机制的关系抽取模型PCNN-EFMA.模型采用远程监督和多实例技术,不再受限于人工标注.同时,为了减少远程监督中噪声的影响,模型使用了句子注意力和包间注意力这两类注意力,并在词嵌入层和句子注意力中融合实体特征信息,增强了模型的特征选择能力.实验表明,该模型在领域数据集上的PR曲线更好,并在P@N上的平均准确率优于PCNN-ATT模型.