一种基于先验知识的实体关系联合抽取模型

不同于流水线方式的关系抽取方法,在实体关系联合抽取方式中虽然把实体识别和关系抽取两者结合起来,但损失部分实体特征信息.在以BERT预训练模型为核心的SpERT实体关系联合抽取模型输入阶段,融入置信度较高的词性标注和句法依存关系的先验特征;并在模型的关系抽取层中重用输入信息,为关系抽取任务提供更多的特征;在优化模型的损失...     

基于网络挖掘的实体关系元组自动获取

二元实体关系元组可以应用到知识库构建,数据挖掘,模式抽取等多个领域.本文利用特定关系的一个元组和一个关键词作为种子,结合多种自然语言处理底层技术,采取改进的模式获取方法和自举迭代策略,提出了一种新的从Web上抽取实体关系元组的方法.基准方法的平均准确率达到了78.12%,采用过滤措施后抽取方法的平均准确率达到了98.42%.实验结果表明,利用网络挖掘方法获取的实体关系元组能够很好满足信息抽取的应用,对抽取出的元组进一步处理,能够获取更多有价值的信息.     

基于改进注意力机制的实体关系抽取方法

实体关系抽取是知识库构建中至关重要的一个环节.在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在准确率等性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给实体关系抽取模型的训练带来了很大的影响.本文提出一种基于改进注意力机制的卷积神经网络实体关系抽取模型.该模型针对包含同一实体对的句子集合,从中尽可能地找出所有体现该实体对关系的正实例,构建组合句子向量,抛弃可能的噪声句子,从而最大程度地降低噪声句子的影响又能充分利用正实例的语义信息.实验证明,本文提出的关系抽取模型在准确率上优于对比的关系抽取模型.     

融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

面向新闻领域的中文实体关系抽取

随着互联网技术的快速发展,人们能够及时地获取大量的新闻文本信息,如何从新闻中自动获取关键信息,把新闻中具有价值的信息转化为结构化数据,从而快速有效地获取有用的知识已是迫切需求.实体关系抽取是获取关键信息的方法之一,但目前关于中文的实体关系抽取工作较少.针对基于长短时记忆网络的中文实体识别模型难于提取长距离的依存关系特征...     

基于ERNIE-Bi-GRU-Attention的医疗实体关系抽取模型

医疗信息文本信息处理存在文本长、专业术语多、实体间关系复杂等问题,因此,提出一种基于ERNIEBi-GRU-Attention的医疗实体关系抽取模型。首先通过预训练模型ERNIE使向量获得丰富的语义信息和医疗先验知识,解决医疗专业术语问题;其次通过Bi-GRU-Attention进行语句编码,捕获有效上下文信息,有利于关系抽取;然后使用经典CRF输出实体标签;将实体标签特征和语句编码向量特征拼接进行一阶和二阶特征融合;最后通过分类器获得最终关系标签输出。通过在医疗数据集上验证,结果表明与其他模型相比,使用此模型医疗实体关系抽取的效果有所提升。     

基于深度学习的中文实体关系抽取研究

实体关系抽取能够从文本中提取事实三元组信息,这对于构建大规模的知识图谱是十分重要的。在现有的研究中,通常以先进行实体识别,而后进行关系分类或者进行统一标注的方式来完成这一任务,虽然这些方法能够使关系抽取任务变得更易实现,并且模型的网络框架灵活性更高,但是也存在误差积累和暴露误差等问题,且对于关系抽取中的关系重叠和实体嵌套等重难点问题不能够很好的处理。为了解决上述存在的问题,文章构建一种基于深度学习的中文实体关系联合抽取模型。该模型由基于评分的分类器和特定关系的角标记策略以及分区过滤网络构成,首先通过分区过滤网络,将输入的文本划分成三个分区,实体分区和关系分区以及共享分区,能够确保实体识别任务和关系抽取任务进行更好的双向交互;接着应用特定关系的角标记策略来解码实体信息,最后通过一个基于评分的分类器来输出事实关系三元组。实验表明,提出的方法能够改善传统方法带来的误差积累和交互缺失以及实体冗余等问题,提高了三元组抽取的准确率。     

基于特征组合的中文实体关系抽取

结合中文关系抽取的要求,以ACE2005的中文语料为数据进行关系抽取实验.在抽取中文词法、实体、句法,语法基本特征后,提出采用特征组合方法,使用支持向量机的机器学习(SVM)方法,在上关系探测和关系大类上F值分别提高了1.36%和3.97%,达到72.77和61.03,并分析出各部分组合特征的贡献.实验数据表明词语和实体组合特征对中文关系抽取的作用较大.     

基于BERT的非招标采购实体关系抽取研究

提出了一种基于BERT的实体长度感知的实体关系抽取模型IL-BERT,该模型在经过BERT方法提取的实体特征向量上引入实体长度信息,以增强实体特征的表示能力。分别在公共数据集和非招标采购领域数据集上进行试验,结果表明,提出模型的数值均优于基线模型。     

基于自注意力卷积神经网络的实体关系抽取

在自然语言处理解领域中,实体关系抽取作为信息抽取中的一个重要分支,旨在从自然文本中提取出两个实体之间的语义关系。大多数研究工作都是基于NLP系统的特征,特征提取工程和预处理过程十分冗杂,并且由LTP工具提取出来的特征会在模型中迭代而产生错误传播。为了避免对NLP系统的滥用,提出一种基于端到端的自注意力卷积神经网络模型来提取实体对之间的语义关系。实验结果表明,该方法在SemEval-2010 Task 8数据集上的F₁值提高了约1.3%。     

中英命名实体识别及对齐中的中文分词优化

中文分词结果对中英命名实体识别及对齐有着直接的影响,本文提出了一种命名实体识别及对齐中的中文分词优化方法.该方法利用实体词汇的对齐信息,首先修正命名实体识别结果,然后根据实体对齐结果调整分词粒度、修正错误分词.分词优化后的结果使得双语命名实体尽可能多地实现一一对应,进而提高中英命名实体翻译抽取和统计机器翻译的效果.实验结果表明了本文优化方法的有效性.     

深度学习赋能网络安全知识图谱实体关系联合抽取研究

文中研究了知识图谱中关于实体关系联合抽取方式,解决流水线抽取方式的误差传播、效率低下及关系重叠的问题,设计了网络安全本体模型,提出基于深度学习的Seq2Seq联合抽取模型,编码层通过BERT-WWM和双向长短期记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)模型获取上下文语义表示,并融合多头注意力机制突显文本中的重要单词,解码层通过指针网络输出序列标注,从而获取头实体、关系及尾实体。以自标注的数据集为语料,通过TensorFlow框架建模,对实体和关系抽取的质量进行评估。结果表明,模型的精确率、召回率和F1值均较高,验证了联合抽取模型的有效性,最后通过Neo4j图数据库构建并可视化知识图谱。     

基于卷积神经网络的医疗护理实体关系抽取

针对医疗护理领域知识复杂性强、数据量大以及对准确度要求较高的问题,该研究提出一种基于卷积神经网络的医疗护理学实体关系抽取方法,实现对护理学语义关系的细粒度文本挖掘。该研究构建了医疗护理学语料标注系统,通过将医疗语料转化为向量特征矩阵,实现了对医疗语料的自动过滤和标注。通过向神经网络模型嵌入所构建的医疗关系语料库,一定程度上提高了模型疾病分类的准确度。在医疗护理学数据集上的实验表明,基于卷积神经网络的模型在指标精确度、召回率、F1值可达到89.78%、87.59%、89.77%。综上所述,该研究提出的基于卷积神经网络的医疗护理学实体关系抽取方法能够有效地抽取医疗语料数据中的实体关系,优于传统的实体关系抽取模型。     

基于XLNet的医学文本实体关系识别模型

目前在处理医学文本实体间关系提取任务中,使用传统的词向量表示方法无法解决医学文本中的词多义性问题,加上基于长短时记忆网络对文本语义局部特征抽取不够充分,不能充分捕捉医疗文本隐藏的内部关联信息。因此,提出一种基于XLNet-BiGRU-Attention-TextCNN的医疗文本实体关系抽取模型。利用XLNet模型将输入的医疗文本转化为向量形式,接着连接双向门控循环神经网络(BiGRU)提取文本语句的长距离依赖关系,然后使用注意力机制(Attention)为特征序列分配权重,降低噪声影响,最后利用文本卷积神经网络(TextCNN)对序列进行局部特征提取并通过softmax层输出关系抽取结果。实验结果表明,本文所提模型在精确率、召回率和F值上均优于基准模型。     

基于双编码和MRT的实体与关系联合抽取研究

部分联合学习模型使用同一个编码器对实体识别和关系抽取这两项任务进行编码,但是单个编码器不足以捕获同一空间中两个任务所需的信息,本文通过使用序列编码器获取实体标签,表格编码器获取关系标签的双编码方式改善这一缺陷;与此同时,为了让整个模型更快、更好的收敛到理想效果,在双编码器模型的基础上加入了最小风险训练来优化全局损失函数.与现有的主流模型在4个标准数据集上进行对比发现,本文模型相较主流模型在评价指标上均有一定程度的提升.     

结合词语规则和SVM模型的军事命名实体关系抽取方法

作战文书一直是我国军事中的一项重要任务,但是由于作战文书的特殊性和保密性,写者都会用一些带有特殊性质的东西来掩人耳目,但是作战文书非常重要,关乎作战中军事命名和实体作战的关系,稍有不慎就会理解错误,轻则会违反规定,重则会直接影响到我国的经济利益和国土安全,因此,抽取作战文书中的主要意思,弄清楚军事命名实体关系,对实现作战文书语义理解有着重大突破。作战文书分析模式虽然有很多方法,但是大多数学者都是在它的基础上结合词语规则和SVM模式进行研究,是目前最为有效的抽取方法。此类方法的使用主要是先利用语文中经常用到的词语规则整理出作战文书中连续出现并且相似度极高的实体,并从中提取出相关信息,两者相互磨合,能更好地与SVM模型兼容。其次,使用SVM模型对各个有效因素进行建立模型,抽取其中我们所需要的信息进行军事命名实体关系的研究。根据以上结果充分表明,如果单独使用SVM模型进行提取,其结果将不堪一击,但是如果优先利用词语规则进行提取,之后再结合SVM模型进行抽取,整个准确率和效率都会得到事半功倍的效果。     

一种基于实体描述和知识向量相似度的跨语言实体对齐模型

跨语言实体对齐旨在找到不同语言知识图谱中指向现实世界同一事物的实体.传统的跨语言实体对齐方法通常仅依靠知识图谱内部的结构信息,但实际上一些知识图谱提供的实体描述信息也可以被利用.本文提出了一种结合知识图谱的内部结构和实体描述信息共同进行跨语言实体对齐的模型.该模型首先通过训练基于知识图谱结构信息的知识向量找到可能被对齐的实体对,再结合实体描述信息利用改进后的共享参数模型选出最终的对齐实体,最后通过迭代对齐的方法重复前两个步骤找到更多的对齐实体直到训练结束.实验结果表明,与基准算法相比,本文所提模型在跨语言实体对齐任务上可以取得相对不错的结果.     

基于Boot Strapping的中文实体关系自动生成

针对中文信息抽取系统中建立提取事件模板的难点问题，基于Bootstrapping思想。提出一种简单、可行的实体关系自动生成方法，利用由种子词和种子模板组成的知识库建立学习器，采用标量聚类的方法，通过种子模板抽取更多的与种子词相似语义关系的特征词。在此基础上，利用最近邻居的原则。进而生成更多的抽取模板。丰富了知识库，为分析二元实体关系奠定基础，使得生成复杂的消息模板成为可能，同时极大地减轻手工建立模板的复杂度．有利于系统进行移植。     

基于卷积神经网络的实体关系抽取研究

关系抽取是信息抽取中的一个重要子任务,很多关系抽取任务利用现有的词法分析和句法分析等基本的NLP处理工具来生成特征,但是该特征提取方法完全利用之前的经验进行,特征的质量过度依赖于已有的NLP工具的准确率,存在误差传播的问题.近年来随着深度学习的发展,卷积神经网络学习算法在很多自然语言处理任务中取得了较好的效果.文中应用...     

基于依存句法的实体关系抽取

本文首先介绍了自然语言处理的概念,并给出了自然语言处理模型,与此同时,分析了依存句法的有关问题,包括其公理以及具体分析方法等,最后阐述了基于依存句法的实体关系抽取过程。