融合FGM和指针标注的实体关系联合抽取方法

实体关系联合抽取是信息抽取的一项重要任务。由于传统的实体关系联合抽取方法把实体之间的关系建模为离散类型,因此不能很好地解决重叠三元组的问题。为了解决难以抽取重叠三元组的问题,本文提出一种融合FGM和指针标注的实体关系联合抽取BERT-FGM模型。该模型将实体之间的关系建模为函数,通过在BERT训练词向量的过程中融入FGM提高模型的鲁棒性。模型首先通过指针标注策略抽取头实体,然后将头实体与句子向量进行融合作为一个新向量,最终将其在预定义的关系条件下抽取头实体对应的尾实体。实验使用的是公开数据集WebNLG,实验结果表明该模型F1值达到90.7%,有效地解决了三元组重叠问题。     

基于CWHC-AM的实体及关系联合抽取方法

实体及关系抽取是从非结构化自然语言文本中抽取三元组。传统流水线的方法先抽取实体再抽取关系,容易造成误差传播,也忽略了两个子任务的内在联系和依赖关系,抽取多元关系及重叠关系效果较差。针对上述问题,该文首先将多元关系问题转换成多个二元关系问题进行抽取,充分考虑两个子任务之间的联系,提出一种基于CWHC-AM(character word hybrid coding and attention mechanism)的实体及关系联合抽取模型,采用多层指针网络标注方案,将实体及关系联合抽取任务转化为序列标注问题,实现重叠关系抽取。最后,引入对抗训练提高模型的鲁棒性。在百度DuIE 2.0中文数据集上进行实验,结果表明该文方法可有效地同时抽取多元关系及二元关系,取得比基线模型都要好的效果。     

融合预训练语言模型和标签依赖知识的关系抽取方法

关系抽取旨在从未经标注的自由文本中抽取实体间的关系.然而,现有的方法大都孤立地预测每一个关系而未考虑关系标签相互之间的丰富语义关联.该文提出了一种融合预训练语言模型和标签依赖知识的关系抽取模型.该模型通过预训练模型BERT编码得到句子和两个目标实体的语义信息,使用图卷积网络建模关系标签之间的依赖图,并结合上述信息指导最...     

BGPNRE:一种基于BERT的全局指针网络实体关系联合抽取方法

实体-关系联合抽取指从非结构化文本中联合抽取出实体-关系三元组，是信息抽取和知识图谱构建的一项关键任务。文中提出了一种新的基于全局指针网络实体关系联合抽取方法BGPNRE(BERT-based Global Pointer Network for Named Entity-Relation Joint Extraction),首先通过潜在关系预测模块预测文本中蕴含的关系，过滤掉不可能存在的关系，将实体抽取限制在预测的关系子集中；其次通过使用基于关系的全局指针网络，获取所有主客体实体的位置；最后通过全局指针网络通信模块，将主客体位置高效率地解码对齐成一个实体关系三元组。该方法避免了传统管道式方法存在的错误传播问题，同时也解决了关系冗余、实体重叠、Span提取泛化不足等问题。实验结果表明，所提方法在多关系和重叠实体抽取上表现卓越，并且在NYT和WebNLG公共数据集上达到了最先进的水平。     

基于图神经网络的联合实体关系抽取

从非结构化文本中联合提取实体和关系是信息抽取中的一项重要任务。现有方法取得了可观的性能,但仍受到一些固有的限制,如错误传播、预测存在冗余性、无法解决关系重叠问题等。为此,提出一种基于图神经网络的联合实体关系抽取模型BSGB（BiLSTM+SDA-GAT+BiGCN）。BSGB分为两个阶段：第一阶段将语义依存分析扩展到语义依存图,提出融合语义依存图的图注意力网络（SDA-GAT）,通过堆叠BiLSTM和SDA-GAT提取句子序列和局部依赖特征,并进行实体跨度检测和初步的关系预测;第二阶段构建关系加权GCN,进一步建模实体和关系的交互,完成最终的实体关系三元组抽取。在NYT数据集上的实验结果表明,该模型F₁值达到了67.1%,对比在该数据集的基线模型提高了5.2%,对重叠关系的预测也有大幅改善。     

基于图注意力和表指针网络的中文事件抽取方法

现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题，削弱事件内的信息交互，导致论元抽取性能低下，特别是论元角色存在重叠的情况下.对此，文中提出基于图注意力和表指针网络的中文事件抽取方法(Chinese Event Extraction Method Based on Graph Attention and Table Pointer Network, ATCEE).首先，融合预训练字符向量和词性标注向量作为特征输入，并利用双向长短期记忆网络，得到事件文本的强化语义特征.再将字符级建模的依存句法图引入图注意力网络，捕获文本中各组成成分的长距离依赖关系.然后，使用表填充的方法进行特征融合，进一步增强触发词和其对应的所有论元之间的依赖性.最后，将学习得到的表特征输入全连接层和表指针网络层，进行触发词和论元的联合抽取，使用表指针网络对论元边界进行解码，更好地识别长论元实体.实验表明：ATCEE在ACE2005和DuEE1.0这两个中文基准数据集上都有明显的性能提升，并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题.ATCEE源代码地址如下：https://github....     

基于信息融合标注的实体及关系联合抽取方法

针对目前机器学习方法在化学领域的资源实体及关系抽取任务上召回率低以及高度依赖人工特征工程和领域知识的问题,提出一种基于实体信息及关系信息融合标注的联合抽取方法(Information Fusion Tagging-Joint Model,IFT-Joint).该方法主要从以下两个方面改进:将联合抽取任务转化为序列标注问题,缓解联合抽取中重叠关系的问题;从序列标注的角度出发,提出一种基于BERT(Bidirectional Encoder Representations from Trans-formers)联合抽取模型.通过多组实验表明,在化学领域实体数据集上,IFT-Joint的召回率可达到75％以上,相比于所提到的其他方法效果提升明显,且具有良好的稳定性.     

语义与句法信息加强的二元标记实体关系联合抽取

随着互联网技术不断地发展，数据信息呈爆炸性增长,迫切需要从海量数据中高效地提取关键信息，而实体关系抽取作为信息抽取的核心任务，发挥着不可替代的重要作用。现有基于深度学习的实体关系抽取方法存在误差累积、实体冗余、交互缺失、实体关系重叠等问题。为充分利用语句的语义信息和句法信息，提出一种加强语义信息与句法信息的二元标记实体关系联合抽取模型SSERel。通过对输入文本进行BERT编码，并对三元组主体的开始位置和结束位置进行预测标记，提取文本的全局语义特征、主体与每个词语的局部语义特征以及句法特征，并将其融合进编码向量。对语句每种关系的客体位置进行预测标记，最终完成三元组的提取。在NYT和WebNLG数据集上的实验结果表明，相比CasRel模型，该模型的F1值分别提升2.7和1.4个百分点，能够有效解决复杂数据中存在的重叠三元组和多三元组等问题。     

面向武器装备领域的复杂三元组抽取方法

为解决武器装备领域中单实体重叠和实体对重叠的复杂三元组的抽取问题,提出了挂载武器装备领域知识结合多轮对抗攻击的复杂三元组抽取方法(RDA),该方法通过武器装备领域微调后的Bert获取更具领域语义的文本向量;利用在嵌入层发起多轮对抗的方式,实现模型层面的数据增强,减少模型对标注样本规模的依赖;采用单层指针网络获取头实体对头实体的类别进行判定,利用维基百科知识库对武器装备领域的实体类别解释信息的向量,对武器装备类别信息以字为最小粒度进行融合,缓解分层标注的天然缺陷;最后在横纵两个维度基于不同粒度的序列标注实现复杂三元组的抽取.在武器装备领域的数据集上精准率达到88.54%,召回率达到75.88%,F1值达到81.72%,取得了SOTA效果.实验表明提出的RDA方法对武器装备领域的信息利用更加充分,有效地缓解武器装备领域遇到的单实体重叠问题(SEO)和实体对重叠(EPO)问题.     

基于多信息融合的实体关系联合抽取方法

命名实体识别和关系抽取是自然语言处理领域的两个重要基本问题.联合抽取方法被提出用于解决传统解决管道抽取方法中存在的一些问题.为了充分融合头实体和句子的语义信息,同时解决可能存在的重叠三元组问题,论文提出了一种新的实体关系联合抽取方法,主要通过序列标注的方式抽取实体关系.该方法主要使用条件层归一化(Condi-tional Layer Normalization)进行信息融合.同时,该方法还赋予了待抽取的头实体和尾实体不同的语义编码.实验结果表明,该方法在使用预训练的BERT预处理编码器的情况下,在NYT和WebNLG数据集上有很好的表现.     

基于双向语义的中文实体关系联合抽取方法

现有中文实体关系抽取方法通常利用实体间的单向关系语义特征进行关系抽取，然而仅靠单向语义特征并不能完全利用实体间的语义关系，从而使得实体关系抽取的有效性受到影响。提出一种基于双向语义的中文实体关系联合抽取方法。利用RoBERTa预训练模型获取具有上下文信息的文本字向量表征，通过首尾指针标注识别句子中可能存在关系的实体。为了同时利用文本中的双向关系语义信息，将实体分别作为关系中的主体与客体来建立正负关系，并利用两组全连接神经网络构建正负关系映射器，从而对每一个输入实体同时从正关系与负关系的角度构建候选关系三元组。将候选关系三元组分别在正负关系下的概率分布序列与实体位置嵌入特征相结合，以对候选三元组进行判别，从而确定最终的关系三元组。在DuIE数据集上进行对比实验，结果表明，该方法的精确率与召回率优于MultiR、CoType等基线模型，其F1值达到0.805，相较基线模型平均提高了12.8%。     

融合依存信息的关系导向型实体关系抽取方法

中文实体关系抽取多以字符序列处理文本,存在字符语义表征不足、长字符序列语义遗忘等问题,制约了远距离实体的召回率,为此提出了一种融合依存句法信息的关系导向型抽取方法。输入层以字符序列和基于同义词表示的词序列为输入;编码端用长短时记忆网络(LSTM)进行文本编码,并加入全局依存信息,用于产生关系门的表示;解码端加入依存类型信息,并在关系门的作用下,用双向长短时记忆网络(BiLSTM)解码得到实体关系三元组。该方法在SanWen、FinRE、DuIE、IPRE中文数据集上的F₁值分别较基线方法提高5.84%、2.11%、2.69%和0.39%。消融实验表明,提出的全局依存信息和依存类型信息表示方法均可提升抽取性能,对长句和远距离实体的抽取性能也稳定地优于基线方法。     

基于维基百科的领域历史沿革信息抽取

针对在软件工程的教学过程中,由于领域概念种类多、演变快,导致学生理解记忆困难的问题,提出了通过抽取软件工程领域历史沿革主题信息构建知识库的方法。该方法首先结合自然语言处理技术与Web信息抽取技术从维基百科的自由文本中抽取实体与实体关系构建候选集;再利用关键词抽取方法TextRank从候选集中抽取与历史沿革关系最密切的实体关系;最后以关键实体关系为核心,抽取邻近的时间实体与概念实体组成五元组构建了知识库。在抽取信息的过程中,结合文本的语义信息对TextRank算法进行了改进,提高了抽取的准确率。实验结果表明,该知识库能够将软件工程领域的概念按时序特征组织在一起,验证了所提方法的有效性。     

基于句法语义特征的中文实体关系抽取

实体关系抽取的核心问题是实体关系特征的选择。以往的研究通常都以词法特征、实体原始特征等来刻画实体关系,其抽取效果已难再提高。在传统方法的基础上,该文提出一种基于句法特征、语义特征的实体关系抽取方法,融入了依存句法关系、核心谓词、语义角色标注等特征,选择SVM作为机器学习的实现途径,以真实新闻文本作为语料进行实验。实验结果表明该方法的F1值有明显提升。     

Neural Attentional Relation Extraction with Dual Dependency Trees

Relation extraction has been widely used to find semantic relations between entities from plain text. Dependency trees provide deeper semantic information for relation extraction. However, existing dependency tree based models adopt pruning strategies that are too aggressive or conservative, leading to insufficient semantic information or excessive noise in relation extraction models. To overcome this issue, we propose the Neural Attentional Relation Extraction Model with Dual Dependency Trees (called DDT-REM), which takes advantage of both the syntactic dependency tree and the semantic dependency tree to well capture syntactic features and semantic features, respectively. Specifically, we first propose novel representation learning to capture the dependency relations from both syntax and semantics. Second, for the syntactic dependency tree, we propose a local-global attention mechanism to solve semantic deficits. We design an extension of graph convolutional networks (GCNs) to perform relation extraction, which effectively improves the extraction accuracy. We conduct experimental studies based on three real-world datasets. Compared with the traditional methods, our method improves the F 1 scores by 0.3, 0.1 and 1.6 on three real-world datasets, respectively.     

面向科技情报分析的知识库构建方法

在知识库构建中,最重要的部分就是提取文本中的三元组,而三元组的提取需要实体抽取和实体关系抽取技术。针对实体抽取提出了一种CWATT-BiLSTM-LSTMd（character word attention-bidirectional long short-term memory-long short-term memory）模型。该模型可以有效解决实体抽取中一词多义问题,并且可以模拟标签的依赖问题。在实体抽取的基础上进行实体关系的抽取,为解决实体关系抽取中远程监督的局限性,提出一种基于强化深度学习的RL-TreeLSTM（reinforcement learning tree long short-term memory）模型。该模型分为选择器和分类器,选择器选择有效的句子传入分类器,分类器对句子中实体对的关系标签进行预测。选择器和分类器共同训练以优化选择和分类过程,可以有效降低远程监督带来的噪音。实验结果表明,提出的模型和方法能有效地提高实体及其关系的抽取性能。     

基于字词混合的中文实体关系联合抽取方法

针对中文关系抽取中分词时引起的边界切分出错而造成的歧义问题,以及出现实体对重叠不能提取出所涉及的多个关系问题,提出一种基于字词混合的联合抽取方法.首先,对于分词边界问题,嵌入层在词向量的基础上结合字向量,并且增加位置信息来保证字与字之间的正确顺序.其次,模型引入混合扩张卷积网络进行不同粒度、更远距离的特征提取.最后,采用分层标注方法,通过得到的主实体信息标记对应的关系和客实体,每个主实体可对应多个关系和客实体.与其他关系抽取方法在相同中文数据集上进行实验对比,实验结果表明,该方法的抽取效果最佳,并且也表现出更好的稳定性.     

融合BERT-WWM和指针网络的旅游知识图谱构建研究

针对旅游信息呈现出散乱、无序和关联性不强的问题,提出一种融合BERT-WWM（BERT with whole word masking）和指针网络的实体关系联合抽取模型构建旅游知识图谱。借助BERT-WWM预训练语言模型从爬取的旅游评论中获得含有先验语义知识的句子编码。针对传统的实体关系抽取方法存在错误传播、实体冗余、交互缺失等问题,以及旅游评论中的实体关系存在一词多义、关系重叠等特征,提出直接对三元组建模,利用句子编码抽取头实体,根据关系类别抽取尾实体,并建立级联结构和指针网络解码输出三元组。基于Neo4j图数据库存储三元组构建旅游知识图谱。实验在建立的旅游数据集上进行,融合BERT-WWM与指针网络的实体关系联合抽取模型的准确率、召回率和F1值分别为93.42%、86.59%和89.88%,与现有模型相比三项指标均显示出优越性,验证了该方法进行实体关系联合抽取的有效性。构建的旅游知识图谱实现了旅游景区信息的整合与存储,对进一步促进旅游业发展具有一定的实际参考意义。