基于自适应注意力机制的知识图谱补全算法

现有的知识图谱补全模型通常将多源信息整合为实体和关系学习单一的静态特征表示,但无法表征不同上下文中出现的实体和关系的细差含义和动态属性,即实体和关系在涉及不同的三元组时可能有着不同的角色和含义,并因此表现出不同的属性。为此,提出了一种自适应注意力网络用于知识图谱补全,引入自适应注意力建模每个特征维度对特定任务的贡献程度,为目标实体和关系生成动态可变的嵌入表示。具体而言,所提模型通过定义邻居编码器和路径聚合器来处理实体邻域子图中的两种结构,自适应地调整邻居实体和关系路径的注意力得分,以捕获逻辑上与任务最相关的属性特征,为实体和关系赋予符合当前任务的细粒度语义。在链接预测任务中的实验结果表明,所提模型在FB15K-237数据集中的MeanRank指标比PathCon降低了6.9%,Hits@1比PathCon提高了2.3%;在稀疏数据集NELL-995和DDB14上,其Hits@1分别达到了87.9%和98%,证明了引入自适应注意力机制能够有效提取实体和关系的动态属性,为二者生成更全面的表示形式,从而提高知识图谱补全精度。     

基于贝叶斯网的开放世界知识图谱补全

知识图谱中实体所涉及的关系之间通常具有相互依赖的性质,基于这种依赖性可利用数据中的新实体来构造更多的三元组从而补全知识图谱.贝叶斯网(BN)是一种表示和推理变量之间相互依赖关系和不确定性知识的有效模型,将BN作为模型框架,研究基于BN的开放世界知识图谱补全方法.提出知识图谱中关系之间依赖性的表示模型构建方法,构建过程包...     

融合概念和属性信息的领域知识图谱补全方法

针对领域知识图谱具有严格的模式层和丰富的属性信息的特点,提出一种融合概念和属性信息的领域知识图谱补全方法.首先对领域知识图谱模式层中的概念使用可建模语义分层结构的HAKE模型进行嵌入表示,建立基于概念的实例向量表示;其次对数据层的实例三元组和属性三元组进行区分,通过注意力机制对实例的属性和概念进行融合,建立基于属性的实例向量表示;最后对基于概念和基于属性的实例向量表示进行联合训练以实现对实例三元组的评分.使用基于DWY100K数据集构建的知识图谱、MED-BBK-9K 医疗知识图谱和根据某钢铁企业设备故障诊断数据构建的知识图谱进行实验,结果表明所提出方法在领域知识图谱补全中的性能优于现有知识图谱补全方法.     

基于贝叶斯网络的实体属性补全

属性是实体的重要组成部分,因此实体属性的获取是知识图谱构建的关键步骤.由哈尔滨工业大学社会计算与信息检索研究中心推出的开放域中文知识图谱《大词林》是通过从文本中自动挖掘实体及实体间的关系构建而成的,因此为《大词林》中缺少属性的实体添加属性也成为必须研究的问题之一.该文提出了一种解决方案:基于贝叶斯网络的概率统计模型,通...     

基于异构图注意力的工业设备故障诊断知识图谱补全方法

针对工业设备故障诊断知识图谱故障实体属性残缺、故障关系链接缺失的问题,本文提出了一种基于知识图谱异构图注意力网络(knowledge graph heterogeneous graph attention network, KGHAN)模型的工业设备故障诊断知识图谱补全方法,通过对故障实体概念补全和故障关系链接补全完善了工业设备故障诊断知识图谱.所提KGHAN模型在异构图注意力网络模型的基础上,融合了故障知识结构信息和故障图结构信息,有效地表征了故障实体和故障关系的嵌入表示,提高了故障实体概念补全任务的准确率和故障关系链接补全任务的命中率.将所提工业设备故障诊断知识图谱补全方法应用在国内某企业的工业设备故障运维数据上,结果表明,故障实体概念补全任务的准确率提高了约10%,故障关系链接补全任务的命中率提高了约37%,验证了方法的有效性.     

少样本知识图谱补全技术研究

少样本知识图谱补全（FKGC）是目前知识图谱补全任务的一个研究热点,旨在拥有少量样本数据的情况下,完成知识图谱补全任务。该任务在实际应用和知识图谱领域都有着重要的研究意义,为了进一步促进FKGC领域的发展,对目前各类方法进行了全面总结和分析。首先,描述了FKGC的概念和相关内容;其次,以技术方法作为分类依据,归纳总结出三类FKGC方法,包括基于度量学习的方法、基于元学习的方法以及基于其他模型的方法,并从模型核心、模型思路、优缺点等角度对每种方法进行分析和总结;然后,汇总了FKGC方法的数据集和评价指标,并从模型特点和实验结果两方面对FKGC方法进行分析与归纳;最后,从实际问题出发,总结了目前FKGC任务的难点问题,分析了问题背后的困难,给出了相应的解决方法,同时展望了该领域未来值得关注的几个发展方向。     

基于时序感知的动态知识图谱补全方法

针对动态知识图谱的补全方法大多将时间维度内嵌于实体或关系中,将四元组降维成三元组后以静态知识图谱补全理论进行补全。静态补全方法通常只对实体关系建模,忽略了时间信息在四元组中的重要作用。同时知识库内时间表述存在稀疏性和不规则性。针对以上问题,提出了时序感知编码器和时序卷积解码器。时序感知编码器将时间维度同实体和关系嵌入为同规模向量,通过改进的图卷积神经网络实现四元组的特征提取。针对时序编码器特征提取后的四元组向量,时序卷积解码器利用卷积神经网络评估全局关系以进行链接预测。所提出的方法可以提供更精确的时间维度特征,提升补全时序图谱的性能。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k数据集上的实验验证了提出方法的有效性,同时链接预测效果较优。     

基于邻域聚合与CNN的知识图谱实体类型补全

现有知识图谱实体类型补全模型通过对实体和实体类型进行建模,以解决知识图谱中实体缺失的实体类型,但未有效地利用实体之间的关系,导致模型的实体类型补全性能不佳。提出一种基于邻域聚合与卷积神经网络的知识图谱实体类型补全模型NACE2T,其采用编码器-解码器的结构。基于注意力机制设计利用关系信息的编码器,其使用注意力机制为实体邻域中的每个关系-实体对分配不同的权重,以聚合实体邻域中实体和关系的信息,从而利用实体之间的关系。基于卷积神经网络设计一个新的知识图谱实体类型补全模型CE2T,将其作为解码器,对编码器输出的实体嵌入和实体类型嵌入进行建模与实体类型补全。实验结果表明,相比ConnectE模型,NACE2T模型在数据集FB15KET上的HITS@1和HITS@3提高约1.5%,在数据集YAGO43KET上的MRR和HITS@3提高约6%,HITS@1提高约9%,能够有效地推断知识图谱中实体缺失的实体类型。     

结合多重嵌入表示的中文知识图谱补全

近年来,随着知识图谱相关技术的不断发展,各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界,同时在知识正确性以及时效性等方面存在问题,这使得知识图谱补全越来越受到研究者的关注。在中文环境下,知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析,将中文图谱中出现的错误进行了归类。根据该分析结果,该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性,该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较,实验结果表明该文所提方法是有效的。     

面向知识图谱补全的归纳学习研究综述

知识图谱补全能够使知识图谱更加完整。然而,传统的知识图谱补全方法假定在测试时所有实体和关系都出现在训练过程,由于现实世界知识图谱的演变性质,一旦出现不可见实体或不可见关系,就需要重新训练知识图谱。面向知识图谱补全的归纳学习旨在补全包含不可见实体或不可见关系的三元组,而无需从头开始训练知识图谱,因此近年来受到广泛关注。首先从知识图谱的基本概念出发,将知识图谱补全分为两大类,直推式和归纳式;其次从归纳式的知识图谱补全的理论角度出发,分为半归纳和全归纳这两类,并从该角度对模型进行总结归纳;然后从归纳式的知识图谱补全的技术角度出发,分为基于结构信息和基于额外信息这两大类,将基于结构信息的方法细分为基于归纳嵌入、基于逻辑规则和基于元学习这三类,将基于额外信息的方法细分为基于文本信息和其他信息这两类,并对当下方法进一步深入细分、分析和对比;最后对未来的研究方向进行展望。     

联合FOL规则的知识图谱表示学习方法

为增强知识图谱表示的预测精度和可解释性,通过改进由表示学习、规则学习和规则融合三个模块组成的IterE框架,提出一种适用各种表示学习算法的联合FOL规则的知识图谱表示学习方法,针对规则学习和融合模块,基于三元组打分函数改进规则置信度计算方法,扩展适用性,并改进软标签计算方法,放松融合要求,扩大融合的数据增量,迭代实现表...     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体).为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法.使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元...     

胶囊网络在知识图谱补全中的应用

知识图谱补全旨在发现三元组中缺失链接,解决知识图谱数据稀疏问题。提出一种基于胶囊网络的知识图谱嵌入方法,该方法能够对关系三元组(头实体,关系,尾实体)进行建模。将三元组表示为3列矩阵,它与多个滤波器卷积以产生不同的特征映射;将这些特征图重建成相应的胶囊,每个胶囊是一组神经元,通过和权重点积生成较小尺寸的胶囊,然后生成一个连续矢量;该矢量和权重向量进行点积运算获得对应得分,所有分数求和的结果用来判断给定三元组的正确性。实验结果表明,和其他模型相比,该方法有效提高了三元组的预测精度,知识图谱补全的效果更好。     

解纠缠邻域信息聚合的知识图谱补全方法

针对现有基于图神经网络的知识补全模型在处理知识图谱异构性上的不足,及大部分模型采用单一静态实体表示方式导致的模型表达能力受限问题,提出一种基于图注意力网络的解纠缠邻域信息聚合模型。首先,该模型通过学习每个实体的解纠缠表示,对实体的潜在影响因子进行多组件表示。其次,利用注意力机制,为两个相连的实体选择最具影响力的潜在影响因子作为连接要素。接着,通过关系感知注意力机制自适应地聚合实体因子级的邻域消息,有效地减少了在信息聚合过程中不相关信息的相互干扰,进而显著增强了模型的语义表达能力。此外,为了使模型在评分过程中关注与给定关系最相关的实体组件,进一步引入了一个自适应评分系数,使模型能够自适应地感知给定的关系与实体不同组件的关联度。实验结果显示,提出的模型在WN18RR和FB15K-237数据集的知识图谱补全任务上相较其他先进基线模型表现更优,并显著地增强了模型的表达能力。     

QubitE:用于知识图谱补全的量子嵌入模型

知识图谱补全任务通过预测知识图谱中缺失的事实补全知识图谱。基于量子的知识图谱嵌入(KGE)模型利用变分量子电路,通过测量量子比特状态的概率分布对三元组进行评分,评分高的三元组即为缺失的事实。但是目前基于量子的KGE要么在优化过程中失去了量子优势,矩阵酉性被破坏,要么需要大量参数用于存储量子态,从而导致过拟合和低性能。此外,这些方法忽略了对于理解模型性能必不可少的理论分析。为了解决性能问题和弥合理论差距,提出了QubitE模型：将实体嵌入作为量子位(单位复向量),将关系嵌入作为量子门(酉复矩阵),评分过程为复矩阵乘法,利用核方法进行优化。该模型的参数化方式能在优化中保持量子优势,时空复杂度为线性,甚至可以进一步实现基于语义的量子逻辑计算。此外,从理论上可以证明该模型具有完全表达性、关系模式推理能力和包含性等,有助于理解模型性能。实验表明,QubitE在一些基准知识图谱上可以取得与最先进的经典模型相当的结果。     

一种融合自适应增强语义信息的知识图谱补全方法

翻译模型在进行知识图谱补全的过程中往往会忽略三元组中的语义信息。为弥补这一缺陷,本文构造了一种融合自适应增强语义信息的知识图谱补全方法。通过微调BERT模型获取三元组中的语义信息,并对高纬度向量做降维处理,最后运用注意力机制生成语义信息软约束规则,将该规则添加至原翻译模型中实现语义信息的自适应增强。经实验对比,本文所提方法较原翻译模型在数值上约提升2.6%,验证了方法的合理性与有效性。     

基于知识图谱上下文的图注意矩阵补全

针对图卷积编码器提取用户、项目信息过程中权重共享,不能区分邻域之间重要性,以及知识图谱作为辅助信息时,基于图神经网络方法无法显示对知识图谱非本地上下文（最相关的高阶邻居集合）信息进行捕获的问题,提出一种基于双向交互图传递的图注意编码器框架,显示利用知识图谱本地（一阶邻居集合）和非本地上下文信息。通过图注意编码器获取用户、项目的嵌入向量;考虑用户对实体的个性化偏好,通过特定于用户的图注意机制来捕获知识图的本地上下文信息;使用随机游走抽样提取实体的非本地上下文,并使用递归神经网络建模实体与非本地上下文实体之间的依赖关系,通过一个双线性解码器重建二部图中的链接。与现有的方法相比,在真实数据集上的实验结果验证了该模型的优越性。     

基于组合关系路径的知识图谱补全方法研究

现有的知识图谱补全方法往往只考虑直接连接的两个节点所组成的路径,忽略了节点与其他多个节点组成的关系路径所带来的信息。针对该问题,基于节点之间连接的方向,定义了在三节点结构下三种不同的关系路径连接模式,提出知识图谱中以三节点为主的组合关系路径补全模型（composite relational path completion,CRPC）。最后,在WordNet和FreeBase数据集上验证了该模型的准确性。     

基于MpBERT-BiGRU的中文知识图谱补全

知识补全是提高知识图谱质量的关键技术,为了更好地利用中文知识图谱,该文对中文知识图谱补全进行研究。针对大多数研究聚焦于英文数据集,缺少中文知识补全数据集的情况,在已有数据集的基础上,该文构建了中文UMLS+ownthink数据集。现有知识图谱补全方法大多忽视BERT模型表征能力不足、位置信息学习能力弱的问题,且未考虑中文文本特征复杂、语序依赖性强的特点,因此提出一种名为MpBERT-BiGRU的中文知识图谱补全模型,利用平均池化策略有效缓解BERT模型表征能力弱的问题,并通过BiGRU网络强化特征信息,提高位置信息学习能力;同时将三元组转化为文本序列,结合实体描述信息作为模型的输入,利用背景知识丰富实体信息。链接预测实验结果表明,该方法在平均排名(Mean Rank, MR)指标上相比传统方法提高10.39,前10命中率(Hit@10)指标提高4.63%,验证了模型在中文语料库上的有效性。