基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体)。为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元组的得分,得分越低证明三元组越正确。实验采用数据集WN18RR、FB15K-237、FB15K分别进行链接预测和三元组分类实验。实验结果表明,与其他方法相比,该方法在Mean Rank和Hit@10指标上都取得了更好的实验结果,证明其可以有效提高三元组预测精度。     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,将图上下文信息融入向量表示中,在语义的层面上提高了知识图谱表示学习的能力.通过实体预测和三元组分类实验,在有关数据集上,Context_RL的实验结果比其他模型更好.     

基于位置和注意力联合表示的知识图谱问答

知识图谱是人工智能的重要组成部分,其以结构化的方式描述客观世界中的概念、实体及关系,提供了一种更优的组织、管理和理解互联网海量信息的能力。随着深度学习技术的发展,基于表示学习的知识图谱问答方法陆续出现。利用表示学习的方法实现知识图谱问答的核心目标是将问题嵌入到与三元组相同维度的表示向量空间中,通过合适的答案预测方法来匹配问题与答案。参考复数域编码的思路,构建一种基于位置和注意力联合表示的三元组表示模型Pos-Att-complex。在三元组表示部分,将词本身的特征和位置特征联合编码,并通过解码器网络进一步挖掘深层次特征,从而对三元组进行打分。在知识图谱问答部分,将问题通过RoBERTa嵌入到与三元组向量相同维度的向量空间中,并与通过关系筛选的关系集合进行向量融合。在此基础上,通过联合表示解码器为候选答案打分,以筛选出问题的答案。实验结果表明,该模型在三元组分类和多跳问答基准数据集上均能取得良好的测试结果,准确率优于GraftNet、VRN等模型。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

用于知识表示学习的对抗式负样本生成

知识表示学习目的是将知识图谱中符号化表示的关系与实体嵌入到低维连续向量空间。知识表示模型在训练过程中需要大量负样本,但多数知识图谱只以三元组的形式存储正样本。传统知识表示学习方法中通常使用负采样方法,这种方法生成的负样本很容易被模型判别,随着训练的进行对性能提升的贡献也会越来越小。为了解决这个问题,提出了对抗式负样本生成器（ANG）模型。生成器采用编码-解码架构,编码器读入头或尾实体被替换的正样本作为上下文信息,然后解码器利用编码器提供的编码信息为三元组填充被替换的实体,从而构建负样本。训练过程采用已有的知识表示学习模型与生成器进行对抗训练以优化知识表示向量。在链接预测和三元组分类任务上评估了该方法,实验结果表明该方法对已有知识表示学习模型在FB15K237、WN18和WN18RR数据集上的链接预测平均排名与三元组分类准确度都有提升。     

胶囊网络在知识图谱补全中的应用

知识图谱补全旨在发现三元组中缺失链接,解决知识图谱数据稀疏问题。提出一种基于胶囊网络的知识图谱嵌入方法,该方法能够对关系三元组（头实体,关系,尾实体）进行建模。将三元组表示为3列矩阵,它与多个滤波器卷积以产生不同的特征映射;将这些特征图重建成相应的胶囊,每个胶囊是一组神经元,通过和权重点积生成较小尺寸的胶囊,然后生成一个连续矢量;该矢量和权重向量进行点积运算获得对应得分,所有分数求和的结果用来判断给定三元组的正确性。实验结果表明,和其他模型相比,该方法有效提高了三元组的预测精度,知识图谱补全的效果更好。     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中，可以有效地实现知识图谱补全并提高计算效率，是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组，忽略了知识的时间动态性和实体的类型特征，限制了它们在知识图谱补全和语义计算中的表现.针对这一问题，提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp），基于经典的张量分解技术，将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时，利用实体与关系间的类型兼容性，充分挖掘隐含在实体中的类型特征，进一步提升表示学习的准确性.此外，证明T-Temp模型具有完全表达性，且与同类模型相比，具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息。设计一种融合实体类别信息的类别增强知识图谱表示学习（CEKGRL）模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学习。在知识图谱补全和三元组分类任务中的实验结果表明,CEKGRL模型在MeanRank和Hit@10评估指标上均取得明显的性能提升,尤其在实体预测任务的Filter设置下相比TKRL模型约分别提升了23.5%和7.2个百分点,具有更好的知识表示学习性能。     

融合多源信息的知识表示学习

在知识图谱中,实体的文本描述信息、实体的层次类型信息和图的拓扑结构信息中隐藏着丰富的内容,它们可以形成对原始三元组的有效补充,帮助提高知识图谱各种任务的效果.为了充分利用这些多源异质信息,首先通过一维卷积神经网络嵌入文本描述信息,然后根据实体的层次类型信息构建投影矩阵,将三元组中的实体向量和实体的描述向量映射到特定的关...     

融合多特征图及实体影响力的领域实体消歧

实体消歧作为自然语言处理的关键问题,旨在将文本中出现的歧义实体指称映射到知识库中的目标实体。针对现有方法存在仅实现单实体指称消歧、忽略了实体影响力及候选实体间相似度对消歧结果的影响以及冗余图节点增加图计算复杂性等问题,提出了一种融合多特征图及实体影响力的领域实体消歧方法,以金融领域为例,提取CN-Dbpedia中金融类别相关关键词三元组,构建金融领域知识库;针对金融活动类文本,提取待消歧实体指称,融合字符串及语义的相似特征,筛选出候选实体,利用知识库三元组信息获取候选实体间2-hop内的关系,同时计算候选实体间相似度作为边权值,进而将多特征信息充分融合到图模型当中,完成多特征图构建;采用动态决策策略,利用PageRank算法,并结合实体影响力计算多特征图中候选实体的综合评分,进而获得可信度较高的消歧结果。实验结果验证了提出方法在特定领域实体消歧的精确度及效率。     

球坐标建模语义分层的知识图谱补全方法

知识图谱是真实世界三元组的结构化表示。通常,三元组表示形式为（头实体,关系,尾实体）,这表示头实体和尾实体通过特定关系相互联系。针对知识图谱中广泛存在的数据稀疏问题,提出一种球坐标建模语义分层的知识图谱补全方法。使用球坐标系对实体和关系进行建模表示,以进行链接预测。具体来说,半径坐标旨在对不同层级的实体进行建模,半径较小的实体级别越高;角度坐标旨在区分相同层级的实体,即模长相等而角度不同的实体。该方法将实体映射到球坐标系中,可以有效建模知识图谱中普遍存在的语义分层现象。实验中,采用公开数据集WN18RR、FB15K-237与YAGO3-10进行相关的链接预测实验。实验结果表明,在WN18RR中,平均倒数排名（Mean Reciprocal Rank）比RotatE提高3.6%,Hit@10比RotatE提高1.9%;在FB15K-237中,平均倒数排名（Mean Reciprocal Rank）比ConvKB提高4.8%,Hit@10比ConvKB提高3.5%。实验证明球坐标建模语义分层的知识图谱补全方法可以有效提高三元组预测准确度。     

基于相似性负采样的知识图谱嵌入

针对现有知识图谱嵌入模型通过从实体集中随机抽取一个实体来生成负例三元组,导致负例三元组质量较低,影响了实体与关系的特征学习能力。研究了影响负例三元组质量的相关因素,提出了基于实体相似性负采样的方法来生成高质量的负例三元组。在相似性负采样方法中,首先使用K-Means聚类算法将所有实体划分为多个组,然后从正例三元组中头实体所在的簇中选择一个实体替换头实体,并以类似的方法替换尾实体。通过将相似性负采样方法与TransE相结合得到TransE-SNS。研究结果表明:TransE-SNS在链路预测和三元组分类任务上取得了显著的进步。     

联合FOL规则的知识图谱表示学习方法

为增强知识图谱表示的预测精度和可解释性,通过改进由表示学习、规则学习和规则融合三个模块组成的IterE框架,提出一种适用各种表示学习算法的联合FOL规则的知识图谱表示学习方法,针对规则学习和融合模块,基于三元组打分函数改进规则置信度计算方法,扩展适用性,并改进软标签计算方法,放松融合要求,扩大融合的数据增量,迭代实现表示更新规则和规则增强表示。链路预测和生成解释实验表明,随着逻辑规则的加入,该方法提高了基模型的预测精度和可解释性,且在越稀疏的数据集中对提高稀疏实体表示的帮助越大。     

融合实体描述与路径信息的知识图谱表示学习模型

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务,其多跳推理能力无法满足实际需求,为提升多跳推理能力,提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量;其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数,将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能,验证了该模型的可行性与有效性。     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。