一种改进的自适应知识图谱嵌入式表示方法

知识图谱的嵌入式表示方法以基于翻译的TransE最为经典,但在处理复杂关系时存在局限;使用欧氏距离作为得分函数中的度量,每个特征维度以相同的权重参与计算,准确性会受到无关维度的影响,灵活性不高。因此,针对这两个缺陷,提出一种自适应的知识图谱嵌入式表示方法TransAD。利用自适应度量方法更换度量函数,在得分函数中引入对角权重矩阵,为每一个特征维分别赋予权重,增加模型的表示能力。同时受TransD方法的启发,将实体与关系通过动态映射矩阵建立空间投影模型,来增强模型对复杂关系的处理能力,最后将两种优化集成在一个模型中。实验结果表明,新方法TransAD优于Trans(E,H,R,D),在链路预测和三元组分类任务的各项指标上均有提升,有一定的先进性。     

融合预训练模型的中文知识图谱问题生成方法

基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而,现有中文知识图谱问答语料库存在规模较小,质量较差等问题,相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法,目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码...     

一种改进的基于TransE知识图谱表示方法

传统基于翻译模型的知识图谱表示方法难以处理一对多、多对一和多对多等复杂关系,而且通常独立地学习三元组而忽略了知识图谱的网络结构和语义信息。为解决该问题,构建一种基于TransE的TransGraph模型,该模型同时学习三元组和知识图谱网络结构特征,以有效增强知识图谱的表示效果。在此基础上,提出一种向量共享的交叉训练机制,从而实现网络结构信息和三元组信息的深度融合。在公开数据集上的实验结果表明,相比TransE模型,TransGraph模型在链路预测和三元组分类2个任务中的HITS@10、准确率指标均得到显著提升。     

一种改进的基于翻译的知识图谱表示方法

知识图谱在人工智能上有很大的研究价值,并被广泛应用于语义搜索和自动问答等领域.知识图谱表示将包含了实体和关系的大规模知识图谱映射到一个连续的向量空间.为此,有一系列知识表示模型提出,其中基于翻译模型的经典方法TransE不仅模型复杂度低、计算效率高,而且同样具有良好的知识表达能力.但是,TransE亦存在2个缺陷：1)它使用了不够灵活的欧氏距离作为度量,对每一个特征维同等对待,模型的准确性可能受到无关维度的干扰;2)它在处理自反、一对多、多对一和多对多等复杂关系时存在局限性.目前,还没有一种方法能同时解决上述2个缺陷,因此提出一种改进的基于翻译的知识图谱表示方法TransAH.对于第1个缺陷,TransAH采用了一种自适应的度量方法,加入了对角权重矩阵将得分函数中的度量由欧氏距离转换为加权欧氏距离,并实现了为每一个特征维区别地赋予权重.针对第2个缺陷,受TransH方法的启发,TransAH引入面向特定关系的超平面模型,将头实体和尾实体映射至给定关系的超平面加以区分.最后,在公开真实的知识图谱数据集上分析和验证了所提方法的有效性.利用链路预测和三元组分类这2项任务开展了全面横向评测实验,相较于现有的模型和方法,TransAH在各项指标上均取得了很大的进步,体现了其优越性.     

融合语义解析的知识图谱表示方法

为解决大多数知识图谱表示学习模型仅使用三元组信息的问题,提出融合语义解析的知识图谱表示模型BERT-PKE.模型利用实体和关系的文本描述,通过BERT的双向编码表示进行语义解析,深度挖掘语义信息.由于BERT训练代价昂贵,提出一种基于词频和k近邻的剪枝策略,提炼选择文本描述集.此外,由于负样本的构造影响了模型的训练,提出2种改进随机抽样的策略：一种是基于实体分布的负采样方法,以伯努利分布概率来选择替换的实体,该方法可以减少负采样引起的伪标记问题;另一种是基于实体相似性负采样方法,首先用TransE将实体嵌入到向量空间,使用k-means聚类算法将实体进行分类.通过同簇实体的相互替换可获得高质量的负三元组,有利于实体的特征学习.实验结果表明,所提出BERT-PKE模型与TransE,KG-BERT,RotatE等相比,性能有显著提升.     

一种基于实体时间敏感度的知识表示方法

在知识图谱(KnowledgeGraph)中,知识表示方法旨在通过一种低维稠密的向量表示方法来高效地挖掘不同实体、关系之间复杂语义关系,在知识问答、信息检索等领域有着重要意义。然而,现有的绝大多数的知识表示方法忽略了时间因素,无法表示应用中随时间变化的动态知识。针对该问题,本文提出一种基于实体时间敏感度的知识表示方法。该方法将时间信息以不同程度融入不同类型的实体向量表示中,然后进行实体和关系之间语义挖掘。实验结果表明,这种基于实体时间敏感度的表示方法能够明显提高知识图谱的时态知识补全和预测任务性能。     

一种融合伴随信息的网络表示学习模型

网络表示学习被认为是提高信息网络分析效率的关键技术之一,旨在将网络中每个节点映射为低维隐空间中的向量表示,并使这些向量高效的保持原网络的结构和特性.近年来,大量研究致力于网络拓扑和节点属性的深度挖掘,并在一些网络分析任务中取得了良好应用效果.事实上,在这两类关键信息之外,真实网络中广泛存在的伴随信息,反映了网络中复杂微妙的各种关系,对网络的形成和演化起着重要作用.为提高网络表示学习的有效性,提出了一种能够融合伴随信息的网络表示学习模型NRLIAI.该模型以变分自编码器（VAE）作为信息传播和处理的框架,在编码器中利用图卷积算子进行网络拓扑和节点属性的聚合与映射,在解码器中完成网络的重构,并融合伴随信息对网络表示学习过程进行指导.该模型克服了现有方法无法有效利用伴随信息的缺点,同时具有一定的生成能力,能减轻表示学习过程中的过拟合问题.在真实网络数据集上,通过节点分类和链路预测任务对NRLIAI模型与几种现有方法进行了对比实验,实验结果验证了该模型的有效性.     

基于三维空间旋转平移的自适应知识表示方法

现有知识图谱表示学习研究中普遍存在忽视特定关系的语义空间、难以建模非单射复杂关系或多种关系模式等问题,尤其是在不可交换的组合以及子关系两种关系模式上表现不佳。针对该问题,在对实体自适应投影的基础上,利用罗德里格斯旋转公式将旋转操作从二维空间拓展到三维空间并进行平移优化,提出一种新的具有强表征能力的模型ATR3DKRL,通过理论推导可以证明该模型能够建模非单射复杂关系以及多种关系模式。在多个通用数据集上的实验结果表明,该模型可以有效提高链接预测精度,在数据集DB100K与FB15K-237中四个指标上领先现有基线模型,其中在DB100K上评价指标MRR和H@1相较于基线模型RotatE分别大幅提高了3.3%以及6.5%。     

基于变分自编码器的异构缺陷预测特征表示方法

跨项目软件缺陷预测技术可以利用现有的已标注缺陷数据集对新的无标记项目进行预测,但需要两者之间具有相同的度量集合,难以用于实际开发.异构缺陷预测技术可以在具有异构度量集合的项目间进行缺陷预测,该技术引起了大量研究人员的关注.现有的异构缺陷预测技术利用朴素的或者传统机器学习方法为源项目和目标项目学习特征表示,所学习到的特征表示能力很弱且缺陷预测性能很差.鉴于深度神经网络强大的特征抽取和表示能力,本文基于变分自编码器技术提出了一种面向异构缺陷预测的特征表示方法.该模型结合了变分自编码器和最大均值差异距离,能有效地学习源项目和目标项目的共性特征表示,基于该特征表示可以训练出有效的缺陷预测模型.在多组缺陷数据集上通过与传统跨项目缺陷预测方法及异构缺陷预测方法实验对比验证了所提方法的有效性.     

知识表示学习研究进展

人们构建的知识库通常被表示为网络形式,节点代表实体,连边代表实体间的关系.在网络表示形式下,人们需要设计专门的图算法存储和利用知识库,存在费时费力的缺点,并受到数据稀疏问题的困扰.最近,以深度学习为代表的表示学习技术受到广泛关注.表示学习旨在将研究对象的语义信息表示为稠密低维实值向量,知识表示学习则面向知识库中的实体和关系进行表示学习.该技术可以在低维空间中高效计算实体和关系的语义联系,有效解决数据稀疏问题,使知识获取、融合和推理的性能得到显著提升.介绍知识表示学习的最新进展,总结该技术面临的主要挑战和可能解决方案,并展望该技术的未来发展方向与前景.     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息.设计一种融合实体类别信息的类别增强知识图谱表示学习(CEKGRL)模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学...     

基于表示学习的知识库问答研究进展与展望

面向知识库的问答(Question answering over knowledge base, KBQA)是问答系统的重要组成. 近些年, 随着以深度学习为代表的表示学习技术在多个领域的成功应用, 许多研究者开始着手研究基于表示学习的知识库问答技术. 其基本假设是把知识库问答看做是一个语义匹配的过程. 通过表示学习知识库以及用户问题的语义表示, 将知识库中的实体、关系以及问句文本转换为一个低维语义空间中的数值向量, 在此基础上, 利用数值计算, 直接匹配与用户问句语义最相似的答案. 从目前的结果看, 基于表示学习的知识库问答系统在性能上已经超过传统知识库问答方法. 本文将对现有基于表示学习的知识库问答的研究进展进行综述, 包括知识库表示学习和问句(文本)表示学习的代表性工作, 同时对于其中存在难点以及仍存在的研究问题进行分析和讨论.     

聚合邻域信息的联合知识表示模型

知识表示学习在关系抽取、自动问答等自然语言处理任务中获得了广泛关注,该技术旨在将知识库中的实体与关系表示为稠密低维实值向量.然而,已有的模型在建模知识库中的三元组时,或是忽略三元组的邻域信息,导致无法处理关联知识较少的罕见实体,或是在引入邻域信息时不能自适应地为每个实体抽取最相关的邻节点属性,导致引入了冗余信息.基于以...     

基于空间投影和关系路径的地理知识图谱表示学习

近年来,类人智能技术和相关产品飞速发展,这在很大程度上得益于完备知识图谱的构建,特别是以地理为代表的基础教育知识图谱。传统的知识图谱采用网络知识组织形式进行表示,计算复杂度较高,而且三元组的知识表示形式不能有效地度量和利用实体间语义关联关系。该文构建了基于空间投影和关系路径的知识表示学习算法—PTransW(Path-based TransE and Considering Relation Type by Weight)模型,该模型结合空间投影和关系路径来对翻译模型进行扩展,并加入关系类型的语义信息进行改进。最后,在FB15K数据集和GEOGRAPHY数据集上训练并做链接预测实验。实验结果表明,PTransW模型对复杂关系的建模能力取得了较大地提升;对于规模较小的数据集,复杂度低的TransE和TransR模型将会训练得更充分;但是PTransE和PTransW模型由于利用了关系路径和反向关系中的语义信息,在关系预测方面有很大的优势。     

时序知识图谱表示与推理的研究进展与趋势

知识图谱作为近年来人工智能领域的一大热点研究方向, 已应用于现实中多个领域. 但是随着知识图谱应用场景日益多样化, 人们逐渐发现不随着时间改变而更新的静态知识图谱不能完全适应知识高频更新的场景. 为此, 研究者们提出时序知识图谱的概念, 一种包含时间信息的知识图谱. 对现有所有时序知识图谱表示与推理模型进行整理, 并归纳和建立一个表示与推理模型理论框架. 然后基于此对当前时序表示推理研究进展进行简要介绍分析和未来趋势预测, 以期望帮助研究者开发设计出更为优异的模型.