融合实体描述与路径信息的知识图谱表示学习模型

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务,其多跳推理能力无法满足实际需求,为提升多跳推理能力,提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量;其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数,将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能,验证了该模型的可行性与有效性。     

基于知识图谱全局和局部特征的复杂问答方法

近年来,研究者已经提出多种方法来解决知识库问答(KBQA)中的复杂问题,并取得一定成果.然而,由于语义构成的复杂性以及可能存在推理路径的缺失,复杂问题的求解效果依然不佳.为了更好地解决这类问题,提出基于知识图谱全局和局部特征的问答方法——CGL-KBQA.所提方法利用知识嵌入技术提取知识图谱整体的拓扑结构和语义特征作为候选实体节点的全局特征,根据实体表示和问句表示将复杂问答建模为复合的三元组分类任务.同时,将图谱在搜索过程生成的核心推导路径作为局部特征,结合问句的语义相似性来构建候选实体不同维度特征,最终形成混合特征评分器.由于最终推理路径可能缺失,采用基于无监督的多重聚类方法设计了聚类器模块,进而根据候选实体的两类特征表示直接生成最终答案簇,这使得非完全知识图谱问答成为可能.实验结果表明,所提方法在两个常见KBQA数据集上均取得不错的效果,特别是在图谱知识不完全的情况下也具备非常好的效果.     

融合多跳关系路径信息的关系推理方法

针对目前知识图谱（KG）中存在大量关系的缺失,以及在进行关系推理时没有充分考虑两实体间多跳路径中隐含信息的问题,提出了一种融合多跳关系路径信息的关系推理方法。首先,对于给定的候选关系和两个实体,利用卷积运算将连接两个实体的多跳关系路径编码到低维空间里并提取信息;其次,利用双向长短时记忆（BiLSTM）网络建模以生成关系路径表示向量,并利用注意力机制将其与候选关系表示向量进行组合;最后,采用多步推理方式找到匹配程度最高的关系作为推理结果并判断其精确率。与目前常用的路径排序算法（PRA）、神经网络模型Path-RNN以及强化学习模型MINERVA相比,在使用大型知识图谱数据集NELL995进行实验时,所提算法的平均精确率均值（MAP）分别提高了1.96、8.6和1.6个百分点;在使用小型知识图谱数据集Kinship进行实验时,所提方法的MAP比PRA、MINERVA分别提高了21.3、13和12.1个百分点。实验结果表明,所提算法能更加准确地推理出实体间的关系链接。     

融合TuckER嵌入和强化学习的知识推理

知识推理是补全知识图谱的重要方法, 旨在根据图谱中已有的知识, 推断出未知的事实或关系. 针对多数推理方法仍存在没有充分考虑实体对之间的路径信息, 且推理效率偏低、可解释性差的问题, 提出了将TuckER嵌入和强化学习相结合的知识推理方法TuckRL (TuckER embedding with reinforcement learning). 首先, 通过TuckER嵌入将实体和关系映射到低维向量空间, 在知识图谱环境中采用策略引导的强化学习算法对路径推理过程进行建模, 然后在路径游走进行动作选择时引入动作修剪机制减少无效动作的干扰, 并将LSTM作为记忆组件保存智能体历史动作轨迹, 促使智能体更准确地选择有效动作, 通过与知识图谱的交互完成知识推理. 在3个主流大规模数据集上进行了实验, 结果表明TuckRL优于现有的大多数推理方法, 说明将嵌入和强化学习相结合的方法用于知识推理的有效性.     

基于深度强化学习的知识推理研究进展综述

知识推理是知识图谱补全的重要方法,已在垂直搜索、智能问答等多个应用领域发挥重要作用。随着知识推理应用研究的不断深入,知识推理的可解释性受到了广泛关注。基于深度强化学习的知识推理方法具备更好的可解释性和更强的推理能力,能够更加充分地利用知识图谱中实体、关系等信息,使得推理效果更好。简要介绍知识图谱及其研究的基本情况,阐述知识推理的基本概念和近年来的研究进展,着重从封闭域推理和开放域推理两个角度,对当下基于深度强化学习知识推理方法进行了深入分析和对比,同时对所涉及到的数据集和评价指标进行了总结,并对未来研究方向进行了展望。     

融合知识表示学习的双向注意力问答模型

知识图谱问答是自然语言处理领域的研究热点之一,近年来受到广泛的关注。知识图谱问答面临需要结合多条三元组进行推理的多跳问题以及知识图谱不完整等挑战,为解决这些问题,提出了一种融合知识表示学习的双向注意力模型（Bidirectional Attention model combining Knowledge Representation,KR-BAT）。引入知识表示学习以提高模型全局建模能力,应对知识图谱不完整的情况;使用双向注意力模型捕捉候选答案和问题间丰富的交互信息,经过分析推理给出答案。在MetaQA数据集上进行了实验,对比VRN、KV-MemNN、GraftNet等基准模型,在完整知识图谱上达到了非常有竞争力的性能,在不完整知识图谱上大幅度优于基准模型。     

基于异质信息网络的推荐模型

为了解决推荐系统的冷启动和稀疏性问题, 本文提出了一种基于异质信息网络的推荐模型. 传统的推荐方法无法在知识图谱表示学习中融入隐含的路径信息, 这样使得知识推荐系统性能较为一般. 本文提出的模型在异质信息网络中设置元路径, 通过图神经网络融入到知识图谱表示学习中. 再利用注意力网络连接推荐任务和知识图谱表示任务, 其可以学习两个任务之中潜在的特征, 并且能够增强推荐系统中被推荐项和知识图谱中实体的相互作用. 最后在推荐任务中进行用户点击率预测. 模型在公开数据集Book-Crossing和通过DBLP数据集构建的图谱上进行了实验. 最后结果表明, 模型在AUC, 召回率和F1值3个指标上均比其他算法有更好的表现.     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,将图上下文信息融入向量表示中,在语义的层面上提高了知识图谱表示学习的能力.通过实体预测和三元组分类实验,在有关数据集上,Context_RL的实验结果比其他模型更好.     

TransPath:一种基于深度迁移强化学习的知识推理方法

基于深度强化学习(Reinforcement Learning,RL)的知识推理旨在推理缺失事实并补全知识图谱,RL智能体在知识图谱上搜索路径,并基于路径进行事实预测和链接预测.由于具有良好的性能和可解释性,基于深度RL的知识推理方法近几年迅速成为研究热点.然而,对于特定实体来说,动作空间中存在大量的无效动作,RL智能...     

成对约束指导的稀疏保持投影

针对稀疏保持投影的稀疏重构过程中监督信息不足的问题,提出一种成对约束指导的稀疏保持投影算法。该算法在训练样本数据的稀疏重构的过程中,通过引入正约束和负约束监督信息指导稀疏重构,使得稀疏保持投影有效地融合了约束监督信息。在UMIST、YALE和AR人脸库人脸数据集上的实验结果表明,与无监督的稀疏保持投影相比,该方法提高了基于最近近邻分类算法的5%~15%识别准确率,有效地提高了降维分类性能。     

基于视觉和语言的跨媒体问答与推理研究综述

基于视觉和语言的跨媒体问答与推理是人工智能领域的研究热点之一,其目的是基于给定的视觉内容和相关问题,模型能够返回正确的答案。随着深度学习的飞速发展及其在计算机视觉和自然语言处理领域的广泛应用,基于视觉和语言的跨媒体问答与推理也取得了较快的发展。文中首先系统地梳理了当前基于视觉和语言的跨媒体问答与推理的相关工作,具体介绍了基于图像的视觉问答与推理、基于视频的视觉问答与推理以及基于视觉常识推理模型与算法的研究进展,并将基于图像的视觉问答与推理细分为基于多模态融合、基于注意力机制和基于推理3类,将基于视觉常识推理细分为基于推理和基于预训练2类;然后总结了目前常用的问答与推理数据集,以及代表性的问答与推理模型在这些数据集上的实验结果;最后展望了基于视觉和语言的跨媒体问答与推理的未来发展方向。     

问答系统中复杂问题分解方法研究综述

问答系统可以针对用户提出的自然语言问题给出精准的答案,是自然语言处理领域中一个重要的研究方向。对于具有复杂语义结构和句法结构的多跳问题,模型需要强大的自然语言理解能力。问题分解作为问题理解的一种技术,有着不可估量的作用。阐述了问题分解的研究背景与意义;根据问题特征提取的方式,将现有的方法分为传统机器学习方法和深度学习方法两大类,传统机器学习方法以规则模板匹配和基于分割的方法为主,深度学习方法以基于Transformer、图神经网络、注意力机制、查询图和强化学习为主,并分别从模型架构、优势、劣势等方面进行分析。结合目前研究的动态,初步展望了未来的研究方向。     

Translational relation embeddings for multi-hop knowledge base question answering

Multi-hop Knowledge Base Question Answering (KBQA) aims to predict answers that require multi-hop reasoning from the topic entity in the question over the Knowledge Base (KB). Relation extraction is a core step in KBQA, which extracts the relation path from the topic entity to the answer entity. Compared with single-hop questions, multi-hop ones have more complex syntactic structures to understand, and multi-hop relation paths lead to a larger search space, which makes it much more challenging to extract the correct relation paths. To tackle the above challenges, most existing relation extraction approaches focus on the semantic similarity between questions and relation paths. However, those approaches only consider the word semantics of the relation names but ignore the graph semantics inside the knowledge base. As a result, their generalization ability relying on the naming rules of the relations, making it more difficult to generalize over large knowledge bases.To address the current limitations and take advantage of the graph semantics of relations, we propose a novel translational embedding-based relation extractor that utilizes pretrained embeddings from TransE. In particular, we treat the multi-hop relation path as a translation from the first relation to the last one in the semantic space of TransE. Then we map the question into this space under the supervision of the path embeddings. To take full advantage of the pretrained graph semantics in TransE, we propose a KBQA framework that leverages pretrained relation semantics in relation extraction and pretrained entity semantics in answer selection. Our approach achieves state-of-the-art performance on two benchmark datasets, WebQuestionSP and MetaQA, demonstrating its effectiveness on the multi-hop KBQA task.     

路径张量分解的知识图谱推理算法*

现有张量分解技术在用于知识图谱学习和推理过程中时,只考虑知识图谱中实体与实体间的直接关系,忽略知识图谱图形结构的特点.因此,文中提出基于路径张量分解的知识图谱推理算法(PRESCAL),利用路径排列算法(PRA)获得知识图谱中各实体对间的关系路径.然后对实体对间的关系路径进行张量分解,并在优化更新过程中采用交替最小二乘法.实验表明,在路径问题回答任务和实体链接预测任务中,PRESCAL可以取得较好的预测准确率.     

基于自监督图对比学习的视频问答方法

视频问答作为一种跨模态理解任务,在给定一段视频和与之相关的问题的条件下,需要通过不同模态语义信息之间的交互来产生问题的答案.近年来,由于图神经网络在跨模态信息融合与推理方面强大的能力,其在视频问答任务中取得了显著的进展.但是,大多数现有的图网络方法由于自身固有的过拟合或过平滑、弱鲁棒性和弱泛化性的缺陷使得视频问答模型的性能未能进一步提升.鉴于预训练技术中自监督对比学习方法的有效性和鲁棒性,在视频问答任务中利用图数据增强的思路提出了一种图网络自监督对比学习框架GMC.该框架使用针对节点和边的两种数据增强操作来生成相异子样本,并通过提升原样本与生成子样本图数据预测分布之间的一致性来提高视频问答模型的准确率和鲁棒性.在视频问答公开数据集上通过与现有先进的视频问答模型和不同GMC变体模型的实验对比验证了所提框架的有效性.     

Heterogeneous relational reasoning in knowledge graphs with reinforcement learning

Path-based relational reasoning over knowledge graphs has become increasingly popular due to a variety of downstream applications such as question answering in dialogue systems, fact prediction, and recommendation systems. In recent years, reinforcement learning (RL) based solutions for knowledge graphs have been demonstrated to be more interpretable and explainable than other deep learning models. However, the current solutions still struggle with performance issues due to incomplete state representations and large action spaces for the RL agent. We address these problems by developing HRRL (Heterogeneous Relational reasoning with Reinforcement Learning), a type-enhanced RL agent that utilizes the local heterogeneous neighborhood information for efficient path-based reasoning over knowledge graphs. HRRL improves the state representation using a graph neural network (GNN) for encoding the neighborhood information and utilizes entity type information for pruning the action space. Extensive experiments on real-world datasets show that HRRL outperforms state-of-the-art RL methods and discovers more novel paths during the training procedure, demonstrating the explorative power of our method.     

多跳机器阅读理解研究进展

与常规的单跳机器阅读理解相比,多跳机器阅读理解（MHMRC）需要在多个相关文档段落中进行多跳推理以实现对复杂问题的理解和回答,其更接近于人类的语言推理能力,具有广阔的应用前景但也极具挑战性。阐述MHMRC的研究背景,将现有方法根据适用场景分为封闭集合问答和开放域问答两类,主要包括基于问题分解的方法、基于图神经网络的方法、改进检索的方法、基于推理路径的方法等,分别从模型架构、特点、优劣等方面进行分析。介绍用于多跳推理的非结构化文本数据集和评测指标,对比各模型的性能表现。在此基础上,分析目前MHMRC研究的热点与难点,指出未来发展方向。     

问题引导的空间关系图推理视觉问答模型

目的 现有视觉问答模型的研究主要从注意力机制和多模态融合角度出发,未能对图像场景中对象之间的语义联系显式建模,且较少突出对象的空间位置关系,导致空间关系推理能力欠佳。对此,本文针对需要空间关系推理的视觉问答问题,提出利用视觉对象之间空间关系属性结构化建模图像,构建问题引导的空间关系图推理视觉问答模型。方法 利用显著性注意力,用Faster R-CNN （region-based convolutional neural network）提取图像中显著的视觉对象和视觉特征;对图像中的视觉对象及其空间关系结构化建模为空间关系图;利用问题引导的聚焦式注意力进行基于问题的空间关系推理。聚焦式注意力分为节点注意力和边注意力,分别用于发现与问题相关的视觉对象和空间关系;利用节点注意力和边注意力权重构造门控图推理网络,通过门控图推理网络的信息传递机制和控制特征信息的聚合,获得节点的深度交互信息,学习得到具有空间感知的视觉特征表示,达到基于问题的空间关系推理;将具有空间关系感知的图像特征和问题特征进行多模态融合,预测出正确答案。结果 模型在VQA （visual question answering） v2数据集上进行训练、验证和测试。实验结果表明,本文模型相比于Prior、Language only、MCB （multimodal compact bilinear）、ReasonNet和Bottom-Up等模型,在各项准确率方面有明显提升。相比于ReasonNet模型,本文模型总体的回答准确率提升2.73%,是否问题准确率提升4.41%,计数问题准确率提升5.37%,其他问题准确率提升0.65%。本文还进行了消融实验,验证了方法的有效性。结论 提出的问题引导的空间关系图推理视觉问答模型能够较好地将问题文本信息和图像目标区域及对象关系进行匹配,特别是对于需要空间关系推理的问题,模型展现出较强的推理能力。