图神经网络应用于知识图谱推理的研究综述

知识推理（KR）作为知识图谱构建的一个重要环节,一直是该领域研究的焦点问题。随着知识图谱应用研究的不断深入和范围的不断扩大,将图神经网络（GNN）应用于知识推理的方法能够在获取知识图谱中实体、关系等语义信息的同时,充分考虑知识图谱的结构信息,使其具备更好的可解释性和更强的推理能力,因此近年来受到广泛关注。首先梳理了知识图谱和知识推理的基本知识及研究现状,简要介绍了基于逻辑规则、基于表示学习、基于神经网络和基于图神经网络的知识推理的优势与不足;其次全面总结了基于图神经网络的知识推理最新进展,将基于图神经网络的知识推理按照基于递归图神经网络（RecGNN）、卷积图神经网络（ConvGNN）、图自编码网络（GAE）和时空图神经网络（STGNN）的知识推理进行分类,对各类典型网络模型进行了介绍和对比分析;然后介绍了基于图神经网络的知识推理在医学、智能制造、军事、交通等领域的应用;最后提出了基于图神经网络的知识推理的未来研究方向,并对这个快速增长领域中的各方向研究进行了展望。     

语义图驱动的面向复杂逻辑关系的自然语言问答

传统的基于知识库的问答难以处理具有复杂逻辑关系的自然语言问题,而此类问题在实际应用中广泛存在.为此,该文提出了语义图驱动的 自然语言问答框架.框架核心是用主链、支链、环结构等图形化结构及其拼接,表达领域中的事件及事件之间的语义关系.进一步的,构造语义图的线性编码形式,利用路径生成模型将复杂自然语言问题翻译成语义图的线性...     

基于神经网络的知识推理研究综述

知识推理是知识图谱补全的重要手段,一直以来都是知识图谱领域的研究热点之一。随着神经网络不断取得新的发展,其在知识推理中的应用在近几年逐渐得到广泛重视。基于神经网络的知识推理方法具备更强的推理能力和泛化能力,对知识库中实体、属性、关系和文本信息的利用率更高,推理效果更好。简要介绍知识图谱及知识图谱补全的相关概念,阐述知识推理的概念及基本原理,从语义、结构和辅助存储三个维度展开,综述当下基于神经网络的知识推理最新研究进展,总结了基于神经网络的知识推理在理论、算法和应用方面存在的问题和发展方向。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络(RNN)产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法.所构建模型由三个部分组成:卷积神经网络(CNN)用于图像特征提取,属性提取模型(ATT)用于图像属性提取,而双向长短时记忆(Bi-LSTM)网络用于单词预测.该模型通过提取图像属性...     

语义神经网络与自然语言深层语义的计算

本文依照语义神经网络、语义神经元及其上深层语义计算的形式化定义,基于深层语义计算需要分布式并行处理的特点,提出运用多线程技术来模拟实现神经元的同步并行计算。我们描述了如何利用多线程中单个线程实现神经元的独立自主运行,以及如何利用多线程中的同步机制实现神经元之间的消息传递。     

基于语义神经网络的汉语表层语义分析的研究

对汉语表层语义关系进行了初步的分析,并引入协商机制来保证神经元之间有序地进行自主连接,定义了协商模型和协商语言,给出了相应的分析算法.     

基于语义神经网络的汉语表层语义分析

本文提出一种基于语义神经网络的汉语表层语义分析方法。该方法将符号主义和连接主义结合在一起。文中给出了语义神经网络的定义、构造,以及应用于汉语表层语义分析的算法。     

基于语义网络的家族人物关系推理算法的研究

基于语义网络,提出了关于家族人物关系的四种基本谓词,构造出表示称谓的多种复合谓词、利用由语义网络转换来的谓词演算,能够对两类问题进行推理,并建立完整的推理流程机制。一类是已知两个相关人名,推断他们之间的称谓,另一类是已知一人名字及称谓,推断相关人名。本文提出的方法具有良好的系统可实现性。     

基于本体的科学效应知识表达和语义推理

针对创新设计领域中科学效应知识的表达和语义扩展方面的不足,分析研究效应、功能、流和参数之间的关系和模型,借助本体将概念间属性和关系扩展到语义层次上,通过本体来更加全面地表达科学效应知识,构建科学效应知识本体模型,包括效应本体、功能本体、流本体和参数本体。在此基础上基于属性构建相应的语义推理规则,进行功能扩展和效应关联,通过语义推理实现科学效应知识的共享和重用。开发一个基于本体的科学效应知识检索系统,验证了此模型和方法的有效性和可行性。     

图神经网络在自然语言处理中的应用

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型.然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在.因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用.该文对图神经网络在自然语言处理领域中的应用进行...     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。     

基于图神经网络的汉语依存分析和语义组合计算联合模型

组合原则表明句子的语义由其构成成分的语义按照一定规则组合而成,由此基于句法结构的语义组合计算一直是一个重要的探索方向,其中采用树结构的组合计算方法最具有代表性。但是该方法难以应用于大规模数据处理,主要问题是其语义组合的顺序依赖于具体树的结构,无法实现并行处理。该文提出一种基于图的依存句法分析和语义组合计算的联合框架,并借助复述识别任务训练语义组合模型和句法分析模型。一方面,图模型可以在训练和预测阶段采用并行处理,极大地缩短计算时间;另一方面,联合句法分析的语义组合框架不必依赖外部句法分析器,同时两个任务的联合学习可使语义表示同时学习句法结构和语义的上下文信息。我们在公开汉语复述识别数据集LCQMC上进行评测,实验结果显示准确率接近树结构组合方法,达到79.54%,预测速度最高可提升30倍以上。     

基于循环神经网络的语义完整性分析

本文提出了一种基于循环神经网络的语义完整性分析方法,通过判断句子是否语义完整,将长文本切分成多个语义完整句.首先,对文本进行分词,映射为相应的词向量并进行标注,然后将词向量和标注信息通过循环窗口和欠采样方法处理后,作为循环神经网络的输入,经过训练最后得到模型.实验结果表明,该方法可以达到91.61%的准确率,为主观题自动评分工作提供了基础,同时对语义分析、问答系统和机器翻译等研究有一定的帮助.     

基于对抗正则化的自然语言推理

目前自然语言推理（Natural language inference,NLI）模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外,传统有监督学习方法使得模型过分依赖于训练集的语言先验,而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性,并降低语言偏置的影响,本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型,该模型以标准推理模型中的词编码作为输入,并且只有利用语言偏置才能推理成功;再通过两个模型间的对抗训练,避免标准推理模型过多依赖语言偏置.在SNLI和Breaking-NLI两个公开的标准数据集上进行实验,该方法在SNLI数据集已有的基于句子嵌入的推理模型中达到最佳性能,在测试集上取得了87.60%的准确率;并且在Breaking-NLI数据集上也取得了目前公开的最佳结果.     

基于Att_GCN模型的知识图谱推理算法

针对目前知识图谱推理方法中,传统神经网络方法不能有效考虑实体之间的相关性问题,提出了一种将图卷积神经网络（GCN）与注意力机制（Attention）相结合的知识图谱推理方法。该方法利用注意力机制对知识图谱中的实体与其邻域实体进行相关性计算,得到实体特征向量。通过图卷积神经网络的参数共享技术学习实体的所有邻域实体特征。将实体特征和关系特征进行特征融合,得到每个实体的隐性特征向量。通过实体分类实验和链接预测实验进行分析,结果表明,该方法的准确率较传统神经网络方法有进一步提高,为搜索、问答、推荐以及数据集成等领域提供了方法支持。