基于深度学习的知识追踪研究综述

随着人工智能与教育的不断发展,知识追踪在智慧教学领域具有广阔的应用前景。而深度学习以其强大特征提取能力广泛应用于知识追踪,以深度学习知识追踪模型为起点,其改进模型为主线,全面回顾了知识追踪模型的研究进展,简要介绍了知识追踪领域传统模型的特点及不足,阐述了基于深度学习知识追踪模型的原理及局限性,同时全面整理并分析了针对可解释性问题、缺少学习特征、记忆增强网络、图神经网络、基于注意力机制五个方面的改进模型,梳理了知识追踪领域常用的公开数据集、评价指标及模型性能对比分析,最后总结并探讨了知识追踪在智慧教学方面的应用以及当前该研究领域的研究现状与未来的研究方向。     

开放领域知识图谱问答研究综述

知识图谱问答是通过处理用户提出的自然语言问题,基于知识图谱的某种形式,从中获取相关答案的过程.由于知识规模、计算能力及自然语言处理能力的制约,早期知识库问答系统被应用于限定领域.近年来,随着知识图谱的发展,以及开放领域问答数据集的陆续提出,知识图谱已用于开放领域问答研究与实践.以技术发展为主线,对开放领域知识图谱问答进行综述.首先,介绍五种基于规则模板的开放领域知识图谱问答方法:传统语义解析、传统信息检索、三元组匹配、话语模板和查询模板,这类方法主要依赖人工定义的规则模板完成问答工作.其次,描述五种基于深度学习的方法,这类方法采用神经网络模型完成问答过程的各类子任务,包括知识图谱嵌入、记忆网络、基于神经网络的语义解析、基于神经网络的查询图、基于神经网络的信息检索.接着,介绍开放领域知识图谱问答常用的4个通用领域知识图谱和11个开放领域问答数据集.随后,按照问题的难易程度选择3个经典问答数据集比较各问答系统的性能指标,对比不同方法间的性能差异并进行分析.最后,展望开放领域知识图谱问答的未来研究方向.     

基于可解释基拆解和知识图谱的深度神经网络可视化

近年来,以卷积神经网络(CNN)等为代表的深度学习模型,以其深度分层学习,无标签化学习等优势,已在图像识别为代表的各个领域得到日益广泛的应用.然而,深度神经网络模型由于其内在的黑盒原理,对其内部工作机制的解释仍然面临巨大挑战,其可解释性问题已成为了研究界和工业界的前沿性热点研究课题.针对现有研究存在的缺乏基于图谱的可解释性方法的问题,以及可解释基模型的图谱构建优势,本文提出了一种基于可解释基拆解和知识图谱的深度神经网络可视化方法.首先采用一种面向可解释基模型特征拆解结构的知识图谱构建方法,构建了场景和解释特征之间的解释关系和并列关系等图谱信息;利用场景-特征的解释关系网络,提出了一种基于Jaccard系数的场景间相似度聚类方法;针对现有可解释基模型对相似的场景,其解释特征重合率可能很高的问题,提出了一种基于场景的判别性特征提取方法,在特征拆解结果中能对每一类样本分别提取出能够区别此类和其他类并且拥有同等重要性的拆解特征(即判别性特征);针对现有可解释基的深度网络可视化测试缺乏保真度测试的问题,提出了一种适于深度神经网络的保真度测试方法.保真度测试和人类置信度测试,均表明本文所提方法可取得优异效果.     

基于舆情新闻的中文关键词抽取综述

基于舆情事件的关键词抽取算法作为舆情监测的基础技术之一,其目的是在不同的舆情事件中抽取出人们关注的核心词汇,从而快速了解新闻内容。随着深度学习的发展,传统的无监督关键词抽取技术和有监督算法中的分类模型已经逐渐被基于深度学习的序列标注模型所替代。梳理无监督关键词抽取的限制性、分类模型在关键词抽取中的优势与不足、以及现有的深度学习对关键词抽取技术发展的帮助,重点分析整体关键词抽取技术的发展中卷积神经网络、循环神经网络等深度学习的关键词抽取方法,并归纳现有方法的优缺点与发展趋势。此外,深度学习虽然在关键词抽取领域发挥了重要的作用,但其自身也存在着依赖大规模带标签样本、训练时间长与复杂度高等缺陷,需要在未来发展中进行解决。为确保分析过程的真实性,利用6个舆情新闻数据集和2个小型数据集进行实验复现,实验结果与文中理论分析一致。在此基础上,对关键词抽取技术及其所面临的困难和挑战进行梳理和分析,并针对现存问题对该领域的发展前景加以展望。     

图神经网络综述

随着互联网和计算机信息技术的不断发展,图神经网络已成为人工智能和大数据处理领域的重要研究方向.图神经网络可对相邻节点间的信息进行有效传播和聚合,并将深度学习理念应用于非欧几里德空间的数据处理中.简述图计算、图数据库、知识图谱、图神经网络等图结构的相关研究进展,从频域和空间域角度分析与比较基于不同信息聚合方式的图神经网络结构,重点讨论图神经网络与深度学习技术相结合的研究领域,总结归纳图神经网络在动作检测、图系统、文本和图像处理任务中的具体应用,并对图神经网络未来的发展方向进行展望.     

图神经网络综述

随着互联网和计算机信息技术的不断发展,图神经网络已成为人工智能和大数据处理领域的重要研究方向.图神经网络可对相邻节点间的信息进行有效传播和聚合,并将深度学习理念应用于非欧几里德空间的数据处理中.简述图计算、图数据库、知识图谱、图神经网络等图结构的相关研究进展,从频域和空间域角度分析与比较基于不同信息聚合方式的图神经网络结构,重点讨论图神经网络与深度学习技术相结合的研究领域,总结归纳图神经网络在动作检测、图系统、文本和图像处理任务中的具体应用,并对图神经网络未来的发展方向进行展望.     

基于知识图谱和Bi-LSTM的推荐算法

目前现有基于模型的推荐算法多是将评分数据输入到深度学习模型中进行训练,得出推荐结果。其缺陷在于无法对预测结果进行可解释性分析。除此之外,无法有效地解决算法的冷启动问题。因此,本文提出一种基于知识图谱和Bi-LSTM的推荐算法,来有效解决算法的可解释性和冷启动问题。首先将获取到的数据集进行预处理,生成预编码向量,根据数据集结点的连接性,构建专业领域知识图谱。其次利用知识图谱的元路径提取技术获取到多条用户-物品路径信息,将其输入到Bi-LSTM中,在路径经过的各结点处加入一层注意力机制,目的是为了模型能够有效地获取到较远结点的信息。最后将多条路径的训练结果输入到平均池化层中,用以区分不同路径的重要程度,利用交叉熵损失函数对模型进行训练,从而得出预测结果。实验结果表明,与传统基于循环神经网络模型的推荐算法相比,该算法可有效地提升算法的可解释性以及预测准确性,并缓解算法的冷启动问题。     

基于知识图谱的智能问答研究综述

基于知识图谱的问答是近年来研究热点,从基于模板、语义解析、深度学习、知识图谱嵌入四方面介绍基于知识图谱智能问答实现,归纳了各类方法的优缺点,及尚未解决的关键问题。结合当前人工智能技术发展,重点介绍了基于深度学习的智能问答,有助于更多研究者投身于智能问答研究,根据不同行业需求研发适用于不同领域的问答系统,提高社会智能化信息服务水平。     

基于知识的神经网络及其在CRM中的应用

分析一般神经网络应用于CRM时存在的问题,提出将基于知识的神经网络应用到CRM领域。示例表明,基于知识构造出的神经网络不仅提高了网络的可解释性,而且降低了输出误差,提高了学习速度。     

基于图匹配网络的可解释知识图谱复杂问答方法

知识图谱问答是人工智能领域的研究热点之一.在该任务中,自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码,然后与知识图谱予图计算语义匹配,这样做法未充分利用复杂问句的结构信息,方法也缺乏可解释性.针对此问题,提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先,通过语法分析方法,构建一个与知识图谱无关的未定查询图.然后,依据未定查询图和给定的知识图谱,构建一个与知识图谱相关的已定查询图,在其中,提出一种图匹配网络GMN,通过结合预训练语言模型和图神经网络技术,再利用注意力机制学习查询结构的上下文表示,从而得到更加丰富的结构匹配表示,用于已定查询图预测.在2个复杂问答数据集LC-QuAD 1.0和ComplexWebQuestions 1.1进行实验,结果表明:TTQA超过了现有方法.同时,通过消融实验验证了GMN的有效性.此外,TTQA生成的未定结构图和已定查询图增强了问答系统可解释性.     

基于深度强化学习的知识推理研究进展综述

知识推理是知识图谱补全的重要方法,已在垂直搜索、智能问答等多个应用领域发挥重要作用。随着知识推理应用研究的不断深入,知识推理的可解释性受到了广泛关注。基于深度强化学习的知识推理方法具备更好的可解释性和更强的推理能力,能够更加充分地利用知识图谱中实体、关系等信息,使得推理效果更好。简要介绍知识图谱及其研究的基本情况,阐述知识推理的基本概念和近年来的研究进展,着重从封闭域推理和开放域推理两个角度,对当下基于深度强化学习知识推理方法进行了深入分析和对比,同时对所涉及到的数据集和评价指标进行了总结,并对未来研究方向进行了展望。     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

融合知识表示和深度强化学习的知识推理方法

知识推理是解决知识图谱中知识缺失问题的重要方法,针对大规模知识图谱中知识推理方法仍存在可解释性差、推理准确率和效率偏低的问题,提出了一种将知识表示和深度强化学习相结合的方法RLPTransE。利用知识表示学习方法,将知识图谱映射到含有三元组语义信息的向量空间中,并在该空间中建立强化学习环境。通过单步择优策略网络和多步推理策略网络的训练,使强化学习智能体在与环境交互过程中,高效挖掘推理规则进而完成推理。在公开数据集上的实验结果表明,相比于其他先进方法,该方法在大规模数据集推理任务中取得更好的表现。     

医学知识图谱构建技术与研究进展

医学知识图谱是实现智慧医疗的基石,有望带来更高效精准的医疗服务。然而,现有知识图谱构建技术在医学领域中普遍存在效率低,限制多,拓展性差等问题。针对医疗数据跨语种,专业性强,结构复杂等特点,对构建医学知识图谱的关键技术进行了自底向上的全面解析,涵盖了医学知识表示、抽取、融合和推理以及质量评估五部分内容。此外,还介绍了医学知识图谱在信息检索、知识问答、智能诊断等医疗服务中的应用现状。最后,结合当前医学知识图谱构建技术面临的重大挑战和关键问题,对其发展前景进行了展望。     

知识图谱可解释推理研究综述

面向知识图谱的知识推理旨在通过已有的知识图谱事实,去推断新的事实,进而实现知识库的补全.近年来,尽管基于分布式表示学习的方法在推理任务上取得了巨大的成功,但是他们的黑盒属性使得模型无法为预测出的事实做出解释.所以,如何设计用户可理解、可信赖的推理模型成为了人们关注的问题.从可解释性的基本概念出发,系统梳理了面向知识图谱的可解释知识推理的相关工作,具体介绍了事前可解释推理模型和事后可解释推理模型的研究进展;根据可解释范围的大小,将事前可解释推理模型进一步细分为全局可解释的推理和局部可解释的推理;在事后解释模型中,回顾了推理模型的代表方法,并详细介绍提供事后解释的两类解释方法.此外,还总结了可解释知识推理在医疗、金融领域的应用.随后,对可解释知识推理的现状进行概述,最后展望了可解释知识推理的未来发展方向,以期进一步推动可解释推理的发展和应用.     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

图表示学习方法研究综述

针对图表示方法的相关解析任务进行了研究,从形式化定义出发,首先以不同核心技术作为分类标准将图表示学习方法划分为五大类,其包括基于降维解析、矩阵分解、随机游走、深度学习和其他表示学习方法。其次通过归纳与对比分析梳理各类技术发展脉络,进而深层次展现各类图表示方法的优劣。随后结合图表示学习的常用数据集、评估方法和应用领域的归纳分析,展开动态性、可扩展性、可解释性和可解析性的四维剖析。最后总结并展望了图表示学习的未来研究趋势与发展方向。     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

深度学习模型可解释性研究综述

深度学习技术以数据驱动学习的特点,在自然语言处理、图像处理、语音识别等领域取得了巨大成就。但由于深度学习模型网络过深、参数多、复杂度高等特性,该模型做出的决策及中间过程让人类难以理解,因此探究深度学习的可解释性成为当前人工智能领域研究的新课题。以深度学习模型可解释性为研究对象,对其研究进展进行总结阐述。从自解释模型、特定模型解释、不可知模型解释、因果可解释性四个方面对主要可解释性方法进行总结分析。列举出可解释性相关技术的应用,讨论当前可解释性研究存在的问题并进行展望,以推动深度学习可解释性研究框架的进一步发展。     

深度学习中的安全帽检测算法应用研究综述

安全帽是施工现场最常见和实用的个人防护工具,能够有效防止和减轻意外带来的头部伤害。安全帽检测是施工现场人员安全管理的主要工作,也是施工现场智能化监控技术的重要内容,随着深度学习的发展,现已成为智慧工地建设的重要部分。为了综合分析深度学习在安全帽检测中的研究现状,针对安全帽检测算法研究,归纳了常用的安全帽检测算法和基于深度学习的安全帽检测算法,具体说明了其优缺点。在此基础上,针对现有问题,系统地总结分析了安全帽检测算法的相关改进方法,并梳理了各类方法的特点、优势和局限性。最后展望了基于深度学习的安全帽检测算法的未来发展方向。