为不完全领域理论补充知识的学习方法CE

本文给出了一个补充解释的学习ＣＥ，是解释学习和归纳学习两种方法的结合，试图解决完全的领域理论补充知识的问题。     

解释学习的效用问题

近年来,在机器学习领域,基于解释的学习引起了广泛的兴趣。解释学习是一种演绎学习方法,根据领域理论对训练实例进行解释,经过推广后获得新的知识。从可操作性的角度看,解释学习并没有学到真正新的知识,只是一种知识转换,它把原先不可操作的概念描述转换为可操作的目标概念描述,而使系统的性能得以提高。但原来的可操作性定义并没有考虑到解释学习的效用(utility)问题,人们发现这样的解释学习并不总能提高系统的性能,而是在大多数情况下会使系统的行为比未经学习时更差,这使得效用问题与不完善理论问题一样成为解     

增量式解释学习算法EBG—plus

传统的解释学习是通过单个实例进行学习的，学习结果往往带有实例本身的特殊性质，知识求精能较正这一缺陷，但学习结果的效用不高。本结合了ＥＢＬ方法和求精算法，提出了综合多个实例的增量式解释学习算法ＥＢＧ－ｐｌｕｓ，学习质量随实例数目增加而单调上升，学习结果效用高，并能够自动改进领域知识的编码质量。     

面向知识图谱补全的归纳学习研究综述

知识图谱补全能够使知识图谱更加完整。然而,传统的知识图谱补全方法假定在测试时所有实体和关系都出现在训练过程,由于现实世界知识图谱的演变性质,一旦出现不可见实体或不可见关系,就需要重新训练知识图谱。面向知识图谱补全的归纳学习旨在补全包含不可见实体或不可见关系的三元组,而无需从头开始训练知识图谱,因此近年来受到广泛关注。首先从知识图谱的基本概念出发,将知识图谱补全分为两大类,直推式和归纳式;其次从归纳式的知识图谱补全的理论角度出发,分为半归纳和全归纳这两类,并从该角度对模型进行总结归纳;然后从归纳式的知识图谱补全的技术角度出发,分为基于结构信息和基于额外信息这两大类,将基于结构信息的方法细分为基于归纳嵌入、基于逻辑规则和基于元学习这三类,将基于额外信息的方法细分为基于文本信息和其他信息这两类,并对当下方法进一步深入细分、分析和对比;最后对未来的研究方向进行展望。     

增量式解释学习算法EBG—plus*

传统的解释学习(EBL)是通过单个实例进行学习的，学习结果往往带有实例本身的特殊性质,知识求精能较正这一缺陷，但学习结果的效用不高．本文结合了EBL方法和求精算法，提出综合多个实例的增量式解释学习算法EBG—plus，学习质量随实例数目增加而单调上升，学习结果效用高，并能够自动改进领域知识的编码质量．     

计算机视觉中的终身学习综述

终身学习（LLL）作为一种新兴方法打破了传统机器学习的局限性,并赋予了模型能够像人类一样在学习过程中不断积累、优化并转移知识的能力。近年来,随着深度学习的广泛应用,越来越多的研究致力于解决深度神经网络中出现的灾难性遗忘问题和摆脱稳定性-可塑性困境,并将LLL方法应用于各种各样的实际场景中,以推进人工智能由弱向强的发展。针对计算机视觉领域,首先,在图像分类任务中将LLL方法归纳为四大类型：基于数据驱动的方法、基于优化过程的方法、基于网络结构的方法和基于知识组合的方法;然后,介绍了LLL方法在其他视觉任务中的典型应用和相关评估指标;最后,针对现阶段LLL方法的不足之处进行讨论并提出了LLL方法未来发展的方向。     

一种基于最大熵模型的加权归纳迁移学习方法

传统机器学习和数据挖掘算法主要基于两个假设:训练数据集和测试数据集具有相同的特征空间和数据分布.然而在实际应用中,这两个假设却难以成立,从而导致传统的算法不再适用.迁移学习作为一种新的学习框架能有效地解决该问题.着眼于迁移学习的一个重要分支——归纳迁移学习,提出了一种基于最大熵模型的加权归纳迁移学习算法WTLME.该算法通过将已训练好的原始领域模型参数迁移到目标领域,并对目标领域实例权重进行调整,从而获得了精度较高的目标领域模型.实验结果表明了该算法的有效性.     

学习系统中的知识

本文阐述了学习系统中背景知识和领域理论的区别和联系以及它们在学习过程中的地位和作用，强调了背景知识对提高系统的学习能力有着重要的作用。文中还以一个具体的学习系统为例说明了可以利用背景知识帮助基于解释的学习系统克服不完善的领域理论带来的问题，使系统能完成知识级的学习。文章最后还讨论了背景知识的来源与获取问题     

故障诊断专家系统的集成学习方法

本文提出了一种基于解释与实例学习的集成学习方法。     

学习的机制在软件开发中的应用

人类的知识来源于学习,伴随着人工智能的发展,学习的机制也被广泛地应用于计算机科学的各个领域中.在软件开发中,提高软件适应性是追求的目标之一.本文阐述了如何通过在软件开发中应用学习的机制,包括不依赖于人工智能原理的方法和基于人工智能原理的方法,来提高软件适应性.两个研究实例展示了如何运用这一思想来开发出具备自我学习能力的软件.     

融合语义差别和流型学习的偏标记学习方法

偏标记学习是一种重要的弱监督学习框架。在偏标记学习中,每个实例与一组候选标记相关联,它的真实标记隐藏在候选标记集合中,且在学习过程中不可获知。为了消除候选标记对学习过程的影响,提出了一种融合实例语义差别最大化和流型学习的偏标记学习方法(partial label learning by semantic difference and manifold learning, PL-SDML)。该方法是一个两阶段的方法：在训练阶段,基于实例的语义差别最大化准则和流型学习方法为训练实例生成标记置信度;在预测阶段,使用基于最近邻投票的方法为未知实例预测标记类别。在四组人工改造的UCI数据集中,在平均70%的情况下优于其他对比算法。在四组真实偏标记数据集中,相比其他对比算法,取得了0.3%～13.8%的性能提升。     

利用类比知识的基于解释的学习

本文介绍如何将示例中包含的新的知识通过基于解释的学习加入到原来不完善的领域知识库中去。整个学习过程是在示例的引导下依据领域理论和类比知识进行推理的纯演绎过程。因此，经过改进的领域理论可以保持其正确性。系统的原型在ＳＵＮ工作站上用ＱＵＩＮＴＵＳ ＰＲＯＬＯＧ实现。     

面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力, 对解决样本匮乏情境下的深度学习任务具有重要意义. 但是, 在诸多计算资源有限的现实任务中, 模型规模仍可能限制小样本学习的广泛应用. 这对面向小样本学习的轻量化任务提出了现实的需求. 知识蒸馏作为深度学习领域广泛使用的辅助策略, 通过额外的监督信息实现模型间知识迁移, 在提升模型精度和压缩模型规模方面都有实际应用. 首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性. 并结合小样本学习任务的特点, 针对性地设计两种新的小样本蒸馏方法: (1)基于图像局部特征的蒸馏方法; (2)基于辅助分类器的蒸馏方法. 在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.     

从规划解中学习一阶派生谓词规则

派生谓词是描述动作非直接效果的主要方式.但是由人类专家设计的派生谓词规则(即领域理论)不能保证总是正确或者完备的,因此有时很难解释一个观察到的规划解为什么是有效的.结合归纳学习与分析学习的优点,文中提出一种称为FODRL(First-Order Derived Rules Learning)的算法,在不完美的初始领域理论的引导下从观察到的规划解中学习一阶派生谓词规则.FODRL基于归纳学习算法FOIL(First-Order Inductive Learning),最主要的改进是可以使用派生谓词的激活集来扩大搜索步,从而提高学习到的规则的精确度.学习过程分为两个步骤:先从规划解中提取训练例,然后学习能够最好拟合训练例和初始领域理论的一阶规则集.在PSR和PROME-LA两个派生规划领域进行实验,结果表明,在大部分情况下FODRL比FOIL(甚至包括其变型算法FOCL)学习到的规则的精确度都要高.     

一种聚类型基于示例学习新方法

借鉴聚类思想和万有引力计算方法,提出了解决基于示例学习中两个关键问题的新思路,这两个新思路分别是,利用示例邻近同类其它示例数目来描述该示例潜在预测能力,以及利用实例质量来帮助更加准确地预测新实例类别。据此构造了一种聚类型基于示例学习的新方法,并利用标准机器学习数据库中3个复杂数据样本,对所提方法的性能进行实验检测,有关的对比实验结果表明,所提方法在实例预测能力以及学习结果占用空间有效性方面,均优越其它多种基于示范学习方法。     

基于差分隐私保护知识迁移的联邦学习方法

联邦学习解决了机器学习的数据孤岛问题,然而,各方的数据集在数据样本空间和特征空间上可能存在较大差异,导致联邦模型的预测精度下降。针对上述问题,提出了一种基于差分隐私保护知识迁移的联邦学习方法。该方法使用边界扩展局部敏感散列计算各方实例之间的相似度,根据相似度对实例进行加权训练,实现基于实例的联邦迁移学习,在此过程中,实例本身无须透露给其他方,防止了隐私的直接泄露。同时,为了减少知识迁移过程的隐私间接泄露,在知识迁移过程中引入差分隐私机制,对需要在各方之间传输的梯度数据进行扰动,实现知识迁移过程的隐私保护。理论分析表明,知识迁移过程满足ε-差分隐私保护。在XGBoost梯度提升树模型上实现了所提方法,实验结果表明,与无知识迁移方法相比,所提方法使联邦模型测试误差平均下降6%以上。     

高炉专家系统知识的实例学习*

知识获取是专家系统建造过程中最重要的环节之一，本文根据高炉炉况知识的特点，采用背景知识学习算法、归纳学习算法，实现了高炉专家系统知识的实例学习。     

基于内在动机的深度强化学习探索方法综述

近年来，深度强化学习(deep reinforcement learning, DRL)在游戏人工智能、机器人等领域取得了诸多重要成就.然而，在具有稀疏奖励、随机噪声等特性的现实应用场景中，该类方法面临着状态动作空间探索困难的问题.基于内在动机的深度强化学习探索方法是解决上述问题的一种重要思想.首先解释了深度强化学习探索困难的问题内涵，介绍了3种经典探索方法，并讨论了这3种方法在高维或连续场景下的局限性；接着描述了内在动机引入深度强化学习的背景和算法模型的常用测试环境，在此基础上详细梳理各类探索方法的基本原理、优势和缺陷，包括基于计数、基于知识和基于能力3类方法；然后介绍了基于内在动机的深度强化学习技术在不同领域的应用情况；最后总结亟需解决的难以构建有效状态表示等关键问题以及结合表示学习、知识积累等领域方向的研究展望.     

结合集成学习与迁移学习的标签比例学习方法

标签比例学习（LLP）是一种将实例放入包中的机器学习方法,它只提供包中的实例信息和标签比例信息,而不提供标签信息。针对多个相关任务的LLP问题,提出了一种基于迁移学习的标签比例集成学习模型,简称AT-LLP,该模型通过在任务之间构建共享参数来连接相关任务,将源任务中学习到的知识迁移到目标任务中,从而提高目标任务的学习效率。同时该算法引入了集成学习算法,在分类器多轮迭代的学习过程中,不断调整训练集的权重系数,进一步将弱分类器训练为强分类器。实验表明,所提AT-LLP模型比现有LLP方法具有更好的性能。     

基于高阶逻辑的复杂结构归纳学习研究

归纳学习的目的在于发现样例与离散的类之间的映射关系,样例及归纳的映射都需用某个形式化语言描述.归纳学习器采用的形式化语言经历了属性-值语言、一阶逻辑、类型化的高阶逻辑三个阶段,后者能克服前二者在知识表达及学习过程中的很多缺点.本文首先阐述了基于高阶逻辑的复杂结构归纳学习产生的历史背景;其次介绍了基于高阶逻辑的编程语言--Escher的知识描述形式及目前已提出的三种学习方法;复杂结构的归纳学习在机器学习领域的应用及如何解决一些现实问题的讨论随后给出; 最后分析了复杂结构归纳学习的研究所面临的挑战性问题.