Incremental Learning of Linear Model Trees

A linear model tree is a decision tree with a linear functional model in each leaf. Previous model tree induction algorithms have been batch techniques that operate on the entire training set. However there are many situations when an incremental learner is advantageous. In this article a new batch model tree learner is described with two alternative splitting rules and a stopping rule. An incremental algorithm is then developed that has many similarities with the batch version but is able to process examples one at a time. An online pruning rule is also developed. The incremental training time for an example is shown to only depend on the height of the tree induced so far, and not on the number of previous examples. The algorithms are evaluated empirically on a number of standard datasets, a simple test function and three dynamic domains ranging from a simple pendulum to a complex 13 dimensional flight simulator. The new batch algorithm is compared with the most recent batch model tree algorithms and is seen to perform favourably overall. The new incremental model tree learner compares well with an alternative online function approximator. In addition it can sometimes perform almost as well as the batch model tree algorithms, highlighting the effectiveness of the incremental implementation. Editor: Johannes Fürnkranz     

面向增量分类的多示例学习

近年来多示例学习(multi-instance learning, MIL)被广泛应用于复杂数据问题中,但现有的多示例学习算法往往在封闭静态环境中工作良好,其所处理的类别数量也恒定不变.然而在现实应用当中,常会有新的类别不断地加入到系统当中,例如科学的发展中不断出现新的议题、社交媒体中不断出现新的话题.由于存储限制或保密协议等原因,旧数据可能随着时间的发展变得不可见,这使得直接学习新的类别时模型会忘记曾经学过的知识.增量学习则被用于解决上述问题.因此,在多示例学习设定下进行增量数据挖掘十分有意义,然而目前针对多示例学习下的增量数据挖掘的工作十分稀少.提出一个基于注意力机制和原型分类器映射的多示例增量数据挖掘方法,通过注意力机制选择性地将多示例包的示例汇合为统一的特征表示,然后为每个类别生成类别原型表示并存储下来.类别原型通过原型分类器映射模块得到无偏鲁棒的类别分类器,并通过上一个增量阶段生成的分类器的预测结果对新增量阶段生成的分类器的预测结果进行知识蒸馏,使得模型能够在多示例学习下以极低的存储很好地保留模型的旧知识.实验结果表明：提出的方法能够有效地进行面向增量分类的多示例学习.     

支持在线学习的增量式极端随机森林分类器

提出了一种增量式极端随机森林分类器(incremental extremely random forest,简称IERF),用于处理数据流,特别是小样本数据流的在线学习问题.IERF算法中新到达的样本将被存储到相应的叶节点,并通过Gini系数来确定是否对当前叶节点进行分裂扩展,在给定有限数量,甚至是少量样本的情况下,I...     

基于覆盖思想的构造型神经网络的增量学习

增量学习是在原有学习成果的基础上,对新信息进行学习,以获取新知识的过程,它要求尽量保持原有的学习成果.文章先简述了基于覆盖的构造型神经网络,然后在此基础上提出了一种快速增量学习算法.该算法在原有网络的分类能力基础上,通过对新样本的快速增量学习,进一步提高网络的分类能力.实验结果表明该算法是有效的.     

Explanation-Based Learning: An Alternative View

In the last issue of this journal Mitchell, Keller, and Kedar-Cabelli presented a unifying framework for the explanation-based approach to machine learning. While it works well for a number of systems, the framework does not adequately capture certain aspects of the systems under development by the explanation-based learning group at Illinois. The primary inadequacies arise in the treatment of concept operationality, organization of knowledge into schemata, and learning from observation. This paper outlines six specific problems with the previously proposed framework and presents an alternative generalization method to perform explanation-based learning of new concepts.     

可继续学习的构造型神经网络构造算法

构造型神经网络模型通过将样本映射到单位超球面上并用覆盖方法进行识别,具有计算速度快、识别率高、几何意义明显等优点。但是常用的基于交叉覆盖的方法在首次构造完成后,难以再继续进行修改和加强,从而阻碍了网络的再学习能力。文章提出了该构造型神经网络的一种双交叉覆盖方法,一方面吸收了原交叉覆盖的优点,一方面提供了良好的再学习能力。通过实验验证,该方法可以较好地运用到构造型神经网络的增量学习中。     

面向草图检索的小样本增量有偏学习算法

为了解决草图检索相关反馈中小样本训练、数据不对称及实时性要求这3个难点问题,提出了一种小样本增量有偏学习算法.该算法将主动式学习、有偏分类和增量学习结合起来,对相关反馈过程中的小样本有偏学习问题进行建模.其中,主动式学习通过不确定性采样,选择最佳的用户标注样本,实现有限训练样本条件下分类器泛化能力的最大化;有偏分类通过构造超球面区别对待正例和反例,准确挖掘用户目标类别;每次反馈循环中新加入的样本则用于分类器的增量学习,在减少分类器训练时间的同时积累样本信息,进一步缓解小样本问题.实验结果表明,该算法可以有效地改善草图检索性能,也适用于图像检索和三维模型检索等应用领域.     

基于增量学习的目标检测研究

目标检测技术已经被广泛应用于行人检测、人脸识别等诸多领域。随着社会生活与工业发展中新需求的出现,目标检测的对象与要求也随之出现新的变化。若直接用旧模型训练新类别可能会导致灾难性遗忘缺陷。因此,增量目标检测逐渐成为一个热门的研究方向。总结了常用的数据集和模型评价指标,研究了增量目标检测技术,将增量目标检测分为基于知识蒸馏的目标检测模型、基于回放的增量目标检测模型、开放世界目标检测模型,指出目前增量目标检测存在新增可识别类别的数据有限、新的可识别类别增加会导致模型准确率降低、小目标检测困难、检测速度慢等问题。通过比较最新增量目标检测模型,提出未来增量目标检测应从优化知识蒸馏方式、加强旧目标类别范例样本选择、更好地结合Transformer网络等几个方面进行改进。     

基于Faster R-CNN和增量学习的车辆目标检测

随着深度学习的研究热潮,近年来对车辆目标的检测逐步从机器学习方法转变为深度学习方法.目前,大多数深度学习方法对车辆目标的检测都存在不同程度的错检漏检问题.针对车辆目标检测中存在的小目标的错检漏检、截断式待检目标的漏检和重叠遮挡待检目标的漏检等问题,提出一种基于增量学习数据集的车辆目标检测方法,该方法与Faster R-CNN算法结合对车辆目标实现检测和分类.在实验的最后,分别从主观判断和客观检测数据两个方面,对比了车辆目标检测中未使用增量学习方法和使用增量学习方法对实验结果的影响.实验证明,使用基于增量学习和Faster R-CNN的车辆目标检测方法在主观判断方面对错检漏检的目标有明显地改善效果,从客观数据分析,使用该方法与未使用增量学习方法相比, VGG16网络m AP值提升了4%, Res Net101网络m AP值提升了6%.     

一种基于类支持度的增量贝叶斯学习算法

介绍增量贝叶斯分类器的原理,提出一种基于类支持度的优化增量贝叶斯分类器学习算法。在增量学习过程的样本选择问题上,算法引入一个类支持度因子λ,根据λ的大小逐次从测试样本集中选择样本加入分类器。实验表明,在训练数据集较小的情况下,该算法比原增量贝叶斯分类算法具有更高的精度,能大幅度减少增量学习样本优选的计算时间。     

基于驱动错误准则的SVM增量学习研究

增量学习广泛运用于人工智能、模式识别等诸多领域,是解决系统在训练初期样本量少而随时间推移性能降低的有效方法。本文针对经典支持向量机当训练样本数量多而运算速度较慢的缺点,在分析支持向量机的基础上,提出基于驱动错误准则的增量学习方法,实验结果表明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习。     

一种新的支持向量机增量学习算法

支持向量机已经成为处理大规模高维数据的一种有效方法。然而处理大规模数据需要的时间和空间代价很高,增量学习可以解决这个问题。该文分析了支持向量的性质和增量学习的过程,提出了一种新的增量学习算法,舍弃了对最终分类无用的样本,在保证测试精度的同时减少了训练时间。最后的数值实验和应用实例说明:算法是可行的、有效的。     

基于核矩阵的Isomap增量学习算法研究

Isomap算法嵌入向量求解依赖于所有的初始样本,在增加新数据时需要较长时间重新计算所有数据样本间的测地距离.为了提高运算速度,提出一种基于核函数的增量学习Isomap算法,将测地距离矩阵当作一个核矩阵,并通过常数增加的方法保证测地距离矩阵满足Mercer条件,算法只需要计算新增点与原有数据点间的测地距离.与核主成分算法一样,新增点的投影值计算变为核矩阵上的特征分解.在Swiss,Helix和多姿态人脸数据中的实验结果表明,算法大大降低了计算复杂度,有利于快速发现隐藏在高维空间的低维流形分布.     

一种协商在线增量学习算法及其在基于智能体的电子商务中的应用

随着多智能体系统MAS的迅猛发展,常常需要进行在线的协商。然而由于协商中不完全信息的存在,常常会大大影响协商的效果。该文提出一种多智能体协商中的动态在线增量学习算法,采用Q-学习机制来学习agent协商中的不完全信息。该文将这种学习算法应用基于智能体agent的电子商务中。实验证明算法可以加速协商的过程,提高协商的效果。     

基于分层并行筛选样本的SVM增量学习算法

在增量学习过程中，随着训练集规模的增大，支持向量机的学习过程需要占用大量内存，寻优速度非常缓慢。在现有的一种支持向量机增量学习算法的基础上，结合并行学习思想，提出了一种分层并行筛选训练样本的支持向量机增量学习算法。理论分析和实验结果表明：与原有的算法相比，新算法能在保证支持向量机的分类能力的前提下显著提高训练速度。     

基于分层并行筛选样本的SVM增量学习算法

在增量学习过程中,随着训练集规模的增大,支持向量机的学习过程需要占用大量内存,寻优速度非常缓慢。在现有的一种支持向量机增量学习算法的基础上,结合并行学习思想,提出了一种分层并行筛选训练样本的支持向量机增量学习算法。理论分析和实验结果表明:与原有的算法相比,新算法能在保证支持向量机的分类能力的前提下显著提高训练速度。     

Incremental Learning with Respect to New Incoming Input Attributes

Neural networks are generally exposed to a dynamic environment where the training patterns or the input attributes (features) will likely be introduced into the current domain incrementally. This Letter considers the situation where a new set of input attributes must be considered and added into the existing neural network. The conventional method is to discard the existing network and redesign one from scratch. This approach wastes the old knowledge and the previous effort. In order to reduce computational time, improve generalization accuracy, and enhance intelligence of the learned models, we present ILIA algorithms (namely ILIA1, ILIA2, ILIA3, ILIA4 and ILIA5) capable of Incremental Learning in terms of Input Attributes. Using the ILIA algorithms, when new input attributes are introduced into the original problem, the existing neural network can be retained and a new sub-network is constructed and trained incrementally. The new sub-network and the old one are merged later to form a new network for the changed problem. In addition, ILIA algorithms have the ability to decide whether the new incoming input attributes are relevant to the output and consistent with the existing input attributes or not and suggest to accept or reject them. Experimental results show that the ILIA algorithms are efficient and effective both for the classification and regression problems.     

构造型神经网络双交叉覆盖增量学习算法

研究了基于覆盖的构造型神经网络(cover based constructive neural networks,简称CBCNN)中的双交叉覆盖增量学习算法(BiCovering algorithm,简称BiCA).根据CBCNN的基本思想,该算法进一步通过构造多个正反覆盖簇,使得网络在首次构造完成后还可以不断地修改与优化神经网络的参数与结构,增加或删除网络中的节点,进行增量学习.通过分析认为,BiCA学习算法不但保留了CBCNN网络的优点与特点,而且实现了增量学习并提高了CBCNN网络的泛化能力.仿真实验结果显示,该增量学习算法在神经网络初始分类能力较差的情况下具有快速学习能力,并且对样本的学习顺序不敏感.     

一个基于Rough set理论的增量式学习算法

为了获取最小决策规则,当增加新例子时,传统的方法通常需要对决策表中所有数据重新计算,效率欠佳。为了尽量减少重复计算量,该文从Roughset理论出发,提出了一种新的增量式学习算法和最小重新计算的标准,并且用理论和实验对新算法和传统算法在算法复杂度上做了对比。