内部动机驱动的机器人未知环境在线自主学习

针对目前智能移动机器人在未知环境中学习遇到的如学习主动性、实时性差,无法在线积累学习的知识和经验等问题,受心理学中内部动机的启发,提出一种内部动机驱动的移动机器人未知环境在线自主学习方法,在一定程度上弥补目前该领域存在的一些问题。该方法通过在移动机器人Q学习的框架下,将奖励机制用基于心理学启发的内部动机取代,提高其对于未知环境的学习主动性,同时,采用增量自组织神经网络代替经典Q学习中的查找表,实现输入输出空间的映射,使得机器人能够在线增量地学习未知环境。实验结果表明,通过内部动机驱动的方法,移动机器人对于未知环境的学习主动性得到了提高,智能程度有了明显改进。     

基于内在动机的智能机器人自主发育算法

针对两轮自平衡机器人在学习过程中主动性差的问题,受心理学内在动机理论启发,提出一种基于内在动机的智能机器人自主发育算法。该算法在强化学习的理论框架中,引入模拟人类好奇心的内在动机理论作为内部驱动力,与外部奖赏信号一起作用于整个学习过程。采用双层内部回归神经网络存储知识的学习与积累,使机器人逐步学会自主平衡技能。最后针对测量噪声污染对机器人平衡控制中两轮角速度的影响,进一步采用卡尔曼滤波方法进行补偿,以提高算法收敛速度,降低系统误差。仿真实验表明,该算法能够使两轮机器人通过与环境的交互获得认知,成功地学会运动平衡控制技能。     

基于自适应子空间在线PCA的手势识别

基于视觉的手势识别系统的学习一般是离线的,导致系统对新手势的正确识别需要重新离线学习,因此系统实时性、可扩展性和鲁棒性较差,不适合认知发育的智能框架。文中提出了基于自适应子空间在线PCA的手势识别方法。该方法通过计算样本投影系数向量的PCA来实现子空间在线更新,并根据新样本与已学习样本的差异程度,调整子空间更新策略,使算法自适应于不同情况,减少计算和存储开销,实现增量的在线学习和识别手势的目的。实验表明,本文方法能处理未知手势问题,实现手势在线积累和更新,逐渐增强系统识别能力。     

基于单胺类神经递质调节发育算法的机器人视觉定位

针对基于普通发育算法实现机器人视觉定位任务时需分配大量神经元的问题,提出一种基于单胺类神经递质调节发育算法的机器人视觉定位方法.首先引入在脑内控制多种生理功能的多巴胺(dopamine)与5-羟色胺(serotonin)的单胺类神经递质理论,实现神经调节作用;然后结合普通发育算法,建立基于神经递质调节的发育算法.机器人采用自主试错策略完成强化学习过程,存储"记忆",并可动态改变学习速率,最终实现视觉定位任务.实验结果证明该方法仅需提前配置与所需相关知识概念个数相同数量的神经元,显著减少了所需神经元数量,提高算法效率.     

视觉语言模型引导的文本知识嵌入的小样本增量学习

真实场景往往面临数据稀缺和数据动态变化的问题,小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘.已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器,实现模型对于新数据的迁移和旧数据的抗遗忘.但是少量数据的视觉特征往往难以建模一个类别的完整特征分布,导致上述算法的泛化能力较弱.相比于视觉特征,图像类别描述的文本特征具有较好的泛化性和抗遗忘性.因此,在视觉语言模型的基础上,研究基于文本知识嵌入的小样本增量学习,通过在视觉特征中嵌入具有抗遗忘能力的文本特征,实现小样本增量学习中新旧类别数据的有效学习.具体而言,在基础学习阶段,利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述,并通过文本编码器实现预训练视觉特征到文本空间的映射.进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征.在增量学习阶段,提出类别空间引导的抗遗忘学习,利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器,实现新数据知识学习的同时复习旧知识.在4个数据集(CIFAR-100, CUB-200, Car...     

基于内在动机的强化学习算法在两轮机器人中的研究

针对两轮自平衡机器人在学习过程中遇到的主动性差和以往强化学习对单步学习效率低的问题,受心理学中内在动机理论的启发,提出一种基于内在动机的强化学习算法;该算法利用内在动机信号作为内部奖励,模拟人类心理认知机理并与外部信号一起作用于整个学习过程,提高了智能体的自学习能力,同时采用自组织神经网络进行训练,保证了算法的快速性;通过无扰动和有扰动两种仿真实验的对比,验证了基于内在动机的强化学习算法能够使两轮机器人在未知环境下通过自主学习最终达到平衡,且体现了该算法的鲁棒性和可行性。     

基于IHDR算法和BP神经网络复合框架的机器人服务自主认知和发育系统

为了解决传统的基于知识或基于学习的机器人服务认知机制的智能性和普适性较差的问题,构建了一个基于IHDR(增量分层判别回归)算法和BP(反向传播)神经网络复合框架的机器人服务任务自主认知和自主发育系统.在家庭服务机器人智能空间中丰富的传感器和物联网技术的支持下,采集大量用于机器人学习和发育的样本数据;在此基础上,针对智能空间样本数据的混合特性,设计改进的IHDR算法,实现对混合型样本数据的聚类更新和响应计算,并将生成的IHDR树作为机器人存储历史经验的"大脑",使机器人能够利用"大脑"中已有的经验进行自主学习和相应判断,以实现对服务的自主认知;利用JSHOP2(Java simple hierarchical planner)规划器对认知的复杂任务进行分解,得到可被机器人直接执行的原子任务.为了避免IHDR树规模不足的局限性,设计基于BP神经网络的服务认知算法,利用样本数据训练BP神经网络,实现智能空间实际场景到用户所需服务的映射,在IHDR树无法提供历史经验的情况下,使机器人仍能基于BP神经网络自主进行服务决策.然后将此映射结果以增量的方式更新到IHDR树中,丰富其具备的经验知识,实现机器人服务自主认知能力的发育.仿真实验结果表明,该复合框架可以有效提高服务机器人对智能空间情景下用户所需服务的认知准确性及认知发育能力,推进人机共融的实现.     

基于增量式RBF网络的Q学习算法

为提升机器人的行为智能水平,提出一种基于增量式径向基函数网络(IRBFN)的Q学习(IRBFN-QL)算法.其核心是通过结构的自适应增长与参数的在线学习,实现对Q值函数的学习与存储,从而使机器人可以在未知环境中自主增量式地学习行为策略.首先,采用近似线性独立(ALD)准则在线增加网络节点,使机器人的记忆容量伴随状态空间的拓展自适应增长.同时,节点的增加意味着网络拓扑内部连接的改变.采用核递归最小二乘(KRLS)算法更新网络拓扑连接关系及参数,使机器人不断扩展与优化自身的行为策略.此外,为避免过拟合问题,将L2正则项融合到KRLS算法中,得到L2约束下的核递归最小二乘算法(L2KRLS).实验结果表明,IRBFN-QL算法能够实现机器人与未知环境的自主交互,并逐步提高移动机器人在走廊环境中的导航行为能力.     

基于IHDR自主学习框架的无人机3维路径规划

提出一种基于自主学习框架的无人机3维路径规划方法.该自主学习框架由知识学习、知识检索和在线更新三部分组成.在该框架中,无人机在线路径规划时首先从过去的规划经验中提取控制量直接用于指导当前机器人的行动,另一方面,如果检索结果对于当前无人机的状态是无效的,可以在线启动常规3维路径规划算法,实时计算机器人的控制量,在控制机器人运动的同时将当前状态下的新决策量添加到知识库中从而对其进行更新.此外,分别采用增量分层判别回归算法(IHDR)和k-D树方法建立了路径规划知识库.其中,IHDR方法通过增量方式,可将以往的路径样本建立为一棵分层树.大量的仿真结果对比表明,在本文提出的框架下,基于IHDR的方法比传统的k-D树方法具有更好的实时性.     

基于图像矩与神经网络的机器人四自由度视觉伺服

针对传统的视觉伺服方法中图像几何特征的标记、提取与匹配过程复杂且通用性差等问题,本文提出了一种基于图像矩的机器人四自由度(4DOF)视觉伺服方法.首先建立了眼在手系统中图像矩与机器人位姿之间的非线性增量变换关系,为利用图像矩进行机器人视觉伺服控制提供了理论基础,然后在未对摄像机与手眼关系进行标定的情况下,利用反向传播(BP)神经网络的非线性映射特性设计了基于图像矩的机器人视觉伺服控制方案,最后用训练好的神经刚络进行了视觉伺服跟踪控制.实验结果表明基于本文算法可实现0.5 mm的位置与0.5°的姿态跟踪精度,验证了算法的的有效性与较好的伺服性能.     

The more you learn,the less you store: Memory-controlled incremental SVM for visual place recognition

The capability to learn from experience is a key property for autonomous cognitive systems working in realistic settings. To this end, this paper presents an SVM-based algorithm, capable of learning model representations incrementally while keeping under control memory requirements. We combine an incremental extension of SVMs [43] with a method reducing the number of support vectors needed to build the decision function without any loss in performance [15] introducing a parameter which permits a user-set trade-off between performance and memory. The resulting algorithm is able to achieve the same recognition results as the original incremental method while reducing the memory growth. Our method is especially suited to work for autonomous systems in realistic settings. We present experiments on two common scenarios in this domain: adaptation in presence of dynamic changes and transfer of knowledge between two different autonomous agents, focusing in both cases on the problem of visual place recognition applied to mobile robot topological localization. Experiments in both scenarios clearly show the power of our approach.     

Visual novelty detection with automatic scale selection

This paper presents experiments with an autonomous inspection robot, whose task was to highlight novel features in its environment from camera images.The experiments used two different attention mechanisms–saliency map and multi-scale Harris detector–and two different novelty detection mechanisms — the Grow-When-Required (GWR) neural network and an incremental Principal Component Analysis (PCA). For all mechanisms we compared fixed-scale image encoding with automatically scaled image patches.Results show that automatic scale selection provides a more efficient representation of the visual input space, but that performance is generally better using a fixed-scale image encoding.     

基于AOCA仿生学习模型的两轮机器人自主平衡学习研究

以两轮机器人的自主平衡学习控制为研究对象,针对传统控制方法无法实现机器人类似人或动物的渐进学习过程,依据斯金纳的操作条件反射理论建立了一种自治操作条件反射自动机（Autonomous operant conditioning automaton,AOCA）模型,设计一种基于AOCA的仿生学习算法,并进行机器人姿态平衡学习实验仿真研究. 实验结果表明,基于AOCA的仿生学习方法能有效地实现机器人的自主平衡学习控制,机器人系统的平衡能力在学习控制过程中自组织地渐进形成,并得以发展和完善.     

Robust object tracking with occlusion handle

Occlusion is a major problem for object tracking algorithms, especially for subspace-based learning algorithms like PCA. In this paper, we introduce a novel incremental subspace (robust PCA)-based object tracking algorithm to deal with the occlusion problem. The three major contributions of our works are the introduction of robust PCA to object tracking literature, a robust PCA-based occlusion handling scheme and the revised incremental PCA algorithm. In order to handle the occlusion problem in the subspace learning algorithm framework, robust PCA algorithm is employed to select part of image pixels to compute coefficients rather than the whole image pixels as in traditional PCA algorithm, which can successfully avoid the occluded pixels and therefore obtain accurate tracking results. The occlusion handling scheme fully makes use of the merits of robust PCA and can avoid false updates in occlusion, clutter, noisy and other complex situations. Besides, the introduction of incremental PCA facilitates the subspace updating process and possesses several benefits compared with traditional R-SVD-based updating methods. The experiments show that our proposed algorithm is efficient and effective to cope with common object tracking tasks, especially with strong robustness due to the introduction of robust PCA.     

一种基于Bagging-SVM的智能传感器集成学习方法

集成多个传感器的智能片上系统( SoC)在物联网得到了广泛的应用.在融合多个传感器数据的分类算法方面,传统的支持向量机( SVM)单分类器不能直接对传感器数据流进行小样本增量学习.针对上述问题,提出一种基于Bagging-SVM的集成增量算法,该算法通过在增量数据中采用Bootstrap方式抽取训练集,构造能够反映新信息变化的集成分类器,然后将新老分类器集成,实现集成增量学习.实验结果表明:该算法相比SVM单分类器能够有效降低分类误差,提高分类准确率,且具有较好的泛化能力,可以满足当下智能传感器系统基于小样本数据流的在线学习需求.     

适用于智能传感器系统的SVM集成研究

以支持向量机(SVM)为代表的人工智能技术在智能传感器系统中得到了广泛的应用,但传统的SVM有"灾难性遗忘"现象,即会遗忘以前学过的知识,并且不能增量学习新的数据,这已无法满足智能传感器系统实时性的要求。而Learn++算法能够增量地学习新来的数据,即使新来数据属于新的类,也不会遗忘已经学习到的旧知识。为了解决上述问题,提出了一种基于壳向量算法的Learn++集成方法。实验结果表明:该算法不但具有增量学习的能力,而且在保证分类精度的同时,提高了训练速度,减小了存储规模,可以满足当下智能传感器系统在线学习的需求。     

Autonomous navigation system using Event Driven-Fuzzy Cognitive Maps

This study developed an autonomous navigation system using Fuzzy Cognitive Maps (FCM). Fuzzy Cognitive Map is a tool that can model qualitative knowledge in a structured way through concepts and causal relationships. Its mathematical representation is based on graph theory. A new variant of FCM, named Event Driven-Fuzzy Cognitive Maps (ED-FCM), is proposed to model decision tasks and/or make inferences in autonomous navigation. The FCM??s arcs are updated from the occurrence of special events as dynamic obstacle detection. As a result, the developed model is able to represent the robot??s dynamic behavior in presence of environment changes. This model skill is achieved by adapting the FCM relationships among concepts. A reinforcement learning algorithm is also used to finely adjust the robot behavior. Some simulation results are discussed highlighting the ability of the autonomous robot to navigate among obstacles (navigation at unknown environment). A fuzzy based navigation system is used as a reference to evaluate the proposed autonomous navigation system performance.     

基于HI-DD-AdaBoost.RT的锂离子动力电池SOH预测

锂离子电池是一个复杂的电化学动态系统,实时准确的健康状态(SOH)估计对电动汽车动力锂电池的维护至关重要,传统建模方法难以实现SOH的在线估算.基于此,从实时评估电池的SOH出发,在增量学习的基础上,选取与电池健康状态相关的指标建立SOH预测模型.考虑到增量学习中的耗时性问题,提出融合滑动窗口技术的HI-DD算法,该算法可以检测概念漂移是否发生,从而指导和确定模型更新位置;设计出HI-DD与AdaBoost.RT结合的模型更新策略,进而提高模型的在线学习性能和预测精度,最后使用CALCE提供的电池老化实验数据对所提出的方法进行验证.结果表明,基于增量学习的HI-DD-AdaBoost.RT预测算法具有较强的在线更新能力和较高的预测精度,能够满足SOH在线预测的实际需求.     

Incremental learning for online tool condition monitoring using Ellipsoid ARTMAP network model

In this paper, an Ellipsoid ARTMAP (EAM) network model based on incremental learning algorithm is proposed to realize online learning and tool condition monitoring. The main characteristic of EAM model is that hyper-ellipsoid is used for geometric representation of categories which can depict the sample distribution robustly and accurately. Meanwhile, adaptive resonance based strategy can realize the update of the hyper-ellipsoid node locally and monotonically. Therefore, the model has strong incremental learning ability, which guarantees the constructed classifier can learn new knowledge without forgetting the original information. Based on incremental EAM model, a tool condition monitoring system is realized. In this system, features are firstly extracted from the force and vibration signals to depict dynamic features of tool wear process. Then, fast correlation based filter (FCBF) method is introduced to select the minimum redundant features adaptively so as to decrease the feature redundancy and improve classifier robustness. Based on the selected features, EAM based incremental classifier is constructed to realize recognition of the tool wear states. To show the effectiveness of the proposed method, multi-teeth milling experiments of Ti-6Al-4V alloy were carried out. Moreover, to estimate the generation error of the classifiers accurately, a five-fold cross validation method is utilized. By comparison with the commonly used Fuzzy ARTMAP (FAM) classifier, it can be shown that the averaging recognition rate of EAM initial classifier can reach 98.67%, which is higher than FAM. Moreover, the incremental learning ability of EAM is also analyzed and compared with FAM using the new data coming from different cutting passes and tool wear category. The results show that the updated EAM classifier can get higher classification accuracy on the original knowledge while realizing effective online learning of the new knowledge.