基于高斯过程的机器人模仿学习研究与实现

针对机器人模仿学习控制策略获取的问题,基于高斯过程的方法,建立示教机器人示教行为的样本数据的高斯过程回归模型并加以训练,以求解示教机器人的感知和行为之间的映射关系,并将此映射关系作为模仿机器人的控制策略来实现对示教行为的模仿.以Braitenberg车为仿真对象,研究趋光模仿学习行为.仿真实验表明:基于高斯过程的机器人模仿学习算法具有有效性,模仿机器人在不同任务环境下具有很好的适应性.     

在书写任务中的基于轨迹匹配的模仿学习

针对书写任务中运动轨迹较复杂的问题,引入基于轨迹匹配的模仿学习算法对书写轨迹进行表征和泛化,进而实现机器人书写技能的获取。机器人从示教者处获取示教数据,利用高斯混合模型( Gaussian mixture model, GMM)进行编码,学习示教行为的本质特征,通过高斯混合回归进行泛化处理,实现行为再现。实验结果表明：该方法具有良好的行为编码能力和抗干扰性,能够实现轨迹可连续的汉字书写,通过对GMM的扩展能够进行多任务学习,进而实现轨迹不可连续汉字的书写,泛化效果较好。     

基于模仿学习的变刚度人机协作搬运控制

针对人-机器人协作搬运,现有的控制策略难以同时保证搬运过程的柔顺性和搬运终点位置的精确性,而且对不同搬运任务适应性不够. 基于模仿学习提出变刚度协作搬运控制策略. 使用任务参数化的高斯混合模型(TP-GMM)对多次搬运示教数据进行编码,学习不同搬运工况下的搬运轨迹概率模型;结合导纳控制建立机械臂末端变刚度交互模型,实现柔性搬运操作,并基于交互力阈值实现不同搬运任务的切换;搭建协作搬运平台进行实验验证. 实验结果表明,提出的策略在实现柔性协作搬运的同时将特定搬运任务的终点位置精度提高到1.9 mm,且保证了特定搬运任务中机械臂末端在期望区域内运动以及搬运任务的切换.     

基于质心校正补偿的仿人机器人模仿学习

由于仿人机器人自由度多、结构冗余,因此面对不同环境下的运动规划十分复杂.利用人体运动信息作为示教数据,实现仿人机器人对人体姿态的模仿学习,简化了仿人机器人的运动规划.为满足机器人在运动过程中的平衡性,提出了一种机器人质心补偿的方法:通过示教数据预估机器人的质心偏移,经质心-角度雅可比矩阵计算角度补偿量,并引入二次规划进行优化处理.基于Nao机器人的模仿学习系统实验研究结果表明:提出的质心补偿方法可以有效地保证机器人在模仿学习过程中的姿态平衡,引入的权值可调的二次规划有效地保证了姿态模仿的相似性.     

基于ZMP判据的仿人机器人步态模仿

仿人机器人行走稳定性研究是机器人领域一大研究热点,目前主要依据动力学模型规划稳定步态,但依靠步态规划形成的运动模式往往需要复杂的运算,并且机器人的运动形式单一.为实现机器人多样化步态的生成,在模仿学习的框架下对机器人的步态模仿问题展开研究,利用人体行走信息作为示教数据,实现仿人机器人对人体行走过程的模仿学习,在简化运动规划的同时使机器人的运动步态更具多样化与拟人化.为满足机器人在步态模仿过程中的稳定性,基于零力矩点(zero moment point,ZMP)判据补偿质心偏移,利用滞回曲线确定行走过程中支撑脚的切换以实现稳定性控制.基于NAO机器人的模仿学习系统仿真研究结果表明:ZMP判据的引入有效地保证了机器人对人体示教步态模仿的稳定性,基于滞回曲线的支撑脚选取保证了支撑脚切换的平稳.     

基于强化学习的学习变阻抗控制

为了提高力控制的性能,使机器人高效自主地学习执行力控制任务,本文提出一种学习变阻抗控制方法。该方法采用基于模型的强化学习算法学习最优阻抗调节策略,使用高斯过程模型作为系统的变换动力学模型,允许概率化的推理与规划,并在成本函数中加入能量损失项,实现误差和能量的权衡。仿真实验结果表明:该学习变阻抗控制方法具有高效性,仅需数次交互即可成功学习完成力控制任务,大大减少了所需的交互次数与交互时间,且学习得到的阻抗控制策略具有仿生特性,可用于学习执行力敏感型任务。     

混合粒子群优化算法和案例推理方法的多机器人学习

以未知环境下多机器人学习为研究平台,因案例推理方法可存储以前的问题和解信息,用该方法的长期记忆特性可帮助粒子群优化算法更好地解决新的问题。在特定的仿真环境里,粒子群优化算法可训练机器人的几个基本行为,经过学习使机器人具有更好的鲁棒性和自适应学习能力。根据机器人不同行为在复杂环境下的性能指标,CBR可从案例库中选择特定的行为,并将其参数传送到粒子群优化算法的初始解库,从而加速整体的学习过程。利用机器人仿真软件MissionLab,采用基于行为的多机器人编队任务,用来测试该算法的有效性。仿真和实验结果表明,案例推理方法和粒子群优化算法相结合,使机器人获得更优的控制参数,同时在未知环境下的多机器人编队具有更好的性能。     

日常养老情境的异构多机器人动态多任务分配

针对异构多机器人系统动态任务分配问题,基于多智能体技术,利用符合养老情境特点的多智能体组织结构,提出处理养老情境下任务类型相对固定的异构多机器人多任务动态分配机制. 建立基于被服务对象满意度函数的投标值计算模型,兼顾多任务的动态分配与被服务对象的满意度. 根据拓扑排序算法,提出多智能体系统死锁的检测及处理方法,解决执行智能体自锁、各执行智能体间互锁的问题. 对不同任务情况在不同分配机制下的被服务对象满意度进行仿真. 仿真结果表明,在避免死锁的情况下,所提机制能够兼顾养老情景下的动态任务分配和被服务对象的满意度.     

多机器人任务分配与路径规划算法

针对多机器人任务分配和路径规划存在的移动方向角偏差问题,本文引入矢量方向来修改机器人的运动方向角,提出了一种改进的基于矢量方向的自组织算法,使一组机器人在自动避开环境中障碍物的情况下能够有效地到达所有指定的目标位置。采用基于矢量方向的自组织算法对多机器人系统进行任务分配,使机器人能够访问各个目标位置,整个过程包括获胜神经元的选择、优胜邻域函数的确定以及权值的修改。根据引入的矢量方向法更新SOM获胜神经元的权值,使每个机器人在访问相应目标的过程中能自动的避开障碍物,以避免在路径规划过程中横穿障碍物,进而实现机器人的自动、有效路径规划。仿真实验结果表明:与传统的SOM算法相比,本文所提出的算法在机器人数量与任务目标点数量相同或机器人数量小于任务目标点数量的情况下,能够自主地避开环境中的障碍物并进行合理地任务分配,具有较高的有效性和实用性。     

任务驱动的发育机器人研究

针对现有的发育机器人算法不能有效区分任务的缺点,提出一种任务驱动的发育机器人范式。该范式以BP神经网络为载体,将不同环境下的不同任务分开存储,每个任务中存储对应网络训练的权值与阈值,在执行任务时,会调用相应的参数重构神经网络,计算实时的输出。实验结果表明该范式不仅可以体现发育机器人的基本思想,满足机器人实时性的要求,同时能够有效地解决多任务之间冲突的问题。     

基于图卷积模仿学习的分布式群集控制

针对受限通信条件下机器人群集协同控制问题,提出基于图卷积模仿学习的分布式群集控制策略. 该策略旨在实现群集内避障、速度一致性的基础上,提高群集鲁棒性,提升避免群集分裂的成功率. 提出基于熵评价的群集鲁棒性量化评价指标,建立节点和链路重要性的均衡分布与群集鲁棒性的联系. 提出重要度相关图卷积网络,用于实现受限通信条件下非欧氏数据的特征提取和加权聚合. 采用图卷积模仿学习方法,根据提升群集鲁棒性的要求设计集中式专家策略,通过对集中式专家策略的模仿,得到分布式群集协同控制策略. 设计仿真实验,证明所得的分布式策略基于受限通信条件实现了接近集中式的专家策略的控制效果.     

Intelligent learning model-based skill learning and strategy optimization in robot grinding and polishing

With the rapid advancement of manufacturing in China, robot machining technology has become a popular research subject. An increasing number of robots are currently being used to perform complex tasks during manual operation, e.g., the grinding of large components using multi-robot systems and robot teleoperation in dangerous environments, and machining conditions have evolved from a single open mode to a multisystem closed mode. Because the environment is constantly changing with multiple systems interacting with each other, traditional methods, such as mechanism modeling and programming are no longer applicable. Intelligent learning models, such as deep learning, transfer learning, reinforcement learning, and imitation learning, have been widely used; thus, skill learning and strategy optimization have become the focus of research on robot machining. Skill learning in robot machining can use robotic flexibility to learn skills under unknown working conditions, and machining strategy research can optimize processing quality under complex working conditions. Additionally, skill learning and strategy optimization combined with an intelligent learning model demonstrate excellent performance for data characteristics learning, multisystem transformation, and environment perception, thus compensating for the shortcomings of the traditional research field. This paper summarizes the state-of-the-art in skill learning and strategy optimization research from the perspectives of feature processing, skill learning, strategy, and model optimization of robot grinding and polishing, in which deep learning, transfer learning, reinforcement learning, and imitation learning models are integrated into skill learning and strategy optimization during robot grinding and polishing. Finally, this paper describes future development trends in skill learning and strategy optimization based on an intelligent learning model in the system knowledge transfer and nonstructural environment autonomous processing.

     

基于数据驱动高阶学习律的轮式移动机器人轨迹跟踪控制

轮式机器人执行巡逻、播种和工业生产等任务是一个强非线性的间歇过程.针对重复运行的轮式机器人轨迹跟踪问题,本文提出了一种基于数据驱动的高阶迭代学习控制算法.首先,对轮式移动机器人的模型进行推导设计,并对推导得到的状态空间形式的离散时间模型利用基于状态转移的迭代动态线性化方法,将轮式机器人系统转化为线性输入输出数据模型;其次,设计高阶迭代优化目标函数得到控制律,并利用参数更新律估计线性输入输出数据模型中的未知参数.控制器的设计和分析只使用系统的输入输出数据,不包含任何显式的模型信息.通过采用高阶学习控制方法,在控制律中利用更多之前迭代的控制输入信息,提高了控制性能.最后,仿真结果验证了该方法在轮式机器人轨迹跟踪控制中的有效性.     

基于模型不确定补偿的轮式移动机器人反演复合控制

针对轮式移动机器人存在模型不确定性、非线性以及未建模的动态特性等因素,严重影响系统轨迹跟踪的稳定性和精确性,提出一种基于系统模型不确定性补偿的反演复合控制策略。基于非完整轮式移动机器人的运动学模型,采用反演控制思想以及李雅普诺夫稳定性判据设计轨迹跟踪的虚拟速度控制量,作为系统的持续激励输入。考虑轮式移动机器人具有模型不确定性和外部有界力矩干扰,根据轮式移动机器人的动力学模型推导得到系统不确定项,并采用具有高度非线性拟合特性的神经网络对其估计,得到模型的力矩控制量,且由李雅普诺夫稳定性分析得到不确定项的自适应律,实现自调整和实时轨迹跟踪。对比仿真表明,该复合控制策略能自适应的跟踪期望轨迹,与单一的反演控制、模型不确定性补偿控制策略、传统PID控制相比,均具有更好的鲁棒性和高的跟踪精度。     

基于分层强化学习的多移动机器人避障算法

介绍了一种基于分层思想的强化学习方法,即将机器人的复杂行为分解为一系列简单的行为进行离线独立学习,并分别设计了每个层次的结构、参数及函数。这种学习方法能够减小状态空间并简化强化函数的设计,从而提高了学习的速率以及学习结果的准确性,并使学习过程实现了决策的逐步求精。最后以多机器人避障为任务模型,将避障问题分解为躲避静态和动态障碍物以及向目标点靠近3个子行为分别进行学习,实现了机器人的自适应行为融合,并利用仿真实验对其有效性进行了验证。     

Walking Stability Control Method for Biped Robot on Uneven Ground Based on Deep Q-Network

A gait control method for a biped robot based on the deep Q-network (DQN) algorithm is proposed to enhance the stability of walking on uneven ground. This control strategy is an intelligent learning method of posture adjustment. A robot is taken as an agent and trained to walk steadily on an uneven surface with obstacles, using a simple reward function based on forward progress. The reward-punishment (RP) mechanism of the DQN algorithm is established after obtaining the offline gait which was generated in advance foot trajectory planning. Instead of implementing a complex dynamic model, the proposed method enables the biped robot to learn to adjust its posture on the uneven ground and ensures walking stability. The performance and effectiveness of the proposed algorithm was validated in the V-REP simulation environment. The results demonstrate that the biped robot''s lateral tile angle is less than 3° after implementing the proposed method and the walking stability is obviously improved.     

基于启发式学习算法的空间柔性机械臂神经网络控制

针对非线性强耦合的空间漂浮基柔性机器人,提出了一种启发式学习算法的神经网络的前馈控制策略。首先通过拉格朗日法和假设模态方法建立了漂浮基柔性空间机器人的动力学模型,然后采用两个神经网络及一个PID控制器来构建前馈在线学习控制系统,其中一个神经网络充当前馈控制器,另一个神经网络通过学习逆动态模型来为前馈控制器提供在线学习参数,而PID控制器主要作为辅助补偿控制器。该控制策略不是在PID控制器的指导下进行学习,且无需预先的离线学习,因而学习精度更高,且减少了对学习样本选择不当的影响,采用固定中心参数,而扩展宽度采用启发式关系确定,网络权值采用改进的最优准则算法进行调整的算法来实现快速学习能力,具有较好的实时性。仿真结果证明了所提方案的有效性。