水下滑翔蛇形机器人滑翔控制的强化学习方法

研究了一种强化学习算法,用于水下滑翔蛇形机器人的滑翔运动控制.针对水动力环境难以建模的问题,使用强化学习方法使水下滑翔蛇形机器人自适应复杂的水环境,并自动学习仅通过调节浮力来控制滑翔运动.对此,提出了循环神经网络蒙特卡洛策略梯度算法,改善了由于机器人的状态难以完全观测而导致的算法难以训练的问题,并将水下滑翔蛇形机器人的基本滑翔动作控制问题近似为马尔可夫决策过程,从而得到有效的滑翔控制策略.通过仿真和实验证明了所提出方法的有效性.     

水下蛇形机器人的滑翔运动性能研究

结合水下滑翔机在海洋中的较强续航能力,以及蛇形机器人在水中的良好机动性能,研制了一种具有两者特性的新型水下滑翔蛇形机器人,它具有水下滑翔机续航时间长、航行距离远,以及水下蛇形机器人机动性强、运动灵活的运动特性。对该水下滑翔蛇形机器人的滑翔运动性能进行了试验研究。首先对水下滑翔蛇形机器人的运动原理及关节结构进行了设计分析,其次对机器人的硬件及控制系统进行了结构分析,而且根据动量定理和动量矩定理,对机器人的滑翔运动方程进行了推导,并化简到垂直平面。最后对平衡状态进行了仿真分析,对机器人的运动能力进行了试验验证。试验结果验证了水下滑翔蛇形机器人机构的有效性。