基于机器视觉的多机械臂煤矸石分拣机器人系统研究

现有煤矸石分拣方法主要是根据煤和岩石的纹理特征值,利用图像处理和模式识别技术对煤矸石进行识别分选,分选的煤矸石粒度为25～150mm,而对于150mm以上的煤矸石仍依靠人工进行分选。为了对大粒度煤矸石进行分拣,设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统采用机器视觉采集煤矸石信息,应用深度学习方法实现煤矸石识别和抓取特征提取;在获取煤矸石序列信息后,根据煤矸石位置进行排序工作,并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器;机械臂获取任务后,根据获得的任务对目标进行动态监测,当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。试验结果表明,该系统可对粒度为50～260mm的煤矸石进行高效、快速分拣,所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性,煤矸识别与定位的综合准确率可达93%,验证了该系统的可行性。     

双臂并联煤矸石分拣机器人及其轨迹规划研究

目前的煤矸石自动分拣系统大多采用串联机械臂,只能分拣出粒度较小的矸石,且分拣速度较慢,分拣效果不理想。针对该问题,设计了一种双臂并联煤矸石分拣机器人。该机器人采用推动而非抓取的分拣方式,能够针对粒度为300～600mm的矸石进行分拣,且大大降低了机械臂的力矩需求,提高了分拣速度。为了避免频繁启停给电动机造成刚性冲击,延长电动机使用寿命,在关节空间下分别采用抛物线过渡的插值函数、三次多项式及五次多项式插值函数进行轨迹规划,仿真和对比分析结果表明,采用五次多项式插值函数进行轨迹规划时,角加速度曲线过渡平滑,不仅能满足机器人轨迹起始点和终止点的角度、角速度约束,还能满足其角加速度约束,使分拣机器人的运动轨迹更加平稳。实验结果表明:对于粒度为300～600mm的煤矸石,双臂并联煤矸石分拣机器人矸石识别率和分拣率分别为91.14%和86.29%,分拣准确率和稳定性较高;完成单次完整的分拣动作只需1.2s,与人工分拣相比大大缩短了分拣周期;通过在关节空间的轨迹规划,降低了分拣过程中电动机受到的刚性冲击,可保证机器人长时间稳定工作。     

基于RBF-BP算法的机械臂多自由度分拣控制系统设计

为提升机械臂设备的准确分拣能力,设计基于RBF-BP算法的机械臂多自由度分拣控制系统。利用RBF-BP前馈神经网络,规划机械臂设备的运动轨迹路线,实现基于RBF-BP算法的机械臂运动轨迹建模。确定工业相机在总功能框架中所处连接位置,根据机械臂选型情况,确定可编程逻辑控制器、变频控制器对于所选机械臂元件的调节能力,完成对系统功能模块的开发。借助传输信道,将Sorting分拣指令、ToolControl控制指令反馈回核心控制主机,建立完整的指令执行回路,再联合相关硬件设备结构,实现基于RBF-BP算法的机械臂多自由度分拣控制系统设计。实验结果表明,在抓取能力相同的情况下,应用RBF-BP算法控制系统机械臂成功分拣的工件数量为19件,机械臂抓取成功率为95%,说明所设计系统满足提升机械臂准确分拣能力的设计初衷。     

一种基于深度学习的自动识别分拣机器人设计

通过对煤和岩石的纹理特征值进行分析,使用图像处理与模式辨别技术分拣煤矸石中的大粒度煤矸石,针对工作制作出了一种将机器视觉作为基础的多机械臂煤矸石分拣机器人系统。该系统在运用过程中通过机器视觉搜集煤矸石信息,采用深度学习的方法辨别与提取煤矸石的特点;当提取煤矸石基本信息后,依据煤矸石的位置开展排序工作,同时利用多目标任务分配策略把提取任务传送至机械臂控制器;当机械臂接收到任务之后,依据接收到任务实时监测目标,在目标进入机械臂工作区域后,使用视觉伺服系统促使机械臂分拣煤矸石。     

基于关节位置约束的仓储运输机械臂分拣控制

仓储运输机械臂分拣配送路径较为复杂，节点配送模式选择难度较大，难以保证分拣的准确性，为此提出了基于关节位置约束的仓储运输机械臂分拣控制方法。建立各机械连杆坐标系，采用PD控制器负反馈机制，优化操纵任意矢量。通过服务定位协议和射频标识技术构建包裹出库量的时间序列模型，计算仓库系统各功能模块模糊增益，获得包裹分拣的出库数据序列，明确节点配送模式。把关节位置约束问题转换为关节速度约束，将关节速度进行非齐次空间映射，调节关节的位移与权值，完成对关节位置约束校正，实现运输分拣控制。通过实验证明所提方法能够较好实现控制分拣，减少机械臂晃动，保证分拣的准确性。     

基于深度强化学习的固体放射性废物抓取方法研究

针对固体放射性废物分拣作业中,放射性废物杂乱无序、远程遥操作抓取效率低、人工分拣危险性大等典型问题,提出一种基于深度强化学习的放射性固体废物抓取方法。该方法使用改进深度Q网络算法,通过获取的图像信息,使机器人与环境不断进行交互并获得回报奖励,回报奖励由机械臂动作执行结果和放射性区域内放射性活度的高低构成,根据◢Q◣值的大小得到机械臂的最佳抓取位置。用V-REP软件对UR5机械臂建立仿真模型,在仿真环境中完成不同类型固体放射性废物抓取的训练与测试。仿真结果表明,固体废物在松散放置时该方法可使机械臂抓取成功率大于90%,在紧密放置时抓取成功率大于65%,机械臂不会受到废物堆叠的影响,并且会优先抓取放射性区域内具有高放射性活度的物体。     

基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

基于卷积神经网络的机械臂抓取控制系统设计

为保证机械臂的抓取精度,保证物体抓取的稳定性,本文设计基于卷积神经网络的机械臂抓取控制系统。在系统硬件部分,加设图像、位置和压力传感器,改装机械臂抓取控制器和运动驱动器,利用图像传感器设备,获取满足质量要求的机械臂抓取目标图像,为机械臂抓取控制功能提供硬件支持。软件部分利用卷积神经网络算法提取图像特征,确定机械臂抓取目标位置。结合机械臂当前位置的检测结果,规划机械臂抓取路线,预估机械臂抓取角度与抓取力。最终通过机械臂抓取参数控制量的计算,在控制器的支持下实现系统的机械臂抓取控制功能。实验结果表明,所设计系统应用下位置控制误差和速度控制误差的平均值分别为0.192m和0.138m/s,同时物体抓取掉落概率明显降低。     

基于深度强化学习的二连杆机械臂运动控制方法

针对二连杆机械臂的运动控制问题,提出了一种基于深度强化学习的控制方法。首先,搭建机械臂仿真环境,包括二连杆机械臂、目标物与障碍物;然后,根据环境模型的目标设置、状态变量和奖罚机制来建立三种深度强化学习模型进行训练,最后实现二连杆机械臂的运动控制。对比分析所提出的三种模型后,选择深度确定性策略梯度（DDPG）算法进行进一步研究来改进其适用性,从而缩短机械臂模型的调试时间,顺利避开障碍物到达目标。实验结果表明,所提深度强化学习方法能够有效控制二连杆机械臂的运动,改进后的DDPG算法控制模型的收敛速度提升了两倍并且收敛后的稳定性增强。相较于传统控制方法,所提深度强化学习控制方法效率更高,适用性更强。     

人机协同分拣系统的目标检测建模和插补算法实践

为了提高物流分拣系统工作效率及质量,研究提出将现有分拣系统中的单臂系统替换为双臂系统,再采用改进插补算法,规划机械臂的运动轨迹。研究还设计了基于深度的目标检测算法,辅助双臂系统的分拣工作。实验结果中,改进后插补算法的运行速度在0.55 s左右,损失度在0.05左右。研究对使用的两种算法进行改进后,提高了算法的运行速度,并降低了算法的损失度,提高了插补算法在路径规划中的使用效果,也提高了深度学习网络的目标检测效果。在仿真实验中,双臂系统的左右机械臂的末端位置,及姿态的变化曲线,均表现出平稳且连续的特点,完全符合研究的设计要求。     

基于EAIDK的智能煤矸分拣系统设计

现有基于图像识别的煤矸石分拣方法实时性较差且整体分拣准确率不高,而基于密度的分拣方法适用于井下初选,成本较高。针对上述问题,设计实现了一种基于EAIDK的智能煤矸分拣系统。采用嵌入式人工智能开发平台EAIDK构建矸石识别和分拣控制硬件平台,在嵌入式深度学习框架Tengine下利用深度学习算法搭建卷积神经网络,建立端到端可训练图像检测模型,并利用智能摄像机获取的图像数据训练模型;通过手眼标定获得摄像机坐标系与机械臂坐标系之间的关系,控制机械臂进行矸石追踪和分拣。实验结果表明,该系统矸石识别准确率稳定保持在95%以上,机械臂跟踪时间小于30 ms,执行误差为1 mm左右,可以满足煤矸分拣工艺要求。     

采用DDPG的双足机器人自学习步态规划方法

为解决多自由度双足机器人步行控制中高维非线性规划难题,挖掘不确定环境下双足机器人自主运动潜力,提出了一种改进的基于深度确定性策略梯度算法（DDPG）的双足机器人步态规划方案。把双足机器人多关节自由度控制问题转化为非线性函数的多目标优化求解问题,采用DDPG算法来求解。为解决全局逼近网络求解过程收敛慢的问题,采用径向基（RBF）神经网络进行非线性函数值的计算,并采用梯度下降算法更新神经网络权值,采用SumTree来筛选优质样本。通过ROS、Gazebo、Tensorflow的联合仿真平台对双足机器人进行了模拟学习训练。经数据仿真验证,改进后的DDPG算法平均达到最大累积奖励的时间提前了45.7%,成功率也提升了8.9%,且经训练后的关节姿态角度具有更好的平滑度。     

基于深度强化学习的机械臂控制快速训练方法

人工智能在机器人控制中得到广泛应用,机器人控制算法也逐渐从模型驱动转变为数据驱动。深度强化学习算法可在复杂环境中感知并决策,能够解决高维度和连续状态空间下的机械臂控制问题。然而,目前深度强化学习中数据驱动的训练过程非常依赖计算机GPU算力,且训练时间成本较大。提出基于深度强化学习的先简化模型（2D模型）再复杂模型（3D模型）的机械臂控制快速训练方法。采用深度确定性策略梯度算法代替机械臂传统控制算法中的逆运动学解算方法,直接通过数据驱动的训练过程控制机械臂末端到达目标位置,从而减小训练时间成本。同时,对于状态向量和奖励函数形式,使用不同的设置方式。将最终训练得到的算法模型在真实机械臂上进行实现和验证,结果表明,其控制效果达到了分拣物品的应用要求,相比于直接在3D模型中的训练,能够缩短近52%的平均训练时长。     

人群环境中基于深度强化学习的移动机器人避障算法

为了控制移动机器人在人群密集的复杂环境中高效友好地完成避障任务,本文提出了一种人群环境中基于深度强化学习的移动机器人避障算法。首先,针对深度强化学习算法中值函数网络学习能力不足的情况,基于行人交互（crowd interaction）对值函数网络做了改进,通过行人角度网格（angel pedestrian grid）对行人之间的交互信息进行提取,并通过注意力机制（attention mechanism）提取单个行人的时序特征,学习得到当前状态与历史轨迹状态的相对重要性以及对机器人避障策略的联合影响,为之后多层感知机的学习提供先验知识;其次,依据行人空间行为（human spatial behavior）设计强化学习的奖励函数,并对机器人角度变化过大的状态进行惩罚,实现了舒适避障的要求;最后,通过仿真实验验证了人群环境中基于深度强化学习的移动机器人避障算法在人群密集的复杂环境中的可行性与有效性。     

基于PPO的机械臂控制研究方法

目前应用于机械臂控制中有许多不同的算法,如传统的自适应PD控制、模糊自适应控制等,这些大多需要基于数学模型。也有基于强化学习的控制方法,如:DQN(Deep Q Network)、Sarsa等。但这些强化学习算法在连续高维的动作空间中存在学习效率不高、回报奖励设置困难、控制效果不佳等问题。论文对基于PPO(Proximal Policy Optimization近端策略优化)算法实现任意位置的机械臂抓取应用进行研究,并将实验数据与Actor-Critic(演员-评论家)算法的进行对比,验证了使用PPO算法的控制效果良好,学习效率较高且稳定。     

基于奖励预测误差的内在好奇心方法

针对状态预测误差直接作为内在好奇心奖励,在状态新颖性与奖励相关度低的任务中强化学习智能体不能有效探索环境的问题,提出一种基于奖励预测误差的内在好奇心模块（RPE-ICM）。RPE-ICM利用奖励预测误差网络（RPE-Network）学习并修正状态预测误差奖励,并将奖励预测误差（RPE）模型的输出作为一种内在奖励信号去平衡探索过度与探索不足,使得智能体能够更有效地探索环境并利用奖励去学习技能,从而达到更好的学习效果。在不同的MuJoCo环境中使用RPE-ICM、内在好奇心模块（ICM）、随机蒸馏网络（RND）以及传统的深度确定性策略梯度（DDPG）算法进行对比实验。结果表明,相较于传统DDPG、ICM-DDPG以及RND-DDPG,基于RPE-ICM的DDPG算法的平均性能在Hopper环境中分别提高了13.85%、13.34%和20.80%。     

融合类人驾驶行为的无人驾驶深度强化学习方法

现有无人车辆的驾驶策略过于依赖感知-控制映射过程的“正确性”,而忽视了人类驾驶汽车 时所遵循的驾驶逻辑。该研究基于深度确定性策略梯度算法,提出了一种具备类人驾驶行为的端到端 无人驾驶控制策略。通过施加规则约束对智能体连续行为的影响,建立了能够输出符合类人驾驶连续 有序行为的类人驾驶端到端控制网络,对策略输出采用了后验反馈方式,降低了控制策略的危险行为 输出率。针对训练过程中出现的稀疏灾难性事件,提出了一种更符合控制策略优化期望的连续奖励函 数,提高了算法训练的稳定性。不同仿真环境下的实验结果表明,改进后的奖励塑造方式在评价稀疏 灾难性事件时,对目标函数优化期望的近似程度提高了 85.57%,训练效率比传统深度确定性策略梯度 算法提高了 21%,任务成功率提高了 19%,任务执行效率提高了 15.45%,验证了该方法在控制效率和 平顺性方面具备明显优势,显著减少了碰撞事故。     

Hybrid control of a pneumatic artificial muscle (PAM) robot arm using an inverse NARX fuzzy model

We investigated the possibility of applying a hybrid feed-forward inverse nonlinear autoregressive with exogenous input (NARX) fuzzy model-PID controller to a nonlinear pneumatic artificial muscle (PAM) robot arm to improve its joint angle position output performance. The proposed hybrid inverse NARX fuzzy-PID controller is implemented to control a PAM robot arm that is subjected to nonlinear systematic features and load variations in real time. First the inverse NARX fuzzy model is modeled and identified by a modified genetic algorithm (MGA) based on input/output training data gathered experimentally from the PAM system. Second the performance of the optimized inverse NARX fuzzy model is experimentally demonstrated in a novel hybrid inverse NARX fuzzy-PID position controller of the PAM robot arm. The results of these experiments demonstrate the feasibility and benefits of the proposed control approach compared to traditional PID control strategies. Consequently, the good performance of the MGA-based inverse NARX fuzzy model in the proposed hybrid inverse NARX fuzzy-PID position control of the PAM robot arm is demonstrated. These results are also applied to model and to control other highly nonlinear systems.     

优化深度确定性策略梯度算法

深度强化学习善于解决控制的优化问题,连续动作的控制因为精度的要求,动作的数量随着动作维度的增加呈指数型增长,难以用离散的动作来表示。基于Actor-Critic框架的深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法虽然解决了连续动作控制问题,但是仍然存在采样方式缺乏科学理论指导、动作维度较高时的最优动作与非最优动作之间差距被忽视等问题。针对上述问题,提出一种基于DDPG算法的优化采样及精确评价的改进算法,并成功应用于选择顺应性装配机器臂（Selective Compliance Assembly Robot Arm,SCARA）的仿真环境中,与原始的DDPG算法对比,取得了良好的效果,实现了SCARA机器人快速自动定位。