基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于时域编码结构光的高精度三维视觉引导抓取系统研究

在许多自动化应用场合中,如分拣和上、下料等过程中,机械臂抓取是非常重要的一个环 节。在有遮挡或物体杂乱放置的情况下,对物体进行可靠、快速和精确计算位姿是机械臂抓取的难题之一。该文提出一种针对非规则目标的 3D 视觉引导抓取系统。首先,该系统运用面结构光系统对目标进行高精度三维重建,并建立离线 3D 点云模板库;然后,将标准模板与点云预处理后的场景点云进行匹配,得到匹配参数后,由坐标系之间的转换矩阵计算机器手抓取位姿;最后,引导机器手完成对目标物体的抓取。实验结果表明,所开发的机械臂抓取系统能够对非规则目标进行可靠、快速和精确的 抓取。     

面向平面放置物体的姿态调整与抓取方法

针对机械臂抓取过程中物体平面放置时可抓取边大于手爪宽度而无法直接进行抓取的问题，提出了一种通过其他物体协助的姿态调整方法，通过对目标物体的姿态调整以满足机械臂抓取的要求，最后通过抓取姿态的生成和选择实现机械臂对平面放置物体和空间物体的抓取。通过抓取实验表明，所提出的方法可以对平面放置的不可抓取的物体进行姿态调整后再进行抓取，实现对空间物体93%的抓取成功率，对于平面放置轻量物体95%的姿态调整成功率。     

视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度. 实验用Matlab软件对位姿检测进行仿真分析, 其包括SURF不变特征点的目标检测实验和位姿解算实验, 最后用Rethink双臂机器人的右臂对手机进行抓取验证. 实验表明, 在误差允许范围内, 提出的算法具有一定的有效性, 其结果为伺服机械臂抓取手机提供良好的准确性.     

基于卷积神经网络的机械臂抓取控制系统设计

为保证机械臂的抓取精度,保证物体抓取的稳定性,本文设计基于卷积神经网络的机械臂抓取控制系统。在系统硬件部分,加设图像、位置和压力传感器,改装机械臂抓取控制器和运动驱动器,利用图像传感器设备,获取满足质量要求的机械臂抓取目标图像,为机械臂抓取控制功能提供硬件支持。软件部分利用卷积神经网络算法提取图像特征,确定机械臂抓取目标位置。结合机械臂当前位置的检测结果,规划机械臂抓取路线,预估机械臂抓取角度与抓取力。最终通过机械臂抓取参数控制量的计算,在控制器的支持下实现系统的机械臂抓取控制功能。实验结果表明,所设计系统应用下位置控制误差和速度控制误差的平均值分别为0.192m和0.138m/s,同时物体抓取掉落概率明显降低。     

基于3D目标跟踪算法的机器人手眼协调研究

为了适应环境的复杂性和多样性,增强机器人抓取任务的鲁棒性,本文从3D目标跟踪算法出发,提出了一种实现机器人手眼协调的新方法。该方法采用改进的基于区域的位姿追踪算法同时跟踪机械臂夹持器和目标物体的位姿,根据二者的相对位置关系引导机械臂运动。对基于区域的位姿跟踪算法,本文提出根据局部区域分割线构建分割模型并改进模型颜色似然的线性更新方式,使得算法能够准确跟踪机械臂夹持器与目标物体。基于ROS平台搭建了一套仿真实验环境,并分别在仿真环境和真实环境下验证了此手眼协调系统的有效性和鲁棒性。这种方式不仅不需要手眼标定,更接近于人类“Sensor-Actor”带反馈的闭环控制方式,同时赋予了机器人足够的灵活性来应对弹性的任务和多变的环境。     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

一种基于指数积的移动机械臂联合标定方法

提出一种基于指数积的移动机械臂联合标定方法,以实现移动平台和机械臂两者间位姿标定与机械臂运动学参数标定模型的统一.机械臂运动学参数标定使用最多的是基于D-H参数法,但D-H参数法无法克服相邻关节平行或接近平行时的奇异性问题,以及建模过程复杂、建模后的模型通用性差等问题.基于指数积的移动机械臂联合标定方法建模时不会因为关节轴平行而出现奇异性问题,建模过程简单.通过对整个系统的运动学方程进行微分运算,获得末端位姿误差和移动机械臂零位状态旋量误差及关节旋量误差的线性化模型.利用伴随矩阵方式建立关节旋量理论值与关节旋量实际值的关系,并通过改变伴随矩阵实现基于最小二乘法的参数辨识计算过程中参数更新.使用高精度激光跟踪仪作为测量工具,通过实验验证所提出方法的有效性.     

复杂环境下基于推抓协同操作的目标物体抓取

针对现有抓取技术在复杂环境下难以进行有效的目标导向性抓取的问题, 本文提出了一种基于深度强化学习的推动和抓取协同操作的方法. 相对于以往的抓取方法, 本方法使用深度学习来处理Intel-D435i相机所获得的RGB-D图像数据, 同时又在视觉网络中引入了注意力机制, 用来提高系统对工作区域内目标物体的敏感性. 其次,使用深度Q网络来学习UR5机械臂与环境之间的交互过程, 提出了密集奖励策略来评判推动或抓取操作的好坏. 随着训练次数的不断增加, UR5机械臂在训练过程中不断地优化两种操作之间的协同策略, 从而更高效的进行决策.最后, 在V-rep仿真平台上设计了仿真场景, 并进行测试, 平均抓取成功率达到92.5%. 通过与其他几种方法进行对比, 证明该方法可以在复杂环境下较好的完成目标物体的抓取任务.     

基于视觉与RFID的机器人自定位抓取算法

为实现机器人灵活的自定位,并使其准确地抓取物体,提出一种基于视觉与无线射频识别(RFID)技术的机器人自定位抓取算法。构建网格化环境,利用RFID技术确定机器人的初始位置、行进路线和方向,使用视觉系统获取物体的空间坐标,将其转换到手臂坐标系,采用改进的D-H模型对手臂进行建模,并给出机械臂逆解抓取算法。实验结果表明,该算法使得机器人定位的成功率达到76.7%,抓取成功率高达90%。     

多臂空间机器人稳定抓取力分配和柔顺控制策略

针对影响多臂抓取稳定性的接触力不平衡和接触振动问题,提出多臂空间机器人力分配和柔顺控制策略.首先,分析满足多臂稳定抓取的力学条件,基于摩擦锥约束设计抓取力安全系数,并将其引入力优化模型进行抓取力分配,实现目标物体稳定抓取条件下受力最小;然后,分析抓取过渡过程的振动成因,设计基于动能消耗的末端输出力控制策略实现快速振动抑制和柔顺抓取;最后,设计机械臂末端控制律切换策略,一旦在抓取过渡过程中发生接触脱离可引导其快速返回物体表面.仿真结果表明,所提出方法提升了稳定抓取安全裕度,显著降低了机械臂末端的振动幅值、持续时间和接触力,提升了空间机器人多臂抓取目标操作的稳定性和柔顺性.     

基于双目视觉的机器人目标定位与机械臂控制

为了更好地与复杂多变的非结构化环境进行交互,完成对目标物体的识别和抓取,提出了一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法.文中首先用D-H方法对机械臂进行建模,并对这个模型做了改进,给出了一种更加简便的3+1自由度仿人机械臂的逆解算法,采用基于双目视觉与颜色分割的目标识别方法;然后根据识别出的目标三维坐标信息控制机械臂完成抓取任务;最后,本方法在家庭服务机器人上得到了验证,机器人能够完成对目标物体的识别和抓取动作.     

一种基于深度学习的机械臂抓取方法

提出了一种基于深度神经网络的机械臂最优抓取位置检测方法.相比传统手工设定的特征,基于深度神经网络的方法学习得到的特征具有较强的鲁棒性和稳定性,能够适应训练集中未曾出现的新物体.本方法首先使用基于深度学习的目标检测算法对图像中的目标物体进行检测,记录目标的类别和位置.然后根据分类检测结果,使用基于深度学习的机械臂抓取方法进行抓取位置学习.仿真实验表明所提方法能对图像中的目标物体进行较为准确的分类,在Universal Robot 5机械臂上得到的抓取实验结果证明了所提方法的有效性.     

基于虚拟力引导的人机协同目标抓取方法

针对力反馈遥操作中传统人工势场法无法适应于机械臂整体的避障以及在作业过程中操作者难以控制机械臂到达所需位姿的问题,提出了一种基于虚拟力引导的人机协同目标抓取方法。力反馈设备向操作者提供力觉交互。通过结合人工势场法和虚拟夹具,构建管道形虚拟力场,生成实时虚拟力引导,实现协助操作者完成从端机器人的整体避障任务并在完成避障后引导机器人返回预定义路径并趋近目标点。当进行抓取任务时,构建锥形虚拟力场,实现协助操作者操作机械臂到达目标位置和姿态。此外,提出了一种机器人运动限制方法以降低操作者的操作失误对抓取任务的影响。实验证明,该方法能有效提高目标抓取操作的成功率和操作效率。