复杂环境下基于推抓协同操作的目标物体抓取

针对现有抓取技术在复杂环境下难以进行有效的目标导向性抓取的问题, 本文提出了一种基于深度强化学习的推动和抓取协同操作的方法. 相对于以往的抓取方法, 本方法使用深度学习来处理Intel-D435i相机所获得的RGB-D图像数据, 同时又在视觉网络中引入了注意力机制, 用来提高系统对工作区域内目标物体的敏感性. 其次,使用深度Q网络来学习UR5机械臂与环境之间的交互过程, 提出了密集奖励策略来评判推动或抓取操作的好坏. 随着训练次数的不断增加, UR5机械臂在训练过程中不断地优化两种操作之间的协同策略, 从而更高效的进行决策.最后, 在V-rep仿真平台上设计了仿真场景, 并进行测试, 平均抓取成功率达到92.5%. 通过与其他几种方法进行对比, 证明该方法可以在复杂环境下较好的完成目标物体的抓取任务.     

基于深度强化学习的固体放射性废物抓取方法研究

针对固体放射性废物分拣作业中,放射性废物杂乱无序、远程遥操作抓取效率低、人工分拣危险性大等典型问题,提出一种基于深度强化学习的放射性固体废物抓取方法。该方法使用改进深度Q网络算法,通过获取的图像信息,使机器人与环境不断进行交互并获得回报奖励,回报奖励由机械臂动作执行结果和放射性区域内放射性活度的高低构成,根据◢Q◣值的大小得到机械臂的最佳抓取位置。用V-REP软件对UR5机械臂建立仿真模型,在仿真环境中完成不同类型固体放射性废物抓取的训练与测试。仿真结果表明,固体废物在松散放置时该方法可使机械臂抓取成功率大于90%,在紧密放置时抓取成功率大于65%,机械臂不会受到废物堆叠的影响,并且会优先抓取放射性区域内具有高放射性活度的物体。     

结合增量学习的物体抓取检测框架

为了解决未知类别物体的抓取问题，提出了一种结合增量学习的物体抓取检测框架，该框架分为抓取学习和增量学习两个阶段.在第1阶段，对已知的物体使用密集注意力网络进行训练，该网络利用注意力机制对特征通道和密集残差连接之间的关系进行建模.在第2阶段，引入了聚类优先样本选择策略，该策略会挑选出那些与其聚类质心距离相近的样本，用这些新样本替换掉示例集中的部分旧样本进行训练.此外在未知类别物体上训练网络时，还引入了蒸馏损失，以保留之前在已知类中学到的知识.通过在Jacquard数据集和UR10e机器人上进行的实验，表明了该方法在抓取未知类别物体方面有一定的可行性和有效性，克服了机器人在抓取未知类别物体上的缺陷.     

基于上下文聚合策略的轻量级编/解码抓取位姿检测

针对多样性目标在非结构化环境中的抓取位姿难以估计的问题，提出一种基于上下文聚合策略的轻量级编/解码抓取位姿检测网络。首先，以编/解码网络架构为基础，利用深度可分离卷积层与混洗单元构建目标特征深度分离-融合提取块，减少编码网络参数量，增强网络对抓取区域特征的提取能力；其次，利用双线性插值法和深度可分离卷积层建立深度分离-重构块，在恢复高层特征丢失信息的同时，有效减少解码网络的参数量；最后，针对可抓取区域像素点与目标物体全貌之间的非一致性问题，基于交叉熵辅助损失和自注意力机制，提出一种抓取区域上下文聚合策略，引导网络增强可抓取目标区域特征的表征能力，抑制非抓取像素点的冗余特征。实验结果表明，所提网络在Cornell数据集的图像拆分与对象拆分子集上抓取检测准确率分别可达97.8%与93.8%，单张图像检测速度可达64.93张/秒；在Jacquard数据集上抓取检测准确率可达95.1%，单张图像检测速度可达60.6张/秒。与对比网络相比，所提网络不仅计算量与参数量较小，而且抓取检测的准确率与速度均有明显提升，在真实场景下对9种物体的抓取检测验证中，抓取成功率达到93.3%。     

基于注意力机制的实时性抓取检测算法

针对在工业环境中,机器人的抓取精准度受到物体不同的姿态和角度等影响的问题,提出一种基于注意力机制的实时性逐像素网络抓取检测方法.首先,以轻量级网络—全卷积网络(FCN)模型为基础进行逐像素提取抓取框位置及抓取角度;其次,提出了一种新型的注意力机制—DAM,将其整合到轻量级网络中,自动学习输入图像的显著特征以减少局部信息...     

基于RGB-D融合的密集遮挡抓取检测

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于RGB-D图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富RGB-D特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于RGB-D像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOD数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YODO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.     

一种基于深度学习的机械臂抓取方法

提出了一种基于深度神经网络的机械臂最优抓取位置检测方法.相比传统手工设定的特征,基于深度神经网络的方法学习得到的特征具有较强的鲁棒性和稳定性,能够适应训练集中未曾出现的新物体.本方法首先使用基于深度学习的目标检测算法对图像中的目标物体进行检测,记录目标的类别和位置.然后根据分类检测结果,使用基于深度学习的机械臂抓取方法进行抓取位置学习.仿真实验表明所提方法能对图像中的目标物体进行较为准确的分类,在Universal Robot 5机械臂上得到的抓取实验结果证明了所提方法的有效性.     

基于多约束条件的机器人抓取策略学习方法

针对机器人在多类别物体不同任务下的抓取决策问题,提出基于多约束条件的抓取策略学习方法.该方法以抓取对象特征和抓取任务属性为机器人抓取策略约束,通过映射人类抓取习惯规划抓取模式,并采用物体方向包围盒(OBB)建立机器人抓取规则,建立多约束条件的抓取模型.利用深度径向基(DRBF)网络模型结合减聚类算法(SCM)实现抓取策略的学习,两种算法的结合旨在提高学习鲁棒性与精确性.搭建以Refiex 1型灵巧手和AUBO六自由度机械臂组成的实验平台,对多类别物体进行抓取实验.实验结果表明,所提出方法使机器人有效学习到对多物体不同任务的最优抓取策略,具有良好的抓取决策能力.     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于RP-ResNet网络的抓取检测方法

针对目前机器人抓取中实时性差和小目标物体抓取效果不理想的问题,提出基于RP-ResNet网络的抓取检测方法。该方法以模型ResNet-50为基础,引入Region Proposal Network(RPN)网络与改进型空间金字塔结构,使用SENet机构增强通道注意力,充分提取不同深度语义信息,加强对高低层信息的利用,增加了抓取点检测的准确性。在Cornell数据集上进行实验验证,结果表明,RP-ResNet网络结构达到实验要求,能够提高物体检测的准确度与检测效率。     

基于协同显著性的服务机器人空间物体快速定位方法

针对传统算法模型先检测、后识别、再定位导致执行效率较差的问题,提出了一种基于协同显著性检测的服务机器人空间物体快速定位方法.利用RGB-D传感器获取N对包含待定位物体的RGB图像与深度图像,将待定位物体看作协同显著性目标,在RGB图像中充分挖掘单幅图像显著性传播机理,构建基于图像间显著性传播和图像内流形排序的两阶段引导协同显著性检测模型,同时排除背景和非协同显著性物体,得到协同显著性物体区域的像素坐标集合.进一步利用RGB图像与深度图像的对应关系确定物体质心的空间坐标,实现对空间物体的快速定位.最后将所提方法在iCoseg标准数据库和经手眼标定后的服务机器人机械臂抓取平台上进行实验.实验结果表明,该方法一致优于现有的5种协同显著性检测算法,且满足抓取系统的实时性需求,在复杂背景、多目标干扰以及光照变化时具有较高的准确性和鲁棒性.     

基于采样汇集网络的场景深度估计

针对现有场景深度估计方法中,由于下采样操作引起的复杂物体边界定位不准确,而造成物体边界处的场景深度估计模糊的问题,受密集网络中特征汇集过程的启发,本文提出一种针对上;下采样过程的汇集网络模型.在下采样过程中,使用尺度特征汇集策略,兼顾不同尺寸物体的估计;在上采样过程中,使用上采样反卷积恢复图像分辨率;同时,引入采样跨层汇集策略,提供下采样过程中保存的物体边界的有效定位信息.本文提出的采样汇集网络(Sampling aggregate network,SAN)中使用的尺度特征汇集和采样跨层汇集,都可以有效缩短特征图到输出损失之间的路径,从而有利于避免模型的参数优化时陷入局部最优解.在公认场景深度估计NYU-Depth-v2数据集上的实验说明,本文方法能够有效改善复杂物体边界等干扰情况下的场景深度估计效果,并在深度估计误差和准确性上,优于当前场景深度估计的主流方法.     

基于多重注意结构的图像密集描述生成方法研究EI北大核心CSCD

图像密集描述旨在为复杂场景图像提供细节描述语句.现有研究方法虽已取得较好成绩,但仍存在以下两个问题:1)大多数方法仅将注意力聚焦在网络所提取的深层语义信息上,未能有效利用浅层视觉特征中的几何信息;2)现有方法致力于改进感兴趣区域间上下文信息的提取,但图像内物体空间位置信息尚不能较好体现.为解决上述问题,提出一种基于多重注意结构的图像密集描述生成方法—MAS-ED (Multiple attention structure-encoder decoder). MAS-ED通过多尺度特征环路融合(Multi-scale feature loop fusion, MFLF)机制将多种分辨率尺度的图像特征进行有效集成,并在解码端设计多分支空间分步注意力(Multi-branch spatial step attention, MSSA)模块,以捕捉图像内物体间的空间位置关系,从而使模型生成更为精确的密集描述文本.实验在Visual Genome数据集上对MAS-ED进行评估,结果表明MASED能够显著提升密集描述的准确性,并可在文本中自适应加入几何信息和空间位置信息.基于长短期记忆网络(Longshort term memory, LSTM)解码网络框架, MAS-ED方法性能在主流评价指标上优于各基线方法.     

杂乱场景下小物体抓取检测研究

目的 杂乱场景下的物体抓取姿态检测是智能机器人的一项基本技能。尽管六自由度抓取学习取得了进展,但先前的方法在采样和学习中忽略了物体尺寸差异,导致在小物体上抓取表现较差。方法 提出了一种物体掩码辅助采样方法,在所有物体上采样相同的点以平衡抓取分布,解决了采样点分布不均匀问题。此外,学习时采用多尺度学习策略,在物体部分点云上使用多尺度圆柱分组以提升局部几何表示能力,解决了由物体尺度差异导致的学习抓取操作参数困难问题。通过设计一个端到端的抓取网络,嵌入了提出的采样和学习方法,能够有效提升物体抓取检测性能。结果 在大型基准数据集GraspNet-1Billion上进行评估,本文方法取得对比方法中的最优性能,其中在小物体上的抓取指标平均提升了7%,大量的真实机器人实验也表明该方法具有抓取未知物体的良好泛化性能。结论 本文聚焦于小物体上的抓取,提出了一种掩码辅助采样方法嵌入到提出的端到端学习网络中,并引入了多尺度分组学习策略提高物体的局部几何表示,能够有效提升在小尺寸物体上的抓取质量,并在所有物体上的抓取评估结果都超过了对比方法。     

基于非结构基本组成分析的自主抓取方法

针对现实生活中的非结构化抓取环境,提出一种基于非规则物体基本形体组成的自主抓取方法.机器人自主抓取的关键不仅仅在于对物体类型的识别,更大一部分在于对物体形状(例如形状基元的组成)判断后的良好抓取.将不规则的复杂物体简化为一些简单物体的组合,利用基于特征点和核心提取的网格分割(MFC)算法将被抓取物体3D数据点分割为主体和分支部分,依据最优拟合算法将各部分拟合为球体、椭球体、圆柱体、平行六面体中的一种,并依据简化结果对抓取位姿进行约束,再对简化后物体进行抓取训练,获取最优抓取框,从而实现对未知物体的自主抓取.本文方法最终在Baxter机器人上实现了93.3%的抓取准确率.实验结果表明,该方法可应用于不同形状、不同位姿的未知非规则物体,鲁棒性较强.     

基于深度神经网络的多指灵巧手抓取手势优化

基于深度神经网络模型,提出了一种适用于多指灵巧手的抓取手势优化方法。首先,在仿真环境下构建了一个抓取数据集,并在此基础上训练了一个卷积神经网络,依据目标物体单目视觉信息和多指灵巧手抓取位形来预测抓取质量函数,由此可以将多指灵巧手的抓取规划问题转化为使抓取质量最大化的优化问题,进一步,基于深度神经网络中的反向传播和梯度上升算法实现多指灵巧手抓取手势的迭代与优化。在仿真环境中,比较该网络和仿真平台对同一抓取位形的抓取质量评估结果,再利用所提出的优化方法对随机搜索到的初始手势进行优化,比较优化前后手势的力封闭指标。最后,在实际机器人平台上验证本文方法的优化效果,结果表明,本文方法对未知物体的抓取成功率在80%以上,对于失败的抓取,优化后成功的比例达到90%。     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.