基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

基于物体逻辑状态推理的未知物体视觉分割

为提高机器人的视觉感知能力,提出了一种新颖的基于物体逻辑状态推理的未知物体视觉分割方法.在语义层定义物体逻辑状态空间,根据机器人抓取动作反馈对物体逻辑状态进行推理.在数据层利用RGB-D摄像头采集生成场景3维着色点云,基于物体放置于支撑平面的假设,对所有可能的物体点进行空间聚类和分割,得到初始未知物体集并生成物体初始逻辑状态表示.当物体逻辑状态发生变化时,根据设定规则结合点集运算对物体点云进行重新分割,物体点云集的变化又用于指导物体逻辑状态空间的更新.在7自由度移动机械手系统上,进行了真实积木模拟环境下未知物体的视觉分割与抓取实验,实验结果证实本文方法可以有效提升机器人的视觉感知能力.     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于形状先验模型的平面型工件抓取位姿检测

为了能够在复杂的工业环境中抓取平面型工件,提出一种图割法与形状先验模型结合的工件图像分割方法,并且对工件的位姿信息进行测量.首先,建立先验形状,提出基于最小包围矩形法将工件的形状模板与目标工件人工分割形状进行配准,得到先验形状.为了保证分割结果的准确性,采用单一的先验形状.图割模型中加入了目标形状先验知识.其次,通过自适应调整形状先验项的权重系数,使得图割法的能量函数形状先验项自适应于被分割的图像.第三,本文可以采用形状先验方法分割一幅图像中的多个工件,并且能够计算吸盘的最优抓取位置.最后,采用结构光视觉系统采集工件的点云信息,拟合工件平面,确定工件法向量,得到工件的抓取姿态.实验结果表明,本文算法能够适应遮挡、光照变化的工件图像,同时也能够分割复杂环境中的目标工件;平面型工件抓取位姿的计算结果有效,可以应用于遮挡、反光、复杂干扰背景条件下的工件抓取作业.     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

机器人抓取检测技术的研究现状

作为机器人在工厂、家居等环境中最常用的基础动作,机器人自主抓取有着广泛的应用前景,近十年来研究人员对其给予了较高的关注,然而,在非结构环境下任意物体任意姿态的准确抓取仍然是一项具有挑战性和复杂性的研究.机器人抓取涉及3个主要方面:检测、规划和控制.作为第1步,检测物体并生成抓取位姿是成功抓取的前提,有助于后续抓取路径的规划和整个抓取动作的实现.鉴于此,以检测为主进行文献综述,从分析法和经验法两大方面介绍抓取检测技术,从是否具有抓取物体先验知识的角度出发,将经验法分成已知物体和未知物体的抓取,并详细描述未知物体抓取中每种分类所包含的典型抓取检测方法及其相关特点.最后展望机器人抓取检测技术的发展方向,为相关研究提供一定的参考.     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．     

室内智能移动机器人规则物体识别与抓取

规则物体的识别与抓取往往比非规则物体的识别与抓取更加有规律性,因此本文以规则的圆形、长方形物体为例,对圆提出圆形度这种度量方法,对长方形基于角点检测,提出计算各个角点之间夹角,结合HSV模型对图像进行分割,提高物体识别度。为了使单目机器人更准确的抓取物体,需要比较准确的知道目标物体相对于机器人的位置信息,结合地平面约束测距模型算法计算圆形物体的具体世界坐标。在Visual Studio2010,Pioneer3-AT机器人平台上实验表明,基于圆形度的物体识别方法能够比较快速准确的识别圆形物体,进而准确抓取。     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

一种视觉引导的作业型飞行机器人设计

针对作业型飞行机器人执行抓取、投放等作业任务时飞行机器人与被抓取目标之间难以相对定位的问题,提出了一种视觉引导的作业型飞行机器人设计方法.首先,介绍作业型飞行机器人系统的整体机构设计,建立飞行器和空中作业装置的运动学和动力学模型.然后,根据针孔成像模型,在ArUco标记尺寸已知的前提下,通过机载的单目摄像头检测被抓目标上的ArUco标记,利用n点透视(PnP)算法解算摄像头位姿,进而利用摄像头位姿信息对飞行器和作业装置进行分级控制.最后,通过静止实验和户外悬停实验验证了位姿估计算法的有效性,并通过自主抓取直径2 cm、质量100 g的管状物体进一步验证视觉引导的有效性和合理性.     

基于多约束条件的机器人抓取策略学习方法

针对机器人在多类别物体不同任务下的抓取决策问题,提出基于多约束条件的抓取策略学习方法.该方法以抓取对象特征和抓取任务属性为机器人抓取策略约束,通过映射人类抓取习惯规划抓取模式,并采用物体方向包围盒(OBB)建立机器人抓取规则,建立多约束条件的抓取模型.利用深度径向基(DRBF)网络模型结合减聚类算法(SCM)实现抓取策略的学习,两种算法的结合旨在提高学习鲁棒性与精确性.搭建以Refiex 1型灵巧手和AUBO六自由度机械臂组成的实验平台,对多类别物体进行抓取实验.实验结果表明,所提出方法使机器人有效学习到对多物体不同任务的最优抓取策略,具有良好的抓取决策能力.     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

一种先验知识引导的基于二阶段渐进网络的自主抓取策略

针对未知不规则物体在堆叠场景下的抓取任务,提出一种基于二阶段渐进网络（two-stage progressive network,TSPN）的自主抓取方法．首先利用端对端策略获取全局可抓性分布,然后基于采样评估策略确定最优抓取配置．将以上2种策略融合,使得TSPN的结构更加精简,显著减少了需评估样本的数量,能够在保证泛化能力的同时提升抓取效率．为了加快抓取模型学习进程,引入一种先验知识引导的自监督学习策略,并利用220种不规则物体进行抓取学习．在仿真和真实环境下分别进行实验,结果表明该抓取模型适用于多物体、堆叠物体、未知不规则物体、物体位姿随机等多种抓取场景,其抓取准确率和探测速度较其他基准方法有明显提升．整个学习过程历时10天,结果表明使用先验知识引导的学习策略能显著加快学习进程．     

虚拟手自然抓取动作生成研究

在虚拟抓取规划中,生成稳定的抓取姿态非常重要,但是只考虑稳定性往往会导致抓取姿态不符合自然的人手抓取习惯.为了生成既满足物理约束又符合人手抓取习惯的自然抓取姿态,提出一种基于抓取分类理论的虚拟手自然抓取规划算法.首先根据人类抓取分类理论,基于人类行为构建物体形状与人手抓取姿态之间的映射关系,然后在动作规划中加入人手抓取姿态的引导,最终在虚拟手的位姿空间中找到一组自然的抓取姿态.对于复杂的多部件物体,先将其分割成可抓的部件,再对可抓部件进行自然抓取动作的生成.实验中展示了以人类抓取分类理论中的5种人手抓取姿态为指导,对常见的三维物体生成自然抓取姿态的结果,经用户评估,所提算法生成的抓取动作相比其他算法更符合人手抓取习惯.     

基于时域编码结构光的高精度三维视觉引导抓取系统研究

在许多自动化应用场合中,如分拣和上、下料等过程中,机械臂抓取是非常重要的一个环 节。在有遮挡或物体杂乱放置的情况下,对物体进行可靠、快速和精确计算位姿是机械臂抓取的难题之一。该文提出一种针对非规则目标的 3D 视觉引导抓取系统。首先,该系统运用面结构光系统对目标进行高精度三维重建,并建立离线 3D 点云模板库;然后,将标准模板与点云预处理后的场景点云进行匹配,得到匹配参数后,由坐标系之间的转换矩阵计算机器手抓取位姿;最后,引导机器手完成对目标物体的抓取。实验结果表明,所开发的机械臂抓取系统能够对非规则目标进行可靠、快速和精确的 抓取。     

基于三轮全向机器人的室内建图与导航

针对SLAM以及ROS系统的广泛应用,设计并制作了一种带有升降抓取结构的作业型全向移动机器人。该系统通过观测IMU与陀螺仪数据,得出机器人运动轨迹,对全向移动底盘进行运动学推导,动态计算出机器人运动时系统的实时位姿状态,利用激光雷达对未知环境进行二维激光扫描匹配,结合粒子滤波算法绘制栅格地图,设定系列目标点,经A*算法规划最优路径进行自主导航,完成指定任务。实验结果表明,该系统可构建精度较高环境地图,实现对机器人的有效定位,完成室内建图与自主导航等任务。