融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

基于上下文聚合策略的轻量级编/解码抓取位姿检测

针对多样性目标在非结构化环境中的抓取位姿难以估计的问题，提出一种基于上下文聚合策略的轻量级编/解码抓取位姿检测网络。首先，以编/解码网络架构为基础，利用深度可分离卷积层与混洗单元构建目标特征深度分离-融合提取块，减少编码网络参数量，增强网络对抓取区域特征的提取能力；其次，利用双线性插值法和深度可分离卷积层建立深度分离-重构块，在恢复高层特征丢失信息的同时，有效减少解码网络的参数量；最后，针对可抓取区域像素点与目标物体全貌之间的非一致性问题，基于交叉熵辅助损失和自注意力机制，提出一种抓取区域上下文聚合策略，引导网络增强可抓取目标区域特征的表征能力，抑制非抓取像素点的冗余特征。实验结果表明，所提网络在Cornell数据集的图像拆分与对象拆分子集上抓取检测准确率分别可达97.8%与93.8%，单张图像检测速度可达64.93张/秒；在Jacquard数据集上抓取检测准确率可达95.1%，单张图像检测速度可达60.6张/秒。与对比网络相比，所提网络不仅计算量与参数量较小，而且抓取检测的准确率与速度均有明显提升，在真实场景下对9种物体的抓取检测验证中，抓取成功率达到93.3%。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

低质量渲染图像的目标物体6D姿态估计

从图像中获取目标物体的6D位姿信息在机器人操作和虚拟现实等领域有着广泛的应用,然而,基于深度学习的位姿估计方法在训练模型时通常需要大量的训练数据集来提高模型的泛化能力,一般的数据采集方法存在收集成本高同时缺乏3D空间位置信息等问题.鉴于此,提出一种低质量渲染图像的目标物体6D姿态估计网络框架.该网络中,特征提取部分以单张RGB图像作为输入,用残差网络提取输入图像特征;位姿估计部分的目标物体分类流用于预测目标物体的类别,姿态回归流在3D空间中回归目标物体的旋转角度和平移矢量.另外,采用域随机化方法以低收集成本方式构建大规模低质量渲染、带有物体3D空间位置信息的图像数据集Pose6DDR.在所建立的Pose6DDR数据集和LineMod公共数据集上的测试结果表明了所提出位姿估计方法的优越性以及大规模数据集域随机化生成数据方法的有效性.     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．     

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域, 显著地提高了杂乱场景中机器人抓取位姿检测准确性, 但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数, 而忽略了不同大小尺度的特征对抓取位姿估计的影响. 针对这一问题, 本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF), 包含注意力融合模块和门控单元两个核心模块, 替代了GSNet中原始的特征提取方法, 使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征, 从而增强了网络对不同尺度几何特征的感知能力. 在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明, 在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%. 同时本文将网络应用于实际实验, 验证了方法在真实场景当中的有效性.     

改进SSD算法的道路小目标检测研究

在道路场景中,因小目标分辨率低且特征不明显,传统的目标检测算法难以确认其所属类别和位置信息,导致检测精度低、检测速度慢、漏检率高。提出一种改进SSD的道路小目标检测算法RFG_SSD。在SSD网络结构的主干部分和检测部分之间,通过引入改进的特征金字塔网络结构,融合浅层和深层感受野的特征信息,以获得小目标语义信息丰富的特征图。将深层特征提取网络ResNet 50作为改进网络的主干特征提取网络,提高整体网络的检测精度。为加快网络运算速度,基于检测层结构,利用全局平均池化层代替全连接层,减少网络参数量。实验结果表明,与SSD、VGG16+SFPN等算法相比,该算法能够有效提高小目标检测性能,且加快检测速度,其在BDD100K数据集上的平均精度和检测速度分别为98.05%和85.56 frame/s,小目标检测个数相较于SSD算法提高3倍多。     

视觉SLAM在室内动态场景中的应用研究

视觉SLAM（Simultaneous Localization And Mapping,同时定位与建图）是移动机器人领域的核心技术,传统视觉SLAM还难以适用于高动态场景并且地图中缺少语义信息。提出一种动态环境语义SLAM方法,用深度学习网络对图像进行目标检测,检测动态目标所在区域,对图像进行特征提取并剔除动态物体所在区域的特征点,利用静态的特征点进行位姿计算,对关键帧进行语义分割,在构建语义地图时滤除动态物体的地图点构建出无动态物体干扰的语义地图。在TUM数据集上进行实验,结果显示该方法在动态环境下可以提升88.3%位姿估计精度,并且可同时构建出无动态物体干扰的语义地图。     

视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度. 实验用Matlab软件对位姿检测进行仿真分析, 其包括SURF不变特征点的目标检测实验和位姿解算实验, 最后用Rethink双臂机器人的右臂对手机进行抓取验证. 实验表明, 在误差允许范围内, 提出的算法具有一定的有效性, 其结果为伺服机械臂抓取手机提供良好的准确性.     

基于改进密集网络与二次回归的小目标检测算法

基于单激发探测器（SSD）的小目标检测算法实时性较差且检测精度较低。为提高小目标检测精度和鲁棒性,提出一种结合改进密集网络和二次回归的小目标检测算法。将SSD算法中骨干网络由VGG16替换为特征提取能力更强且速度更快的DenseNet,利用基于区域候选的检测算法中默认框由粗到细筛选的回归思想设计串级SSD网络结构,在区分目标和背景后进行常规目标分类和位置回归,以获取精确的默认框信息并达到小目标检测中正负样本比例均衡。在此基础上,使用特征图尺度变换方法在不增加参数量情况下完成特征图融合,同时通过K-means聚类方法得到默认框的最佳长宽比并重新设置其尺寸。实验结果表明,该算法的检测平均精度均值在PASCAL VOC2007公共数据集和自制航拍小目标数据集上分别为82.3%和87.6%,较改进前SSD算法分别提升5.1个百分点和9.5个百分点,检测速度达到58 frames/s,可有效实现小目标的实时性检测。     

煤矸石图像分类方法

针对人工排矸法、机械湿选法、γ射线分选法等传统煤矸石分选方法无法兼顾快速高效性、安全无害性、简单操作性的问题,提出了基于机器视觉的煤矸石图像分类方法。对煤矸石图像进行增强、平滑去噪等预处理,采用基于距离变换的分水岭算法实现煤矸石图像分割提取。针对煤矸石分割图像,选取煤矸石图像的HOG特征及灰度共生矩阵,分别以支持向量机、随机森林、K近邻算法作为分类器进行基于特征提取的煤矸石分类识别;分别建立浅层卷积神经网络和基于ImageNet数据集预训练的VGG16网络,进行基于卷积神经网络的煤矸石分类识别。研究结果表明,基于VGG16网络的煤矸石图像分类方法准确率最高为99.7%,高于基于特征提取方法的91.9%和基于浅层卷积神经网络方法的92.5%。     

自动驾驶场景下小且密集的交通标志检测

在自动驾驶场景中,交通标志的检测和识别对行车周围环境的理解至关重要。行车过程中拍摄的图片中存在许多较小的交通标志,它们很难被现有的物体检测方法检测到。为了能够精确地检测到这部分小的交通标志,我们提出了用浅层VGG16网络作为物体检测框架R-FCN的主体网络,并改进VGG16网络,主要有两个改进点:1）减小特征图缩放倍数,去掉VGG16网络卷积conv4_3后面的特征图,使用RPN网络在浅层卷积conv4_3上提取候选框;2）特征拼层,将尺度相同的卷积conv4_1、conv4_2、conv4_3层的特征拼接起来形成组合特征（aggregated feature）。改进后的物体检测框架能够检测到更多的小物体,在驭势科技提供的交通标志数据集上取得了很好的性能,检测的准确率mAP达到了65%。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

深度区域网络方法的细粒度图像分类

目的 在细粒度视觉识别中,难点是对处于相同层级的大类,区分其具有微小差异的子类,为实现准确的分类精度,通常要求具有专业知识,所以细粒度图像分类为计算机视觉的研究提出更高的要求。为了方便普通人在不具备专业知识和专业技能的情况下能够区分物种细粒度类别,进而提出一种基于深度区域网络的卷积神经网络结构。方法 该结构基于深度区域网络,首先,进行深度特征提取任务,使用VGG16层网络和残差101层网络两种结构作为特征提取网络,用于提取深层共享特征,产生特征映射。其次,使用区域建议网络结构,在特征映射上进行卷积,产生目标区域;同时使用兴趣区域（RoI）池化层对特征映射进行最大值池化,实现网络共享。之后将池化后的目标区域输入到区域卷积网络中进行细粒度类别预测和目标边界回归,最终输出网络预测类别及回归边框点坐标。同时还进行了局部遮挡实验,检测局部遮挡部位对于分类正确性的影响,分析局部信息对于鸟类分类的影响情况。结果 该模型针对CUB_200_2011鸟类数据库进行实验,该数据库包含200种细粒度鸟类类别,11 788幅鸟类图片。经过训练及测试,实现VGG16+R-CNN （RPN）和Res101+R-CNN （RPN）两种结构验证正确率分别为90.88%和91.72%,两种结构Top-5验证正确率都超过98%。本文模拟现实环境遮挡情况进行鸟类局部特征遮挡实验,检测分类效果。结论 基于深度区域网络的卷积神经网络模型,提高了细粒度鸟类图像的分类性能,在细粒度鸟类图像的分类上,具有分类精度高、泛化能力好和鲁棒性强的优势,实验发现头部信息对于细粒度鸟类分类识别非常重要。     

基于关键点估计的抓取检测算法

抓取是机器人在服务与工业领域中进行人机协调的重要能力,得到一个准确的抓取检测结果是机械臂能否完成抓取任务的关键.为了提高抓取检测的准确率以及实时性,提出了一种由CenterNet改进的基于关键点估计的抓取检测算法.在网络的特征提取层使用了特征融合方法融合不同的特征图,减少特征的丢失;增加了角度预测分支用来预测抓取角度;...     

改进YOLOV3算法在行人识别中的应用

为了避免人与物体之间相互遮挡，对小目标检测不准确，以及复杂光照强度对行人检测的影响，针对这一问题，提出了一种多尺度聚类卷积神经网络MK-YOLOV3算法，来实现对行人的识别与检测。该算法是对YOLOV3进行改进，首先通过简单聚类对图像特征进行提取，得到相应的特征图，再通过抽样[K]-means聚类算法结合核函数确定锚点位置，以达到更好的聚类。针对小目标的浅层特征信息进行多尺度融合，提高小目标的检测效果。仿真结果验证了该算法在VOC数据集上对小目标识别的精度和速度上有较大提高，以及视频智能分析中有较高的召回率和精确度。