融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

弱光环境下仓库搬运机器人抓取控制方法

为精准、稳定、可重复地完成抓取动作,研究了弱光环境下基于稳定轻量级网络的仓库搬运机器人抓取控制方法。首先,针对搬运环境弱光图像,基于稳定轻量级编/解码网络提取抓取区域弱光特征并进行融合处理,获得正常光抓取区域特征;其次,在深度分离融合提取层中,通过处理正常光抓取区域特征,重构深层特征,从而恢复特征提取时丢失的细节信息;再次,在网络输出层内输入重构特征,输出仓库搬运机器人手爪的抓取位姿参数;最后,通过手眼标定得到的搬运目标图像,采集相机坐标系与机器人坐标系的坐标转换关系,将抓取位姿参数转换成仓库搬运机器人抓取控制量,完成对仓库搬运机器人的抓取控制。实验证明,该方法可有效提取搬运目标抓取区域特征,并可有效预测仓库搬运机器人抓取位姿,能完成仓库搬运机器人抓取控制,且抓取精度较高。     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于改进yolov网络的外观检测研究

外观检测涉及对图像或视频中的物体进行准确和高效的识别和定位,为了解决物体表面小尺寸目标检测的问题,研究通过优化YOLOv3网络模型,引入多尺度检测和深度可分离卷积技术来提高检测精度和模型效率,以增强对小尺寸目标的识别能力,再采用深度可分离卷积技术来减少计算量,并提高模型的训练效果。实验结果表明,改进后的算法在物体表面小尺寸外观检测方面表现出明显的提升,平均精度达到71.52%,比原始模型提高11.37个百分点。同时,通过减少计算量和提高模型速度,实现了35.6帧/秒的检测速度。研究可以优化算法,提高小尺寸目标检测的准确性和鲁棒性,推动其在计算机视觉领域的广泛应用。     

用于图像检索的多区域交叉加权聚合深度卷积特征

针对依赖图像特征和聚合编码的"以图搜图"方法检索准确率较低的问题,提出一种基于多区域的交叉加权聚合深度卷积特征描述算法——RCro W.首先利用目标区域具有较高激活响应的特性标记出目标轮廓位置,将卷积特征图和目标轮廓掩码图结合生成空间权重矩阵;然后引入多区域策略,将空间权重矩阵转变成多区域交叉权重矩阵;最后利用多区域交叉权重矩阵加权聚合深度卷积特征生成图像特征向量.在Oxford5k,Paris6k和Holidays这3个数据集上进行的实验的结果表明,RCroW算法的图像检索平均准确率优于CroW,R-MAC和SPoC等7种算法.     

基于改进的YOLOv4模型的行人检测算法

为提高行人检测算法在实际应用中的准确率,提出在YOLOv4模型中融合Vision Transformer模型与深度可分离卷积的vit-YOLOv4模型。该模型将Vision Transformer模型加入YOLOv4模型的主干特征提取网络与空间金字塔池化层中,充分发挥该模型的多头注意力机制对图像特征进行预处理的能力;同时,用深度可分离卷积替换路径聚合网络中堆叠后的常规卷积,以便模型在后续的特征提取中能够提取出更多有用的特征。实验结果表明,vit-YOLOv4模型提高了行人检测的准确率,降低了漏检率,综合性能较优。     

基于改进注意力机制的交通标志检测算法

针对交通标志在某些场景中存在分辨率过低、被覆盖等环境因素影响导致在目标检测任务中出现漏检、误检的情况,提出一种基于改进注意力机制的交通标志检测算法。首先,针对交通标志因破损、光照等环境影响造成图像分辨率低从而导致网络提取图像特征信息有限的问题,在主干网络中添加注意力模块以增强目标区域的关键特征;其次,特征图中相邻通道间的局部特征由于感受野重叠而存在一定的相关性,用大小为k的一维卷积代替通道注意力模块中的全连接层,以达到聚合不同通道信息和减少额外参数量的作用;最后,在路径聚合网络（PANet）的中、小尺度特征层引入感受野模块来增大特征图的感受野以融合目标区域的上下文信息,从而提升网络对交通标志的检测能力。在中国交通标志检测数据集（CCTSDB）上的实验结果表明,所提出的YOLOv4（You Only Look Once v4）改进算法在引进极少的参数量与原算法检测速度相差不大的情况下,平均精确率均值（mAP）达96.88%,mAP提升了1.48%;而与轻量级网络YOLOv5s相比,在单张检测速度慢10 ms的情况下,所提算法mAP比YOLOv5s高3.40个百分点,检测速度达到40?frame/s,说明该算法完全满足目标检测实时性的要求。     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

两级上下文卷积网络宽视场图像小目标检测方法

目标检测和识别已经在输电线路巡检中被广泛采用。由于图像数据量大,小目标分辨率低,现有的图像金字塔、特征金字塔和多异构特征融合等方法虽能准确地检测目标,却非常耗时,因而快速、准确地检测宽视场图像中小目标仍是一个挑战。此算法提出一个两个Faster-RCNs级联的上下文宽视场小目标检测卷积网络,首先,针对降分辨率的宽视场图像,利用一个Faster R-CNN来检测目标的上下文区域,然后,针对上下文区域对应的高分辨率原始图像,利用Faster R-CNN来检测来小目标。我们用航拍输电线路图像数据集进行了目标检测试验,试验结果表明,小目标检测方法达到了88%的检测精度,比单级Faster R-CNN检测方法具有更高的准确率。     

基于卷积神经网络的机械臂抓取控制系统设计

为保证机械臂的抓取精度,保证物体抓取的稳定性,本文设计基于卷积神经网络的机械臂抓取控制系统。在系统硬件部分,加设图像、位置和压力传感器,改装机械臂抓取控制器和运动驱动器,利用图像传感器设备,获取满足质量要求的机械臂抓取目标图像,为机械臂抓取控制功能提供硬件支持。软件部分利用卷积神经网络算法提取图像特征,确定机械臂抓取目标位置。结合机械臂当前位置的检测结果,规划机械臂抓取路线,预估机械臂抓取角度与抓取力。最终通过机械臂抓取参数控制量的计算,在控制器的支持下实现系统的机械臂抓取控制功能。实验结果表明,所设计系统应用下位置控制误差和速度控制误差的平均值分别为0.192m和0.138m/s,同时物体抓取掉落概率明显降低。     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

DS-YOLO网络在遥感图像中的飞机检测算法研究

为了解决传统特征提取方法在遥感图像中飞机检测准确率和实时性不足的问题,基于YOLOv3-tiny网络在准确率提升方面提出两点改进。改进点一：将网络提取图像特征点的方式改进为分组卷积,即将一幅图像分成三个通道进行卷积操作,配合通道特征变换以加强各通道之间的语义关联;改进点二：将网络深层特征增加一个尺度检测,并进行上采样与浅层特征图进行融合预测。在速度提升方面引入深度可分离卷积代替传统卷积以降低参数计算量,达到模型轻量化。根据改进后的网络提出一种包含33个卷积层的改进型卷积神经网络DS-YOLO,对改进前后网络分别在自制遥感飞机图像上进行训练,选出最优的权重,用来对目标小、曝光度高、背景干扰等低质量测试集进行测试分析。实验结果表明,改进后的算法在测试集上精准度提升了14.1%,召回率提升了16.8%,检测低质量遥感飞机图像效果更佳。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于YOLOv3与注意力机制的桥梁表面裂痕检测算法

为了实现桥梁表面裂痕的快速准确检测和及时修复,在目标检测网络YOLOv3的基础上,结合深度可分离卷积与注意力机制,提出实时检测桥梁表面裂痕的轻量级目标检测网络.使用深度可分离卷积操作替换YOLOv3的标准卷积操作,达到降低网络参数量的目的.同时为了解决深度可分离卷积操作带来的网络精度下降的问题,引入MobileNet v2的反转残差块.卷积块注意力模块同时关注图像的通道注意力和空间注意力,较好地进行特征的自适应学习.实验表明,文中算法可实现对桥梁表面裂痕的实时检测.相比YOLOv3,具有更高的检测精度和检测速度.     

基于巡逻机器人的实时跑动检测系统

文章提出了一种基于巡逻机器人系统的快速运动人体目标检测方法,采用卷积神经网络作为运动人体目标检测器,在不同摄像头视角和背景条件下,采集了不同姿态的跑动目标正负样本图像,完成了卷积神经网络的训练.为区分前景目标的运动和机器人造成的背景运动,采用了光流特征来描述目标的运动情况并提取出感兴趣区域;为提高跑动目标的检测准确率,将跑动人物的表面特征和运动特征结合起来形成双流数据通道,并输入到卷积神经网络中进行识别.实验结果表明,该系统在室外环境下能够实现85％的跑动人体目标检测准确率,并达到20帧/秒检测速度.     

轻量级卷积神经网络的机器人抓取检测研究

卷积神经网络在基于视觉的机器人抓取检测任务上取得了较好的检测效果,但是大多数方法都有太多的计算参数,不适合资源有限的系统。针对这个问题,基于SqueezeNet轻量级神经网络,结合DenseNet多旁路连接加强特征复用的思想,提出了轻量级抓取检测回归模型SqueezeNet-RM（SqueezeNet Regression Model）,并使用SqueezeNet-RM从RGB-D图像中提取多模态特征,预测二指机器人夹持器的最佳抓取位姿。在标准的康奈尔抓取数据集上,提出的轻量级抓取检测网络与经典的抓取检测方法相比,在保证检测准确率不降低的情况下,模型占用更少的存储空间,表现出更快的检测速度和更高的泛化性能,所提出的模型占用的存储空间比AlexNet模型减少86.97%,平均检测速度快3倍,适用于FPGA（Field Programmable Gate Array）或者资源受限的移动机器人抓取检测系统。     

低质量渲染图像的目标物体6D姿态估计

从图像中获取目标物体的6D位姿信息在机器人操作和虚拟现实等领域有着广泛的应用,然而,基于深度学习的位姿估计方法在训练模型时通常需要大量的训练数据集来提高模型的泛化能力,一般的数据采集方法存在收集成本高同时缺乏3D空间位置信息等问题.鉴于此,提出一种低质量渲染图像的目标物体6D姿态估计网络框架.该网络中,特征提取部分以单张RGB图像作为输入,用残差网络提取输入图像特征;位姿估计部分的目标物体分类流用于预测目标物体的类别,姿态回归流在3D空间中回归目标物体的旋转角度和平移矢量.另外,采用域随机化方法以低收集成本方式构建大规模低质量渲染、带有物体3D空间位置信息的图像数据集Pose6DDR.在所建立的Pose6DDR数据集和LineMod公共数据集上的测试结果表明了所提出位姿估计方法的优越性以及大规模数据集域随机化生成数据方法的有效性.     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

一种基于深度学习的机械臂抓取方法

提出了一种基于深度神经网络的机械臂最优抓取位置检测方法.相比传统手工设定的特征,基于深度神经网络的方法学习得到的特征具有较强的鲁棒性和稳定性,能够适应训练集中未曾出现的新物体.本方法首先使用基于深度学习的目标检测算法对图像中的目标物体进行检测,记录目标的类别和位置.然后根据分类检测结果,使用基于深度学习的机械臂抓取方法进行抓取位置学习.仿真实验表明所提方法能对图像中的目标物体进行较为准确的分类,在Universal Robot 5机械臂上得到的抓取实验结果证明了所提方法的有效性.