基于RGB-D融合的密集遮挡抓取检测

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于RGB-D图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富RGB-D特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于RGB-D像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOD数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YODO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.     

基于YOLOv4的抓取检测

对于物品的纹理特征容易影响到抓取检测的精度,且原始的默认锚框不适合待抓取检测目标的尺度,以及在小目标物体检测效果不佳等问题,该文通过以下方法进行改进。首先通过图像处理将物品的原始图像经过处理使其只具有物品的轮廓信息,然后采用KMeans得到适合所检测目标的锚框尺度,以基于YOLOv4的神经网络模型建立改进后的YOLOv4抓取检测模型,最后去除YOLOv4中检测较大物体19×19的特征层检测层及其附近的卷积及池化层,以此降低系统复杂度减少参数,并且将第11层和第109层进行特征融合得到特征尺寸152×152使其能够更好地提取小目标特征。将原始图像和只具有轮廓信息的图像分别送入改进前和多种进行改进后的网络进行检测性能的分别对比。实验结果表明经过改进的网络抓取检测的平均成功率为81.5%,比原始的YOLOv4提高了4.3%,有效提升了抓取检测的精度并且加强了检测小目标的能力。     

基于YOLOv3和EPnP算法的多药盒姿态估计

针对机械臂药盒抓取操作中对药盒定位和姿态估计的要求,提出一种基于YOLOv3深度学习算法和EPnP算法相结合的多药盒姿态估计方法,此方法主要分为多药盒定位和姿态估计两部分;首先通过YOLOv3算法实现药盒的快速精确定位,并通过定位框分割出单个药盒;然后进行特征提取和特征匹配并估计单应矩阵;通过单应矩阵的透视矩阵变换求得药盒平面4个角点的像素坐标并作为EPnP求解所需的2D点,结合药盒先验尺寸信息在相机坐标系下构建药盒对应的3D点坐标以实现药盒姿态求解;通过结合OptiTrack系统设计了药盒姿态精度对比实验,结果表明,该算法充分发挥了YOLOv3算法兼具快速性和准确性的优势,并且具有良好的姿态估计精度,总体算法速度达到15 FPS,药盒姿态估计平均误差小于0.5°。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

基于边界极限点特征的改进YOLOv3目标检测

目标数量多、尺度较小与高度重叠等问题导致目标检测精度低、难度大。为提升目标检测精度,尽可能避免漏检、误检情况,提出一种基于边界极限点特征的改进YOLOv3目标检测算法。首先,引入边界增强算子Border,从边界的极限点中自适应地提取边界特征来增强已有点特征,提高目标定位准确度;然后,增加目标检测尺度,细化特征图,增强特征图深、浅层语义信息的融合,提高目标检测精度;最后,基于目标检测中目标实例特性及改进网络模型,引入完全交并比（CIoU）函数对原YOLOv3损失函数进行改进,提高检测框收敛速度以及检测框召回率。实验结果表明,相较于原YOLOv3目标检测算法,改进后的YOLOv3目标检测算法的平均精度提高了3.9个百分点,且检测速度与原算法相近,能有效提高模型对目标的检测能力。     

基于改进YOLOv3的遥感图像小目标检测

YOLOv3算法被广泛地应用于目标检测任务。虽然在YOLOv3基础上改进的一些算法取得了一定的成果,但是仍存在表征能力不足且检测精度不高的问题,尤其对小目标的检测还不能满足需求。针对上述问题,提出了一种改进YOLOv3的遥感图像小目标检测算法。首先,使用K均值聚类变换（K-means-T）算法优化锚框的大小,从而提升先验框和真实框之间的匹配度;其次,优化置信度损失函数,以解决难易样本分布不均衡的问题;最后,引入注意力机制来提高算法对细节信息的感知能力。在RSOD数据集上进行实验的结果显示,与原始的YOLOv3算法、YOLOv4算法相比,所提算法在小目标“飞机（aircraft）”类上的平均精确率（AP）分别提高了7.3个百分点和5.9个百分点。这表明所提算法能够有效检测遥感图像小目标,具有更高的准确率。     

基于YOLOv4改进算法的复杂行人检测模型研究

在图像和视频序列中进行行人检测时,存在行人姿态和尺度多样及行人遮挡的问题,导致YOLOv4算法对部分行人检测不准确,存在误检和漏检的情况。针对这一问题,提出了基于YOLOv4改进算法的复杂行人检测模型。首先,使用改进的k-means聚类算法对行人数据集真实框尺寸进行分析,根据聚类结果确定先验框尺寸;其次,利用PANet进行多尺度特征融合,增强对多姿态、多尺度行人目标的敏感度,以提高检测效果;最后,针对行人遮挡问题,使用斥力损失函数使预测框尽可能地靠近正确的目标。实验表明,相比于YOLOv4和其他行人检测模型,新提出的检测模型具有更好的检测效果。     

融合GIoU和Focal loss的YOLOv3目标检测算法

YOLOv3目标检测算法检测速度快且精度较高,但存在对小目标检测能力不足、边界框定位不准确等问题。提出了一种基于YOLOv3改进的目标检测算法,该算法在YOLOv3的基础上,对网络中的残差块增加旁路连接,进一步进行特征重用,以提取更多的特征信息。同时,采用GIoUloss作为边界框的损失,使网络朝着预测框与真实框重叠度较高的方向去优化。在损失函数中加入Focal loss,减小正负样本不平衡带来的误差。在PASCAL VOC和COCO数据集上的实验结果表明,该算法能够在不影响YOLOv3算法实时性的前提下,提高目标检测的mAP。该算法在PASCAL VOC 2007测试集上达到83.7mAP（IoU=0.5）,在COCO测试集上比YOLOv3算法提升2.27mAP（IoU[0.5,0.95]）。     

基于改进YOLOv3算法的公路车道线检测方法

针对YOLOv3算法在检测公路车道线时存在准确率低和漏检概率高的问题, 提出一种改进YOLOv3网络结构的公路车道线检测方法.该方法首先将图像划分为多个网格, 利用K-means++聚类算法, 根据公路车道线宽高固有特点, 确定目标先验框数量和对应宽高值; 其次根据聚类结果优化网络Anchor参数, 使训练网络在车道线检测方面具有一定的针对性; 最后将经过Darknet-53网络提取的特征进行拼接, 改进YOLOv3算法卷积层结构, 使用GPU进行多尺度训练得到最优的权重模型, 从而对图像中的车道线目标进行检测,并选取置信度最高的边界框进行标记.使用Caltech Lanes数据库中的图像信息进行对比试验, 实验结果表明, 改进的YOLOv3算法在公路车道线检测中平均准确率(Mean average precision, mAP)为95%, 检测速度可达50帧/s, 较YOLOv3原始算法mAP值提升了11%, 且明显高于其他车道线检测方法.     

旋转目标检测算法在卫星影像中的应用

近年来,深度学习在卫星影像目标检测领域得到了快速的发展,如何精准高效定位目标物体是卫星影像目标检测研究中的主要难点。提出了一种基于旋转矩形空间的YOLOv3改进算法来精准定位卫星影像目标,对原有网络进行改进,增加角度变换的数据预处理过程,防止实例角度变化对网络训练造成影响。使用双旋转坐标进行回归训练,增加了角度锚点,提高了网络对卫星目标的检测有效性。提出了基于旋转矩形空间的非极大值抑制改进算法,可以有效去除多余的旋转预测框。实验结果表明,改进YOLOv3算法相较于原始YOLOv3算法拥有更好的可视化效果,可以有效准确地定位卫星影像的目标物体,有效避免了密集场景下预测框的遮挡问题,在保证实时性的前提下,将均值平均精度提高了0.8个百分点。     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

基于相机模型投影的多目标三维人体跟踪算法

针对基于二维目标检测和卡尔曼滤波的多目标人体跟踪算法在视频拍摄角度不定的情况下,检测算法生成不同角度人体二维检测框的朝向和尺度混淆以及卡尔曼滤波器随机初始化造成的初始跟踪误差逐步放大问题,提出一种基于相机模型投影的多目标三维人体跟踪算法.在人体检测阶段,提出Multi-task RCNN(MTRC-NN)网络,使用人体...     

YOLO-wLU：考虑定位不确定性的目标检测算法

YOLOv3目标检测算法在检测目标时没有考虑边界框坐标定位存在的不确定性,因此有时不能得出正确的检测结果。针对此问题,提出YOLO-wLU（YOLO with Localization Uncertainty）算法。该算法借鉴深度学习中的不确定性思想,使用高斯分布函数建立边界框坐标的概率分布模型以考虑边界框坐标定位不确定性;设计新的边界框损失函数,在检测过程中移除定位不确定性较大的检测结果;通过融合周围边界框坐标信息提高了边界框坐标辨识结果的准确性。实验结果表明,该算法可有效减少误报率,提高检测精度;COCO数据集上测试结果显示,相比YOLOv3算法,该算法的mAP最高可提升4.1个百分点。     

YOLOv5预测边界框分簇自适应损失权重改进模型

目标检测的精确程度是计算机视觉识别任务的主要影响因素.针对单阶段目标检测模型YOLOv5存在的检测精度问题,从多任务损失优化角度,提出一种在不同分辨率特征图上基于同一目标的预测边界框分簇自适应损失权重改进模型.该模型由GT(ground true)目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置及分类损失权重算法构成,通过改善YOLOv5的位置精度和分类精度实现模型整体精度的提升.实验结果表明,改进模型的平均精度均值(mean average precision, mAP)较YOLOv5.6标准模型相对提升5.23%;相较于更为复杂的YOLOv5x6标准模型,改进模型mAP取得8.02%的相对提升.     

改进YOLOv5s的无人机目标检测算法

无人机在情报、侦察和监视领域,目标自动检测可为侦察等任务提供准确的目标位置及类别,为地面指挥人员提供详尽的目标信息。针对无人机图像背景复杂、分辨率高、目标尺度差异大等特点,提出一种改进YOLOv5s目标检测算法。将压缩-激励模块引入到YOLOv5s算法中,提高网络的特征提取能力;引入双锥台特征融合（bifrustum feature fusion,BFF）结构,提高算法对较小目标的检测检测精度;将CIoU Loss替换GIoU Loss作为算法的损失函数,在提高边界框回归速率的同时提高定位精度。实验结果表明,改进后的YOLOv5s取得了86.3%的平均均值精度（mAP）,比原算法YOLOv5s提高了16.8个百分点,在复杂背景下仍能显著提升无人机图像目标检测性能。     

改进YOLOv3在机场跑道异物目标检测中的应用

针对机场跑道异物（Foreign Object Debris,FOD）的小目标特点,提出一种基于改进YOLOv3的FOD目标检测算法。以YOLOv3网络为基础,采用运算复杂度相对更低的Darknet-49作为特征提取网络,并将检测尺度增加至4个,进行多尺度特征融合。使用基于马尔科夫链蒙特卡罗采样（Markov Chain Monte Carlo sampling,MCMC）的[K]-means++算法对标注边界框尺寸信息进行聚类分析。训练时引入GIoU边界框回归损失函数。实验结果表明,改进的YOLOv3目标检测算法在满足实时性要求的情况下,精确率和召回率达到了95.3%和91.1%,与Faster R-CNN相比具有更高的检测速度,与SSD相比具有更高的检测精度,有效解决了原YOLOv3存在的定位精度偏低和漏检问题。     

基于双目视觉的水下海参尺寸自动测量方法

水下捕捞机器人在进行海参捕捞作业时,需要对海参进行精选分级。然而光视觉系统在水中的折射现象严重影响了海参尺寸的精确测量。因此,利用水下双目标定方法,求解水下相机模型参数,消除水下光线折射造成的图像失真,并在此基础上,提出了一种水下海参自动检测与尺寸测量方法。在左目矫正图像上,利用预先训练的YOLOv3海参检测模型,进行海参自动检测和感兴趣区域定位,并利用双目矫正图像构建当前水下场景深度信息。利用融合颜色和场景深度信息的高斯模型,构建新颖的GrabCut-RGBD图像分割方法,在感兴趣区域上分割二维海参目标。利用凸包与旋转卡壳算法,在海参目标图像上寻找最佳尺寸测量点,通过三角测量获取最佳测量点三维坐标,实现海参尺寸的自动测量。实验结果表明,所提方法在0.5～1.5 m范围内平均误差为1.65%,能较好地实现海参尺寸的水下测量。     

基于布局图的多物体场景新视角图像生成网络

新视角图像生成任务指通过多幅参考图像,生成场景新视角图像。然而多物体场景存在物体间遮挡,物体信息获取不全,导致生成的新视角场景图像存在伪影、错位问题。为解决该问题,提出一种借助场景布局图指导的新视角图像生成网络,并标注了全新的多物体场景数据集（multi-objects novel view Synthesis,MONVS）。首先,将场景的多个布局图信息和对应的相机位姿信息输入到布局图预测模块,计算出新视角下的场景布局图信息;然后,利用场景中标注的物体边界框信息构建不同物体的对象集合,借助像素预测模块生成新视角场景下的各个物体信息;最后,将得到的新视角布局图和各个物体信息输入到场景生成器中构建新视角下的场景图像。在MONVS和ShapeNet cars数据集上与最新的几种方法进行了比较,实验数据和可视化结果表明,在多物体场景的新视角图像生成中,所提方法在两个数据集上都有较好的效果表现,有效地解决了生成图像中存在伪影和多物体在场景中位置信息不准确的问题。