Mask R-CNN算法的改进策略研究

Mask R-CNN作为一种优秀的实例分割算法,不仅能够对图像或视频中的每个感兴趣目标进行分类和定位,还能够对每个不同的目标进行分割。该算法在遥感图像智能解译,自动驾驶,智能医疗等计算机视觉领域具有极高的应用价值。因此如何对Mask R-CNN算法进行改进,提高实例分割的准确性,对计算机视觉领域的发展具有重要意义。文章对Mask R-CNN算法进行深入的分析和研究,提出了可用于Mask R-CNN算法的几个改进策略。通过实验验证,本文提出的改进策略对于提高Mask R-CNN算法的准确性具有一定的可行性。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题，基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN，引入方向信息对染色体图像进行实例分割。首先，新增有向包围框回归分支，以预测紧实包围框并获取方向信息；然后，提出新的交并比（IoU）度量——角度加权交并比（AwIoU），从而结合方向信息与边的关系以改进冗余包围框的判据；最后，实现有向卷积通路结构，通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明，相较于基准模型Mask R-CNN，Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点，IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示，Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果，有助于实现染色体图像自动分割。     

基于改进Mask R-CNN的建筑钢筋尺寸检测算法

建筑施工现场钢筋图像背景复杂且干扰较多,传统图像检测算法无法有效利用特征信息,难以满足现阶段建筑智能监理行业中钢筋尺寸检测精度的验收要求。提出一种在Mask R-CNN模型基础上加入自下而上路径和注意力机制的改进模型BU-CS Mask R-CNN。在建筑工地现场拍摄图像后,整理自建钢筋数据集,并在此数据集上进行算法验证。实验结果表明,与Mask R-CNN模型相比,BU-CS Mask R-CNN模型的召回率、交并比和像素准确率分别提升了4.9%、6.8%、7.4%,钢筋直径和间距的尺寸检测精度分别提升了14.9%、4.4%,能得到更加准确的钢筋目标检测框和边缘分割掩膜,达到了行业中实际工程验收的精度要求。     

CT影像肝脏转移瘤分割与检测深度网络的研究

肝脏肿瘤的评估是结直肠癌肝转移临床诊疗的重要步骤。为了完成腹部CT影像中的肝脏肿瘤自动分割和检测任务,提出一种改进的级联深度学习网络。级联网络采用U-Net和Mask R-CNN模型分别完成分割和检测任务。训练U-Net模型作为级联网络的第一层来分割肝脏器官作为感兴趣区域（ROI）;针对ROI区域进行形态学活动轮廓提取;使用U-Net模型和Mask R-CNN模型作为级联网络的第二层分别完成精准分割和检测ROI内肝脏肿瘤的任务。实验结果表明,对于级联U-Net模型的肝脏转移瘤分割平均Dice系数为74%;Mask R-CNN的肿瘤实例分割Dice系数为67%（置信度为95%）,均值平均精度（mAP）为88%。     

结合VGGNet与Mask R-CNN的高分辨率遥感影像建设用地检测

针对当前多数深度学习模型只能对高分辨率遥感影像裁剪图片进行土地利用类型判别的问题,结合VGGNet与Mask R-CNN开展了智能化建设用地目标检测研究。在建立研究区4类土地利用类型遥感影像数据集的基础上,对比了VGGNet、ResNet和DenseNet 3种卷积神经网络模型的分类精度,选取分类效果最优的神经网络模型VGGNet与Mask R-CNN实现建设用地目标检测智能化。结果表明:(1)VGGNet、ResNet和DenseNet 3种卷积神经网络模型的分类精度分别为:97.44%、93.75%和95.13%,且VGG16模型迭代次数最少,训练时间相对较少;(2)Mask R-CNN阈值设置对目标检测精度有重要的影响,当阈值设定为0.3时,VGG16结合Mask R-CNN的联合模型对建设用地检测的标定框精度最高。同时联合模型比单一使用Mask R-CNN模型对建设用地检测有更高的准确率,并且表现出了更强的适应性和鲁棒性。     

航空发动机损伤图像的二分类到多分类递进式检测网络

航空发动机损伤是影响飞行安全的重要因素。当前基于计算机视觉的发动机孔探图像损伤检测存在两个主要问题：一是孔探图像背景复杂,使得模型对损伤的检测精度较低;二是孔探图像数据来源受限,导致模型可检测类别较少。为解决这两个问题,提出了基于Mask R-CNN的二分类到多分类递进式航空发动机损伤图像检测网络。通过在Mask R-CNN中增加二分类检测分支,首先对图像中的损伤进行二分类检测并对定位坐标进行回归优化;其次使用原始检测分支递进地进行多分类检测,以进一步回归优化损伤的检测结果并确定损伤类型;最后根据多分类检测的结果,通过Mask分支对对损伤进行实例分割。为了增加模型检测类别及验证方法的有效性,构建了包含八种损伤类型,共1 315张孔探图像的数据集。在该集合上进行的训练和测试结果表明,多分类检测的平均精度（AP）和AP75与Mask R-CNN相比分别提高3.34%、9.71%,可见所提方法能够有效提高对孔探图像中的损伤的多分类检测精度。     

基于Mask Scoring R-CNN的高质量数据集快速自动标定方法

针对计算机视觉领域人工标定多目标数据集时间冗长的问题,提出一种基于Mask Scoring R-CNN的高质量数据集快速自动标定方法;首先,设计了高质量数据集快速自动标定架构,训练数据自动标定模型并搭建目标分类与标定系统;其次,在对比不同残差网络及引入迁移学习基础上,进一步研究了基于MaskIoU Head的多目标掩膜标定质量评价方法,完成基于Mask Scoring R-CNN的多目标高质量数据集快速自动标定方法设计;最后,以车辆数据为例进行数据集快速自动标定方法验证,实验结果表明,相较于Mask R-CNN和Faster R-CNN方法,Mask Scoring R-CNN方法具有目标数据分类效果好及掩膜分割精度高的优点,检测准确率达到93.4%,且标定速度相较于人工标定速度提升了95.77%。     

基于改进Mask R-CNN的卫星目标部位检测方法

针对卫星部件维修更换、燃料加注、废弃卫星回收等空间在轨服务中需解决的目标卫星部位检测问题,在Mask R-CNN的基础上,改进其主干网络结构并缩减分类回归、Mask分支通道数,提出了一种改进的实例分割网络模型Ring-Engine-Mask R-CNN,使用实物模型图像和3dsMax生成的仿真图像建立了专用数据集,给出了一种基于深度学习的卫星目标部位检测方法;实验结果表明,该方法能较好的完成卫星星箭对接环和远地点发动机喷管两种目标部位的检测分割,相较于传统的网络模型,在缩小了模型规模的同时,具有更高精度和更快的检测速度.     

基于深度学习的空间非合作目标特征检测与识别

针对空间非合作目标检测与识别任务的智能化要求,本文将深度学习方法Mask R-CNN(mask region-based convolutional neural network)应用于任务中,并借鉴R-FCN(region-based fully convolutional networks)和Light-head R-CNN (light-head region-based convolutional neural network)对其进行优化改进,提升检测速度,以满足空间任务实时性要求。实验结果表明,与传统的Mask R-CNN相比,改进的Mask R-CNN可缩短20%的检测时间。针对深度神经网络需要大样本数据集进行训练的特点,本文基于迁移学习提出搭建虚拟环境进行样本采集,构造空间目标特征检测与识别数据集的方法。实验结果表明,网络在虚拟环境生成的数据集上可以很好地学习到相应特征,从而具备迁移到实际任务的能力。     

基于实例分割模型优化的道路抛洒物检测算法

在交通安全领域,道路抛洒物易引发交通事故,构成了交通安全隐患。针对传统抛洒物检测方式识别率低、对于多类抛洒物检测效果不佳等问题,提出了一种基于实例分割模型CenterMask优化的道路抛洒物检测算法。首先,使用空洞卷积优化的残差网络ResNet50作为主干神经网络来提取特征并进行多尺度处理;然后,通过距离交并比（DIoU）函数优化的全卷积单阶段（FCOS）目标检测器实现对抛洒物的检测和分类;最后,使用空间注意力引导掩膜作为掩膜分割分支来实现对于目标形态的分割,并采用迁移学习的方式实现模型的训练。实验结果表明,所提算法对于抛洒物目标的检测率为94.82%,相较常见实例分割算法Mask R-CNN,所提的道路抛洒物检测算法在边界框检测上的平均精度（AP）提高了8.10个百分点。     

基于改进Mask R-CNN的在架图书书脊图像实例分割方法

运用人工智能技术将是构建下一代智慧图书馆的关键,为了实现图书的定位和识别,提出一种基于改进Mask R-CNN的在架图书书脊图像实例分割方法.考虑到图书密集排列、具有一定的旋转性、副本纹理极相似等难点,改进锚框为旋转矩形框,提出旋转区域建议网络取代区域建议网络;提出旋转特征提取方法可减少池化误差且有效提取目标特征,结合掩膜的旋转对齐以提升预测掩膜的准确性.建立了一个包含1849张在架图书书脊图像的标注数据集,提出方法的测试结果大幅度优于其他重要的实例分割算法,证实了在网络中使用旋转特征对于具有一定朝向的、密集的目标分割难题很有效.     

基于改进的Faster R-CNN的通用目标检测框架

针对当前基于深度学习的检测器不能有效检测形状不规则或长宽相差悬殊的目标的问题,在传统Faster R-CNN算法的基础上,提出了一个改进的二阶段目标检测框架——Accurate R-CNN。首先,提出了新的交并比（IoU）度量——有效交并比（EIoU）,通过提出中心度权重来降低训练数据中冗余包围框的占比。然后,提出了一个上下文相关的特征重分配模块（FRM）,通过建模目标的远程依赖和局部上下文关系信息对特征进行重编码,以弥补池化过程中的形状信息损失。实验结果表明,在微软多场景通用目标（MS COCO）数据集上,对于包围框检测任务,当使用深度为50和101的残差网络（ResNet）作为骨干网络时,Accurate R-CNN比基线模型Faster R-CNN的平均精度（AP）分别提高了1.7个百分点和1.1个百分点,超越了使用同样骨干网络的基于掩膜的检测器。在添加掩膜分支后,对于实例分割任务,当使用两种不同深度的ResNet作为骨干网络时,Accurate R-CNN比Mask R-CNN的掩膜平均精度分别提高了1.2个百分点和1.1个百分点。研究结果显示,相较于基线模型,Accurate R-CNN在不同数据集、不同任务上均取得了更好的检测效果。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

结合深度学习与支持向量机的金属零件识别

目的 在视觉引导的工业机器人自动拾取研究中，关键技术难点之一是机器人抓取目标区域的识别问题。特别是金属零件，其表面的反光、随意摆放时相互遮挡等非结构化因素都给抓取区域的识别带来巨大的挑战。因此，本文提出一种结合深度学习和支持向量机的抓取区域识别方法。方法 分别提取抓取区域的方向梯度直方图（HOG）和局部二进制模式（LBP）特征，利用主成分分析法（PCA）对融合后的特征进行降维，以此来训练支持向量机（SVM）分类器。通过训练Mask R-CNN（regions with convolutional neural network）神经网络完成抓取区域的初步分割。然后利用SVM对Mask R-CNN识别的抓取区域进行二次分类，完成对干扰区域的剔除。最后计算掩码完成实例分割，以此达到对抓取区域的精确识别。结果 对于随机摆放的铜质金属零件，本文算法与单一的Mask R-CNN及多特征融合的SVM算法就识别准确率、错检率、漏检率3个指标进行了比较，结果表明本文算法在识别准确率上较Mask R-CNN和SVM算法分别提高了7%和25%，同时有效降低了错检率与漏检率。结论 本文算法结合了Mask R-CNN与SVM两种方法，对于反光和遮挡情况具有一定的鲁棒性，同时有效地提升了目标识别的准确率。     

基于Mask R-CNN与改进Criminisi的沥青路面车道线移除方法

在对沥青路面病害图像进行自动分类时,含车道线的图像数量较多易造成干扰。 为此,提出一种车道线移除方法以降低其对分类的影响,首先基于 Mask R-CNN 网络训练出复 杂背景下车道线区域的检测模型,通过该模型自动获取车道线区域 mask;然后利用 mask 将车 道线区域全部移除得到破损图像;最后用改进的 Criminisi 图像修复方法对破损图像进行样本块 填充。实验表明,采用 Mask R-CNN 方法对 400 张不同环境下的路面图像进行检测,其漏检率 和误检率分别为 0.50%和 7.87%。在保证图像修复质量的基础上,改进的 Criminisi 方法在修复 速度上比改进前提升约 4~5 倍。同等条件下,采用 VGG 分类模型对比验证,经该算法移除车 道线后的新数据集表现更优。