结合注意力机制的HRNet图像语义分割算法

目前主流的语义分割算法中依然存在小尺寸目标丢失、分割不精确等问题,针对这些问题本文基于HRNet网络模型进行改进,融入注意力机制生成更有效的特征图,对于原模型中低分辨率图像直接向高分辨率图像融合而产生的特征图细节不足的问题,提出多级上采样机制,让不同分辨率图像之间的融合方式更平滑从而得到更好的融合效果,同时使用深度可分离卷积减少模型的参数。本文模型全程保持了图像较高的分辨率,保留了特征图的空间信息,提升了对小尺寸目标的分割效果。在PASCAL VOC2012增强版数据集上的mIoU值达到80.87%,和原模型相比,精度提升了1.54个百分点。     

基于深度学习的场景分割算法研究综述

场景分割的目标是判断场景图像中每个像素的类别.场景分割是计算机视觉领域重要的基本问题之一,对场景图像的分析和理解具有重要意义,同时在自动驾驶、视频监控、增强现实等诸多领域具有广泛的应用价值.近年来,基于深度学习的场景分割技术取得了突破性进展,与传统场景分割算法相比获得分割精度的大幅度提升.首先分析和描述场景分割问题面临的3个主要难点：分割粒度细、尺度变化多样、空间相关性强;其次着重介绍了目前大部分基于深度学习的场景分割算法采用的“卷积-反卷积”结构;在此基础上,对近年来出现的基于深度学习的场景分割算法进行梳理,介绍针对场景分割问题的3个主要难点,分别提出基于高分辨率语义特征图、基于多尺度信息和基于空间上下文等场景分割算法;简要介绍常用的场景分割公开数据集;最后对基于深度学习的场景分割算法的研究前景进行总结和展望.     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

空中加油场景下的目标联合检测跟踪算法

针对自主空中加油对接阶段的目标跟踪问题,提出一种空中加油场景下的目标联合检测跟踪算法。该算法采用检测跟踪一体化的CenterTrack网络实现对锥套的追踪,而针对计算量较大、训练耗时过长的问题,分别从模型设计与网络优化两方面改善该网络。首先,在跟踪器中引入膨胀卷积组,以在不改变感受野大小的前提下使得网络轻量化;同时,将输出部分的卷积层替换为深度可分离卷积层,从而减少网络的参数量与计算量;然后,对网络进行进一步的优化,即将随机梯度下降（SGD）法与Adam算法相结合,使网络更快收敛至稳定状态;最后,利用真实的空中加油场景视频与地面模拟视频制作相应格式的数据集,并将其用于实验验证。分别在自制的锥套数据集和MOT17公共数据集上进行了训练与测试,证实了提出算法的有效性。相较于原CenterTrack网络,改进的网络Tiny-CenterTrack减少了约48.6%的训练时长,并在实时性方面提升了8.8%。实验结果表明,改进后的网络在不损失网络性能的前提下可有效节省计算资源并在一定程度上提升实时性。     

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题, 提出了一种交叉特征融合和RASPP驱动的场景分割方法. 该方法以交叉特征融合的方式合并编码器输出的多尺度特征, 在融合高层语义信息时使用复合卷积注意力模块进行处理, 避免上采样操作造成的特征信息丢失以及引入噪声的影响, 细化目标边缘分割效果. 同时提出了深度可分离残差卷积, 在此基础上设计并实现了结合残差的金字塔池化模块——RASPP, 对交叉融合后的特征进行处理, 获得不同尺度的上下文信息, 增强特征语义表达. 最后, 将RASPP模块处理后的特征进行合并, 提升分割效果. 在Cityscapes和CamVid数据集上的实验结果表明, 本文提出方法相比现有方法具有更好的表现, 并且对场景中的目标边缘有更好的分割效果.     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet.首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化(GN)方法,从而在减少模...     

结合全卷积神经网络的室内场景分割

目的 视觉假体通过向盲人体内植入电极刺激视神经产生光幻视,盲人所能感受到的物体只是大体轮廓,对物体识别率低,针对视觉假体中室内应用场景的特点,提出一种快速卷积神经网络图像分割方法对室内场景图像进行分割,通过图像分割技术把物品大致的位置和轮廓显示出来,辅助盲人识别。方法 构建了用于室内场景图像分割的FFCN（fast fully convolutional networks）网络,通过层间融合的方法,避免连续卷积对图像特征信息的损失。为了验证网络的有效性,创建了室内环境中的基本生活物品数据集（以下简称XAUT数据集）,在原图上通过灰度标记每个物品的类别,然后附加一张颜色表把灰度图映射成伪彩色图作为语义标签。采用XAUT数据集在Caffe（convolutional architecture for fast feature embedding）框架下对FFCN网络进行训练,得到适应于盲人视觉假体的室内场景分割模型。同时,为了对比模型的有效性,对传统的多尺度融合方法FCN-8s、FCN-16s、FCN-32s等进行结构微调,并采用该数据集进行训练得到适用于室内场景分割的相应算法模型。结果 各类网络的像素识别精度都达到了85%以上,均交并比（MIU）均达到60%以上,其中FCN-8s at-once网络的均交并比最高,达到70.4%,但其分割速度仅为FFCN的1/5。在其他各类指标相差不大的前提下,FFCN快速分割卷积神经网络上平均分割速度达到40帧/s。结论 本文提出的FFCN卷积神经网络可以有效利用多层卷积提取图像信息,避免亮度、颜色、纹理等底层信息的影响,通过尺度融合技术可以很好地避免图像特征信息在网络卷积和池化中的损失,相比于其他FCN网络具有更快的速度,有利于提高图像预处理的实时性。     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

应用多尺度级联注意力机制的场景分割研究

场景分割通过为图像的每个像素标注所属类别实现了对图像语义层次的理解,在自动驾驶、机器人感知、遥感图像分析等领域都具有广泛的应用价值.由于注意力机制能够有效地获得图像中的前景对象,为场景分割提供引导,近年来在场景分割中获得了越来越多的应用.本文在对图像的非局部注意力机制工作原理进行深入研究后,设计了多尺度级联的注意力模型...     

基于轻量级网络的实时人体关键点检测算法

为提升人体姿态估计在移动终端设备上的运行速度与实时性,提出一种改进的人体关键点检测算法.通过将MobileNetV2轻量级主干网络与深度可分离卷积模块相结合加速特征提取过程,使用精炼网络进行多尺度人体关键点预测,并利用融合网络整合多个尺度的预测结果得到最终人体关键点检测结果.实验结果表明,与传统CPM算法相比,该算法在...     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

改进YOLOv3的矿石输送带杂物检测方法

针对矿石输送带上夹杂的废旧木头、钢钎、塑料导爆管等杂物会对后续选矿设备造成严重破环的问题,提出一种改进YOLOv3的矿石输送带杂物检测方法YOLO-Ore。将轻量级网络Mobilenetv2作为主干特征提取网络,利用深度可分离卷积和逆残差结构,缩减了模型容量,丰富了特征信息;将语义分割网络PSPnet中的金字塔池化模块PPM融入到特征提取过程当中,有效聚合不同尺度的上下文信息;引入注意力机制CBAM,同时在空间维度和通道维度上进行特征增强;对YOLOv3的FPN结构简化,删减参数冗余的卷积层,实现进一步的模型压缩。利用数据增广技术构建矿石杂物数据集,并对所提方法的有效性进行实验对比验证。结果表明,和原YOLOv3算法相比,所提方法YOLO-Ore能够准确快速地检测矿石输送带杂物。     

基于轻量级金字塔网络的种子分选方法研究

针对目前卷积神经网络种子分选方法存在识别精度不高、模型参数量大、推理速度慢且难于部署等问题,提出了基于轻量级金字塔空洞卷积网络的种子分选方法;该网络提出了残差空间金字塔模块,利用不同扩张率的空洞卷积扩大感受野,更有效地提取多尺度特征;再结合深度可分离卷积技术减少模型参数量和计算复杂度;在网络结构中引入轻量级注意力机制模块,利用局部跨通道交互方式关注重要的信息,提高种子关键特征提取能力;实验结果表明,提出网络参数量仅为0.13 M,在玉米和红芸豆数据集上准确率高达96.00%和97.38%,在NVIDIA Quadro板卡上识别单张图片时间仅为4.51 ms,均优于主流轻量级网络MobileNetv2、Shufflenetv2和PPLC-Net等,可以满足工业现场实时识别的要求。     

基于密集层和注意力机制的快速语义分割

针对传统语义分割网络速度慢、精度低的问题,提出一种基于密集层和注意力机制的快速场景语义分割方法.在ResNet网络中加入密集层和注意力模块,密集层部分采用两路传播方式,以更好地获得多尺度目标,并使用分组卷积减少计算量.同时在特征提取网络中加入注意力模块,以减少精度损失.实验结果表明,该方法在保证分割精度的前提下提升了分割速度,在Cityscapes数据集上得到了81.5%的MIOU,速度为42.3 frame/s,在ADE20K数据集上得到了61.8%的MIOU,速度为27.9 frame/s.     

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高、空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他七种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度;且该算法的检测速率达到33.70 帧/秒,满足实时性要求。     

融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.     

基于深度可分离卷积的轻量级图像超分辨率重建

图像超分辨率重建旨在依据低分辨率图像重建出接近真实的高分辨率图像,现有基于卷积神经网络的图像超分辨率重建方法存在网络参数量大、重建速度慢等问题,从而限制其在内存资源小的终端设备上的应用。提出一种基于深度可分离卷积的轻量级图像超分辨率重建网络,利用深度可分离卷积提取图像的特征信息,减少网络的参数量,采用对比度感知通道注意力机制获取图像的对比度信息,并将其作为全局信息,同时对提取特征的不同通道权重进行重新分配,增强重建图像的细节纹理信息。在此基础上,采用亚像素卷积对图像特征进行上采样操作,提高整体重建图像质量。实验结果表明,当放大倍数为2、3和4时,该网络的参数量分别为140 000、147 000和152 000,重建时间为0.020 s、0.014 s和0.011 s,相比VDSR、RFDN、IDN等网络,在保证重建效果的前提下能够有效减少网络参数量。