无人驾驶中的场景实时语义分割方法

无人驾驶的一个重要组成部分是汽车行驶环境感知,使人们对可在低功耗移动设备上实时运行的高精度语义分割方法产生了强烈的需求.然而,在分析影响语义分割网络精度和速度的因素时可以发现,空间信息和上下文特征很难兼顾,而使用2路网络分别获取空间信息和上下文信息的方法,又会增加计算量及存储量.因此,提出从残差结构网络中划分出空间信息路径和上下文信息路径的想法,并基于此设计一个双路语义分割网络.该网络还含有用于融合2路多尺度特征的特征融合模块,以及用于优化上下文语义路径输出结果的注意力精炼模块.该网络基于PyTorch框架实现,使用NVIDIA 1080Ti显卡进行实验,在道路场景数据集Cityscapes上,mIoU达到78.8％,运行速度达到27.5帧/s.     

条带池化注意力的实时语义分割算法

针对目前面向注意力机制语义分割算法不能兼顾分割精度与实时性,以及难以满足在现实场景中应用的问题,提出一种基于条带池化注意力的实时语义分割算法.首先采用轻量级骨干网络提取特征信息,结合不同网络层语义差异构建特征融合模块获得不同尺度的上下文信息以提升分割精度;然后利用基于注意力的条带注意力模块(SAM)提高远距离信息被弱化的注意力,并在SAM中加入水平方向的条带池化以降低编码全局上下文的运算量.实验结果表明,所提算法能够得到较高分割精度且满足实时性要求;在Cityscapes测试集上平均交并比为70.6%,分割速度达到了92帧/s;在CamVid测试集上平均交并比为66.4%,分割速度达到了196帧/s.     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

自适应调控卷积与双路信息嵌入的城市街景实例分割

城市街道场景实例分割是无人驾驶不可忽略的关键技术之一,针对城市街景实例密集、边缘模糊以及背景干扰严重等问题,提出一种自适应调控卷积与双路信息嵌入的城市街景实例分割模型RENet.首先使用自适应调控卷积替代原有的残差结构,利用可变形卷积学习空间采样位置偏移量,提高模型对图像复杂形变的建模能力,同时对多分支结构进行通道混洗以加强不同通道间的信息流动,并应用注意力机制实现通道权重的自适应校准,提高模型对复杂场景下模糊、密集目标的分割精度;然后设计低维空间信息嵌入分支,对不同尺度特征图进行空间信息激励与重编码,在抽象语义特征中嵌入低维空间信息,提高模型轮廓分割准确性;最后引入高级语义信息嵌入模块,实现特征图与语义框的对齐,弥补特征图间语义与分辨率的差距,提高不同尺度下特征信息融合的有效性.在自建数据集上的实验结果表明,与原始YOLACT网络模型相比,RENet模型在复杂街道背景下的平均分割精度最高达到51.6%,提高了10.4个百分点;网络推理速度达到17.5帧/s,验证了该模型的有效性和在工程中的实用性.     

轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

编码—解码结构的语义分割

目的 语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码-解码结构的语义分割模型。方法 运用ResNet-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样（DUpsampling）操作得到图像分割结果。结果 此模型在2个公开数据集（Cityscapes数据集和PASCAL VOC 2012数据集）上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于RefineNet模型、DeepLabv2-CRF模型和LRR（Laplacian reconstruction and refinement）模型,平均交并比（mIoU）值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC 2012数据集中,相比于Piecewise模型、DPN（deep parsing network）模型和GCRF（Gaussion conditional random field network）模型,mIoU值分别提高了6.23%、7.43%和8.33%。结论 本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。     

基于注意力和多标签分类的图像实时语义分割

针对现阶段很多实时语义分割算法分割精度低,尤其对边界像素分割模糊的问题,提出一种基于跨级注意力机制和多标签分类的高精度实时语义分割算法.首先基于DeepLabv3进行优化,使其达到实时运算速度.然后在此网络基础上增加跨级注意力模块,使深层特征为浅层特征提供像素级注意力,以抑制浅层特征中不准确语义信息的输出;并在训练阶段引入多标签分类损失函数辅助监督训练.在Cityscapes数据集和CamVid数据集上的实验结果表明,该算法的分割精度分别为68.1％和74.1％,分割速度分别为42帧/s和89帧/s,在实时性与准确性之间达到较好的平衡,能够优化边缘分割,在复杂场景分割中具有较好的鲁棒性.     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

基于多级特征整合的图像语义分割研究

传统的全卷积神经网络由于不断的池化和下采样操作使得最后的特征热点图分辨率损失严重,导致了分割结果的细节刻画能力的缺失,为了弥补这一缺陷,往往通过跳跃连接融合中层的特征图以恢复空间信息.由于无法充分利用网络的低层特征信息,传统全卷积网络的特征融合阶段存在相当的缺陷,本文对这一现象进行了深入的分析.本文在上采样路径之前采用基于特征金字塔的特征信息增强方法,克服了浅层特征图语义信息匮乏这一缺点,使得整个网络能更充分的利用前向计算产生的特征图,输出的分割结果也更为精确.本文提出的算法在Pascal VOC数据集上取得了75.8%的均像素精度和83.9%的权频交并比,有效的提高了分类精度.     

用于自动驾驶的轻量级语义分割神经网络

图像语义分割在自动驾驶领域有十分重要的应用，可以让机器人在环境中分割出语义信息，从而对下游的控制动作做出决策。但大部分的深度学习模型都比较大，需庞大的计算资源，很难在移动设备中使用。为了解决这个问题，提出了一种用于语义分割的轻量级神经网络模型，采用编码-解码型与二分支型相结合的网络架构，利用分组卷积、深度可分离卷积、多尺度特征融合模块与通道混洗技术减少网络参数量，提升模型预测精度。该模型训练结合Adam训练法与随机梯度下降法，使用Cityscapes数据集，设置1 000个训练周期。经测试，该模型参数量为3.5×10⁶，在单张显卡Nvidia GTX 1070Ti上的运算速度为每秒103帧图片，达到实时计算标准。在模型评估指标中，平均交并比为61.3%，像素准确率为93.4%，性能均优于Seg Net和ENet两种模型。     

融合深层差异特征的RGB-T巢式语义分割网络

针对现存可见光—红外（RGB-T）图像语义分割模型分割性能不高的问题,提出一种基于深层差异特征互补融合的巢式分割网络。具体来说,网络的编码和解码部分通过多级稠密中间路径相连形成一个嵌套形式的结构,编码器的深浅特征通过多级路径供解码器实现密集的多尺度特征复用,另一方面多模态深层特征通过特征差异性融合策略增强其语义表达能力。实验结果表明,所提网络在MFNet数据集上实现了65.8%的平均准确率和54.7%的平均交并比,与其他先进RGB-T分割模型相比,具有更优越的分割能力。     

LRSS-Net:轻量级遥感地物分割网络

针对目前基于深度学习的高分辨率遥感图像分割模型由于参数量大、计算复杂而导致高延迟、低响应的问题,提出了一种轻量级遥感地物分割方法,较好的平衡了速度和精度.该方法使用MobileNetV2进行特征粗提取,通过构建空间信息嵌入分支实现不同尺度的特征细提取,不同层次之间引入密集连接以获取密集的上下文信息.解码端设计特征融合优化策略逐层融合不同尺度的特征增加对细粒度特征的感知,同时以反卷积与双线性插值交替的上采样方式减少图像边缘信息丢失.最后采用交叉熵损失与Dice损失结合的方式加快网络收敛速度.为了验证所提方法的有效性,与几种常用的语义分割方法进行了对比实验.实验结果表明,所提算法的分割准确率为93.7%,MIoU为88.01%,可以实现地物的有效分割.     

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.     

多模型集成的弱监督语义分割算法

为减小池化操作造成空间信息丢失的影响,提高基于迁移学习的弱监督语义分割算法的性能,提出一种多模型集成的弱监督图像语义分割算法.该算法在迁移学习算法的基础上,利用多尺度图像的高层语义特征和单尺度图像的高中层相结合的卷积特征,分别训练2个差异化的同质型基分割模型,并与原迁移学习训练的分割模型进行加权平均,集成构造最后的分割模型.同时结合预测类别可信度调整语义分割中对应类别像素的可信度,抑制分割图中的假正例区域,提高分割的精度.在VOC2012数据集上进行实验的结果表明,验证集上的平均重叠率为55.3%,测试集上的平均重叠率为56.9%,比原迁移学习算法分别提升6.1%和11.1%,也优于其他以类标为弱监督信息的语义分割算法.     

基于深度学习的视频语义分割综述

目前对视频语义分割的研究主要分为两方面,一是如何利用视频帧之间的时序信息提高图像分割的精度;二是如何利用视频帧之间的相似性确定关键帧,减少计算量,提升模型的运行速度.在提升分割精度方面一般设计新的模块,将新模块与现有的CNNs结合;在减少计算量方面,利用帧序列的低层特征相关性选择关键帧,同时减少操作时间.本文首先介绍视频语义分割的发展背景与操作数据集Cityscapes、CamVid;其次,介绍现有的视频语义分割方法;最后总结当前视频语义分割的发展情况,并对未来的发展给出一些展望和建议.     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题,提出一种轻量化的语义分割注意力增强算法。首先,基于驾驶场景中物体的形状特点设计了条状分维注意力机制,使用条形池化代替传统方形卷积,并结合降维操作分维度提取长程语义关联,削减模型计算量。接着融合通道域与空间域上的注意力,形成可叠加与拆解的轻量化多维注意力融合模块,全方位提取特征信息,进一步提升模型精度。最后,将模块插入基于ResNet-101骨干网的编码—解码网络中,指导高低层语义融合,矫正特征图边缘信息,补充预测细节。实验表明,该模块有较强的鲁棒性和泛化能力,与同类型注意力机制相比,削减了约90%的参数量以及80%的计算量,且分割精度依旧取得了稳定的提升。     

基于U-Net特征融合优化策略的遥感影像语义分割方法

高分辨率遥感影像的空间分辨率高、地物信息丰富、复杂程度高、各类地物的大小尺寸不一,这为分割精度的提高带来了一定的难度.为提高遥感影像语义分割精度,解决U-Net模型在结合深层语义信息与浅层位置信息时受限的问题,文中提出了一种基于U-Net特征融合优化策略的遥感影像语义分割方法.该方法采用基于U-Net模型的编码器-译码器结构,在特征提取部分沿用U-Net模型的编码器结构,提取多个层级的特征信息;在特征融合部分保留U-Net的跳跃连接结构,同时使用提出的特征融合优化策略,实现了高层语义特征与底层位置特征的融合-优化-再融合.此外特征融合优化策略还使用空洞卷积获取了更多的全局特征,并采用Sub-Pixel卷积层代替传统转置卷积,实现了自适应上采样.所提方法在ISPRS的Potsdam数据集和Vaihingen数据集上得到了验证,其总体分割精度、Kappa系数和平均交并比mIoU 3个评价指标在Potsdam数据集上分别为86.2％,0.82,0.77,在Vaihingen数据集上分别为84.5％,0.79,0.69;相比传统的U-Net模型,所提方法的3个评价指标在Potsdam数据集上分别提高了5.8％,8％,8％,在Vaihingen数据集上分别提高了3.5％,4％,11％.实验结果表明,基于U-Net特征融合优化策略的遥感影像语义分割方法,在Potsdam数据集和Vaihingen数据集上都能达到很好的语义分割效果,提高了遥感影像的语义分割精度.     

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation, UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先, RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.