融合深层差异特征的RGB-T巢式语义分割网络

针对现存可见光—红外（RGB-T）图像语义分割模型分割性能不高的问题,提出一种基于深层差异特征互补融合的巢式分割网络。具体来说,网络的编码和解码部分通过多级稠密中间路径相连形成一个嵌套形式的结构,编码器的深浅特征通过多级路径供解码器实现密集的多尺度特征复用,另一方面多模态深层特征通过特征差异性融合策略增强其语义表达能力。实验结果表明,所提网络在MFNet数据集上实现了65.8%的平均准确率和54.7%的平均交并比,与其他先进RGB-T分割模型相比,具有更优越的分割能力。     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

基于多级上下文引导的实时语义分割网络

针对实时语义分割方法中因忽略其本质所导致的分割精度不高的问题,提出了一种多级上下文引导的轻量化网络。首先,将深度可分离卷积及非对称卷积相结合,设计了基于并行非对称卷积的上下文引导模型以学习局部特征及其周围上下文构成的联合特征;其次,将该模型堆叠于网络来实现特征的多级优化;最后,通过通道注意模型筛选出与更高阶段语义一致的浅层特征,从而提高分割效果。实验结果表明,所提网络在Cityscapes数据集上以94.7的帧速率获得了72.4%的平均交并比,并在CamVid数据集上取得显著的性能提升。同当前的其他实时语义分割方法相比,该网络性能更优。     

双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊,进而导致分割不准确以及分割精度较低,针对这些问题,本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet.该模型包含了光流场计算和语义分割网络:将光流场计算得到的运动特征与图像语义特征进行融合,通过网络学习达到了最优的分割效果.模型采用编码器-解码器结构,本文提出的多感受野平均池化模块用于提取多尺度语义特征,减少了特征丢失;解码器部分使用了多路上采样方法和跳跃连接,保证了语义特征被有效还原.本文使用ACDC公开数据集对模型进行训练与测试,并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比.实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

基于深度学习的无人机图像语义分割算法研究

已有关于无人机视觉的图像语义分割算法多数是对遥感图像进行分割,无法表现地面细节信息,导致无人机在低空飞行任务中的实时自主环境感知存在障碍。针对该问题,提出一种低空无人机实时图像语义分割方法。设计一种新型的超网络体系结构,在编码器的最后一层加入一个上下文头权重生成模块,在编码器编码结束前生成解码器中每个块的权重,以减少预测时网络的参数量和计算量,达到实时分割的效果。在解码器中,利用局部连接层机制设计一种动态分片卷积算法,在面对跨越多个分片的大型分割对象时充分考虑上下文语义信息,使解码器中每个卷积核的权重随输入特征图的空间位置而变化,同时利用动态权重针对性地分割不同物体,最大程度地提高网络的自适应性。在低空无人机视觉图像数据集上的实验结果表明,该方法对于建筑、道路、静态车等类别图像的平均交并比为66.3%,预测速度达到37.9帧/s,与MSD、ABCNet算法相比,其分割精度分别提升9.3和2.5个百分点。     

基于语义分割的全卷积图像描述模型

为快速生成准确描述图片内容的语句,提出语义分割和卷积神经网络(convolutional neural network, CNN)相结合的图像描述方法。将图像分类模型和语义分割模型结合为编码器,增强对图像语义信息的利用,采用CNN代替长短时记忆网络(long short term memory, LSTM)作为解码器生成完整描述性语句。通过在MSCOCO数据集上与5种主流算法的对比实验可知,以CNN作为解码器能够大幅提高解码速度,语义信息的增强能够有效提高实验精度,验证了该方法的有效性和可行性。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于深度神经网络的软件机器人语义识别方法

由于软件机器人语义识别中存在噪音,易产生表述不清等问题,增加了数据分析难度,影响了语义识别效果,为此,设计一种基于深度神经网络的软件机器人语义识别方法。通过Python语言中的urllib模块和NPL模块抓取二分类语料中的正负语料,搭建软件语料库。利用输出模块、解码器模块、编码器模块以及数据输入模块构建深度卷积神经网络模型,对融合后的张量进行处理后,获取语义分割结果。设计联合语义智能机器人识别模型,通过合并意图识别与实体识别,实现软件机器人语义识别。测试结果表明,设计方法的平均F₁值高于0.82,最高错误率低于0.592%,语义分割标准度量值高于0.83,对大量数据进行语义识别时花费时间较短,证明了设计方法具有较好的语义识别效果。     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

基于DeepLab的物体部件分割网络

针对现有部件分割精度较低、泛化性和精度无法兼顾等问题,文中提出基于DeepLab的物体部件分割网络(DeepLab-MAFE-DSC).网络的编码器部分提出多尺度自适应形态特征提取模块(MAFE),利用可形变卷积增强模型对不规则轮廓的处理能力,并采取先级联再并行相加的采样模式,兼顾全局和局部信息.解码器部分设计基于跳跃式架构的解码器模块(DSC),同时连接深层的语义信息和浅层的表征信息.在数据集上的实验表明,DeepLab-MAFE-DSC具有简单、分割精度较高、泛化性较强的优点.     

多专家注释的视杯和视盘不确定性量化

现有基于深度学习的视杯和视盘分割方法在模型训练时,仅使用图像的单个注释或从多个注释中获取唯一的注释信息,忽略原始多专家标注中嵌入的一致性或差异性信息,从而导致模型和预测结果过度自信等问题。提出一种基于多解码器不确定性感知体系的模型MUA-Net。通过引入专业知识推断模块,将各个专家注释的专业知识水平作为先验知识嵌入编码器和解码器的瓶颈中,以形成包含专家线索的高级语义特征。利用可同时学习多个注释的多解码器结构调节多专家之间的分歧,重构多专家注释过程,并对不确定或分歧区域进行量化。提出一种双分支软注意机制,增强多解码器分割预测的模糊区域,得到最终校准的分割结果。实验结果表明,该模型在RIGA数据集上能以较高的不确定性预测合理的区域,与MRNet模型相比,该模型在视杯分割中的平均精度、Dice系数、交并比分别提升了0.75、0.39、0.41个百分点。     

深度学习实时语义分割算法研究综述

语义分割是从像素的角度分割出图片中的不同对象,并对原始图片中的每个像素进行标注的一种技术。但由于无人机导航、遥感图像、医疗诊断等应用领域需要实时地进行语义分割处理。所以,基于深度学习的实时语义分割技术得到了迅速的发展。实时语义分割技术发展至今已有许多的技术与模型。基于此,在对相关文献进行研究的基础上,由语义分割技术引出了实时语义分割技术,并简单叙述了实时语义分割的优点。随后,研讨出目前实时语义分割存在的重难点。根据重难点进而对已存在的相关技术与模型进行阐述,并总结技术与模型的优缺点。最后,展望实时语义分割所面临的挑战,并对实时语义分割进行了总结与归纳,为后续的研讨提供了一些理论参考。     

引入独立融合分支的双模态语义分割网络

基于可见光、红外双模态数据的场景语义分割在多种复杂环境下较单模态分割显现出更好的性能,然而,获取较好分割效果的前提条件是可见光相机和红外热像仪的成像均清晰。真实场景中存在较多不利的环境因素,如恶劣的光照和天气会对可见光或红外产生不同程度的干扰,从而限制了基于双模态语义分割方法的性能表现。为解决该问题,建立一种改进的双模态语义分割模型。在双流网络架构的基础上增加红外与可见光的像素级融合模块,将其作为一个独立的分支网络并与可见光、红外2个已有分支进行特征级融合,从而实现双模态的像素级和特征级融合。此外,在融合分支中增加空间、通道注意力机制,以挖掘双模态在像素级上的互补特征。实验结果表明,在MF和FR-T这2个公开数据集上,该模型的mIoU指标相比性能表现次优的RTFNet-50模型分别提高6.5和0.6个百分点,且在双模态图像降质和失效时依然具有良好的分割性能。     

基于注意力机制的改进UNet草莓病害语义分割

针对当前传统农作物病害语义分割方法精度不高、鲁棒性差等问题,本文提出了基于注意力机制的改进UNet草莓病害语义分割模型.首先,在编码器中加入CNN-Transformer混合结构,增强全局信息与局部细节信息的特征提取能力.其次,在解码器中将dual up-sample模块替换传统上采样,提高特征提取能力与分割精度.再使用hard-swish激活函数代替ReLU激活函数,更加平滑的曲线有助于提高泛化性和非线性特征提取能力,防止梯度消失.最后,通过使用结合交叉熵Dice损失函数,加强模型对分割结果的约束,进一步提升分割精度.实验采用了由7种草莓病害2 500张图像组成的数据集,在复杂背景下对草莓病害进行分割,语义分割像素精度达到92.56%,平均交并比达到84.97%.实验结果表明,本文的改进UNet在草莓病害语义分割方面,能实现更好的分割效果,优于大多数分割模型.     

门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

基于深度学习的涂层织物折皱识别与检测

涂层织物在生产制造和使用中易产生折皱损伤,人工折皱检测效率较低,传统图像处理方法的检测精度无法满足要求。提出一种基于深度卷积神经网络的涂层织物折皱识别和检测方法。通过标准揉搓试验建立数据集,网络编码和解码器分别采用多尺度特征融合结构和优化上采样模块,使用形态学方法进行折皱几何信息的实时统计。当前检测方法准确率达到95.78%,比传统语义分割技术及其他深度学习模型有很大的提升。     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

多尺度信息融合的遥感图像语义分割模型

遥感图像分割是目前学术界和工业界的一个研究热点,在城市规划、变化检测以及GIS信息构建等方面有着十分广泛的应用.然而,诸多复杂因素(如多变的尺度、多样化的拓扑形状以及复杂的背景和阴影等)使得遥感图像语义分割成为一项具有挑战性的任务.为此,提出一种基于多尺度信息融合的遥感图像语义分割深层卷积神经网络模型,该模型分为编码器和解码器2部分.在编码阶段,设计了基于DenseNet网络的跨卷积层级的多尺度特征融合策略,采用子区域全局平均池化及多尺度卷积处理复杂的背景区域;在解码阶段,为了准确地恢复图像的细节信息,设计了能够融合不同层级卷积特征的短解码器;最后,在整体模型构建方面设计了一种具有多输出的分层监督机制网络模型,从不同层级获取监督信息,可在充分利用监督信息的同时更好地引导网络的训练.在ISPRS公开数据集以及北京市遥感数据集上,通过实验验证了文中模型的有效性.     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。