轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

融合注意力机制的端到端的街道场景语义分割

随着注意力机制的出现,研究人员开始通过对神经网络的特征图中的不同关注角度添加注意力机制来提升图像语义分割准确率.现有融合注意力机制的方法,大多通过计算像素与其它像素之间的关系来求得该像素点的注意力权值,这些方法提升效果具有局限性.针对以上问题,设计了两种不同的注意力模块：空间-条形注意力和通道注意力,提出了一种融合注意力机制的端到端的街道场景语义分割方法.空间-条形注意力采用两种不同条形池化核,捕获条形分布区域之间的长距离依赖关系,可以有效捕获局部和全局上下文信息.在Cityscapes数据集上的实验表明,该算法在验证集和测试集上的分割精度分别为76.89%、77.8%,与现有的算法相比有更好的表现.本文结合人类视觉注意力的特点,提出的两个注意力模型,使得街道场景下的语义分割效果更加准确.     

基于注意力融合的语义分割网络

为赋予语义分割网络在给定空间位置下选择性强调整体信息或细节信息的能力,提出了一种注意力融合算法,本算法在空洞空间金字塔池化(ASPP)的基础上融合胶囊网络中动态路由算法.首先,以骨干网络输出作为输入,经过多条并行空洞卷积支路得到不同尺度的特征图.然后,在每一条空洞卷积支路的后面增添一条评估支路来评测该条空洞卷积支路单独...     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

融合双重极化注意力的轻量化半监督语义分割

针对目前半监督语义分割方法复杂度高、训练精度低、参数量过大等问题,提出融合双重极化自注意力机制的轻量级半监督语义分割算法。模型使用由位置感知循环卷积构造的Resnet-101残差网络作为分割骨干网络提取深层特征。融合了通道及空间双重极化自注意力机制,在极化通道和空间注意力分支中保持较高内部分辨率。将位置感知循环卷积与通道注意力操作结合起来,提升分割精度并降低计算成本,克服硬件支持等问题。在公开数据集PASCAL VOC 2012上的实验结果显示,该算法其平均交并比可达到76.32%,较基准模型准确率提高了2.52个百分点,参数量减少了9%,模型硬件所占内存减小了61.6%。设计的模型与领域内最新算法相比,该算法在精度、模型复杂度、参数量等方面均展现出了显著的优势。     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

遥感图像语义分割的多特征注意力融合网络

针对高分辨率遥感图像中存在背景复杂、目标大小不一、类间具有相似性的问题,提出一种用于遥感图像语义分割的多特征注意力融合网络(Multi-feature Attention Fusion, MAFNet)。MAFNet基于编码和解码结构,在编码阶段,采用空间金字塔池化获取多尺度的上下文信息,同时融合特征通道之间的关联信息,提高特征图的语义表征能力;在解码阶段,基于注意力机制将高层特征与低层特征自适应地融合,逐级恢复目标的细节特征。在公开的数据集Potsdam和Vaihingen上设计了对比实验,PA值分别达到了89.6%和89.1%,验证了该方法的有效性。     

基于非结构化数据的语义建模及优化

非结构化数据是大型企业的宝贵数据资产,其基本特征是数据格式多样、数据存储分散、数据总量大、增长速度快,蕴含有提升企业管理水平的大量重要信息.非结构化数据的统一存储、集中管理与深化应用是当今大型企业信息化建设的重要方向之一.文章从非结构化数据和结构化数据的特点、可行性分析,以及对非结构化数据的重要模块语义分析建模及其优化从而高校提炼出结构化信息几个方面来讲述非结构数据的特点.从而为企业解决非结构化数据的集中存储、有效利用等技术难题,提高企业的管理.     

基于多尺度注意力机制的道路场景语义分割模型

通过对道路场景进行语义分割可以辅助车辆感知周边环境,达到避让行人、车辆以及各类小目标物体障碍的目的,提高行驶的安全性。针对道路场景语义分割中小目标物体识别精度不高、网络参数量过大等问题,提出一种基于多尺度注意力机制的语义分割模型。利用小波变换的多尺度多频率信息分析特性,设计一种多尺度小波注意力模块,并将其嵌入到编码器结构中,通过融合不同尺度及频率的特征信息,保留更多的边缘轮廓细节。使用编码器与解码器之间的层级连接,以及改进的金字塔池化模块进行多方面特征提取,在保留上下文特征信息的同时获得更多的图像细节。通过设计多级损失函数训练网络模型,从而加快网络收敛。在剑桥驾驶标注视频数据集上的实验结果表明,该模型的平均交并比为60.21%,与DeepLabV3+和DenseASPP模型相比参数量减少近30%,在不额外增加参数量的前提下提升了模型的分割精度,且在不同场景下均具有较好的鲁棒性。     

高效率图片语义分割网络的研究与设计

针对目前卷积神经网络在图像语义分割上存在运算效率的不足,考虑实际嵌入式移动设备应用中对网络模型大小、运算速度和能耗的需求,研究和讨论了语义分割网络参数的压缩方法和网络结构的优化方式,并利用深度可分离卷积、多尺寸卷积核融合和金字塔池化的方法,提出快速、准确的小尺寸语义分割网络模型。该网络模型在Cityscapes数据集上进行训练和测试,在模型尺寸、运算时间和分割精度等方面都有良好的表现,能够同时兼顾语义分割任务中对效率和精度的要求,提高了语义分割技术在嵌入式移动设备上的实用性。     

基于密集层和注意力机制的快速语义分割

针对传统语义分割网络速度慢、精度低的问题,提出一种基于密集层和注意力机制的快速场景语义分割方法.在ResNet网络中加入密集层和注意力模块,密集层部分采用两路传播方式,以更好地获得多尺度目标,并使用分组卷积减少计算量.同时在特征提取网络中加入注意力模块,以减少精度损失.实验结果表明,该方法在保证分割精度的前提下提升了分割速度,在Cityscapes数据集上得到了81.5%的MIOU,速度为42.3 frame/s,在ADE20K数据集上得到了61.8%的MIOU,速度为27.9 frame/s.     

联合语义分割与注意力机制的行人再识别模型

受行人姿态变化、光照视角、背景变换等因素的影响,现有行人再识别模型通常对数据集中的行人分成若干块提取图像的局部特征进行辨识以提高识别精度,但存在人体局部特征不匹配、容易丢失非人体部件的上下文线索等问题。构建一种改进的行人再识别模型,通过将人体语义解析网络的局部特征进行对齐,增强行人语义分割模型对图像中行人任意轮廓的建模能力,利用局部注意力网络捕捉非人体部分丢失的语境线索。实验结果表明,该模型在Market-1501、DukeMTMC和CUHK03数据集上的平均精度均值分别达到83.5%、80.8%和92.4%,在DukeMTMC数据集上的Rank-1为90.2%,相比基于注意力机制、行人语义解析和局部对齐网络的行人再识别模型具有更强的鲁棒性和迁移性。     

多模态特征融合的遥感图像语义分割网络

遥感图像语义分割是指通过对遥感图像上每个像素分配语义标签并标注,从而形成分割图的过程,在国土资源规划、智慧城市等领域有着广泛的应用。高分辨率遥感图像存在目标大小尺度不一与阴影遮挡等问题,单一模态下对相似地物和阴影遮挡地物分割较为困难。针对上述问题,提出了将IRRG（infrared、red、green）图像与DSM（digital surface model）图像融合的遥感图像语义分割网络MMFNet。网络采用编码器-解码器的结构,编码层采用双输入流的方式同时提取IRRG图像的光谱特征和DSM图像的高度特征。解码器使用残差解码块（residual decoding block,RDB）提取融合后的特征,并使用密集连接的方式加强特征的传播和复用。提出复合空洞空间金字塔（complex atrous spatial pyramid pooling,CASPP）模块提取跳跃连接的多尺度特征。在国际摄影测量与遥感学会（international society for photogrammetry and remote sensing,ISPRS）提供的Vaihingen和Potsdam数据集上进行了实验,MMFNet分别取得了90.44%和90.70%的全局精确度,相比较与DeepLabV3+、OCRNet等通用分割网络和CEVO、UFMG_4等同数据集专用分割网络具有更高的分割精确度。     

基于边缘特征和注意力机制的图像语义分割

在语义分割任务中, 编码器的下采样过程会导致分辨率降低, 造成图像空间信息细节的丢失, 因此在物体边缘会出现分割不连续或者错误分割的现象, 进而对整体分割性能产生负面影响. 针对上述问题, 提出基于边缘特征和注意力机制的图像语义分割模型EASSNet. 首先, 使用边缘检测算子计算原始图像的边缘图, 通过池化下采样和卷积运算提取边缘特征. 接着, 将边缘特征融合到经过编码器提取的深层语义特征当中, 恢复经过下采样的特征图像的空间细节信息, 并且通过注意力机制来强化有意义的信息, 从而提高物体边缘分割的准确性, 进而提升语义分割的整体性能. 最后, EASSNet在PASCAL VOC 2012和Cityscapes数据集上的平均交并比分别达到85.9%和76.7%, 与当前流行的语义分割网络相比, 整体分割性能和物体边缘的分割效果都具有明显优势.     

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题, 提出了一种交叉特征融合和RASPP驱动的场景分割方法. 该方法以交叉特征融合的方式合并编码器输出的多尺度特征, 在融合高层语义信息时使用复合卷积注意力模块进行处理, 避免上采样操作造成的特征信息丢失以及引入噪声的影响, 细化目标边缘分割效果. 同时提出了深度可分离残差卷积, 在此基础上设计并实现了结合残差的金字塔池化模块——RASPP, 对交叉融合后的特征进行处理, 获得不同尺度的上下文信息, 增强特征语义表达. 最后, 将RASPP模块处理后的特征进行合并, 提升分割效果. 在Cityscapes和CamVid数据集上的实验结果表明, 本文提出方法相比现有方法具有更好的表现, 并且对场景中的目标边缘有更好的分割效果.     

基于注意力机制的改进UNet草莓病害语义分割

针对当前传统农作物病害语义分割方法精度不高、鲁棒性差等问题,本文提出了基于注意力机制的改进UNet草莓病害语义分割模型.首先,在编码器中加入CNN-Transformer混合结构,增强全局信息与局部细节信息的特征提取能力.其次,在解码器中将dual up-sample模块替换传统上采样,提高特征提取能力与分割精度.再使用hard-swish激活函数代替ReLU激活函数,更加平滑的曲线有助于提高泛化性和非线性特征提取能力,防止梯度消失.最后,通过使用结合交叉熵Dice损失函数,加强模型对分割结果的约束,进一步提升分割精度.实验采用了由7种草莓病害2 500张图像组成的数据集,在复杂背景下对草莓病害进行分割,语义分割像素精度达到92.56%,平均交并比达到84.97%.实验结果表明,本文的改进UNet在草莓病害语义分割方面,能实现更好的分割效果,优于大多数分割模型.     

基于轻量语义分割网络的遥感土地覆盖分类

高分辨率遥感图像有丰富的空间特征, 针对遥感土地覆盖方法中模型复杂, 边界模糊和多尺度分割等问题, 提出了一种基于边界与多尺度信息的轻量化语义分割网络. 首先, 使用轻量化的MobileNetV3分类器, 采用深度可分离卷积来减少计算量. 其次, 使用自顶向下和自底向上的特征金字塔结构来进行多尺度分割. 接着, 设计了一个边界增强模块, 为分割任务提供丰富的边界细节信息. 然后, 设计了一个特征融合模块, 融合边界与多尺度语义特征. 最后, 使用交叉熵损失函数和Dice损失函数来处理样本不平衡的问题. 在 WHDLD数据集的平均交并比达到了59.64%, 总体精度达到了87.68%. 在DeepGlobe数据集的平均交并比达到了70.42%, 总体精度达到了88.81%. 实验结果表明, 该模型能快速有效地实现遥感图像土地覆盖分类.     

基于注意力机制和辅助任务的语义分割算法

为提高网络模型低层特征的离散度和语义分割算法的性能,以全卷积神经网络作为基础模型,提出一种基于辅助损失、边缘检测辅助任务和注意力机制的语义分割算法。通过重新设计网络模型的辅助损失分支,使网络低层特征编码更多语义信息。在多任务学习中,选择边缘检测作为辅助任务,基于注意力机制设计边缘检测的辅助任务分支,使网络模型更关注物体的形状和边缘信息。在此基础上,将基础模型、辅助损失分支、辅助任务分支集成构造为语义分割模型。在VOC2012数据集上的实验结果表明,该算法的平均交并比为71.5%,相比基础模型算法提高了6个百分点。