多尺度特征对齐聚合的语义分割方法

卷积神经网络在对图像进行语义分割时,高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题,更好地聚合多尺度特征信息,提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移,可以有效缓解不同尺度特征聚合的特征不对齐问题,同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息,通过多个MFAA模块将高低层特征对齐之后聚合到一起,从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证,使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明,该方法与几种主流分割方法相比在评价指标方面存在优越性,可以有效提高图像分割的效果。     

融合多尺度特征与注意力的脑白质病变分割

针对目前磁共振脑影像上的脑白质病变分割精度较低、小病灶易漏识的问题,提出一种结合多尺度信息与注意力机制的U-Net改进模型用于脑白质病变分割.首先,引入多尺度卷积模块以拓展网络宽度,提升特征捕获能力.其次,引入混合下采样模块,对粗、细两种粒度的下采样特征进行融合以减少下采样过程中的信息损失;同时,引入跨层融合模块,通过对跳跃连接两端的编、解码信息进行融合,降低对等层间的语义差异.最后,在编码阶段采用分散注意力模式,根据深、浅层的不同特点分别设计空间注意力模块和通道注意力模块,以增强网络对病灶区域的关注度.在MICCAI2017 WMHs分割挑战赛提供的公开数据集上与同任务的其它文献算法进行对比,本文算法在召回率和相似系数的性能评估上均获得了有效提升,分别达到了0.834和0.803,这表明本文算法是一种有效的脑白质病变自动分割算法.     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

多尺度特征融合全卷积神经网络脑肿瘤MR图像分割

针对传统以及基于深度学习的脑肿瘤MR图像分割方法存在精度低、特征信息丢失等问题,提出一种多尺度特征融合全卷积神经网络的脑肿瘤MR图像分割算法.该算法首先对脑肿瘤MR图像的4种模态进行归一化处理;将得到的结果通过多尺度特征融合全卷积神经网络(MFF-FCN).该网络是在全卷积神经网络的基础上,引入5×5、7×7大小的卷积...     

融合多尺度特征的改进Deeplab v3+图像语义分割算法

针对当前Deeplab v3+模型没有充分采用高分辨率的浅层特征出现的错误分割、遗漏分割等现象,提出一种融合多尺度特征的改进Deeplab v3+特征图像语义分割算法。在主干网络中,引入多尺度金字塔卷积;将空洞空间卷积池化金字塔中的标准卷积替换为深度可分离卷积,减少整体模型的参数量;最后,在解码层采用多尺度方法来捕捉获取全局背景,将背景特征通过注意力机制,再与浅层特征和空洞空间金字塔池化层结合,丰富融合后的浅层特征语义信息。实验表明,在CityScapes验证集中,所提算法具有更好的边缘分割效果,平均交并比达到了74.76%,较原有算法提升了2.20%。通过与先进算法比较,也证明所提算法应对改善错误分割、遗漏分割的有效性。     

利用注意力机制融合多尺度特征的图像去雨方法

针对图像中累积的雨水严重干扰高层视觉算法运行的问题,提出了一种高效的图像去雨方法。该方法利用注意力机制设计了一个多尺度特征融合去雨网络。首先用一个预处理模块提取出雨水的浅层特征,再将浅层特征送入多尺度特征融合模块获得深层次的特征,在多尺度特征融合模块中引入注意力机制将这些特征进行融合,提高模块中使用平滑扩张卷积减少伪影问题。实验结果表明,该方法在公开雨水数据集Rain100 H、Rain100 L和Rain12上获得的峰值信噪比(PSNR)和结构相似比(SSIM)指标相比其它方法分别平均提高了0.93 dB和1.43%,获得了更清晰的去雨结果。     

渐进式多尺度特征融合的图像去镜头雨滴方法

针对附着在镜头上的雨滴会造成图像退化和背景信息丢失问题,提出一种渐进式多尺度特征融合的单幅图像去镜头雨滴的方法,以采样至不同尺度的镜头雨滴附着图像为输入,通过重复堆叠的残差模块和循环神经网络进行渐进式雨滴特征提取,捕获从局部到全局的雨滴特征信息,在不同空间维度上探索互补的信息来更好地表征尺寸形状多变、位置随机分布的雨滴,对多尺度的雨滴特征进行融合,最后按照线性叠加物理模型恢复出清晰背景图像。使用公开数据集进行训练得到去镜头雨滴模型,在其测试集以及真实采集的镜头雨滴附着图像上进行了测试,在量化指标和可视化结果方面都取得了较好的效果,并表现出良好的泛化性能。     

融合注意力机制的金属缺陷图像分割方法

由于金属表面缺陷图像的特性,有效精确分割是图像处理任务中的一大挑战.为了获得缺陷的类型、大小及位置信息,本文提出一种融合注意力机制的金属缺陷图像分割网络.该网络分为两条路径,语义信息路径主要由残差块构成的卷积网络获得特征图,采样过程中分步融合注意力机制以增强特征与背景对比度.旁路路径设计注意力机制模块获得位置信息的权重...     

一种新的多尺度深度学习图像语义理解方法研究

如何在深度学习中融合 图像的多尺度信息,是基于深度学习的视觉算法需要解决的一个关键问题。本文提出一种基 于多尺度交替 迭代训练的深度学习方法,并应用于图像的语义理解。算法采用卷积神经网络(CNN)从原始 图像中提取稠密性特征 来编码以每个像素为中心的矩形区域,将多个尺度图像交替迭代训练,能够捕获不同尺度下 的纹理、颜色和 边缘等重要信息。在深度学习提取特征分类结果的基础上,提出了一种结合超像素分割的方 法,统计超像 素块的主导类别,来校正分类错误的像素类别,同时描绘出目标区域边界轮廓,完成最终的 语义理解。在Stanford Background Dataset 8类数据集上验证了本文方法的有效性,准确 率达到77.4%。     

基于编码-解码神经网络遥感图像语义分割应用研究

图像分割的实现经历了从传统方法到神经网络方法的演变.本文从图像分割的发展过程入手,介绍了图像分割与语义分割的区别,对最近几年传统图像分割方法在遥感图像分割领域的应用进行梳理分析,总结了传统遥感图像分割方法的不足.基于此,归纳了几种经典编码-解码神经网络架构在遥感图像语义分割领域的应用,对其改进方式进行了综合性分析,并对...     

基于多尺度近端特征拼接网络的高光谱图像分类方法

针对基于传统卷积神经网络模型的高光谱图像分类算法细节表现力不强及网络结构过于复杂的问题,设计了一种基于多尺度近端特征拼接网络的高光谱图像分类方法.通过引入多尺度滤波器和空洞卷积,在保持模型轻量化的同时可以获取更丰富的空间-光谱判别特征,并提出利用卷积神经网络近端特征间的相互联系进一步增强细节表现力.在3个基准高光谱图像...     

一种改进的噪声图像语义分割方法

在图像的获取和传输过程中,可能会出现噪声, 它不仅破坏了图像的真实信息,而且严重影响了图像的视觉效果。因此, 噪声图像的语义分割成为图像分析中最具挑战性的问题之一。为了提高噪声图像的分割性能 ,本文在分析全卷积网络(FCN)的 基础上,提出一种改进的FCN模型(IFCN)对噪声图像语义分割。该算法采用一种新的中值 池化方法代替卷积神经网络的最大值 池化,可以在去除噪声的同时保留更多边缘信息。在训练整个深度网络时,通过反向传播算 法以一种直接的端到端,像素到像素 的方式映射。实验结果表明,提出的模型在PASCAL VOC2012数据集上对噪声图像语义分割 可以获得比较好的分割效果,准确率mean IU达到86.5%。     

基于多尺度特征选择性融合的遥感图像检测算法北大核心CSCD

遥感图像的检测在监察自然环境、军事、国土安全等方面具有极其广阔的应用前景,而遥感图像具有背景复杂、目标面积小、特征提取困难等缺点,进行检测时容易产生小目标漏检问题。本文提出一种基于多尺度特征选择性融合的遥感图像检测算法。所提算法采用改进的Resnet50作为主干网络,将Resnet50第一个卷积替换成动态卷积,并将其ConvBlock模块中的卷积替换成金字塔卷积,提高特征提取能力。同时,为了避免遗漏底层信息,在动态卷积层后加入所提有效空间通道注意力机制模块。最后,选取基于上下文信息的不同尺度特征进行融合,提高了模型对目标物体的定位能力。实验结果表明,本文算法在保证速度的同时提高了对遥感图像的检测精度,在遥感图像公开数据集RSOD和NWPUVHR-10上平均精度均值(mean average precision,mAP)分别达到91.88%和90.23%,检测速度达到33 FPS。     

Study on traffic scene semantic segmentation method based on convolutional neural network

In order to improve the semantic segmentation accuracy of traffic scene,a segmentation method was proposed based on RGB-D image and convolutional neural network.Firstly,on the basis of semi-global stereo matching algorithm,the disparity map was obtained,and the sample library was established by fusing the disparity map D and RGB image into the four-channel RGB-D image.Then,with two different structures,the networks were trained by using two different learning rate adjustment strategy respectively.Finally,the traffic scene semantic segmentation test was carried out with RGB-D image as the input,and the results were compared with the segmentation method based on RGB image.The experimental results show that the proposed traffic scene segmentation algorithm based on RGB-D image can achieve higher semantic segmentation accuracy than that based on RGB image.     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

一种改进EDLines模型的唐卡图像头饰语义分割方法

为了克服现有肖像唐卡图像头饰分割方法的局限 性和像素级标注全监督语义分割的 高成本,我们提出了一种带有框级标注的弱监督语义分割方法。首先,所提出的方法使用Ca nny算法来获取头饰的粗糙边缘。其次,利用改进的EDLines算法来提取头饰的关键点。最后 ,本文使用Polygons处理,根据头饰的特点生成特征掩码。实验表明,在人像唐卡图像佛 像头饰的分割中,该方法的平均像素联合交集(mean intersection over union, mIoU)指数比语义分割实例方法(semantic segmentation instance,SDI)高7.56%,比弱监督实例分割-包围盒先验方法(weakly-supervised instance segmentation_bounding box prior, WSIS_BBTP)高6.11%,具有有效性。