基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

多源遥感图像融合语义分割发展现状与展望

遥感图像的语义信息提取正成为城市规划利用、土地覆盖勘察、灾害变化检测以及海上态势感知等研究方向的关键技术之一。文中从由“单源”向“多源”发展的遥感图像智能处理需求出发,首先概述并分析了大数据时代和深度学习背景下的遥感图像语义分割发展现状,主要包括单一来源图像语义分割、多源遥感图像融合语义分割和多源(同质/异质)遥感图像变化检测。然后在阐述主要方法的基础上,提炼并总结了多源遥感图像语义分割的关键技术,主要有单源遥感图像快速语义分割、语义信息辅助的多源遥感图像精确配准与融合、基于多源遥感图像的语义信息智能提取。最后,针对多源遥感图像在轨处理需求,概括出高分辨率多源遥感图像智能一体化信息提取所面临的技术挑战,并对未来发展趋势进行展望。     

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。     

基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

基于双注意力机制图像分割模型的研究

本文研究的图像语义分割是计算机视觉研究的重要部分,为提高场景图像语义分割的准确率,且考虑到基于全卷积神经网络的双重语义分割模型(Dual-Attention)存在边缘分割不均匀、正负样本不平衡的问题。本文采用边缘模块,增强边缘分割能力并且优化图像的边缘细节;采用一种基于样本距离的损失函数,来调节正负样本。在场景cityscapes数据集上进行了实验与验证,结果表明改进之后的模型单尺度平均交并比(MIoU)相比原算法相对提高2.96%。它能够更加精细地分割目标,较好地解决分割边界不精细,有效地抑制边界区域分割的不均匀问题。     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题,提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性,更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性,更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准,抑制冗余信息,加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验,平均交并比分别达到了81.34%和76.27%,使图像边缘分割更细致,类别更清晰,显著优于本文对比算法。     

基于视觉注意机制的遥感图像船只检测

针对视觉注意机制中Itti模型在显著性区域提取中提取颜色、方向和亮度3种特征,应用到遥感图像中容易造成错检的问题,在Itti模型基础上提出了改进的显著性模型,用纹理特征代替Itti模型中的颜色特征和亮度特征,同时考虑了图像在频域中的显著性。对改进后的算法进行仿真,仿真结果表明,改进算法检测精度高、实时性好,显著区域与目标基本一致,能够有效地检测遥感图像中船只目标。     

基于U-Net的遥感图像语义分割

遥感图像由于包含的地物尺度差别大、地物边界复杂等原因,造成准确提取遥感图像特征具有一定难度,精确分割遥感图像比较困难。针对这一问题,提出了一种编码-解码器的AFU-Net网络。在U-Net基础上使用一个自下而上、自上而下的结构,并引入密集跳跃连接得到融合不同层次的多尺度特征。使用非对称卷积块强化水平和垂直方向的平方卷积核,并采用残差单元加深网络深度。利用FReLU激活函数提升网络解析能力,从而提高遥感图像语义分割精度。在ISPRS的Vaihingen数据集实验结果表明,AFU-Net结构的性能要优于FCN,U-Net等算法。     

Convolutional Neural Network for the Semantic Segmentation of Remote Sensing Images

Mobile Networks and Applications - In recent years, the success of deep learning in natural scene image processing boosted its application in the analysis of remote sensing images. In this paper,...     

基于GLNet和HRNet的高分辨率遥感影像语义分割

在GLNet（Global-Local Network）中,全局分支采用ResNet（Residual Network）作为主干网络,其侧边输出的特征图分辨率较低,而且表征能力不足,局部分支融合全局分支中未充分学习的特征图,造成分割准确率欠佳。针对上述问题,提出了一种基于GLNet和HRNet（High-Resolution Network）的改进网络用于高分辨率遥感影像语义分割。首先,利用HRNet取代全局分支中原有的ResNet主干,获取表征能力更强,分辨率更高的特征图。然后,采用多级损失函数对网络进行优化,使输出结果与人工标记更为相似。最后,独立训练局部分支,以消除全局分支中特征图所带来的混淆。在高分辨率遥感影像数据集上,对所提出的改进网络进行训练和测试,实验结果表明,改进网络在全局分支和局部分支上的平均绝对误差（Mean Absolute Error,MAE）分别为0.0630和0.0479,在分割准确率和平均绝对误差方面均优于GLNet。     

基于不变特征的多源遥感图像舰船目标检测算法

由于域偏移的存在,多源图像舰船目标检测任务面临着不同源传感器带来的图像风格差异难题.另外,为特定数据源训练特定的检测模型会消耗大量的计算资源,严重限制了其在军民用领域的工程应用.因此,设计一个通用网络以有效检测来自不同源遥感数据的舰船目标成了当下的研究热点.针对该需求,本文提出了一种基于不变特征的通用舰船目标检测方法,...     

基于深度卷积网络的高分遥感图像语义分割

随着我国高分对地观测系统的不断发展,对高分影像智能化分析与处理的应用需求愈来愈多,基于深度学习语义分割的影像分类也受到高度关注。作为近景图像语义分割的热点模型,Deeplab网络在应用时取得了良好的效果。为了解决多尺度高分辨率遥感影像语义分割问题,本文首先利用空洞卷积扩大Atrous空间金字塔池化（ASPP）结构的感受野,然后对DeepLabv3进行改进并将其用于高分2号遥感影像的分类处理。我们以郴州地区的高分遥感影像为研究对方法进行了验证,首先对原始影像进行预处理,再对预处理图像进行数据增强与扩充,最后通过对不同参数条件下的分类结果进行对比,分析该模型的适应性和精确性。在我们的数据集中,本文方法的实验分类像素精度为88.2％,MIoU达到72.5％,得到了比Deeplab更好的分类效果。      

基于视觉注意的遥感图像分析方法

该文根据人类视觉系统的生理结构与认知特点,提出了一个基于自底向上视觉注意的遥感图像分析模型,并在此基础上开发出了一种新的遥感图像分析方法。该方法在一定程度上具备了类似于人类视觉系统的选择性加工能力。将其应用于多种类型的真实遥感图像,获得了较为满意的实验结果。     

基于DeepLabV3+与注意力机制相结合的图像语义分割

基于DeepLabV3+进行图像分割时,在特征提取阶段忽略了不同级别的特征图中存在的特征重要程度不同,丢失了大量的细节信息,致使分割效果不佳.针对该问题,提出了一种基于DeepLabV3+与注意力机制相结合的图像语义分割算法.在骨干网络Xception模型中提取两条低级特征作为解码器的输入特征,提高特征提取的准确性;采...     

基于弱语义注意力的遥感图像可解释目标检测

近些年来随着遥感技术的快速发展,遥感图像目标检测成为了当前的研究热点.针对遥感图像背景复杂以及现有目标检测模型缺乏可解释性等问题,本文提出了一种基于弱语义注意力的遥感图像可解释目标检测方法.具体地,首先通过多层级特征金字塔来解决遥感图像中目标尺度变化范围大的问题.其次,利用检测框的角度回归来解决遥感图像目标定向的问题....     

基于多尺度池化和范数注意力机制的遥感图像检索

遥感图像内容丰富,一般的深度模型提取遥感图像特征时容易受复杂背景干扰,对关键特征的提取效果不佳,并且难以表达图像的空间信息,该文提出一种基于多尺度池化和范数注意力机制的深度卷积神经网络,在通道层面与空间层面自适应地给显著特征加权。首先,在多尺度池化通道注意力模块中,结合空间金字塔池化的思想,对每个通道上的特征图进行不同尺度的最大池化。接着,采用自适应均值池化将尺寸不同的特征图转换为统一尺寸,以便通过逐像素相加的方式来关注不同尺度的显著特征。然后,在范数空间注意力模块中,将各通道对应同一空间位置的像素构成向量,通过计算向量组的L1范数和L2范数,获得具有空间信息的特征图。最后,采用级联池化的方法优化高层特征,并将该高层特征用于遥感图像检索。在UC Merced, AID与NWPU-RESISC45 3个数据集上进行实验,结果表明该文所提注意力模型,关注了不同尺度的显著特征,结合了空间信息,提高了检索性能。