注意力机制结合残差收缩网络对遥感图像分类

针对遥感场景图像中背景复杂、类内差异大以及类间相似度高问题所导致的分类效果欠佳情况,提出一种基于有监督对比学习的注意力机制和残差收缩单元算法。首先对有效通道注意力机制（ECA）进行改进,优化对待识别图像特征的提取;然后提出一种协同残差收缩单元算法,利用算法对图像进行冗余信息的筛选消除;再用有监督对比学习算法,增强算法的泛化能力。最后在遥感图像数据集进行实验,并与最新算法如增强注意算法、尺度注意力机制算法进行对比实验。实验表明,该算法在20%训练比例的AID数据集中分类精度提高了1.75%和2.5%。     

改进CenterNet的遥感图像目标检测

基于深度学习的遥感图像检测在地球资源调查、军事侦察、环境监测等领域有着广泛的应用,更精准、高效的目标检测算法是目前遥感图像检测研究的热点和难点。提出一种改进的CenterNet遥感图像检测算法,对遥感图像进行预处理,以适应CenterNet网络,提高网络对遥感图像的检测有效性;对原网络进行改进,将残差模块中的标准卷积替换成深度可分离卷积,有效降低网络计算量,减少冗余;同时加入注意力机制,抑制无用信息,提高网络的检测准确率。针对遥感图像观测面积大而目标相对较小,目标尺寸差异较大且分布不均匀的特点来说,降低了目标的误检率和漏检率。实验结果表明,改进的CenterNet算法相较于原始CenterNet算法的效果有明显提升,证明了改进算法的鲁棒性。     

基于特征融合和注意力机制的遥感目标检测

为了降低遥感图像中尺寸较大或长宽比变化极端等类型目标对检测精度的不利影响,提出一种基于YOLOv5的改进算法。首先,设计多尺度特征融合模块,通过引入不同膨胀率的残差膨胀卷积块以获得更大感受野,提高对长宽比变化极端目标的检测能力;其次,引入全局-局部注意力,通过分解大核注意力以获得空间和通道维度的长期依赖性和适应性,实现动态提取丰富的全局上下文信息,提高网络对大尺寸目标的检测性能。在DOTA数据集上的消融实验证明了该算法的有效性,mAP达到77.05%,较改进前的模型提升了1.66%,亦优于主流算法,有效改善了遥感图像中目标尺寸过大或长宽比变化极端带来的问题。     

注意力特征融合的快速遥感图像目标检测算法

针对遥感图像背景复杂、小目标多、特征提取难等问题，提出了一种注意力特征融合的快速遥感图像目标检测算法——YOLO-Aff。该算法设计了一种带通道注意力的主干网络模块（ECALAN）以及模糊池（BP）模块来减小下采样带来的损失。此外，采用了一种无跨步卷积的特征金字塔网络（SPD-FPN）结合SimAM注意力特征融合模块（CBSA）来增强特征的跨尺度融合能力。最后，通过使用Wise-IoU作为网络的坐标损失来优化样本不均衡问题。实验结果表明，改进的YOLO-Aff算法在NWPU VHR-10数据集上的mAP值达到96%，较原算法mAP提高了2.9个百分点，为遥感图像的快速、高精度目标检测提供了新的解决方案。     

改进YOLOv5的遥感图像目标检测算法

针对遥感图像中背景复杂度高、目标尺寸多样和小目标存在过多所导致的目标检测精度较低的问题,提出一种改进YOLOv5的遥感图像目标检测算法。该算法在主干网络引入通道-全局注意力机制（CGAM）以增强对不同尺度目标的特征提取能力和抑制冗余信息的干扰。引入密集上采样卷积（DUC）模块扩张低分辨率卷积特征图,有效增强不同卷积特征图的融合效果。将改进算法应用于公开遥感数据集RSOD中,改进YOLOv5算法平均精度AP值达到78.5%,较原算法提升了3.1个百分点。实验结果证明,改进后的算法能有效提高遥感图像目标检测精度。     

改进YOLOv5网络在遥感图像目标检测中的应用北大核心CSCD

针对遥感图像目标检测存在的尺度多样化、分布密集、小目标检测困难等问题,提出了一种改进YOLOv5网络的遥感图像目标检测的新方法Fca_YOLOv5。该方法引入了频率通道注意力网络,引导模型更加关注信息丰富的特征;将网络输入尺寸优化为1 024,减少了图像缩放带来的影响;采用圆形平滑标签计算角度损失,对船舰目标进行旋转目标检测,进一步提升检测效果。在DOTA遥感图像数据集上进行实验,检测精度最高达到了75.9%,船舰旋转目标检测精度达到了96.1%,并且Fca_YOLOv5s的检测精度比YOLOv5s提高了3.1%。实验结果表明,改进网络对遥感图像中的微小目标具有较好的检测效果,有效提升了遥感图像的检测精度,对实现遥感图像中的微小目标检测具有一定的参考意义。     

基于联合注意力机制的单幅图像去雨算法

现有的单幅图像去雨算法难以充分发掘不同维度注意力机制的相互作用,因此提出一种基于联合注意力机制的单幅图像去雨算法。该算法包含通道注意力机制和空间注意力机制：通道注意力机制检测各通道雨线特征的分布,并差异化各个特征通道的重要程度;空间注意力机制则针对通道内雨线分布的空间关系,以局部到全局的方式积累上下文信息,从而高效准确地去雨。此外,引入深度残差收缩网络,以利用残差模块中嵌入的软阈值非线性变换子网络来通过软阈值函数将冗余信息置零,从而提升CNN在噪声中保留图像细节的能力。在公开降雨数据集与自构建的降雨数据集上进行实验,相较于单一空间注意力算法,联合注意力去雨算法的峰值信噪比（PSNR）提升4.5%,结构相似性（SSIM）提升0.3%。实验结果表明,所提算法可以有效地进行单幅图像去雨和图像细节的信息保留,在目视效果和定量指标上均优于对比算法。     

轻量级神经网络与遥感图像目标检测

为解决深度神经网络在对遥感图像进行目标检测时网络参数庞大、计算效率低下的问题,本文提出了一种轻量级神经网络模型G-YOLOv3。G-YOLOv3算法网络的主要构件为嵌套残差块,每个残差块中都包含了本征特征图与相似特征图,且残差块中添加注意力机制,增强了网络的学习能力,降低了网络所需参数和计算复杂度,提高了目标检测速度。实验结果表明,相较于YOLOv3,G-YOLOv3模型参数量减少三分之一,准确度提升3.6%,检测速度提升43.7%,具有算法体积小、准确率高、检测速度快的特点。     

改进YOLOv5s的遥感图像目标检测

针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法（Swin-YOLOv5s）。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无关信息的干扰;其次,在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取,将融合后的特征图组成新的特征金字塔;最后,在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制,进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。     

面向遥感影像目标检测的ACFEM-RetinaNet算法

针对RetinaNet在遥感目标检测任务中多尺度、密集小目标问题，提出了ACFEM-RetinaNet遥感目标检测算法。针对原主干特征提取不充分的问题，采用Swin Transformer作为主干网络，以提升算法的特征提取能力，提高检测精度。针对遥感图像多尺度问题，提出自适应上下文特征提取模块，使用SK注意力引导不同空洞率的可变形卷积自适应调整感受野、提取上下文特征，改善多尺度目标检测效果。针对遥感图像中密集小目标问题，引入FreeAnchor模块，从极大释然估计的角度设计优化锚框匹配策略，提高检测精度。实验结果表明，在公共遥感图像目标检测数据集RSOD上，ACFEM-RetinaNet算法取得了91.1%的检测精度，相较于原算法提高了4.6个百分点，能更好地应用于遥感图像目标检测。     

基于轻量化YOLOv3的遥感军事目标检测算法

在导弹智能突防的过程中,从海量的遥感图像数据中检测敌方反导阵地具有极大的应用价值。由于弹载部署环境算力有限,设计了一种兼顾轻量化,检测精确率以及检测速度的遥感目标检测算法。制作了典型遥感军事目标数据集,通过K-means算法对数据集聚类分析。利用MobileNetV2网络代替YOLOv3算法的主干网络,保证网络的轻量化和检测速度。提出了适用于遥感目标特性的轻量化高效通道协同注意力模块和目标旋转不变性检测模块,将其嵌入检测算法中,在网络轻量化的基础上提升检测精确率。实验结果表明,提出算法的精确率达到97.8%,提升了6.8个百分点,召回率达到95.7%,提升了3.9个百分点,平均检测精度达到95.2%,提升了4.4个百分点,检测速度达到了每秒34.19张图,而网络大小仅为17.5?MB。结果表明该算法能满足导弹智能突防的综合要求。     

增强小目标特征的航空遥感目标检测

目的 航空遥感图像中多为尺寸小、方向错乱和背景复杂的目标。传统的目标检测算法由于模型的特征提取网络对输入图像进行多次下采样,分辨率大幅降低,容易造成目标特征信息丢失,而且不同尺度的特征图未能有效融合,检测目标之间存在的相似特征不能有效关联,不仅时间复杂度高,而且提取的特征信息不足,导致目标漏检率和误检率偏高。为了提升算法对航空遥感图像目标的检测准确率,本文提出一种基于并行高分辨率结构结合长短期记忆网络（long short-term memory,LSTM）的目标检测算法。方法 首先,构建并行高分辨率网络结构,由高分辨率子网络作为第1阶段,分辨率从高到低逐步增加子网络,将多个子网并行连接,构建子网时对不同分辨率的特征图反复融合,以增强目标特征表达;其次,对各个子网提取的特征图进行双线性插值上采样,并拼接通道特征;最后,使用双向LSTM整合通道特征信息,完成多尺度检测。结果 将本文提出的检测算法在COCO （common objects in context）2017数据集、KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）车辆检测和UCAS-AOD （University of Chinese Academy of Sciences-Aerial Object Detection）航空遥感数据集上进行实验验证,平均检测准确率（mean average precision,mAP）分别为41.6%、69.4%和69.3%。在COCO 2017、KITTI和VCAS-AOD数据集上,本文算法与SSD513算法相比,平均检测准确率分别提升10.46%、7.3%、8.8%。结论 本文方法有效提高了航空遥感图像中目标的平均检测准确率。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

基于改进YOLOv5的遥感图像目标检测研究

针对遥感图像中背景复杂度高、目标尺寸多样所导致的目标检测精度低的问题,提出一种基于改进 YOLOv5的遥感图像目标检测算法。该算法将具有Transformer风格的ConvNeXt网络作为主干网络,以克服卷积神经网络(CNN)结构的局限性,捕获更多全局信息。引入 SimAM 注意力机制在不增加网络参数的情况下,推断出特征图的3D注意力权值,提高网络的稳定性以及抗干扰能力。同时采用全局显式集中调节方案的集中特征金字塔(CFP),捕获全局长距离依赖关系以及遥感图像的局部关键区域信息。将本文提出的算法在 RSOD 数据集上进行消融实验,结果表明,本文提出的算法能够显著提高遥感图像目标检测的平均准确率。     

基于双注意力机制的遥感图像目标检测

针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。     

Attention boosted bilinear pooling for remote sensing image retrieval

ABSTRACT

Remote sensing image retrieval is to find the most identical or similar images to a query image in the vast archive of remote sensing images. A key process is to extract the most distinctive features. In this study, we introduce a second-order pooling named compact bilinear pooling (CBP) into convolutional neural networks (CNNs) for remote sensing image retrieval. The retrieval algorithm has three stages, pretraining, fine-tuning and retrieval. In the pretraining stage, two classic CNN structures, VGG16 and ResNet34, are pretrained respectively with the ImageNet consisting of close-range images. A CBP layer is introduced before the fully connected layers in the two networks. To extract globally consistent representations, a channel and spatial integrated attention mechanism is proposed to refine features from the last convolution layer and the features are used as the input of the CBP. In the fine-tuning stage, the new network is fine-tuned on a remote sensing dataset to train discriminable features. In the retrieval stage, the network, with fully connected layers being replaced by a PCA (principal component analysis) module, is applied to new remote sensing datasets. Our retrieval algorithm with the combination of CBP and PCA obtained the best performance and outperformed several mainstream pooling or encoding methods such as full-connected layer, IFK (Improved Fisher Kernel), BoW (Bag-of-Words) and maxpooling, etc. The channel and spatial attention mechanism contributes to the CBP based retrieval method and obtained the best performance on all the datasets, as well as outperformed several recent attention methods. Source code is available at http://study.rsgis/whu.edu.cn/pages/download.     

改进LDS_YOLO网络的遥感飞机检测算法研究

为解决遥感飞机检测算法网络计算复杂、检测精度低的问题,以主流网络YOLOv4为基础,从提高精度和简化模型两个方面进行改进研究,提出一种轻量级多尺度监督网络LDS_YOLO（light dense supervision YOLO）。针对遥感飞机目标细节信息提取不足的问题,改进三组多尺度融合预测层结构,在每一个支路第一次上采样前的四个卷积块之间设计密集连接方式,可以增强融合不同尺度飞机,丰富特征细节信息,提高预测准确率;针对目标特征关联度低的问题,引入一致性监督损失函数,通过监督分类网络辅助预测的同时提高检测精度;通过增加包含全局平均池化层、全连接层和特征映射层的轻量化模块,调整通道结构减少权重模型的特征冗余,降低网络参数量。在保证检测率的基础上将模型参数量降低为3.6×106,计算量为77?MFLOPs,测试检测率比原始模型损失不到2.3%,速度达到17?frame/s;通过与主流检测算法进行对比,分析轻量化后算法模型的抗过拟合能力和鲁棒性,证明轻量化遥感飞机目标检测算法的有效性和可行性。     

改进YOLOv3的遥感影像小目标检测方法

针对当前目标检测任务中对小目标检测识别率低,漏检率高的问题,提出一种基于门控通道注意力机制（EGCA）和自适应上采样模块的改进YOLOv3算法。该算法采用DarkNet-53作为主干网络进行图片基础特征提取;引入自适应上采样模块对低分辨率卷积特征图进行扩张,有效增强了不同尺度卷积特征图的融合效果;在三个尺度通道输出预测结果之前分别加入EGCA注意力机制以提高网络对小目标的特征表达和检测能力。将改进的算法在公开数据集RSOD（remote sensing object detection）上进行实验,小目标检测精度提升了8.2个百分点,最为显著,平均精度AP值达到56.3%,较原算法提升了7.9个百分点。实验结果表明,改进的算法相比于传统YOLOv3算法和其他算法拥有更好的小目标检测能力。