基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于迁移学习的三子网图像去雾方法

目前大部分图像去雾算法只在一种或几种均匀雾图数据集中有较好的表现,对于不同风格或非均匀雾图数据集去雾效果较差,同时算法在实际应用中会因模型泛化能力差导致模型场景受限。针对上述情况,该文提出一种基于迁移学习的卷积神经网络(CNN)用于解决去雾算法中非均匀雾图处理效果不佳和模型泛化能力差等问题。首先,该文使用ImageNet预训练的模型参数作为迁移学习模型的初始参数,以加速模型训练收敛速度。其次,主干网络模型由3个子网组成:残差特征子网络、局部特征提取子网络和整体特征提取子网络。3子网结合以保证模型可从整体和局部两个方面进行特征提取,在现实雾场景(浓雾、非均匀雾)中获得较好的去雾效果。该文在模型训练效率、去雾质量和雾图场景选择灵活性3个方面进行了研究和改进,为衡量模型性能,模型选择在去雾难度较大的非均匀雾图数据集NTIRE2020和NTIRE2021上进行定量与定性实验。实验结果证明3子网模型在图像主观和客观评价指标两个方面都取得了较好的效果。该文模型改善了算法泛化性能差和小数据集难以进行模型训练的问题,可将该文成果广泛应用于小规模数据集和多变场景图像的去雾工作中。     

基于压缩提炼网络的实时语义分割方法

针对目前语义分割算法难以取得实时推理和高精度分割间平衡的问题,提出压缩提炼网络（SRNet）以提高推理的实时性和分割的准确性。首先,在压缩提炼（SR）单元中引入一维（1D）膨胀卷积和类瓶颈结构单元,从而极大地减少模型的计算量和参数量;其次,引入多尺度空间注意（SA）混合模块,从而高效地利用浅层特征的空间信息;最后,通过堆叠SR单元构成编码器,并采用两块SA单元在编码器的尾部构成解码器。实验仿真表明,SRNet在仅有30 MB参数量及8.8×10⁹每秒浮点操作数（FLOPS）的情况下,仍可在Cityscapes数据集上获得68.3%的平均交并比（MIoU）。此外,所提模型在单块NVIDIA Titan RTX卡上实现了12.6 帧每秒（FPS）的前向推理速度（输入像素的大小为512×1 024×3）。实验结果表明,所设计的轻量级模型SRNet很好地在准确分割和实时推理间取得平衡,适用于算力及功耗有限的场合。     

融合超分辨率重建技术的多尺度目标检测算法

目前大多数目标检测算法,由于尺度跨度较大而导致模型整体精确率和召回率不高,容易出现错检、漏检等现象。针对上述问题,提出一种融合超分辨率重建技术的多尺度目标检测算法。首先,算法以单阶段目标检测算法YOLO框架为基础,在颈部网络实现多尺度特征融合时加入超分辨率重建模块,避免进一步丢失较深层特征图中的细节特征。其次,使用通道注意力模块将较浅层特征图中的无关特征进行抑制,重点关注含有目标轮廓特征的通道信息,进一步增强浅层特征的表达能力。最后,在PASCAL VOC 2007和MS COCO 2017公开数据集上进行了消融实验和对比实验。实验结果表明,所提模块对检测性能有不同程度的提升,相比当前其他多尺度目标检测算法,所提算法在大、中、小三种尺度下目标平均精确率分别提升约1.20%、1.20%和1.30%,平均召回率分别提升约4.20%、3.50%和4.20%,算法整体检测性能得到进一步改善。     

融合压缩激活注意机制的图像去雾算法

针对非均匀带雾图像出现颜色失真和细节丢失的问题,提出一种融合压缩激活注意力机制的端到端感知去雾卷积神经网络。首先,根据非均匀雾图特征,在特征融合注意网络上引入压缩激活注意力机制,通过学习的方式自动获取每个特征通道的重要程度,并对其进行排序后去提升有用的特征权重,遏制对当前任务用途较小的特征比例;其次,在损失函数方面融入感知损失,使去雾网络模型学习到更多语义特征信息,从而加强被模糊的边缘细节,获取较好的去雾效果;最后,在非均匀带雾图像NH-HAZE数据集上进行定性和定量分析。实验结果表明,所提出的网络与经典方法相比在量化指标PSNR、SSIM分别提升了3.05 dB和0.08%,且主观视觉效果上保留了更多的边缘信息和纹理细节。