基于注意力机制的多尺度特征融合图像去雨方法

雨纹分布和形状具有多样性,现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此,本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成,多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息,并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合,组间利用全局特征融合注意力模块更好地融合不同层次的特征,通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比,本文方法的定量指标有着明显提高,去雨后的图像视觉效果较好且具有良好的泛化性.     

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块（SAM）来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络（FPN）,设计了多层次特征融合模块（MFFM）,对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络（RPN）结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。     

融合多分辨率表征的实时烟雾分割算法

针对烟雾分割领域缺乏应用于实际监控系统的实时烟雾分割算法的现况,提出高准确率的实时烟雾分割算法. 该算法利用轻量化的多分辨率卷积模块并行提取特征图,在获得丰富语义信息的同时满足实时分割的需求. 提出烟雾前景增强模块,使得烟雾像素点融合前景增强表征、避免背景信息干扰,分割准确率得以提高. 提出残差注意力模块,从通道、空间维度增强重要特征信息,抑制无效信息. 该算法在自建数据集上平均交并比为91.27%,每张图片预测时间为39.06 ms,网络权重为74.66 MB;在公开数据集上的对比结果表明,该算法综合检测性能优于其他烟雾检测算法. 该算法分割准确率高、检测速度快且模型轻量化,可以应用于实际视频监控系统.     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少，传统行人检测模型对小目标检测效果较差的问题，提出一种基于消隐点性质，提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质，对图像中的多个目标进行复制；通过仿射变换投影到新的位置，生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构，融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络（GFF-neck），以融合全局特征.实验表明，在经过数据增强后的WiderPerson数据集上，改进算法对行人类别的检测AP值达到了79.6%，在VOC数据集上mAP值达到了80.2%.测试结果表明，当搭建实验测试系统进行实景测试时，所提算法有效提升了小目标行人检测识别精度，并满足实时性要求.     

基于残差注意力机制的图像去雾算法

传统基于先验知识与基于学习的图像去雾算法依赖大气散射模型,容易出现颜色失真和去雾不彻底的现象。针对上述问题,提出一种端到端的基于残差注意力机制的图像去雾算法,该算法网络包括编码、多尺度特征提取、特征融合和解码4个模块。编码模块将输入的雾图编码为特征图像,便于后续特征提取并减少内存占用;多尺度特征提取模块包括残差平滑空洞卷积模块、残差块和高效通道注意力机制,能够扩大感受野并通过加权筛选提取的不同尺度特征以便融合;特征融合模块利用高效通道注意力机制,动态调整不同尺度特征的通道权重,学习丰富的上下文信息并抑制冗余信息,增强网络提取雾霾密度图像的能力从而使去雾更加彻底;解码模块对融合后的特征进行非线性映射得到雾霾密度图像,进而恢复无雾图像。通过在SOTS测试集和自然有雾图像上进行定量和定性的测试,所提方法取得了较好的客观和主观评价结果,并有效改善了颜色失真和去雾不彻底的现象。     

改进YOLO v5s网络的混凝土裂缝检测方法

针对现有混凝土裂缝检测算法效率低下,计算量与模型体积巨大,难以部署到低算力移动平台上等问题,提出了一种改进YOLO v5s模型的轻量化混凝土裂缝检测算法。首先基于Ghost卷积的思想设计出更为轻量化的LG卷积模块,进一步减少网络的特征冗余与参数量;其次采用Shuffle Net中的Channel Shuffle模块与Ghost卷积模块组成LGS模块,可以平衡网络模型的参数量和准确性;最后引入ECA注意力机制,加强特征图的通道特征。试验结果表明：改进后的YOLO v5s的混凝土裂缝检测算法在自定义混凝土裂缝数据集上与YOLO v5s原始网络相比,mAP@0.5提高了1.2%,mAP@0.5∶0.95提高了4.3%,网络参数量减少了47.8%,模型体积减少了44.8%,满足混凝土裂缝高精度和轻量化检测要求。     

多特征融合和孪生注意力网络的高分辨率遥感图像目标检测

为提高高分辨率遥感图像目标检测效果,本文将多特征融合方法和孪生注意力网络相结合,提出一种新的目标检测方法。构建遥感图像目标检测的整体框架,基于锚框模型对遥感图像目标进行多层特征的提取及融合;运用孪生注意力网络对遥感图像目标实时视觉跟踪检测,引入通道和空间的双重自注意力机制,提高目标图像的特征表达能力,由此得到更加精准的检测结果。实验分析结果表明,本文方法的平均总体精度为93.8,F1指数平均值为0.88,Kappa系数平均值为0.93,均明显高于对比方法,说明本文方法具有较好的检测效果。     

多尺度特征增强的SSD目标检测算法

针对目标检测中多类别、多尺度和背景复杂而导致的SSD(Single Shot Multibox Detector)算法检测精度不高的问题,提出了一种多尺度特征增强的改进SSD目标检测算法.首先将SSD网络模型的高层特征依次向下与浅层特征融合,构造一种多尺度目标检测结构.然后利用注意力机制对特征进行进一步的优化,从而达到...     

基于D-S推理的酒后驾驶预警机制研究

一般检测酒后驾驶仅针对酒精含量进行检测,手段单一,且对人的自觉性依赖较大.为了有效地检测及预防酒后驾驶,提出了一种利用多源信息融合技术的D-S证据推理法构建的酒后驾驶预警模型.该模型利用多类传感器提取驾驶员的多个特征,针对所获信息进行分析预测,更加逼近驾驶员当时状态,检测效果更精确.     

基于改进Mobilenet-YOLOv3的轻量级水下生物检测算法

在水下生物检测中,经典目标检测模型由于体积大、参数量多,不适用于微小型水下硬件设备,而现有轻量化模型又难以平衡检测精度和实时性. 针对这一问题,本研究提出了基于改进Mobilenet-YOLOv3的轻量级检测算法CPM-YOLOv3,该算法利用规整通道剪枝算法对Mobilenet-YOLOv3进行剪枝,并将特征提取网络中的SE (squeeze-and-excitation)模块替换成CBAM (convolutional block attention module),实现对网络模型的压缩. 同时,在不同尺寸的检测层中分别加入2个CBAM,在几乎不增加模型大小的情况下提升模型关注目标特征信息的能力. 实验结果表明,CPM-YOLOv3模型大小仅有4.86 MB,与原模型相比大小降低了94.7%,平均检测精度为87.0%,速度为5.1 ms/帧. 相较于其他网络模型,CPM-YOLOv3更适合在微小型水下设备中应用.     

一种用于自动驾驶场景的轻量级语义分割网络

在自动驾驶场景下,针对语义分割模型在车载硬件设备中部署时内存受限且算力不足的问题,需要设计一种较好权衡效率和精度的语义分割模型。采用单分支网络结构,设计了一个轻量级多尺度双向注意力网络。为了实现高效的特征提取,设计了一种轻量级卷积单元来构成网络的特征提取骨干。为了较好地定位和分割道路场景中尺度差异较大的物体,提出了一种多尺度双向注意力模块。它具有全局多尺度感受野,并且在沿一个方向编码通道注意力的同时保留了另一个方向的空间位置信息。基于该注意力模块,设计了跳跃注意力连接模块和特征注意力融合模块,使得输出特征兼具细节信息和语义信息。模型在Cityscapes数据集上以0.9M的参数量,取得了71.86%的平均交并比,同时在单个RTX2080Ti GPU下实现了88FPS的推理速度。实验结果表明,该模型能够实现较高的分割精度,适用于车载硬件下的部署和应用,具有一定的实用价值。     

基于多级特征并联的轻量级图像语义分割

针对当前语义分割算法普遍具有网络结构复杂和计算开销巨大的问题,为了综合提高语义分割算法实时性和精确度,提出计算高效的基于多级特征并联网络（LSSN）的轻量级图像语义分割网络. 该算法综合考虑网络的参数量、运行速度和性能,能更好地应用到嵌入式设备和可移动设备上. 应用微调的深度卷积神经分类网络作为特征提取网络结构,提取网络不同深浅层语义和位置特征. 提出空洞残差增强模块和深度空洞空间金字塔模块分别处理来自特征提取基准网络的深层特征和浅层特征,并将深浅层特征按特定维度比例以并联的方式进行融合. 所提方法在PASCAL VOC 2012数据集上准确度（平均交并比）为77.13%,与当前具有高性能的语义分割算法和实时语义分割算法相比,能更好地平衡网络的实时性和精确度,具有更优的实用价值和性能效果.     

基于混合域注意力YOLOv4的输送带纵向撕裂多维度检测

针对输送带纵向撕裂目标检测维度单一、模型复杂度高等问题,提出一种高效的MobileNetv3及YOLOv4集成网络输送带纵向撕裂多维度实时检测方法. 基于YOLOv4目标识别算法,通过将轻量化网络MobileNetv3代替CSPDarknet53作为骨干网络,结合高效通道域ECA模块和空间域注意力机制（STNet）构建混合域注意力网络（ECSNet）,改进了MobileNetv3嵌入ECSNet,并且提升了模型对空间和通道的关注度. 引入深度可分离卷积块代替网络中3*3卷积,并将YOLOv4的检测头（Prediction Heads）缩减为2种尺度,轻量化模型降低网络复杂度和训练难度,完成ECSMv3_YOLOv4模型的搭建,使用K-means聚类6个Anchors预测目标框高宽,提高网络对表面撕裂的检测性能. 研制带式输送机多维度智能巡检样机,采集制作输送带多维度面的纵向撕裂数据集,开展网络模型的训练、测试、识别和定位实验. 结果表明,提出算法在测试集中的平均识别准确率为97.8%,识别速度为37 帧/s,模型的计算量和参数量为4.882 G和8.851 M,通过试验不同的网络模型效果和改变光照强度,该方法体现出检测精度高、速度快和轻量化等优点,具备更强的适应性和抗干扰能力.     

多尺度水上船舶目标视觉检测

水上交通场景环境复杂,通过普通光学摄像设备获取的水面图像,面临着视觉目标清晰度低、尺度多样化等问题,使得可见光视觉信号里中、小尺度目标检测相对困难。为服务于各类智慧海事应用,提出了一个旨在提高复杂水域背景下多尺度水上船舶目标检测性能的算法（multi-scale ship object detection,MS-SOD）。该算法基于当前计算机视觉技术中主流的单阶段目标检测模型框架,在其主干网络中嵌入卷积注意力模块,来优化船舶特征提取能力;在多尺度特征融合网络中引入富含细节信息的浅层特征,并使用跨阶段局部残差结构,来优化多尺度船舶特征的融合机制;同时,使用焦点损失函数,来优化模型的学习过程;并设计自适应锚框聚类算法优化先验锚框,以提高多尺度船舶目标检测能力。为验证提出算法的有效性和实效性,在构建较大规模水上船舶目标数据集的基础上,开展了广泛实验验证。结果表明:提出的算法在测试数据集上的检测准确度超过了各主流的对比方法;特别是对于大、中、小各尺度船舶目标的检测精度,相对于主流的YOLOv4算法,提出的算法分别提升了11.3%、6.0%和10.5%。     

基于改进MobileNet v2的垃圾图像分类算法

针对现有的垃圾图像分类模型实时性能差和分类精度低的问题,提出基于改进MobileNet v2的垃圾图像分类方法,构建以MobileNet v2为核心的轻量级特征提取网络. 通过调整宽度因子降低模型的参数量;在模型中嵌入通道和空间注意力模块,增强网络对特征的细化能力;设计多尺度特征融合结构,增强网络对尺度的适应性;利用迁移学习的方式优化模型参数,进一步提高模型精度. 实验结果表明,算法在自建数据集上的平均准确率为94.6%,分别高于MobileNet v2、VGG16、GoogleNet、ResNet50、ResNet101模型2.0%、3.4%、3.2%、2.3%、1.2%;所提算法在2种公共图像分类数据集CIFAR-100和tiny-ImageNet中均取得不错表现;模型参数量仅为0.83 M,体积约为基础模型的2/5,在边缘设备JETSON TX2上的单次推理耗时68 ms,实现了推理速度和预测准确率的提升.     

改进YOLOv3算法的交通多目标检测方法

针对交通场景中目标像素占比小、互相遮掩等因素造成漏检、误检的问题,提出了基于 YOLOv3 的多目标检测方法。 该方法在 YOLOv3 网络结构中植入空间金字塔池化模块以增强特征表达,同时提出一种多尺度特征融合机制兼顾获取空间信息和语义信息,通过扩展预测层的预测分支来细化待检目标的语义信息。 此外,将改进的 K均值聚类算法用于提取先验框的初始中心点,提升预测锚框与待检目标的匹配度,并运用柔性非极大值抑制算法进行置信分数的灵活调整。 基于混合数据集的实验结果表明,所提方法有效地提升了检测精度。     

改进YOLOX的SAR近岸区域船只检测方法

针对SAR近岸区域船只检测准确率低与虚警率高的问题,提出一种基于改进注意力机制与旋转框的SAR近岸区域船只检测方法。该方法首先通过改进坐标注意力机制并引入至特征提取网络中,提升网络的特征提取能力;其次,增加角度分类头,并引入二维高斯分布,计算预测分布与目标分布的KL散度评估旋转框损失值,完成目标的角度信息提取;再基于YOLOX算法中的无锚框(AF)机制,减少候选框冗余,使模型轻量化并进一步提高定位精度。最后在公开数据集offical-ssdd上进行测试,在嵌入式平台(NVIDIA Jetson AGX Xavier)上对模型进行推理验证。该算法模型计算参数仅1.14 M,在近岸情况下平均检测精度较YOLOX模型提高了18.77%,总体检测精度达到94.2%。验证结果表明,该算法适用于复杂场景下任意方向的密集船只目标检测,满足实时处理需求。