结合注意力机制的多尺度特征融合图像去雾算法

针对传统图像去雾算法容易受到先验知识制约以及颜色失真等问题,提出了一种结合注意力机制的多尺度特征融合图像去雾算法.该算法首先通过下采样操作得到多个尺度的特征图,然后在不同尺度的特征图之间采用跳跃连接的方式将编码器部分的特征图与解码器部分的特征图连接起来以进行特征融合.同时,在网络中加入一个由通道注意力子模块和像素注意力...     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

一种基于深度学习的两阶段图像去雾网络

雾是户外图像降质的主要因素之一,图像去雾旨在恢复有雾图像中的内容。基于图像底层特征和先验知识的传统算法去雾效果不稳定。针对以上问题,受深度学习理论的启发,提出一种端到端的两阶段去雾深度神经网络算法。将图像去雾和图像超分辨率重建相结合,先利用编码器-解码器预测低分辨率雾霾残留图像,再利用亚像素卷积和残差块重建出原始分辨率雾霾残留图像,最后预测出原始分辨率无雾图像。在合成和真实有雾图像上的实验表明,该算法在定量评价和定性评价中均优于对比算法。     

密集连接扩张卷积神经网络的单幅图像去雾

针对大多数图像去雾算法模型参数估计准确性差及色彩失真等问题,提出了一种端到端的密集连接扩张卷积神经网络。首先,通过使用多层密集连接结构来增加网络的特征利用率,避免网络加深时的梯度消失现象。其次,通过在密集块中使用不同扩张率的扩张卷积,使网络在充分聚合上下文特征信息时不损失空间分辨率,并避免了网格伪影的产生。最后,为了提高算法的去雾能力,将该网络划分为多个阶段,并在每个阶段引入侧输出模块,从而获得更精确的特征信息。实验结果表明,所提出的去雾算法无论是在合成数据集上还是在真实数据集上都取得了较好的去雾效果,恢复的色彩更接近无雾图像,并且定量评价指标峰值信噪比(PSNR)和结构相似性(SSIM)均优于其他对比方法。     

用于图像超分辨的密集跳跃注意连接网络

为解决现有基于深度学习的超分辨算法模型没有充分利用各个层次的特征信息导致重建精度不高、参数量大的问题,提出了一个内外双重密集连接结构——密集跳跃注意连接网络。内层结构中,对原始密集级联结构进行改进,提出了通道可分密集级联块;外层结构采用密集残差连接结合注意力机制将由密集块提取的特征进行融合,从而达到更少卷积层、更高精度的效果。在多个基准数据集上测试,提出的网络较其他网络层数体量相近的算法精度更高、参数量更少。     

特征学习的单幅图像去雾算法

目的 雾霾天气使图像降质,严重影响军事、交通和安全监控等领域信息系统的正常运作,因此图像去雾具有重要研究意义。目前主流的单幅图像去雾算法主要利用各种与雾相关的颜色特征实现,但不同的颜色先验知识往往存在各自的场景局限性。为提高图像去雾的普适性,提出一种特征学习的单幅图像去雾方法。方法 首先通过稀疏自动编码机对有雾图像进行多尺度的纹理结构特征提取,同时抽取各种与雾相关的颜色特征。然后采用多层神经网络进行样本训练,得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系,并估算出有雾图像的场景深度图。最后结合大气散射模型,根据场景深度图复原无雾图像。结果 与主流去雾算法的结果定性对比,复原后的图像细节更清晰,颜色更自然。采用均方误差和结构相似度定量评价各算法去雾结果与真实无雾图像的相似度,本文算法结果与真实无雾场景间的相似度最高,达到99.9%。结论 对实验结果的定性及定量分析表明,本文算法能有效获取有雾图像的场景深度,复原出视觉效果理想的无雾图像,且具有很好的场景普适性。     

基于注意力机制的密集残差融合与空间局部滤波低光照去雾算法EI北大核心CSCD

低光照场景的雾霾图像在去雾过程中易产生颜色失真、斑块和伪影等现象,针对此问题,提出一种适用于低光照场景的基于注意力机制的密集残差融合与空间局部滤波去雾算法.首先利用密集残差块增加神经网络深度,使网络学习更高级的特征信息;然后引入空间与通道注意力机制对特征进行过滤和筛选,使网络可以区分光照不均匀区域,解决颜色失真等问题;采用空间局部滤波增强的方法,提高去雾结果的对比度、清晰度和能见度;最后设计了联合损失函数约束网络的学习,避免串联结构的误差放大以及学习混合退化.在PyTorch环境下,用夜间城市合成雾霾数据集NHR进行测试,并与现有的FFANet,GridDehaze等去雾算法进行对比.实验结果表明,与其他去雾算法相比,所提算法的峰值信噪比提升8.01~14.16 dB,结构相似度提高0.10~0.36.所提算法还解决了颜色失真、斑块和伪影等问题.     

基于特征融合注意网络的图像超分辨率重建

近年来, 基于深度卷积神经网络的单图像超分辨率重建, 取得了显著的进展, 但是, 仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题. 我们提出了基于特征融合注意网络的单图像超分辨率方法, 网络模型主要包括特征融合子网络和特征注意子网络. 特征融合子网络可以更好地融合不同深度的特征信息, 以及增加跨通道的学习能力; 特征注意子网络则着重关注高频信息, 以增强边缘和纹理. 实验结果表明: 无论是主观视觉效果, 还是客观度量, 我们方法的超分辨率性能明显优于其他代表性的方法.     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于多模型特征与精简注意力融合的图像分类

为了提高图像分类性能,本文提出一种多模型特征和注意力模块融合的图像分类算法(image classification algorithm based on Multi-model Feature and Reduced Attention fusion,MFRA).通过多模型特征融合,使网络学习输入图像不同层次的特征,增加特征互补性,提高特征提取能力;通过加入注意力模块,使网络更关注有目标的区域,降低无关的背景干扰信息.本文算法在Cifar-10,Cifar-100,Caltech-101这3个公开数据集上的大量实验对比,验证了其有效性.与现有算法对比,本文算法的分类性能有较为明显的提升.     

基于密集注意力网络的视网膜血管图像分割

视网膜血管的结构信息对眼科疾病的诊断具有重要的指导意义,对视网膜血管图像进行高效正确的分割成为临床的迫切需求。传统的人工分割方法耗时较长且易受个人主观因素的影响,分割质量不高。为此,提出一种基于密集注意力网络的图像自动分割算法。将编码器-解码器全卷积神经网络的基础结构与密集连接网络相结合,以充分提取每一层的特征,在网络的解码器端引入注意力门模块,对不必要的特征进行抑制,提高视网膜血管图像的分割精度。在DRIVE和STARE眼底图像数据集上的实验结果表明,与其他基于深度学习的算法相比,该算法的敏感性、特异性、准确率和AUC值均较高,分割效果较好。     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.     

一种用于图像去雾的改进生成对抗网络

雾霾天气会使计算机视觉相关系统获取到的图像质量下降并影响系统的正常工作。传统图像去雾算法通过分析大量图像建立模型,并找出清晰图像与模型之间的映射关系,但该类算法大多存在颜色失真和图像失真的问题,且在某些特定场景下可能失效。基于卷积神经网络的去雾算法得到的图像质量相对较好,但是该类算法对数据集要求较高,普遍需要成对数据进行训练,而获取同一时刻和场景下的有雾图像与无雾图像难度较高。提出一种基于循环生成对抗网络（CycleGAN）的改进图像去雾算法,该算法无需使用成对的数据进行训练。通过优化生成器生成的无雾图像与真实无雾图像之间的颜色损失,使得生成器能够生成与无雾图像具有相同颜色分布的图像。同时,通过向2个生成器中分别添加对应目标域图像的输入并引入特征损失函数,以解决经典CycleGAN在图像转换时存在的图像失真问题,从而更好地还原原始图像的细节特征。实验结果表明,相较DCP、CycleGAN、AOD-Net、Cycle-dehaze等算法,该算法的结构相似度提高4.3%~23.0%,峰值信噪比提高2.3%~36.9%,其能取得更好的去雾效果。     

注意力与多尺度有效融合的SSD目标检测算法

针对传统的SSD目标检测算法在进行多尺度目标检测时,存在特征图有效信息弱和困难目标漏检率大等问题,提出一种改进的SSD目标检测算法.首先,在网络特征图输出处引入即插即用的轻量级注意力机制,通过不降维、局部跨通道交互以及核大小自适应选择等操作,在保持网络原始计算量的同时有效突出特征图中关键信息.该模块有利于增强背景信息和...