基于任务解耦的低照度图像增强方法

低照度条件下拍摄的照片往往存在亮度低、颜色失真、噪声高、细节退化等多重耦合问题,因此低照度图像增强是一个具有挑战性的任务.现有基于深度学习的低照度图像增强方法通常聚焦于对亮度和色彩的提升,导致增强图像中仍然存在噪声等缺陷.针对上述问题,本文提出了一种基于任务解耦的低照度图像增强方法,根据低照度图像增强任务对高层和低层特征的不同需求,将该任务解耦为亮度与色彩增强和细节重构两组任务,进而构建双分支低照度图像增强网络模型（Two-Branch Low-light Image Enhancement Network,TBLIEN）.其中,亮度与色彩增强分支采用带全局特征的U-Net结构,提取深层语义信息改善亮度与色彩;细节重构分支采用保持原始分辨率的全卷积网络实现细节复原和噪声去除.此外,在细节重构分支中,本文提出一种半双重注意力残差模块,能在保留上下文特征的同时通过空间和通道注意力强化特征,从而实现更精细的细节重构.在合成和真实数据集上的广泛实验表明,本文模型的性能超越了当前先进的低照度图像增强方法,并具有更好的泛化能力,且可适用于水下图像增强等其他图像增强任务.     

基于深度注意力机制的低照度图像增强方法

复杂环境下的低照度图像具有光照分布不均、多光源叠加作用等特点,导致增强后的图像真实性不足、图像噪声增加等问题。针对低照度图像的特点,提出了一种基于深度注意力机制的低照度图像增强方法。设计生成对抗全局自注意力低照度增强网络（GSLE-GAN）以实现低照度图像的增强。在生成器中设计并使用注意力模块,提高模型对于光照分布特点的提取能力以及生成图像的真实性,采用局部鉴别器与全局鉴别器共同作用的方式使图像具有更丰富的细节信息,使用非配对数据及对模型进行训练,以提升模型的鲁棒性并进一步保证生成图像的真实性。通过对比实验,证明了文中所提方法的优越性,并在目标检测任务中证明了方法的有效性。     

基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。     

一种改进CycleGAN的低照度图像增强网络

为了提高CycleGAN对低照度图像增强后的细节分辨能力,提高图像整体的视觉质量,提出了一种改进CycleGAN的低照度图像增强算法.该网络的生成器由低光照增强模块和亮度均衡处理模块组成,用以学习低照度图像到正常照度图像的特征映射.以多尺度卷积和残差空洞卷积构建基于U-Net的低光照增强模块,提高网络对增强后图像细节信...     

基于生成对抗网络的遥感图像超分辨率重建改进算法

为了获取包含更多高频感知信息与纹理细节信息的遥感重建图像，并解决超分辨率重建算法训练难和重建图像细节缺失的问题，提出一种融合多尺度感受野模块的生成对抗网络（GAN）遥感图像超分辨率重建算法。首先，使用多尺度卷积级联增强全局特征获取、去除GAN中的归一化层，提升网络训练效率去除伪影并降低计算复杂度；其次，利用多尺度感受野模块与密集残差模块作为生成网络的细节特征提取模块，提升网络重建质量获取更多细节纹理信息；最后，结合Charbonnier损失函数与全变分损失函数提升网络训练稳定性加速收敛。实验结果表明，所提算法在Kaggle、WHURS19、AID数据集上的平均检测结果较超分辨率GAN在峰值信噪比、结构相似性、特征相似性等方面分别高出约1.65 dB、约0.040(5.2%)、约0.010(1.1%)。     

复杂背景下多尺度X光违禁品检测

针对安检X光图像中违禁品的自动检测一直存在困难,使用不同尺度的特征比例平衡模块、U型网络递归模块和残差边注意力模块构建EM2Det(Enhanced M2Det)模型,进一步提升M2Det模型的检测性能.首先考虑主干网络深层中的高语义信息和浅层中的细节特征信息,借鉴特征金字塔思想设计特征融合增强模块,加强模型对主干网络中不同尺度特征的提取能力;然后设计8个U型网络递归模块,增强其对基本特征不同水平、不同尺度的细节特征提取能力;接着使用CBAM(Convolutional Block Attention Module)构建残差边注意力模块,使其关注有效特征,抑制无用的背景干扰;最后在SIXray_OD数据集上对模型进行验证.实验结果表明,设计的各个模块均有不同程度的提升效果,EM2Det模型的平均精度比M2Det模型提升6.4个百分点.     

基于多尺度优化和动态特征融合的图像去模糊研究

目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。     

融合卷积注意力机制与深度残差网络的遥感图像分类

针对遥感影像场景数据空间信息丰富,冗余地理特征干扰深度神经网络模型的问题,提出在深度残差网络中引入卷积注意力机制(Convolutional Block Attention Module,CBAM)的策略.为验证深度残差网络引入CBAM的有效性,用经典深度残差网络ResNet50和融合注意力机制的深度残差网络CBAM_...     

基于移位窗口多头自注意力U型网络的低照度图像增强方法

针对低照度图像增强模型中的亮度提升、噪声抑制以及保持纹理颜色一致性等难点问题,该文提出一种基于移位窗口自注意力机制的低照度图像增强方法。该文以U型结构为基本框架,以移位窗口多头自注意力模型为基础,构建了由编码器、解码器以及跳跃连接组成的图像增强网络。该网络将自注意力机制的特征提取优势应用到低照度图像增强领域,建立图像特征信息之间的长期依赖关系,能够有效获取全局特征。将所提方法与当前流行的算法进行定量和定性对比试验,主观感受上,该文方法显著提升了图像亮度,抑制图像噪声效果明显并较好地保持了纹理细节和颜色信息;在峰值信噪比(PSNR)、结构相似性(SSIM)和图像感知相似度(LPIPS)等客观指标方面,该方法较其他方法的最优值分别提高了0.35 dB, 0.041和0.031。实验结果表明,该文所提方法能够有效提升低照度图像的主观感受质量和客观评价指标,具有一定的应用价值。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network,ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex,SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMIdct)、小波特征互信息(FMIw)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

基于注意力机制特征融合网络的SAR图像飞机目标快速检测

针对合成孔径雷达(Synthetic Aperture Radar,SAR)图像中飞机目标散射点离散化程度高,周围背景干扰复杂,现有算法对飞机浅层语义特征表征能力弱等问题,本文提出了基于注意力特征融合网络(Attention Feature Fu-sion Network,AFFN)的SAR图像飞机目标检测算法.通过引入瓶颈注意力模块(Bottleneck Attention Module,BAM),本文在AFFN中构建了包含注意力双向特征融合模块(Attention Bidirectional Feature Fusion Module,ABFFM)与注意力传输连接模块(Attention Transfer Connection Block,ATCB)的注意力特征融合策略并合理优化了网络结构,提升了算法对飞机离散化散射点浅层语义特征的提取与判别.基于自建的Gaofen-3与TerraSAR-X卫星图像混合飞机目标实测数据集,实验对AFFN与基于深度学习的通用目标检测以及SAR图像特定目标检测算法进行了比较,其结果验证了AFFN对SAR图像飞机目标检测的准确性与高效性.     

基于循环生成对抗网络的超分辨率重建算法研究

为了提高图像超分辨率重建的效果,该文将注意力机制引入多级残差网络(Multi-level Residual Attention Network,MRAN)作为CycleGAN的重建网络,提出了基于循环生成对抗网络(CycleGAN)的超分辨率重建模型MRA-GAN.MRA-GAN模型中重建网络负责将低分辨率(LR)图像...     

一种基于Night-YOLOX的低照度目标检测方法

由于在低照度场景下获取的图像具有亮度弱、对比度低、噪声多和细节丢失等特点，使用现有的检测模型对低照度图像进行目标检测会出现定位不准确和分类错误，从而导致最终的检测精度偏低.针对以上现象，本文提出了一种基于Night-YOLOX的低照度目标检测方法 .该方法首先设计了一个低级特征聚集模块（Low-level Feature Gathering Module,LFGM）与主干网络合并.在低照度场景下捕获更多有效的低级特征有利于定位目标，该模块通过聚集浅层特征图中具有判别性的低级特征并送入高级特征图和深层卷积阶段中，以补偿在对低照度图像进行特征提取过程中边缘、轮廓和纹理等低级特征的缺失.然后，设计了一种注意力引导块（Attention Guidance Block,AGB）嵌入检测模型的颈部结构，从而减少低照度图像中噪声干扰的影响，引导检测模型推断出特征图中完整的对象区域范围并提取更多有用的对象特征信息，以提高目标分类的准确性.最后，在真实低照度图像数据集ExDark上进行实验，结果表明所提出的Night-YOLOX相比于其它主流的目标检测方法，在低照度场景下具有更好的检测性能.     

基于深度学习的街景下的文本检测

针对自然街景文本角度倾斜、形状弯曲、长度不定等特点,提出一种基于注意力机制的自然街景文本检测方法,通过利用注意力机制的优势,对主干网络提取的特征进行加权融合,从而提升整体网络的检测性能.首先,针对特征金字塔（FPN）横向连接中特征信息丢失的问题,引入注意力融合模块AFFM(Attention Feature Fusion Module),通过计算高维和低维特征的融合权重,来改进原FPN中简单直接相加的特征融合方式,从而减少FPN特征融合过程中文本信息丢失,增强网络的特征提取能力.其次,针对不同尺度特征图中的文本特征,引入一个子空间注意力模块SAM(Subspace Attention Module),通过将多尺度融合特征图按通道划分为数个子空间特征图,分别学习每个子空间中的文本特征权重,使得融合后的特征图包含更多不同尺度的文本特征,从而增强融合特征图对文本实例的表征能力,进而提升网络的检测效果.在公开数据集Total-Text上对模型进行评估,实验结果表明,该算法与目前快速高效的DBNet相比,准确率、召回率和F值分别提高了0.5%、0.4%和0.4%.     

适用于图像超分辨率的多路径融合增强网络

卷积神经网络（Convolutional Neural Network, CNN）在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络（Multi-path Fusion Enhancement Network, MFEN）。具体来说,提出了一个新颖的融合注意力增强模块（Fusion Attention Enhancement Block, FAEB）作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成：主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块（Self-Adaptive Attention Module, SAAM）来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,...     

注意力残差链式融合的彩色眼底图像硬性渗出检测

硬性渗出物(Hard Exudate,HE)对糖尿病视网膜病 变(Diabetic Retinopathy,DR)的早期诊断具有重要意义,从彩色眼底图像中准确检测出HE 是诊断和筛查DR的重要步骤。针对以往自动检测方法中存在的分割效果不佳和对小目标误检 率高的问题,本文在经典U-Net生成网络的基础上,引入注意力残差链式融合机制,构造出 一种适用于视网膜HE检测的注意力残差链式融合生成对抗网络(Chain fusion of attention residuals GAN,CFAR-GAN)。该网络在生成网络编码过程的每个子模块后添加一个残差网 络(Residual Network,ResNet)结构,并采用带有残差连接的卷积层链(Residual convolut ional layer path,Res path)建立不同层间的跳跃连接,同时将全局最大池化注意力机制 用于刻画不同深度特征的权重,以防止训练过程的过拟合从而提高网络的泛化能力。将CFAR -GAN用e-ophtha EX数据库的训练集进行训练,在其测试集上,检测敏感性、PPV和F-sco re分别为92.5%、88.7%和90.6%;将训练好的网络在另一个独立的DIARETDB1数据库上进行测试,敏感性、特异性和 准确性分别为100%、98.5%和99.1%,表明本文所提出的方法具有 理想的泛化能力,这对于准确高效地检测眼底图 像中的HE,实现DR早期的自动诊断具有积极 意义。     

基于密集连接生成对抗网络的图像颜色迁移

针对传统颜色迁移算法在处理图像时存在颜色误传递,色彩不够自然等问题,提出一种基于密集连接生成对抗网络的图像颜色迁移方法。在训练过程中,训练生成网络生成颜色迁移图像。生成网络中的编码层利用密集连接网络跨层连接的优点促进颜色特征重用,加快网络的收敛速度,同时在转换层采用3层残差模块代替原始的两层残差模块更好地组合图像的不同特征。训练判别网络使其辨别原图像与生成的迁移图像间的差别。本文判别网络中用-log函数计算模型损失,加快训练初期更新速度。实验结果表明,与同类模型相比,本文方法结果图像保留更多细节,且能够抑制部分噪声,整体更接近自然图像。     

基于特征增强生成对抗网络的文本生成图像方法

针对文本生成图像任务过程中存在图像视觉特征和通道特征信息利用不充分问题,提出一种基于特征增强生成对抗网络(FE-GAN)的文本生成图像方法.首先,在动态记忆读取时,设计二次记忆(MoM)模块来对生成的中间特征进行注意与融合,利用注意力机制在记忆读取时进行第一次视觉特征增强,再将得到的注意力结果和上一个生成器生成的图像特征进行融合,实现第二次图像视觉特征增强.然后,在残差块中引入通道注意力来获取图像特征中的不同语义,提升相似语义通道之间的关联性,实现通道特征增强.最后,将实例归一化上采样块和批量归一化上采样块相结合来提高图像分辨率,同时缓解批量大小对生成效果的影响,提升生成图像风格多样性能力.在CUB-200-2011和Oxford-102数据集上进行的仿真实验表明,所提方法的IS分别达到了4.83和4.13,与DM-GAN相比分别提高了1.68%和5.62%.实验结果表明,FE-GAN生成的图像在细节处理上更好,更加符合文本语义.     

基于改进STANet的遥感图像变化检测算法

遥感图像变化检测是为了识别出双时相图像之间的显著变化。给定2个在不同时间拍摄的配准图像,光照变化和错配误差会掩盖真实物体的变化,探索不同时空像素之间的关系可以提高遥感图像变化检测方法的性能。在Spatial Temporal Attention Neural Network (STANet)中,提出了一种基于孪生的时空注意力神经网络。在其基础上进行改进：(1)对距离度量模块由于线性插值导致的变化特征间隙模糊问题,设计了对距离特征的上采样模块,使得变化区域间隙更加明显,虚警率更低;(2)针对STANet的Pyramid Spatial Temporal Attention Module(PAM)模块计算开销大的问题,引用了新的Coordinate Attention(CA)模块,在降低运算开销的基础上,更好地识别了不同空间、通道的特征;(3)针对STANet对Residual Network(ResNet)提取出的特征图利用不充分的问题,加入了深监督模块,利用中间层的特征计算一个权重衰减的loss,起到正则化的作用。实验表明,改进之后的网络将基线模型的F1得分从81.6提高到86.1。在...     

基于通道注意力的全注意力端到端压缩方法

图像压缩是低层级图像处理领域的重要研究方向,近年来,基于深度学习的图像压缩算法取得了巨大进展。结合注意力模块RBAM(Residual Block Attention Module)的高斯混合模型压缩算法可获得较好效果,但由于RBAM单个模块参数量较大,只能在压缩算法编解码网络中局部嵌入,限制了注意力模块在全网络中的潜力。使用一种轻量级的通道注意力模块,将其嵌入到整个图像编解码网络中,构成了一种全注意力的图像压缩算法。与嵌入RBAM的压缩算法相比,所提算法在获得更好的率失真性能的同时,网络中注意力模块参数量减少了26.8%。实验结果表明,当以峰值信噪比(PSNR)和多尺度结构相似性(MS-SSIM)作为评价指标时,所提算法在Kodak和CLIC两个图像验证数据集上的率失真性能都超越了已有算法,并获得了更好的主观视觉效果。