基于结构嵌入的图像修复方法研究

针对当前图像修复领域存在结构丢失、纹理模糊、不能够充分利用背景信息生成内容风格一致的填充区域的问题,在编码解码网络基础上,提出带有多尺度结构信息与注意力机制的共享修复模型。在生成阶段,嵌入多尺度结构信息为图像修复提供前提条件。同时使用多尺度注意力机制,从背景信息中获取相关信息,并经过细化,生成与图像相关的内容和结构;使用PatchGAN和固定权重VGG-16分类器作为鉴别器,并将风格损失和感知损失引入到对抗网络中,以实现所生成图像的风格一致性。在Places2数据集上与当前主流的图像修复算法进行对比,实验结果表明该算法与其他算法相比能较好地恢复图像结构的细节信息,生成更清晰、精细的修复结果。     

使用孪生注意力机制的生成对抗网络的研究

生成对抗网络(GAN)能够生成逼真的图像,已成为生成模型中的一个研究热点。针对生成对抗网络无法有效提取图像局部与全局特征间依赖关系以及各类别间的依赖关系,提出一种用于生成对抗网络的孪生注意力模型(TAGAN)。以孪生注意力机制为驱动,通过模拟局部与全局特征间的依赖关系以及各类别间依赖关系,对真实自然图像建模,创建逼真的非真实图像。孪生注意力机制包含特征注意力模型和通道注意力模型,特征注意力模型通过有选择地聚合特征,学习相似特征间的关联性,通道注意力模型通过整合各通道维度的相关特征,学习各通道的内部依赖关系。在MNIST、CIFAR10和CelebA64数据集上验证了所提出模型的有效性。     

基于改进CGANs的入侵检测方法研究

近年来,机器学习算法在入侵检测系统(IDS)中的应用获得越来越多的关注。然而,传统的机器学习算法更多的依赖于已知样本,因此需要尽可能多的数据样本来对模型进行训练。遗憾地是,随着越来越多未知攻击的出现,且用于训练的攻击样本具有不平衡性,传统的机器学习模型会遇到瓶颈。文章提出一种将改进后的条件生成对抗网络(CGANs)与深度神经网络(DNN)相结合的入侵检测模型(CGANs-DNN),通过解决样本不平衡性问题来提高检测模型对未知攻击类型或只有少数攻击样本类型的检测率。深度神经网络(DNN)具有表征数据潜在特征的能力,而经过改进后的条件CGANs,能够通过学习已知攻击样本潜在数据特征分布,来根据指定类型生成新的攻击样本。此外,与生成对抗网络(GANs)和变分自编码器(VAE)等无监督生成模型相比,CGANsDNN经过改进后加入梯度惩罚项,在训练的稳定性上有了很大地提升。通过NSL-KDD数据集对模型进行评估,与传统算法相比CGANs-DNN不仅在整体准确率、召回率和误报率等方面有更好的性能,而且对未知攻击和只有少数样本的攻击类型具有较高的检测率。     

融合门控自注意力机制的生成对抗网络视频异常检测

目的 视频异常行为检测是当前智能监控技术的研究热点之一,在社会安防领域具有重要应用。如何通过有效地对视频空间维度信息和时间维度信息建模来提高异常检测的精度仍是目前研究的难点。由于结构优势,生成对抗网络目前广泛应用于视频异常检测任务。针对传统生成对抗网络时空特征利用率低和检测效果差等问题,本文提出一种融合门控自注意力机制的生成对抗网络进行视频异常行为检测。方法 在生成对抗网络的生成网络U-net部分引入门控自注意力机制,逐层对采样过程中的特征图进行权重分配,融合U-net网络和门控自注意力机制的性能优势,抑制输入视频帧中与异常检测任务不相关背景区域的特征表达,突出任务中不同目标对象的相关特征表达,更有效地针对时空维度信息进行建模。采用LiteFlownet网络对视频流中的运动信息进行提取,以保证视频序列之间的连续性。同时,加入强度损失函数、梯度损失函数和运动损失函数加强模型检测的稳定性,以实现对视频异常行为的检测。结果 在CUHK(Chinese University of Hong Kong) Avenue、UCSD(University of California, San Dieg...     

不平衡数据集下的水下目标快速识别方法

水下目标的准确识别是水下机器人实现抓取、捕捞等安全作业的前提,针对水下图像质量差、样本数量少及类不平衡而导致目标识别精确度低的问题,提出了一种基于生成对抗网络（Generative Adversarial Networks, GAN）的水下目标快速识别算法。利用GAN理论搭建了深度卷积神经网络的水下图像生成模型,通过生成器与判别器的零和博弈生成特定水下目标图像;设计生成目标的中心坐标计算函数和边界融合函数,将生成目标与背景图像融合后训练水下目标识别模型。实验结果表明,所提方法能够显著提高水下目标识别精确度,对实现水下目标准确抓取、促进水下作业及海洋资源的开发具有重要意义。     

基于改进生成对抗网络的谣言检测方法

传统谣言检测算法存在提取文本语义、关键特征等效果不理想的问题,而一般序列模型在文本检测中无法解决特定语义下的特征提取,导致模型泛化能力差。为解决上述问题,该文提出一种改进的生成对抗网络模型(TGBiA)用于谣言检测,该模型采用对抗训练方式,符合谣言在传播过程中人为增删、夸大和歪曲信息的特点,通过对抗网络生成器和判别器的相互促进作用,强化谣言指示性特征的学习,不断提高模型的学习能力。训练过程中的生成器通过Transformer结构代替单一的RNN网络,实现语义的提取和特征的学习,同时,在训练过程中的判别器采用基于双向长短期记忆单元的深度网络分类模型,并引入注意力机制来提升对较长时间序列谣言的判断能力。在公开的微博和Twitter数据集上的实验结果表明,该文提出的方法比其他现有方法检测效果更好,鲁棒性更强。     

基于生成对抗网络的乳腺癌病理图像可疑区域标记

本论文针对乳腺癌病理图像分析提出新的方法进行图像特征提取和可疑区域标记。由于深度神经网络,例如 VGG,GoogleNet,ResNet 等,均需要大量的标注样本才能完成训练,而医疗影像图像的标记成本很高,并不能为训练复杂的网络提供足够的训练数据。本论文借鉴生成对抗网络(Generative Adversarial Network, GAN) 的思想,提出基于弱监督学习的病理图像可疑区域标记网络,首先利用少量有标记的病理图像数据来训练分类模型,即判断该图像是否是乳腺癌,然后通过融合该网络提取到的具有判别力的特征来对可疑区域进行标记。由本文提出的网络在已有的国外乳腺癌病理图像数据集上达到的平均准确率为 83.8%,比基于卷积神经网络 (Convolutional Neural Network,CNN) 的分类方法在准确率上分别高 3 个百分点,说明该网络提取到的特征具有更好的判别力,不仅能够提高分类模型的准确率,还更有助于对病理图像的可疑区域进行标记。     

融合多感受野与注意力的太阳能电池缺陷生成算法

针对太阳能电池某些缺陷图像样本较少的问题,提出融合多感受野与注意力的太阳能电池缺陷生成算法,并将生成图像用于缺陷检测模型的训练.首先,构造双判别器的生成对抗网络,全局判别器与局部判别器分别关注图像中的全局信息与局部细节.然后,设计多感受野特征提取,与改进的注意力模块融合为多感受野注意力模块,用于设计生成器和判别器的网络结构.最后,在损失函数中加入结构相似性损失与峰值信噪比损失,用于训练生成器,并对生成图像进行均值滤波处理.在太阳能电池电致发光数据集上对3种不同尺度的缺陷图像进行生成实验,结果表明,3种缺陷生成图像的结构相似性指标与峰值信噪比指标都较高.此外,在利用生成的缺陷图像进行YOLOv7检测模型的训练后,3种缺陷的平均精度均值较高.     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

融合注意力机制的模糊图像多尺度复原

目的 去模糊任务通常难以进行对图像纹理细节的学习,所复原图像的细节信息不丰富,图像边缘不够清晰,并且需要耗费大量时间。本文通过对图像去模糊方法进行分析,同时结合深度学习和对抗学习的方法,提出一种新型的基于生成对抗网络(generative adversarial network, GAN)的模糊图像多尺度复原方法。方法 使用多尺度级联网络结构,采用由粗到细的策略对模糊图像进行复原,增强去模糊图像的纹理细节;同时采用改进的残差卷积结构,在不增加计算量的同时,加入并行空洞卷积模块,增加了感受野,获得更大范围的特征信息;并且加入通道注意力模块,通过对通道之间的相关性进行建模,加强有效特征权重,并抑制无效特征;在损失函数方面,结合感知损失(perceptual loss)以及最小均方差(mean squared error, MSE)损失,保证生成图像和清晰图像内容一致性。结果 通过全参考图像质量评价指标峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity,SSIM)以及复原时间来评价算法优劣。与其他方法的对比结...     

混合双注意力机制生成对抗网络的图像修复模型

目的 图像修复是指用合理的内容来填补图像缺失或损坏的部分。尽管生成对抗网络（generative adversarial network,GAN）取得了巨大的进步,但当缺失区域很大时,现有的大多数方法仍然会产生扭曲的结构和模糊的纹理。其中一个主要原因是卷积操作的局域性,它不考虑全局或远距离结构信息,只是扩大了局部感受野。方法 为了克服上述问题,提出了一种新的图像修复网络,即混合注意力生成对抗网络（hybrid dual attention generativeadversarial network,HDA-GAN）,它可以同时捕获全局结构信息和局部细节纹理。具体地,HDA-GAN将两种级联的通道注意力传播模块和级联的自注意力传播模块集成到网络的不同层中。对于级联的通道注意力传播模块,将多个多尺度通道注意力块级联在网络的高层,用于学习从低级细节到高级语义的特征。对于级联的自注意力传播模块,将多个基于分块的自注意力块级联在网络的中低层,以便在保留更多的细节的同时捕获远程依赖关系。级联模块将多个相同的注意力块堆叠成不同的层,能够增强局部纹理传播到全局结构。结果 本文采用客观评价指标：均方差（mean squared error,MSE）、峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性指数（structural similarityindex,SSIM）在Paris Street View数据集和CelebA-HQ（CelebA-high quality）数据集上进行了大量实验。定量比较中,HDA-GAN在Paris Street View数据集上相比于Edge-LBAM（edge-guided learnable bidirectional attention maps）方法,在掩码不同的比例上,PSNR提升了1.28 dB、1.13 dB、0.93 dB和0.80 dB,SSIM分别提升了5.2%、8.2%、10.6%和13.1%。同样地,在CelebA-HQ数据集上相比于AOT-GAN（aggregated contextual transformations generative adversarialnetwork）方法,在掩码不同的比例上,MAE分别降低了2.2%、5.4%、11.1%、18.5%和28.1%,PSNR分别提升了0.93 dB、0.68 dB、0.73 dB、0.84 dB和0.74 dB。通过可视化实验可以明显观察到修复效果优于以上方法。结论 本文提出的图像修复方法,充分发挥了深度学习模型进行特征学习和图像生成的优点,使得修复图像缺失或损坏的部分更加准确。     

联合多重对抗与通道注意力的高安全性图像隐写

目的 现有基于对抗图像的隐写算法大多只能针对一种隐写分析器设计对抗图像,且无法抵御隐写分析残差网络(steganalysis residual network,SRNet)、Zhu-Net等最新基于卷积神经网络隐写分析器的检测。针对这一现状,提出了一种联合多重对抗与通道注意力的高安全性图像隐写方法。方法 采用基于U-Net结构的生成对抗网络生成对抗样本图像,利用对抗网络的自学习特性实现多重对抗隐写网络参数迭代优化,并通过针对多种隐写分析算法的对抗训练,生成更适合内容隐写的载体图像。同时,通过在生成器中添加多个轻量级通道注意力模块,自适应调整对抗噪声在原始图像中的分布,提高生成对抗图像的抗隐写分析能力。其次,设计基于多重判别损失和均方误差损失相结合的动态加权组合方案,进一步增强对抗图像质量,并保障网络快速稳定收敛。结果 实验在BOSS Base 1.01数据集上与当前主流的4种方法进行比较,在使用原始隐写图像训练后,相比于基于U-Net结构的生成式多重对抗隐写算法等其他4种方法,使得当前性能优异的5种隐写分析器平均判别准确率降低了1.6%;在使用对抗图像和增强隐写图像再训练后,相比其他4种方法,仍使得当前性能优异的5种隐写分析器平均判别准确率降低了6.8%。同时也对对抗图像质量进行分析,基于测试集生成的2 000幅对抗图像的平均峰值信噪比(peak signal-tonoise ratio,PSNR)可达到39.925 1 dB,实验结果表明本文提出的隐写网络极大提升了隐写算法的安全性。结论 本文方法在隐写算法安全性领域取得了较优秀的性能,且生成的对抗图像具有很高的视觉质量。     

基于注意力机制的入侵检测生成对抗网络模型

针对传统基于生成对抗网络（GAN）模型存在生成对抗样本无效且训练效率低等问题,提出一种基于注意力机制的GAN模型,通过在生成器模块引入注意力机制,保留攻击流量攻击功能的同时,对输入向量的不同部分设置不同权值,以实现对关键特征信息的抽取,使得模型可以作出更准确的判断,同时提高训练的效率。生成器根据注意力特征图可以抽取攻击流量中的非功能特征进行修改,提高训练效率,结合判别器判别反馈结果,最终生成器可以生成保留攻击功能的有效对抗样本。实验针对基于卷积神经网络（CNN）类的深度入侵检测系统进行测试,验证了此基于注意力机制的GAN对抗攻击模型生成的对抗流量可以有效降低深度入侵检测系统的识别率,整体识别率降低超过10%,在注意力模块的帮助下模型能够针对重要特征进行训练,使得收敛速度更快、效率更高。     

基于单阶段GANs的文本生成图像模型

针对目前生成以文本为条件的图像通常会遇到生成质量差、训练不稳定的问题,提出了通过单阶段生成对抗网络(GANs)生成高质量图像的模型.具体而言,在GANs的生成器中引入注意力机制生成细粒度的图像,同时通过在判别器中添加局部-全局语言表示,来精准地鉴别生成图像和真实图像;通过生成器和判别器之间的相互博弈,最终生成高质量图像...     

基于属性分解融合的可控人脸图像合成算法

在现实生活中,人脸图像受隐私或安全因素的限制难以直接采集,因此可以考虑采用图像生成方法。当使用生成对抗网络进行图像生成时,容易出现分辨率低、边缘模糊、身份信息特征丢失等问题。针对上述问题,提出了一种新的人脸特征生成模型：通过将关键信息作为独立编码嵌入隐式空间,再与全局特征进行融合插值实现对人脸关键特征的可控生成;引入改进的注意力模块,在生成过程中关注局部特征和全局特征的相关性;将色差损失和人脸分量损失联合引入整体损失函数中,负责约束像素颜色和人脸纹理特征。该算法可以在人脸局部区域生成自然真实的外观特征,保留原始身份信息,并生成平滑的面部轮廓。使用预处理后的CelebA数据集的实验表明,该算法在主观视觉效果上有显著提升,同时与现有方法相比在PSNR和SSIM上有稳定的提升。     

面向车型识别的夜间车辆图像增强网络RIC-NVNet

目的 由于夜间图像具有弱曝光、光照条件分布不均以及低对比度等特点,给基于夜间车辆图像的车型识别带来困难。此外,夜间车辆图像上的车型难以肉眼识别,增加了直接基于夜间车辆图像的标定难度。因此,本文从增强夜间车辆图像特征考虑,提出一种基于反射和照度分量增强的夜间车辆图像增强网络（night-time vehicle image enhancement network based on reflectance and illumination components,RIC-NVNet）,以增强具有区分性的特性,提高车型识别正确率。方法 RIC-NVNet网络结构由3个模块组成,分别为信息提取模块、反射增强模块和照度增强模块。在信息提取模块中,提出将原始车辆图像与其灰度处理图相结合作为网络输入,同时改进了照度分量的约束损失,提升了信息提取网络的分量提取效果;在反射分量增强网络中,提出将颜色恢复损失和结构一致性损失相结合,以增强反射增强网络的颜色复原能力和降噪能力,有效提升反射分量的增强效果;在照度分量增强网络中,提出使用自适应性权重系数矩阵,对夜间车辆图像的不同照度区域进行有区别性的增强。结果 在模拟夜间车辆图像数据集和真实夜间车辆图像数据集上开展实验,从主观评价来看,该网络能够提升图像整体的对比度,同时完成强曝光区域和弱曝光区域的差异性增强。从客观评价分析,经过本文方法增强后,夜间车型的识别率提升了2%,峰值信噪比（peak signal to noise ratio, PSNR）和结构相似性（structural similarity, SSIM）指标均有相应提升。结论 通过主观和客观评价,表明了本文方法在增强夜间车辆图像上的有效性,经过本文方法的增强,能够有效提升夜间车型的识别率,满足智能交通系统的需求。     

面向规避僵尸网络流量检测的对抗样本生成

基于机器学习的僵尸网络流量检测是现阶段网络安全领域比较热门的研究方向,然而生成对抗网络(generative adversarial networks,GAN)的出现使得机器学习面临巨大的挑战.针对这个问题,在未知僵尸网络流量检测器模型结构和参数的假设条件下,基于生成对抗网络提出了一种新的用于黑盒攻击的对抗样本生成方法...     

基于MRI图像的阿尔茨海默症患者脑网络特征识别算法

针对通过脑成像对阿尔茨海默症（AD）进行人工识别存在主观性、易误诊的问题,提出了一种基于核磁共振成像（MRI）图像构建脑网络对AD进行自动识别的方法。首先,把MRI图像叠加并进行结构块划分,并通过计算任意两个结构块之间的结构相似性（SSIM）来构造网络;然后,利用复杂网络理论提取结构参数,并将其作为机器学习算法的输入实现AD的自动识别。分析发现双参数特别是节点介数和边介数作为输入时分类效果最优,进一步研究发现MRI图像划分为27个结构块时分类效果最优,对于加权网络和无权网络的准确率分别最高可达91.04%和94.51%。实验结果表明,基于MRI结构块划分构建的结构相似性复杂网络能够对AD进行准确率更高的识别。