基于GAN的对抗样本生成研究

深度卷积神经网络在图像分类、目标检测和人脸识别等任务上取得了较好性能,但其在面临对抗攻击时容易发生误判。为了提高卷积神经网络的安全性,针对图像分类中的定向对抗攻击问题,提出一种基于生成对抗网络的对抗样本生成方法。利用类别概率向量重排序函数和生成对抗网络,在待攻击神经网络内部结构未知的前提下对其作对抗攻击。实验结果显示,提出的方法在对样本的扰动不超过5%的前提下,定向对抗攻击的平均成功率较对抗变换网络提高了1.5%,生成对抗样本所需平均时间降低了20%。     

基于生成式对抗网络的通用性对抗扰动生成方法

深度神经网络在图像分类应用中具有很高的准确率,然而,当在原始图像中添加微小的对抗扰动后,深度神经网络的分类准确率会显著下降。研究表明,对于一个分类器和数据集存在一种通用性对抗扰动,其可对大部分原始图像产生攻击效果。文章设计了一种通过生成式对抗网络来制作通用性对抗扰动的方法。通过生成式对抗网络的训练,生成器可制作出通用性对抗扰动,将该扰动添加到原始图像中制作对抗样本,从而达到攻击的目的。文章在CIFAR-10数据集上进行了无目标攻击、目标攻击和迁移性攻击实验。实验表明,生成式对抗网络生成的通用性对抗扰动可在较低范数约束下达到89%的攻击成功率,且利用训练后的生成器可在短时间内制作出大量的对抗样本,利于深度神经网络的鲁棒性研究。     

局部时间序列黑盒对抗攻击

用于时间序列分类的深度神经网络由于其自身对于对抗攻击的脆弱性,导致模型存在潜在的安全问题。现有的时间序列攻击方法均基于梯度信息进行全局扰动,生成的对抗样本易被察觉。为此,文中提出了一种不需要梯度信息的局部黑盒攻击方法。首先,对抗攻击被描述为一个约束优化问题,并假设不能获得被攻击模型的任何内部信息;然后利用遗传算法求解该问题;最后由于时间序列shapelets提供了不同类别间最具辨别力的信息,因此将其设计为局部扰动区间。实验结果表明,在有潜在安全隐患的UCR数据集上,所提方法可以有效地攻击深度神经网络并生成对抗样本。此外,所提算法相比基准算法在保持较高攻击成功率的同时显著降低了均方误差。     

对抗攻击威胁基于卷积神经网络的网络流量分类

深度学习算法被广泛地应用于网络流量分类,具有较好的分类效果,应用卷积神经网络不仅能大幅提高网络流量分类的准确性,还能简化其分类过程.然而,神经网络面临着对抗攻击等安全威胁,这些安全威胁对基于神经网络的网络流量分类的影响有待进一步的研究和验证.文中提出了基于卷积神经网络的网络流量分类的对抗攻击方法,通过对由网络流量转换成的深度学习输入图像添加人眼难以识别的扰动,使得卷积神经网络对网络流量产生错误的分类.同时,针对这种攻击方法,文中也提出了基于混合对抗训练的防御措施,将对抗攻击形成的对抗流量样本和原始流量样本混合训练以增强分类模型的鲁棒性.文中采用公开数据集进行实验,实验结果表明,所提对抗攻击方法能导致基于卷积神经网络的网络流量分类方法的准确率急剧下降,通过混合对抗训练则能够有效地抵御对抗攻击,从而提高模型的鲁棒性.     

文本对抗验证码的研究

图像识别等深度学习技术的发展使得传统的文本验证码安全性下降，利用对抗样本这一深度神经网络存在的缺陷来增强文本验证码的安全性具有重要研究意义。通过将多种对抗样本生成算法应用到文本验证码上，生成文本对抗验证码，并从耗时、扰动大小、黑白盒识别率等多个方面衡量生成的对抗验证码的实际效果。基于验证码生成频率较高的应用场景特点，筛选出将通用对抗扰动应用到文本验证码上的方案；在应用快速通用对抗扰动（Fast-UAP）算法时，为了克服Fast-UAP的不稳定性，提出了I-FUAP(initialized-FUAP)算法，通过利用通用对抗扰动来进行初始化，实验表明，在不显著影响扰动成功率和对抗样本攻击效果的前提下，改进后的算法相比于原来的Fast-UAP能更快地生成通用对抗扰动，生成耗时减少约30.22%。     

基于深度强化学习的黑盒对抗攻击算法

针对图像识别领域中的黑盒对抗攻击问题,基于强化学习中DDQN框架和Dueling网络结构提出一种黑盒对抗攻击算法。智能体通过模仿人类调整图像的方式生成对抗样本,与受攻击模型交互获得误分类结果,计算干净样本和对抗样本的结构相似性后获得奖励。攻击过程中仅获得了受攻击模型的标签输出信息。实验结果显示,攻击在CIFAR10和CIFAR100数据集上训练的4个深度神经网络模型的成功率均超过90%,生成的对抗样本质量与白盒攻击算法FGSM相近且成功率更有优势。     

聚焦图像对抗攻击算法PS-MIFGSM

针对目前主流对抗攻击算法通过扰动全局图像特征导致攻击隐蔽性降低的问题,提出一种聚焦图像的无目标攻击算法——PS-MIFGSM。首先,通过Grad-CAM算法捕获卷积神经网络(CNN)在分类任务中对图像的重点关注区域;然后,使用MI-FGSM攻击分类网络,生成对抗扰动,并且将扰动作用于图像的重点关注区域,而图像的非关注区域保持不变,从而生成新的对抗样本。在实验部分,以三种图像分类模型Inception_v1、Resnet_v1和Vgg_16为基础,对比了PS-MIFGSM和MI-FGSM两种方法分别进行单模型攻击和集合模型攻击的效果。实验结果表明,PSMIFGSM能够在攻击成功率不变的同时,有效降低对抗样本与真实样本的差异大小。     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。     

局部可视对抗扰动生成方法

深度神经网络极易受到局部可视对抗扰动的攻击.文中以生成对抗网络为基础,提出局部可视对抗扰动生成方法.首先,指定被攻击的分类网络作为判别器,并在训练过程中固定参数不变.再构建生成器模型,通过优化欺骗损失、多样性损失和距离损失,使生成器产生局部可视对抗扰动,并叠加在不同输入样本的任意位置上攻击分类网络.最后,提出类别比较法,分析局部可视对抗扰动的有效性.在公开的图像分类数据集上实验表明,文中方法攻击效果较好.     

基于FGSM的对抗样本生成算法

近年来,深度学习算法在各个领域都取得了极大的成功,给人们的生活带来了极大便利。然而深度神经网络由于其固有特性,用于分类任务时,存在不稳定性,很多因素都影响着分类的准确性,尤其是对抗样本的干扰,通过给图片加上肉眼不可见的扰动,影响分类器的准确性,给深度神经网络带来了极大的威胁。通过对相关对抗样本的研究,该文提出一种基于白盒攻击的对抗样本生成算法DCI-FGSM(Dynamic Change Iterative Fast Gradient Sign Method)。通过动态更新梯度及噪声幅值,可以防止模型陷入局部最优,提高了生成对抗样本的效率,使得模型的准确性下降。实验结果表明,在MINIST数据集分类的神经网络攻击上DCI-FGSM取得了显著的效果,与传统的对抗样本生成算法FGSM相比,将攻击成功率提高了25%,具有更高的攻击效率。     

拓扑自适应粒子群优化的黑盒对抗攻击

深度学习模型在对抗攻击面前非常脆弱,即使对数据添加一个小的、感知上无法区分的扰动,也很容易降低其分类性能.针对现有黑盒对抗攻击方法存在效率低和成功率不高的问题,提出基于拓扑自适应粒子群优化的黑盒对抗攻击方法.首先根据原始图像随机生成初始对抗样本种群;然后根据邻域信息计算各样本的扰动并在搜索空间内迭代,计算动态惩罚项系数以控制样本的适应度值,当迭代多次种群适应度值未提高时,各样本进行邻域重分布,根据进化轨迹调整状态;最后修剪多余扰动获得最终的对抗样本.以InceptionV3等分类模型为攻击对象,使用MNIST,CIFAR-10和ImageNet数据集,在相同的样本数量和模型访问限制条件下,进行无目标对抗攻击和目标对抗攻击实验.结果表明,与现有方法相比,所提攻击方法具有较少的模型访问次数和较高的攻击成功率,对InceptionV3模型的平均访问次数为2 502,攻击成功率为94.30%.     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类。研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大。针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN。首先使用对抗生成网络生成器根据输入噪声与标签信息生成重构图像,然后计算重构前后图像均方误差,对比选取重构图像馈送到分类器进行分类从而去除对抗性扰动,实现对抗样本防御,最后,在MNIST数据集上进行大量实验。实验结果表明本文提出的防御方法更加具备通用性,能够防御多种对抗攻击,且时间消耗低,可应用于对时间要求极其苛刻的实际场景中。     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

基于深度神经网络的对抗样本技术综述

深度学习在完成一些难度极高的任务中展现了惊人的能力,但深度神经网络难以避免对刻意添加了扰动的样本（称为“对抗样本”）进行错误的分类。“对抗样本”逐渐成为深度学习安全领域的研究热点。研究对抗样本产生的原因和作用机理,有助于从安全性和鲁棒性方面优化模型。在掌握对抗样本原理的基础上,对经典对抗样本攻击方法进行分类总结,根据不同的攻击原理将攻击方法分为白盒攻击与黑盒攻击两个大类,并引入非特定目标攻击、特定目标攻击、全像素添加扰动攻击和部分像素添加扰动攻击等细类。在ImageNet数据集上对几种典型攻击方法进行复现,通过实验结果,比较几种生成方法的优缺点,分析对抗样本生成过程中的突出问题。并对对抗样本的应用和发展作了展望。     

基于U-Net的对抗样本防御模型

对抗攻击是指对图像添加微小的扰动使深度神经网络以高置信度输出错误分类。提出一种对抗样本防御模型SE-ResU-Net,基于图像语义分割网络U-Net架构,引入残差模块和挤压激励模块,通过压缩和重建方式进行特征提取和图像还原,破坏对抗样本中的扰动结构。实验结果表明,SE-ResU-Net模型能对MI-FGSM、PGD、DeepFool、C&W攻击的对抗样本实施有效防御,在CIFAR10和Fashion-MNIST数据集上的防御成功率最高达到87.0%和93.2%,且具有较好的泛化性能。     

基于改进遗传算法的对抗样本生成方法

对抗样本是评估模型安全性和鲁棒性的有效工具,对模型进行对抗训练能有效提升模型的安全性。现有对抗攻击按主流分类方法可分为白盒攻击和黑盒攻击两类,其中黑盒攻击方法普遍存在攻击效率低、隐蔽性差等问题。提出一种基于改进遗传算法的黑盒攻击方法,通过在对抗样本进化过程中引入类间激活热力图解释方法,并对原始图像进行区域像素划分,将扰动进化限制在图像关键区域,以提升所生成对抗样本的隐蔽性。在算法中使用自适应概率函数与精英保留策略,提高算法的攻击效率,通过样本初始化、选择、交叉、变异等操作,在仅掌握模型输出标签及其置信度的情况下实现黑盒攻击。实验结果表明,与同是基于遗传算法的POBA-GA黑盒攻击方法相比,该方法在相同攻击成功率下生成的对抗样本隐蔽性更好,且生成过程中模型访问次数更少,隐蔽性平均提升7.14%,模型访问次数平均降低6.43%。     

基于平移随机变换的对抗样本生成方法

基于深度神经网络的图像分类模型能够以达到甚至高于人眼的识别度识别图像,但是因模型自身结构的脆弱性,导致其容易受对抗样本的攻击。现有的对抗样本生成方法具有较高的白盒攻击率,而在黑盒条件下对抗样本的攻击成功率较低。将数据增强技术引入到对抗样本生成过程中,提出基于平移随机变换的对抗样本生成方法。通过构建概率模型对原始图像进行随机平移变换,并将变换后的图像用于生成对抗样本,有效缓解对抗样本生成过程中的过拟合现象。在此基础上,采用集成模型攻击的方式生成可迁移性更强的对抗样本,从而提高黑盒攻击成功率。在ImageNet数据集上进行单模型和集成模型攻击的实验结果表明,该方法的黑盒攻击成功率高达80.1%,与迭代快速梯度符号方法和动量迭代快速梯度符号方法相比,该方法的白盒攻击成功率虽然略有降低,但仍保持在97.8%以上。     

基于通用对抗扰动的图像验证码保护方法

卷积神经网络的发展使得图像验证码已经不再安全。基于卷积神经网络中存在的通用对抗扰动,提出了一种图像验证码的保护方法。提出了一种快速生成通用对抗扰动的算法,将方向相似的对抗扰动向量进行叠加以加快生成通用对抗扰动的速度。基于此算法设计了图像验证码的保护方案,将通用对抗扰动加入到验证码的图像中使其无法被卷积神经网络模型识别。在ImageNet数据集上进行的仿真实验结果表明,该方案比现有工作DeepCAPTCHA具有更低的破解率,能有效保护图像验证码不被主流的卷积神经网络模型破解。