时空梯度迭代的声纹对抗攻击算法STI-FGSM

为了解决当前声纹对抗攻击算法梯度信息利用不足、迁移性较差等问题，针对说话人识别模型，提出一种时空迭代快速梯度符号法（space-time iterative fast gradient sign method,STI-FGSM）的声纹对抗攻击算法。该算法基于动量迭代快速梯度符号法（momentum iterative fast gradient sign method,MI-FGSM），融合动量和时序梯度信息，使用下一步观测梯度修正扰动更新方向。引入空间梯度信息，充分学习语音样本区域信息，实现不同区域的空间梯度动量累加。结合扰动集成的方法，充分利用已知的白盒模型，实现多模型扰动叠加，进一步提高黑盒攻击成功率。实验结果表明，STI-FGSM算法针对ResNetSE34V2、TDy＿ResNet34＿half、x-vector、ECAPA-TDNN四种说话人识别模型，均能取得较强的白盒攻击，并实现较高的黑盒攻击成功率，其性能优于其他算法。     

针对眼部掩模的人脸识别对抗贴片研究

随着深度学习技术的快速发展,人脸识别技术被广泛应用于现实世界的工作与生活中。然而深度神经网络对于对抗样本表现出极大的脆弱性。鉴于用对抗贴片进行黑盒攻击比白盒攻击更加困难,且黑盒攻击性能性能较差,同时由于眼部区域包含了较多的特征信息,该文提出一种新的针对眼部掩模的对抗贴片生成方法(Adversarial Eye Mask, AdvEyeMask),来实现人脸识别系统的黑盒攻击。首先,对输入图像进行添加随机噪声、随机调整亮度以及随机放缩等多样性变换,在采用集成模型生成贴片的迭代优化过程中,借助动量思想求得目标损失,而后对损失梯度矩阵进行高斯核卷积处理,从而提高对抗贴片的黑盒攻击性能。基于CASIA-Facev5数据集,AdvEyeMask与AdvHat方法相比,平均相似度提升了34.46%,平均攻击成功率提升了64.40%,实现了较好的黑盒攻击效果。最后,从实用性角度出发,AdvEyeMask方法生成的对抗贴片在物理场景下对某商用人脸识别设备进行了黑盒攻击测试。     

基于图像翻转变换的对抗样本生成方法

面对对抗样本的攻击,深度神经网络是脆弱的。对抗样本是在原始输入图像上添加人眼几乎不可见的噪声生成的,从而使深度神经网络误分类并带来安全威胁。因此在深度神经网络部署前,对抗性攻击是评估模型鲁棒性的重要方法。然而,在黑盒情况下,对抗样本的攻击成功率还有待提高,即对抗样本的可迁移性有待提升。针对上述情况,提出基于图像翻转变换的对抗样本生成方法——FT-MI-FGSM（Flipping Transformation Momentum Iterative Fast Gradient Sign Method）。首先,从数据增强的角度出发,在对抗样本生成过程的每次迭代中,对原始输入图像随机翻转变换;然后,计算变换后图像的梯度;最后,根据梯度生成对抗样本以减轻对抗样本生成过程中的过拟合,并提升对抗样本的可迁移性。此外,通过使用攻击集成模型的方法,进一步提高对抗样本的可迁移性。在ImageNet数据集上验证了所提方法的有效性。相较于I-FGSM（Iterative Fast Gradient Sign Method）和MI-FGSM（Momentum I-FGSM）,在攻击集成模型设置下,FT-MI-FGSM在对抗训练网络上的平均黑盒攻击成功率分别提升了26.0和8.4个百分点。     

基于输入通道拆分的对抗攻击迁移性增强算法

深度神经网络已被应用于人脸识别、自动驾驶等场景中,但容易受到对抗样本的攻击。对抗样本的生成方法被分为白盒攻击和黑盒攻击,当对抗攻击算法攻击白盒模型时存在过拟合问题,导致生成对抗样本的迁移性降低。提出一种用于生成高迁移性对抗样本的对抗攻击算法CSA。在每次迭代过程中,通过对输入RGB图片的通道进行拆分,得到三张具有一个通道的输入图片,并对其进行零值填充,获得三张具有三个通道的输入图片。将最终得到的图片与原始RGB输入图片共同传入到模型中进行梯度计算,调整原始梯度的更新方向,避免出现局部最优。在此基础上,通过符号法生成对抗样本。在ImageNet数据集上的实验验证该算法的有效性,结果表明,CSA算法能够有效提高对抗攻击的迁移性,在四种常规训练模型上的攻击成功率平均为84.2%,与DIM、TIM结合所得DI-TI-CSA算法在三种对抗训练黑盒模型上的攻击成功率平均为94.7%,对七种防御模型的攻击成功率平均为91.8%。     

基于腐蚀批归一化层的对抗攻击算法

目前在对抗样本生成研究领域,基于梯度的攻击方法由于生成速度快和资源消耗低而得到广泛应用。然而,现有大多数基于梯度的攻击方法所得对抗样本的黑盒攻击成功率并不高。最强基于梯度的攻击方法在攻击6个先进防御黑盒模型时的平均成功率只有78.2%。为此,提出一种基于腐蚀深度神经网络架构中批归一化层的对抗攻击算法来改进现有基于梯度的攻击方法,以实现所得对抗样本的黑盒攻击成功率进一步提升。在一个ImageNet兼容数据集上做了大量实验,实验结果表明所提出的算法在单模型攻击和集成模型攻击中均能与现有基于梯度的攻击方法有效组合,实现在几乎不增加额外计算开销条件下增强对抗样本的攻击性能。此外,所提算法还使得最强基于梯度的攻击方法针对6个先进防御黑盒模型的平均攻击成功率提升了9.0个百分点。     

基于深度强化学习的黑盒对抗攻击算法

针对图像识别领域中的黑盒对抗攻击问题,基于强化学习中DDQN框架和Dueling网络结构提出一种黑盒对抗攻击算法。智能体通过模仿人类调整图像的方式生成对抗样本,与受攻击模型交互获得误分类结果,计算干净样本和对抗样本的结构相似性后获得奖励。攻击过程中仅获得了受攻击模型的标签输出信息。实验结果显示,攻击在CIFAR10和CIFAR100数据集上训练的4个深度神经网络模型的成功率均超过90%,生成的对抗样本质量与白盒攻击算法FGSM相近且成功率更有优势。     

基于改进遗传算法的对抗样本生成方法

对抗样本是评估模型安全性和鲁棒性的有效工具,对模型进行对抗训练能有效提升模型的安全性。现有对抗攻击按主流分类方法可分为白盒攻击和黑盒攻击两类,其中黑盒攻击方法普遍存在攻击效率低、隐蔽性差等问题。提出一种基于改进遗传算法的黑盒攻击方法,通过在对抗样本进化过程中引入类间激活热力图解释方法,并对原始图像进行区域像素划分,将扰动进化限制在图像关键区域,以提升所生成对抗样本的隐蔽性。在算法中使用自适应概率函数与精英保留策略,提高算法的攻击效率,通过样本初始化、选择、交叉、变异等操作,在仅掌握模型输出标签及其置信度的情况下实现黑盒攻击。实验结果表明,与同是基于遗传算法的POBA-GA黑盒攻击方法相比,该方法在相同攻击成功率下生成的对抗样本隐蔽性更好,且生成过程中模型访问次数更少,隐蔽性平均提升7.14%,模型访问次数平均降低6.43%。     

基于Rectified Adam和颜色不变性的对抗迁移攻击

深度神经网络在物体检测、图像分类、自然语言处理、语音识别等众多领域上得到广泛应用.然而,深度神经网络很容易受到对抗样本(即在原有样本上施加人眼无法察觉的微小扰动)的攻击,而且相同的扰动可以跨模型、甚至跨任务地欺骗多个分类器.对抗样本这种跨模型迁移特性,使得深度神经网络在实际生活的应用受到了很大限制.对抗样本对神经网络的威胁,激发了研究者对对抗攻击的研究兴趣.虽然研究者们已提出了不少对抗攻击方法,但是大多数这些方法(特别是黑盒攻击方法)的跨模型的攻击能力往往较差,尤其是对经过对抗训练、输入变换等的防御模型.为此,提出了一种提高对抗样本可迁移性的方法:RLI-CI-FGSM. RLI-CI-FGSM是一种基于迁移的攻击方法,在替代模型上,使用基于梯度的白盒攻击RLI-FGSM生成对抗样本,同时使用CIM扩充源模型,使RLI-FGSM能够同时攻击替代模型和扩充模型.具体而言,RLI-FGSM算法将Radam优化算法与迭代快速符号下降法相结合,并利用目标函数的二阶导信息来生成对抗样本,避免优化算法陷入较差的局部最优.基于深度神经网络具有一定的颜色变换不变性,CIM算法通过优化对颜色变换图像集合...     

应用引导积分梯度的对抗样本生成

给图片添加特定扰动可以生成对抗样本, 误导深度神经网络输出错误结果, 更加强力的攻击方法可以促进网络模型安全性和鲁棒性的研究. 攻击方法分为白盒攻击和黑盒攻击, 对抗样本的迁移性可以借已知模型生成结果来攻击其他黑盒模型. 基于直线积分梯度的攻击TAIG-S可以生成具有较强迁移性的样本, 但是在直线路径中会受噪声影响, 叠加与预测结果无关的像素梯度, 影响了攻击成功率. 所提出的Guided-TAIG方法引入引导积分梯度, 在每一段积分路径计算上采用自适应调整的方式, 纠正绝对值较低的部分像素值, 并且在一定区间内寻找下一步的起点, 规避了无意义的梯度噪声累积. 基于ImageNet数据集上的实验表明, Guided-TAIG在CNN和Transformer架构模型上的白盒攻击性能均优于FGSM、C&W、TAIG-S等方法, 并且制作的扰动更小, 黑盒模式下迁移攻击性能更强, 表明了所提方法的有效性.     

一种基于局部平均有限差分的黑盒对抗攻击方法

在黑盒攻击领域,目前主流方法是利用对抗样本迁移性实现对抗攻击,然而此类方法效果不佳。为此提出一种基于访问的黑盒攻击方法,此方法运用有限差分法直接估计样本在目标模型中的损失函数梯度。为提高攻击效率,算法在两方面进行优化:第一,在估计梯度时,固定区域内使用平均像素值代替区域所有像素值进行有限差分,从而每个区域只需计算一次梯度;第二,在迭代生成对抗样本时,提出复用多代梯度生成对抗扰动的思想,显著减少攻击迭代次数。经过大量实验验证,在MNIST、 CIFAR-10和ImageNet中迭代的非目标攻击分别获得了99. 8%、 99. 9%和85. 8%的攻击成功率,领先当今大多数黑盒攻击算法。     

Improving transferability of adversarial examples with powerful affine-shear transformation attack

Image classification models based on deep neural networks have made great improvements on various tasks, but they are still vulnerable to adversarial examples that could increase the possibility of misclassification. Various methods are proposed to generate adversarial examples under white-box attack circumstances that have achieved a high success rate. However, most existing adversarial attacks only achieve poor transferability when attacking other unknown models with the black-box scenario settings. In this paper, we propose a new method that generates adversarial examples based on affine-shear transformation from the perspective of deep model input layers and maximizes the loss function during each iteration. This method could improve the transferability and the input diversity of adversarial examples, and we also optimize the above adversarial examples generation process with Nesterov accelerated gradient. Extensive experiments on ImageNet Dataset indicate that our proposed method could exhibit higher transferability and achieve higher attack success rates on both single model settings and ensemble-model settings. It can also combine with other gradient-based methods and image transformation-based methods to further build more powerful attacks.     

Transfer-based Adversarial Attack with Rectified Adam and Color Invariance

Deep Neural Networks (DNNs) have been widely used in object detection, image classification, natural language processing, speech recognition, and other fields. Nevertheless, DNNs are vulnerable to adversarial examples which are formed by adding imperceptible perturbations to original samples. Moreover, the same perturbation can deceive multiple classifiers across models and even across tasks. The cross-model transfer characteristics of adversarial examples limit the application of DNNs in real life, and the threat of adversarial examples to DNNs has stimulated researchers'' interest in adversarial attacks. Recently, researchers have proposed several adversarial attack methods, but most of these methods (especially the black-box attack) have poor cross-model attack ability for defense models with adversarial training or input transformation in particular. Therefore, this study proposes a method to improve the transferability of adversarial examples, namely, RLI-CI-FGSM. RLI-CI-FGSM is a transfer-based attack method, which employs the gradient-based white-box attack RLI-FGSM to generate adversarial examples on the substitution model and adopts CIM to expand the source model so that RLI-FGSM can attack both the substitution model and the extended model at the same time. Specifically, RLI-FGSM integrates the RAdam optimization algorithm into the Iterative Fast Gradient Sign Method (I-FGSM) and makes use of the second-derivative information of the objective function to generate adversarial examples, which prevents the optimization algorithm from falling into a poor local optimum. Based on the color invariance property of DNNs, CIM optimizes the perturbations of image sets with color transformation to generate adversarial examples that can be transferred and are less sensitive to the attacked white-box model. Experimental results show that the proposed method has a high success rate on both normal and adversarial network models.     

Enhancing the Adversarial Transferability with Channel Decomposition

The current adversarial attacks against deep learning models have achieved incredible success in the white-box scenario. However, they often exhibit weak transferability in the black-box scenario, especially when attacking those with defense mechanisms. In this work, we propose a new transfer-based black-box attack called the channel decomposition attack method (CDAM). It can attack multiple black-box models by enhancing the transferability of the adversarial examples. On the one hand, it tunes the gradient and stabilizes the update direction by decomposing the channels of the input example and calculating the aggregate gradient. On the other hand, it helps to escape from local optima by initializing the data point with random noise. Besides, it could combine with other transfer-based attacks flexibly. Extensive experiments on the standard ImageNet dataset show that our method could significantly improve the transferability of adversarial attacks. Compared with the state-of-the-art method, our approach improves the average success rate from 88.2% to 96.6% when attacking three adversarially trained black-box models, demonstrating the remaining shortcomings of existing deep learning models.     

基于softmax激活变换的对抗防御方法

深度学习广泛应用于图像处理、自然语言处理、网络挖掘等各个领域并取得良好效果,但其容易受到对抗攻击、存在安全漏洞的问题引起广泛关注.目前已有一些有效的防御方法,包括对抗训练、数据变化、模型增强等方法.但是,依然存在一些问题,如提前已知攻击方法与对抗样本才能实现有效防御、面向黑盒攻击的防御能力差、以牺牲部分正常样本的处理性...     

针对卷积神经网络流量分类器的对抗样本攻击防御

随着深度学习的兴起,深度神经网络被成功应用于多种领域,但研究表明深度神经网络容易遭到对抗样本的恶意攻击.作为深度神经网络之一的卷积神经网络(CNN)目前也被成功应用于网络流量的分类问题,因此同样会遭遇对抗样本的攻击.为提高CNN网络流量分类器防御对抗样本的攻击,本文首先提出批次对抗训练方法,利用训练过程反向传播误差的特...     

深度学习中的对抗攻击与防御

对抗样本是被添加微小扰动的原始样本,用于误导深度学习模型的输出决策,严重威胁到系统的可用性,给系统带来极大的安全隐患。为此,详细分析了当前经典的对抗攻击手段,主要包括白盒攻击和黑盒攻击。根据对抗攻击和防御的发展现状,阐述了近年来国内外的相关防御策略,包括输入预处理、提高模型鲁棒性、恶意检测。最后,给出了未来对抗攻击与防御领域的研究方向。