面向机器学习的成员推理攻击综述

随着机器学习的不断发展,特别是在深度学习领域,人工智能已经融入到人们日常生活的方方面面。机器学习模型被部署到多种场景的应用中,提升了传统应用的智能化水平。然而,近年来的研究指出,用于训练机器学习模型的个人数据时常面临隐私泄露的风险。其中,成员推理攻击就是针对机器学习模型威胁用户隐私安全的一种非常重要的攻击方式。成员推理攻击的目的是判断用户数据样本是否被用于训练目标模型(如在医疗、金融等领域的用户数据),从而直接干涉到用户隐私信息。首先介绍了成员推理攻击的相关背景知识,随后对现有的成员推理攻击按照攻击者是否拥有影子模型进行分类,并对成员推理攻击在不同领域的威胁进行了相应的总结。其次,介绍了应对成员推理攻击的防御手段,对现有的防御机制按照模型过拟合、基于模型压缩和基于扰动等策略进行分类和总结。最后,对现有的成员推理攻击和防御机制的优缺点进行了分析,并提出了成员推理攻击的一些潜在的研究方向。     

一种物联网入侵检测和成员推理攻击研究

为适应物联网节点计算能力弱、存储空间不足和敏感数据易受攻击等特点,提出一种新的融合卷积神经网络和差分隐私的轻量级入侵检测模型,使模型更好适应物联网苛刻的资源环境。首先,使用MinMax算法对原始流量数据进行归一化预处理;其次,设计轻量级卷积神经网络提取流量特征并进行分类;最后使用差分隐私算法对模型可能遇到的成员推理攻击进行防御。新算法在UNSW＿NB15等入侵检测数据集上进行了实验,所提模型准确率达到98.98%,精确率达到98.05%,模型大小控制在200 KB左右,相比于DAE-OCSVM算法准确率提高了2.81%,适用于物联网资源有限环境下要求的高精度入侵检测;同时,针对模型可能遇到的成员推理攻击进行研究,算法在融入差分隐私算法后降低了20.96%的成员推理攻击。     

机器学习中成员推理攻击和防御研究综述

机器学习被广泛应用于各个领域, 已成为推动各行业革命的强大动力, 极大促进了人工智能的繁荣与发展。同时, 机器学习模型的训练和预测均需要大量数据, 而这些数据可能包含隐私信息, 导致其隐私安全面临严峻挑战。成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私, 其不仅可以破坏多种机器学习模型(如, 分类模型和生成模型)的数据隐私, 而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域, 这对机器学习的长远发展产生了极大的安全威胁。因此, 为了提高机器学习模型对成员推理攻击的安全性, 本文从机器学习隐私安全攻防角度, 全面系统性分析和总结了成员推理攻击和防御的基本原理和特点。首先, 介绍了成员推理攻击的定义、威胁模型, 并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类, 比较不同攻击的优缺点; 然后, 从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因, 并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施; 接着, 归纳总结了成员推理攻击和防御常用的评估指标和数据集, 以及其在其他方面的应用。最后, 通过对比分析已有成员推理攻击和防御的优缺点, 对其面临的挑战和未来研究方向进行了展望。     

针对机器学习的成员推断攻击综述

近年来,机器学习不仅在计算机视觉、自然语言处理等领域取得了显著成效,也被广泛应用于人脸图像、金融数据、医疗信息等敏感数据处理领域。最近,研究人员发现机器学习模型会记忆它们训练集中的数据,导致攻击者可以对模型实施成员推断攻击,即攻击者可以推断给定数据是否存在于某个特定机器学习模型的训练集。成员推断攻击的成功,可能导致严重的个人隐私泄露。例如,如果能确定某个人的医疗记录属于某医院的数据集,则表明这个人曾经是那家医院的病人。首先介绍了成员推断攻击的基本原理;然后系统地对近年来代表性攻击和防御的研究进行了总结和归类,特别针对不同条件设置下如何进行攻击和防御进行了详细的阐述;最后回顾成员推断攻击的发展历程,探究机器学习隐私保护面临的主要挑战和未来潜在的发展方向。     

基于代理训练集的属性推理攻击防御方法

本文首次提出针对属性推理攻击的有效防御方法.属性推理攻击可以揭示出用于训练公开模型的原始私有数据集中的隐私属性信息.现有研究已经针对不同的机器学习算法提出了多种属性推理攻击.这些攻击很难防御,一方面原因是训练有素的模型总是会记住训练数据集中的显性和隐性全局属性,另一方面原因在于模型提供者无法事先知道哪些属性将受到攻击从而难以有针对性地进行防御.为了解决这个问题,本文提出了一种通用的隐私保护模型训练方法,名为PPMT(Privacy Preserving Model Training).它以迭代的方式工作.在每次迭代中,PPMT构建一个代理数据集,并在该数据集而不是私有数据集上训练模型.虽然每次迭代会同时导致隐私性的提升和功能性的降低,但隐私性的提升呈快速指数级,而功能性的降低则是缓慢线性的.经过多次迭代,PPMT在模型功能性的约束下最大化全局属性的隐私性,并生成最终的模型.本文选择了两种代表性的机器学习算法和三个典型的数据集来进行实验评估PPMT所训练出模型的功能性、隐私性和鲁棒性.结果显示,使用PPMT训练出的模型,在全局属性上会以不同速度朝不同方向改变,在功能性上的平均损失为1.2...     

一种基于新的阈值函数的小波去噪方法

在D.L.Donoho提出的小波阈值去噪方法的基础上，提出了一种新的阈值函数。该阈值函数不仅克服了硬阈值函数不连续的缺点，而且解决了软阈值函数存在的恒定偏差；同时新函数不需要进行参数选择。仿真结果显示，该阈值函数较其他阈值函数具有明显的优越性。     

抗推理攻击的隐私增强联邦学习算法

联邦学习在保证各分布式客户端训练数据不出本地的情况下,由中心服务器收集梯度协同训练全局网络模型,具有良好的性能与隐私保护优势。但研究表明,联邦学习存在梯度传递引起的数据隐私泄漏问题。针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题,提出了一种抗推理攻击的隐私增强联邦学习算法。首先,构建了逆推得到的训练数据与训练数据距离最大化的优化问题,基于拟牛顿法求解该优化问题,获得具有抗推理攻击能力的新特征。其次,利用新特征生成梯度实现梯度重构,基于重构后的梯度更新网络模型参数,可提升网络模型的隐私保护能力。最后,仿真结果表明所提算法能够同时抵御两类推理攻击,并且相较于其他安全方案,所提算法在保护效果与收敛速度上更具优势。     

一种基于攻击图的高级持续威胁检测方法北大核心CSCD

针对传统入侵检测工具无法检测高级持续威胁(Advanced Persistent Threat,APT)攻击和威胁警报疲劳问题,文章提出一种基于攻击图的APT检测方法 ADBAG(APT Detection Based on Attack Graph),该方法根据网络拓扑、漏洞报告等信息生成攻击图,并利用攻击图对攻击者行为进行预先分析,有效解决了威胁警报疲劳问题。文章结合ATT&CK(Adversarial Tactics,Techniques and Common Knowledge)模型和APT攻击三相检测模型,设计了一种缺失路径匹配评分算法,从攻击全局角度分析和检测APT攻击。同时,设计了基于灰名单的多攻击实体关联方法,以保证生成的APT攻击证据链的准确性。在公开数据集上进行实验,实验结果表明,ADBAG可以有效检测APT攻击,并能够检测基于零日漏洞的APT攻击,进一步定位攻击影响范围。     

基于深度学习的双阈值图像局部分块视觉跟踪

现有的图像跟踪方法直接对图像像素级特征展开建模,未考虑图像内部深层视觉特征信息,导致其难以准确描述轮廓信息,致使跟踪效果较差.为解决上述问题,基于深度学习设计了新的双阈值图像局部分块视觉跟踪方法.以深度卷积神经网络为基础构建PigNet网络,检测图像分辨率与位置信息.然后通过PLSA算法估计分割区域类别,筛选出候选区域...     

一种基于改进阈值函数的小波阈值降噪算法

针对小波阈值降噪中硬阈值函数和软阈值函数的不足,结合现有文献提出一种新的阈值函数。新阈值函数克服了传统阈值函数的缺点,保证了阈值函数的连续性,同时可以通过改变参数灵活地调节函数。在新阈值函数的基础上结合改进的阈值确定方法,提出一种新的降噪算法。通过MATLAB仿真,对几种小波降噪算法进行了试验分析,利用信噪比和均方根误差两个指标进行评价。结果表明,相比于传统的降噪算法,新降噪算法取得了更好的降噪效果。     

一种基于证据推理规则的集成学习方法

集成学习作为提高分类器泛化能力的一类方法,经常被用于深度学习领域提升模型效果.然而,目前的集成学习方法在结合策略方面多采用表决融合,难以从分类器内挖掘有效信息,难以有效体现各分类器之间的联系.针对上述问题,本文提出一种基于证据推理(Evidence reasoning,ER)规则的集成学习方法.首先,从人类对事物认知过...     

一种基于新的小波阈值函数的图像去噪方法

在分析了硬域值、软域值小波去噪算法存在问题的基础上,提出了一个新的域值函数,该阈值函数在整个定义域内统一定义,表达式简单易于计算,同软阈值函数一样具有连续性,且是高阶可导的,便于进行各种数学处理.与硬软域值去噪方法相比,该改进的新阈值函数通过调节参数来调节阈值化小波系数与原始小波系数之间的恒定偏差以及过渡区内曲线的平滑...     

基于深度学习的位置隐私攻击

随着位置服务的不断发展,位置隐私保护已成为隐私保护研究的一个热点.当前已经提出了一系列位置隐私保护方案,这些隐私保护方案大多是基于空间扰动技术来实现的.然而,现有的位置隐私保护研究存在2方面的问题：首先大部分位置隐私保护方案在进行空间扰动时,未考虑用户轨迹点间复杂的关联关系,这样的位置隐私保护方案通常会低估脱敏轨迹的破解风险;其次,脱敏轨迹的破解风险缺乏量化的度量,尽管差分隐私在这一方面做了相当的努力,然而复杂关联关系的存在使得该模型未必能够客观地描述隐私保护的程度.如果不能量化脱敏轨迹的破解风险,也就不能对隐私保护方案建立一个定量的评估指标.因此,首先利用具有关联关系的位置信息,分别设计了利用简单关联关系的Markov攻击算法和利用复杂关联关系的深度神经网络攻击算法,对脱敏轨迹进行了攻击;其次对脱敏轨迹的破解风险进行量化,建立了一个定量的评估方案,用于评估攻击算法对隐私保护方案的威胁程度;最后将这2类攻击算法对Geo-Indistinguishability隐私保护方案进行了攻击,并对攻击效果进行了评估,结果表明Geo-Indistinguishability隐私保护方案抵御了Markov攻击算法的攻击,但未能抵御深度神经网络攻击算法的攻击.     

一种新的基于多样性赋权证据推理的集成学习方法

在集成学习中使用平均法、投票法作为结合策略无法充分利用基分类器的有效信息,且根据波动性设置基分类器的权重不精确、不恰当。以上问题会降低集成学习的效果,为了进一步提高集成学习的性能,提出将证据推理(evidence reasoning, ER)规则作为结合策略,并使用多样性赋权法设置基分类器的权重。首先,由多个深度学习模型作为基分类器、ER规则作为结合策略,构建集成学习的基本结构;然后,通过多样性度量方法计算每个基分类器相对于其他基分类器的差异性;最后,将差异性归一化实现基分类器的权重设置。通过多个图像数据集的分类实验,结果表明提出的方法较实验选取的其他方法准确率更高且更稳定,证明了该方法可以充分利用基分类器的有效信息,且多样性赋权法更精确。     

基于一种新阈值函数的小波医学图像去噪

在多分辨分析小波阈值去噪方法的基础上,介绍了一种改进的阈值函数。该阈值函数既克服了硬阈值函数不连续的缺点,,又减小了软阈值函数中的估计小波系数与分解小波系数之间存在的恒定偏差。仿真实验的结果表明,该阈值函数较其他阈值函数具有明显的优越性。     

一种改进的小波阈值函数去噪方法

小波变换在信号滤波去噪方面得到广泛运用。本文在小波阈值函数去噪原理的基础上,对传统的软、硬阈值函数方法和Garrote函数阈值方法进行分析,提出一种基于Garrote函数的改进型阈值函数。Matlab仿真实验表明,新的改进型阈值函数去噪效果优于传统方法。     

基于一种新的小波阈值函数的雷达信号去噪

小波变换具有多分辨分析的特性和良好的时频局部化分析能力,在雷达信号去噪中得到了广泛的应用,但是常用的小波阈值法存在着一些缺陷,影响了去噪的性能.在传统的软硬阈值函数基础上,提出了一种新的小波阈值函数,可较好地克服软硬阈值函数的缺陷,与已有的几种改进阈值函数相比,其计算简单、连续性好且便于调节,适合于进行各种数学处理.对Doppler信号的仿真实验表明,新阈值函数可有效的抑制噪声,其去噪后的信噪比和均方根误差均优于软硬阈值函数以及已有的几种改进阈值函数,具有较高的实用价值.     

一种改进的小波阈值函数去噪方法

对比研究了D.L.Donoho和I.M.Johnstone提出的小波阈值去噪的硬阈值去噪法和软阈值去噪法的优点和缺点,并在此基础上构造了一个新的阈值函数,它克服了硬阈值处理方法在[λ]点处不连续及软阈值函数导数不连续的缺点,而且是高阶可导的,在实际应用时能够保留较大的小波系数,从而保留了尽可能多的信号,进而能够获得更好的去噪效果。仿真实验结果显示,新阈值函数可有效地抑制噪声,其去噪后的信噪比和均方根误差均优于软硬阈值函数以及已有的几种改进阈值函数,具有较高的实用价值。     

基于一种新的小波阈值函数的心音信号去噪

研究心血管系统的病理特征问题,应正确识别心音信号,对心音信号去噪问题常用小波变换方法,但是小波阈值函数存在着一些缺陷,影响了去噪的性能.通过讨论软硬阈值函数和已有的几种改进阈值函数的优缺点,提出了一种新的双参可调小波阈值函数,方便调节,适合于进行各种数学处理,更重要的是具有更符合自然信号连续特性的过渡区.仿真实验表明,新阈值函数可有效地抑制噪声,去噪后的信噪比和均方根误差均优于传统小波阈值函数,具有较高的实用价值.     

基于推理通道的函数依赖推理控制

数据库推理控制是数据库安全领域的重要研究内容.函数依赖关系在推理攻击中通常会起到重要作用.文中对基于函数依赖关系的推理控制问题进行了研究,在推理通道思想的基础上,提出了一种基于最小函数依赖集构造推理通道的方法,以及一种基于推理通道的动态组合通道实例的方法,实现了在数据库运行阶段针对函数依赖关系的动态推理控制.上述方法已应用于国产数据库神舟OSCAR安全版中,实践表明,上述方法能够有效地防御基于函数依赖关系的推理攻击.