云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

一种Unet图像分割模型的联邦蒸馏优化算法

联邦学习致力于保证用户隐私与数据安全条件下，有效地解决医疗领域数据孤岛的问题，是一个极巨潜力的发展方向.然而，现存的联邦学习在医疗领域的应用中存在两大难点：高额的通信开销与不平衡数据导致的性能下降.基于此，设计一种应用在图像分割领域的联邦蒸馏优化算法.在算法中，首先设计本地教师模型-全局学生模型的框架，重构轻量的Unet作为学生模型，并用蒸馏损失保证模型性能的稳定.然后，在服务器上部署调节器筛选聚合的参与方，缓解数据不平衡对模型的影响.实验结果表明，该算法降低16倍以上的通信数据总量与约25%的单次训练时间，在异质性的数据集下，不会因为极端数据导致梯度爆炸与性能下降.此外，本文使用真实的COVID-19与HAM10000医疗数据，证明该模型的有效性.     

面向数据异构的联邦学习性能优化研究

参与联邦学习的客户端只需在各自的本地数据集上训练本地模型,并在服务器上聚合全局模型.然而,数据异构会导致本地模型与全局最优模型收敛方向不一致,影响全局模型性能.现有工作主要集中在直接与全局模型做趋同,并未考虑全局模型合理性.本文研究了一种基于局部模型偏移的性能优化方案,本地训练过程中结合所有客户端模型关键参数,提高全局聚合模型可信度.具体来说,计算待训练模型与其他客户端模型参数差值,然后乘以其他客户端梯度,将结果作为正则项加入本地损失函数,从而抑制局部模型偏移.实验结果表明,该方案在MNIST,FMNIST,CIFAR上的图像识别正确率方面优于现有方法5个百分点以上.     

基于高效联邦学习算法的网络入侵检测模型

为解决在入侵检测场景中引入联邦学习技术后，由于节点间存在流量数据非独立同分布（non-iid）现象而导致模型难以聚合并得到高识别率的问题，构造了一种高效联邦学习算法（H-E-Fed），并基于该算法构建了对应的入侵检测模型。首先，协调方设计针对流量数据的全局模型，并下发至入侵检测节点间进行模型训练；然后，协调方收集本地模型，并对节点间本地模型的协方差矩阵评估偏度，以衡量节点间模型的相关性，从而重新分配模型聚合参数，并生成新的全局模型；最后，协调方与节点多轮交互，直至全局模型收敛。实验结果表明，与基于联邦平均（FedAvg）算法和FedProx算法的模型相比，基于高效联邦学习算法的入侵检测模型在节点间产生数据non-iid现象时的通信消耗更低；且在KDDCup99数据集和CICIDS2017数据集上，与基线模型相比，准确率分别提升了10.39%、8.14%与4.40%、5.98%。     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质，在本地数据集上训练的客户端模型优化目标与全局模型不一致，导致出现客户端漂移现象，影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题，文中从本地模型的通用性角度出发，提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时，以结构化的方式采样子网络，并对客户端本地数据进行数据增强，使用不同的增强数据训练不同的子网络学习增强表示，得到泛化性较强的客户端网络模型，对抗本地数据异质带来的客户端漂移现象，在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明，文中算法性能较优.     

基于共享数据集和梯度补偿的分层联邦学习框架北大核心CSCD

联邦学习允许车辆在本地保留数据并进行模型训练,从而更好地保护用户隐私,但车载传感器和行驶路线等条件不同,参与联邦学习的车辆可能具有不同数据分布,从而降低模型泛化能力,增大收敛难度。为了确保实时性,车联网中广泛应用了异步随机梯度下降技术,但梯度延迟问题会导致模型训练不准确。为了解决上述问题,文章提出一种基于共享数据集和梯度补偿的分层联邦学习框架。该框架使用共享数据集和基于Re LU值加权的聚合方法减少模型偏差,并利用梯度函数的泰勒展开近似原始损失函数,对异步随机梯度下降进行梯度补偿。在MNIST和CIFAR-10数据集上的实验结果表明,与Fed AVG、MOON和Hier FAVG算法相比,该方法平均准确率分别提高了13.8%、2.2%和3.5%,时间开销仅为同步随机梯度下降和异步随机梯度下降的1/2。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。     

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型, 保证数据留在客户端本地, 从而保护用户隐私. 由于参与训练的设备数目庞大, 存在数据非独立同分布和通信带宽受限的情况. 因此, 降低通信成本是联邦学习的重要研究方向. 梯度压缩是提升联邦学习通信效率的有效方法, 然而目前常用的梯度压缩方法大多针对独立同分布的数据, 未考虑联邦学习的特性. 针对数据非独立同分布的联邦场景, 本文提出了基于投影的稀疏三元压缩算法, 通过在客户端和服务端进行梯度压缩, 降低通信成本, 并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响. 实验结果表明, 本文提出的算法不仅提升了通信效率, 而且在收敛速度和准确率上均优于现有的梯度压缩算法.     

基于强化联邦图神经网络的个性化公共安全突发事件检测方法

近年来,将公共安全数据转换为图的形式,通过图神经网络构造节点表示应用于下游任务的方法,充分利用了公共安全数据的实体与关联信息,取得了较好的效果.为了提高模型的有效性,需要大量的高质量数据,但是高质量的数据通常归属于政府、公司和组织,很难通过数据集中的方式使模型学习到有效的事件检测模型.由于各数据拥有方的关注主题与收集时间不同,数据之间存在Non-IID的问题.传统的假设一个全局模型可以适合所有客户端的方法难以解决此类问题.本文提出了基于强化联邦图神经网络的公共安全突发事件检测方法PPSED,各客户端采用多方协作的方式训练个性化的模型来解决本地的突发事件检测任务.设计联邦公共安全突发事件检测模型的本地训练与梯度量化模块,采用基于图采样的minibatch机制的GraphSage构造公共安全突发事件检测本地模型,以减小数据Non-IID的影响,采用梯度量化方法减小梯度通信的消耗.设计基于随机图嵌入的客户端状态感知模块,在保护隐私的同时更好地保留客户端模型有价值的梯度信息.设计强化联邦图神经网络的个性化梯度聚合与量化策略,采用DDPG拟合个性化联邦学习梯度聚合加权策略,并根据权重决定是否对梯度进行量化,对模型的性能与通信压力进行平衡.通过在微博平台收集的公共安全数据集和三个公开的图数据集进行了大量的实验,实验结果表明了提出的方法的有效性.     

基于多目标优化的联邦学习进化算法

传统联邦学习存在通信成本高、结构异构、隐私保护力度不足的问题,为此提出了一种联邦学习进化算法,应用稀疏进化训练算法降低通信成本,结合本地化差分隐私保护参与方隐私,同时采用NSGA-Ⅲ算法优化联邦学习全局模型的网络结构、稀疏性,调整数据可用性与隐私保护之间的关系,实现联邦学习全局模型有效性、通信成本和隐私性的均衡。不稳定通信环境下的实验结果表明,在MNIST和CIFAR-10数据集上,与FNSGA-Ⅲ算法错误率最低的解相比,该算法所得解的通信效率分别提高57.19%和52.17%,并且参与方实现了（3.46,10-4）和（6.52,10-4）-本地化差分隐私。在不严重影响全局模型准确率的前提下,该算法有效降低了联邦学习的通信成本并保护了参与方隐私。     

联邦学习下高效的隐私保护安全聚合方案

联邦学习能使用户不共享原始数据的情况下, 允许多个用户协同训练模型. 为了确保用户本地数据集不被泄露, 现有的工作提出安全聚合协议. 但现有的多数方案存在未考虑全局模型隐私、系统计算资源与通信资源耗费较大等问题. 针对上述问题, 提出了联邦学习下高效的强安全的隐私保护安全聚合方案. 该方案利用对称同态加密技术实现了用户模型与全局模型的隐私保护, 利用秘密共享技术解决了用户掉线问题. 同时, 该方案利用Pedersen承诺来验证云服务器返回聚合结果的正确性, 利用BLS签名保护了用户与云服务器交互过程中的数据完整性. 此外, 安全性分析表明该方案是可证明安全的; 性能分析表明该方案是高效且实用的, 适用于大规模用户的联邦学习系统.     

抗推理攻击的隐私增强联邦学习算法

联邦学习在保证各分布式客户端训练数据不出本地的情况下，由中心服务器收集梯度协同训练全局网络模型，具有良好的性能与隐私保护优势。但研究表明，联邦学习存在梯度传递引起的数据隐私泄漏问题。针对现有安全联邦学习算法存在的模型学习效果差、计算开销大和防御攻击种类单一等问题，提出了一种抗推理攻击的隐私增强联邦学习算法。首先，构建了逆推得到的训练数据与训练数据距离最大化的优化问题，基于拟牛顿法求解该优化问题，获得具有抗推理攻击能力的新特征。其次，利用新特征生成梯度实现梯度重构，基于重构后的梯度更新网络模型参数，可提升网络模型的隐私保护能力。最后，仿真结果表明所提算法能够同时抵御两类推理攻击，并且相较于其他安全方案，所提算法在保护效果与收敛速度上更具优势。     

基于区块链的工业物联网联邦学习系统架构

联邦学习是一种新兴的保护隐私的机器学习算法,它正在广泛应用于工业物联网(IIoT)中,在联邦学习中中心服务器协调多个客户端(如物联网设备)在本地训练模型,最后融合成一个全局模型.最近,区块链在工业物联网和联邦学习中得到了利用,以用来维护数据完整性和实现激励机制,吸引足够的客户数据和计算资源用于培训.然而,基于区块链的联邦学习系统缺乏系统的架构设计来支持系统化开发.此外,目前的解决方案没有考虑激励机制设计和区块链的可扩展性问题.因此,在本文中,我们提出了一个应用于工业物联网中基于区块链的联邦学习系统架构,在此架构中,每个客户端托管一个用于本地模型训练的服务器,并管理一个完整的区块链节点.为了实现客户端数据的可验证完整性,同时考虑到区块链的可扩展问题,因此每个客户端服务器会定期创建一个默克尔树,其中每个叶节点表示一个客户端数据记录,然后将树的根节点存储在区块链上.为了鼓励客户积极参与联邦学习,基于本地模型培训中使用的客户数据集大小,设计了一种链上激励机制,准确、及时地计算出每个客户的贡献.在实验中实现了提出的架构的原型,并对其可行性、准确性和性能进行了评估.结果表明,该方法维护了数据的完整性,并具有良好的预测精度和性能.     

面向异构网络的联邦优化算法

联邦学习网络中,全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题,提出一种面向异构网络的联邦优化算法q-FedDANE。首先,通过在经典联合近似牛顿型方法中引入衰减参数q,调整衰减梯度校正项和近端项的负面影响,有效提高模型对环境异构性的感知能力,并将每轮算法迭代的设备通信轮次降低至一次,显著减少通信成本和训练开销;其次,模型将随机优化器Adam引入服务器端聚合训练,通过自适应的动态学习率来利用全局信息进行目标优化,加快了模型的收敛速度。实验表明,q-FedDANE算法可以更好地适应环境异构和低设备参与的场景,在高度异构的FEMNIST数据集上,该算法最终获得的测试精度约高出FedDANE的58%。     

基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。     

基于边缘的联邦学习模型清洗和设备聚类方法

参与联邦学习的终端设备只需在各自的本地数据集上训练本地模型,并在服务器的协同下共同训练一个全局预测模型.因此,联邦学习可以在不共享终端设备的隐私和敏感数据的情况下实现机器学习的目的 .然而,大量终端设备对服务器的高并发访问会增加模型更新的传输延迟,并且本地模型可能是与全局模型收敛方向相反的恶意模型,因此联邦学习过程中会产生大量额外的通信成本.现有工作主要集中在减少通信轮数或清除本地脏数据,本文研究了一种基于边缘的模型清洗和设备聚类方法,以减少本地更新总数.具体来说,通过计算本地更新参数和全局模型参数在多维上的余弦相似度来判断本地更新是否是必要的,从而避免不必要的通信.同时,终端设备根据其所在的网络位置聚类,并通过移动边缘节点以簇的形式与云端通信,从而避免与服务器高并发访问相关的延迟.本文以Softmax回归和卷积神经网络实现MNIST手写数字识别为例验证了所提方法在提高通信效率上的有效性.实验结果表明,相比传统的联邦学习,本文提出的基于边缘的模型清洗和设备聚类方法减少了60％的本地更新数,模型的收敛速度提高了10.3％.     

面向隐私保护联邦学习的医学影像目标检测算法

联邦学习技术是一种新型多机构协同训练模型范式,广泛应用于多领域,其中模型参数隐私保护是一个关键问题.针对CT影像综合性病灶检测任务,提出隐私保护的联邦学习算法.首先部署松散耦合的客户端-服务器架构;其次在各客户端使用改进的RetinaNet检测器,引入上下文卷积和后向注意力机制;最后完成联邦训练.各客户端使用局部更新策略,采用自适应训练周期,局部目标函数中加入了限制项;服务器使用自适应梯度裁剪策略和高斯噪声差分隐私算法更新全局模型参数.在DeepLesion数据集上的消融分析说明了算法各部分的重要性.实验结果表明,改进的RetinaNet检测器有效地提升了多尺度病灶的检测精度.与集中数据训练模型范式相比,联邦学习所得模型性能略低(mAP分别为75.33％和72.80％),但训练用时缩短近38％,有效地实现了隐私保护、通信效率和模型性能的良好权衡.     

基于1‑bit压缩感知的高效无线联邦学习算法

在无线联邦学习（FL）的架构中,用户端与服务器端之间需要持续交换模型参数数据来实现模型的更新,因此会对用户端造成较大的通信开销和功率消耗。目前已经有多种通过数据量化以及数据稀疏化来降低通信开销的方法。为了进一步降低通信开销,提出了一种基于1?bit压缩感知的无线FL算法。在无线FL架构的上行链路中,这种算法首先在用户端记录其本地模型数据的更新参数,包括更新幅值和趋势;接着对幅值和趋势信息进行稀疏化,并确定更新所需的阈值;最后对更新趋势信息进行1?bit压缩感知,从而压缩上行数据。在此基础上,通过设置动态阈值的方法进一步压缩数据大小。在MNIST数据集上的实验结果表明：引入动态阈值的1?bit压缩感知过程能够获得与无损传输过程相同的效果,在FL应用的上行通信过程中能将用户端需要传输的模型参数数据量降低至不采用该方法的标准FL过程的1/25;而在全局模型训练到相同水平时,能将用户上传数据总大小降低至原来的2/11,将传输能耗降低至原来的1/10。     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

基于梯度选择的轻量化差分隐私保护联邦学习

为了应对机器学习过程中可能出现的用户隐私问题，联邦学习作为首个无需用户上传真实数据、仅上传模型更新的协作式在线学习解决方案，已经受到人们的广泛关注与研究。然而，它要求用户在本地训练且上传的模型更新中仍可能包含敏感信息，从而带来了新的隐私保护问题。与此同时，必须在用户本地进行完整训练的特点也使得联邦学习过程中的运算与通信开销问题成为一项挑战，亟需人们建立一种轻量化的联邦学习架构体系。出于进一步的隐私需求考虑，文中使用了带有差分隐私机制的联邦学习框架。另外，首次提出了基于Fisher信息矩阵的Dropout机制——FisherDropout,用于对联邦学习过程中在客户端训练产生梯度更新的每个维度进行优化选择，从而极大地节约运算成本、通信成本以及隐私预算，建立了一种兼具隐私性与轻量化优势的联邦学习框架。在真实世界数据集上的大量实验验证了该方案的有效性。实验结果表明，相比其他联邦学习框架，FisherDropout机制在最好的情况下可以节约76.8%～83.6%的通信开销以及23.0%～26.2%的运算开销，在差分隐私保护中隐私性与可用性的均衡方面同样具有突出优势。