基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。     

云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

基于进化策略的自适应联邦学习算法

联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.     

基于多目标优化的联邦学习进化算法

传统联邦学习存在通信成本高、结构异构、隐私保护力度不足的问题,为此提出了一种联邦学习进化算法,应用稀疏进化训练算法降低通信成本,结合本地化差分隐私保护参与方隐私,同时采用NSGA-Ⅲ算法优化联邦学习全局模型的网络结构、稀疏性,调整数据可用性与隐私保护之间的关系,实现联邦学习全局模型有效性、通信成本和隐私性的均衡。不稳定通信环境下的实验结果表明,在MNIST和CIFAR-10数据集上,与FNSGA-Ⅲ算法错误率最低的解相比,该算法所得解的通信效率分别提高57.19%和52.17%,并且参与方实现了（3.46,10-4）和（6.52,10-4）-本地化差分隐私。在不严重影响全局模型准确率的前提下,该算法有效降低了联邦学习的通信成本并保护了参与方隐私。     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。     

边缘场景下动态权重的联邦学习优化方法

边缘计算(Edge Computing)作为一种新的计算范式,在网络边缘提供计算服务,相比传统的云计算模式,它具有高可信、低延迟等特点,在各行各业中有着广阔的应用前景,但在隐私保护和数据处理上仍存在一些问题。而联邦学习作为一种分布式的机器学习技术,能很好地解决边缘计算场景下数据分布不一致和数据隐私问题,但仍面临设备异构、数据异质及通信方面的挑战,如模型偏移、收敛效果差、部分设备计算结果丢失等问题。为解决上述问题,提出动态权重的联邦学习优化算法(FedDw)。该算法关注设备的服务质量,减少训练速度不一致导致部分设备参与带来的异构性影响,并根据服务质量确定在最终模型聚合时的占比,从而确保聚合的结果在复杂的真实情况下更具有鲁棒性。在10个地区气象站的真实数据集上与FedProx和Scaffold这两种典型的联邦学习算法进行了对比,实验结果表明FedDw算法具有更好的综合性能。     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

边缘场景下动态联邦学习优化方法

边缘计算(Edge Computing)是一种新的计算方式,通过在网络边缘提供计算服务,与传统的云计算模式相比,具有高可信度和低延迟等特点。联邦学习(FL)作为一种分布式机器学习方法,尽管具备保护隐私和数据安全的特性,却仍然面临设备异构和数据不均衡等问题,导致出现部分参与者(边缘端)训练时间长、训练效率低下等问题。为了解决上述问题,该文提出了一种名为FlexFL的动态联邦学习优化算法。该算法引入了两层联邦学习策略,通过在同一参与者部署多个联邦学习训练服务和一个联邦学习聚合服务,将本地数据集平均分配给各个联邦学习训练服务,并每回合激活一定数量的训练服务。未激活的服务将休眠,不占用计算资源,并将资源平均分配给激活的服务,以加快训练速度。该算法能够平衡参与者设备异构和数据不均衡性带来的训练时间差异,从而提高整体训练效率。在MINST数据集和CIFAR数据集上与FedAvg联邦学习算法进行了对比实验,结果显示,FlexFL算法在减少时间消耗的同时,不降低模型性能。     

面向联邦学习的高效分布式训练框架

联邦学习有效解决了数据孤岛问题,但仍然存在一些挑战。首先,联邦学习的训练节点具有较大的硬件异构性,对训练速度和模型性能存在影响,现有工作主要集中于联邦优化,但多数方法没有解决同步通信模式下各节点计算时间难以协调导致资源浪费的问题;此外,联邦学习中多数训练节点为移动设备,网络环境差,通信开销高,导致了更严重的网络瓶颈。已有方法通过对训练节点上传的梯度进行压缩来降低通信开销,但不可避免地带来了模型性能损失,难以达到较好的质量和效率的平衡。针对上述难题,在计算阶段,提出了自适应梯度聚合(Adaptive Federated Averaging, AFA),根据各个节点的硬件性能自适应协调本地训练的迭代周期,使得等待全局梯度下载的空闲时间整体最小化,提高了联邦学习的计算效率。在通信阶段,提出双重稀疏化(Double Sparsification, DS),通过在训练节点端和参数服务器端进行梯度稀疏化来最大化降低通信开销。此外,各个训练节点根据本地梯度信息和全局梯度信息的丢失值进行误差补偿,以较小的模型性能损失换取较大的通信开销降低。在图像分类数据集和时序预测数据集上进行实验,结果证明,所提方案...     

非独立同分布数据下的自正则化联邦学习优化方法

联邦学习（FL）是一种新的分布式机器学习范式,它在保护设备数据隐私的同时打破数据壁垒,从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而,如何处理不同客户端的非独立同分布（Non-IID）数据仍是FL面临的一个巨大挑战,目前提出的一些解决方案没有利用好本地模型和全局模型的隐含关系,无法简单而高效地解决问题。针对FL中不同客户端数据的Non-IID问题,提出新的FL优化算法——联邦自正则（FedSR）和动态联邦自正则（Dyn-FedSR）。FedSR在每一轮训练过程中引入自正则化惩罚项动态修改本地损失函数,并通过构建本地模型和全局模型的关系来让本地模型靠近聚合丰富知识的全局模型,从而缓解Non-IID数据带来的客户端偏移问题;Dyn-FedSR则在FedSR基础上通过计算本地模型和全局模型的相似度来动态确定自正则项系数。对不同任务进行的大量实验分析表明,FedSR和Dyn-FedSR这两个算法在各种场景下的表现都明显优于联邦平均（FedAvg）算法、联邦近端（FedProx）优化算法和随机控制平均算法（SCAFFOLD）等FL算法,能够实现高效通信,正确率较高,且对不平衡数据...     

一种基于注意力联邦蒸馏的推荐方法

数据隐私保护问题已成为推荐系统面临的主要挑战之一.随着《中华人民共和国网络安全法》的颁布和欧盟《通用数据保护条例》的实施,数据隐私和安全成为了世界性的趋势.联邦学习可通过不交换数据训练全局模型,不会泄露用户隐私.但是联邦学习存在每台设备数据量少、模型容易过拟合、数据稀疏导致训练好的模型很难达到较高的预测精度等问题.同时,随着5G （the 5th generation mobile communication technology）时代的到来,个人设备数据量和传输速率预计比当前提高10~100倍,因此要求模型执行效率更高.针对此问题,知识蒸馏可以将教师模型中的知识迁移到更为紧凑的学生模型中去,让学生模型能尽可能逼近或是超过教师网络,从而有效解决模型参数多和通信开销大的问题.但往往蒸馏后的学生模型在精度上会低于教师模型.提出一种面向推荐系统的联邦蒸馏方法,该方法首先在联邦蒸馏的目标函数中加入Kullback-Leibler散度和正则项,减少教师网络和学生网络间的差异性影响;引入多头注意力机制丰富编码信息,提升模型精度;并提出一个改进的自适应学习率训练策略来自动切换优化算法,选择合适的学习率,提升模型的收敛速度.实验验证了该方法的有效性：相比基准算法,模型的训练时间缩短52%,模型的准确率提升了13%,平均误差减少17%,NDCG值提升了10%.     

非独立同分布场景下的联邦学习优化方法

联邦学习能够在不泄露数据隐私的情况下合作训练全局模型,但这种协作式的训练方式在现实环境下面临参与方数据非独立同分布（Non-IID）的挑战：模型收敛慢、精度降低的问题。许多现有的联邦学习方法仅从全局模型聚合和本地客户端更新中的一个角度进行改进,难免会引发另一角度带来的影响,降低全局模型的质量。提出一种分层持续学习的联邦学习优化方法（FedMas）。FedMas基于分层融合的思想,首先,采用客户端分层策略,利用DBSCAN算法将相似数据分布的客户端划分到不同的层中,每次仅挑选某个层的部分客户端进行训练,避免服务器端全局模型聚合时因数据分布不同产生的权重分歧现象;进一步,由于每个层的数据分布不同,客户端在局部更新时结合持续学习灾难性遗忘的解决方案,有效地融合不同层客户端数据间的差异性,从而保证全局模型的性能。在MNIST和CIFAR-10标准数据集上的实验结果表明,FedMas与FedProx、Scaffold和FedCurv联邦学习算法相比,全局模型测试准确率平均提高0.3～2.2个百分点。     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质，在本地数据集上训练的客户端模型优化目标与全局模型不一致，导致出现客户端漂移现象，影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题，文中从本地模型的通用性角度出发，提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时，以结构化的方式采样子网络，并对客户端本地数据进行数据增强，使用不同的增强数据训练不同的子网络学习增强表示，得到泛化性较强的客户端网络模型，对抗本地数据异质带来的客户端漂移现象，在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明，文中算法性能较优.     

基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习（FL）算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布（Non-IID）与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习（PLD-FLD）算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。     

面向数据异构的联邦学习性能优化研究

参与联邦学习的客户端只需在各自的本地数据集上训练本地模型,并在服务器上聚合全局模型.然而,数据异构会导致本地模型与全局最优模型收敛方向不一致,影响全局模型性能.现有工作主要集中在直接与全局模型做趋同,并未考虑全局模型合理性.本文研究了一种基于局部模型偏移的性能优化方案,本地训练过程中结合所有客户端模型关键参数,提高全局聚合模型可信度.具体来说,计算待训练模型与其他客户端模型参数差值,然后乘以其他客户端梯度,将结果作为正则项加入本地损失函数,从而抑制局部模型偏移.实验结果表明,该方案在MNIST,FMNIST,CIFAR上的图像识别正确率方面优于现有方法5个百分点以上.     

一种鲁棒的半监督联邦学习系统

联邦学习允许边缘设备或客户端将数据存储在本地来合作训练共享的全局模型。主流联邦学习系统通常基于客户端本地数据有标签这一假设,然而客户端数据一般没有真实标签,且数据可用性和数据异构性是联邦学习系统面临的主要挑战。针对客户端本地数据无标签的场景,设计一种鲁棒的半监督联邦学习系统。利用FedMix方法分析全局模型迭代之间的隐式关系,将在标签数据和无标签数据上学习到的监督模型和无监督模型进行分离学习。采用FedLoss聚合方法缓解客户端之间数据的非独立同分布（non-IID）对全局模型收敛速度和稳定性的影响,根据客户端模型损失函数值动态调整局部模型在全局模型中所占的权重。在CIFAR-10数据集上的实验结果表明,该系统的分类准确率相比于主流联邦学习系统约提升了3个百分点,并且对不同non-IID水平的客户端数据更具鲁棒性。     

基于GB-AEnet-FL网络的物联网设备异常检测

针对物联网场景下,传统异常检测方法在海量不均衡数据中检测准确率低、数据异构导致模型泛化能力差等问题,提出了基于联邦学习的对抗双编码异常检测网络 （GB-AEnet-FL）的物联网设备异常检测算法。首先,提出了一种基于异常数据的主动特征分布学习算法,主动学习数据的潜在特征分布,通过数据重构扩充异常数据,均衡正负样本比例。其次,在潜在特征层引入了对抗训练机制并添加一致性增强约束和收缩约束,提高特征提取的精度。最后,设计了一种基于动态模型选择的联邦学习算法,比较局部模型与全局模型的置信度评分,动态选择部分联邦体参与,加速模型的聚合,在一定程度上也保护了用户隐私。在四个不同数据集上进行验证,结果显示,所提算法在检测准确度优于传统算法,且泛化能力得到相应提升。     

一种基于背景优化的高效联邦学习方案

联邦学习因其在客户端本地进行数据的训练,从而有效保证了数据的隐私性和安全性。对于联邦学习的研究虽然取得了很大的进展,但是,由于非独立同分布数据的存在以及数据量不平衡、数据类型不平衡等问题,客户端在利用本地数据进行训练时不可避免地存在精确度缺失、训练效率低下等问题。为了应对联邦学习背景环境的不同导致的联邦学习效率降低的问题,文中提出了一种基于背景优化的高效联邦学习方案,用于提高终端设备中本地模型的精确度,从而减小通信开销、提高整体模型的训练效率。具体来说,在不同的环境中根据精确度的差异性来选择第一设备和第二设备,将第一设备模型和全局模型的不相关性(下文统称为差异值)作为标准差异值;而第二设备是否上传本地模型则由第二设备和第一设备之间的差异值决定。实验结果表明,与传统的联邦学习相比,所提方案在普通联邦学习场景下的表现明显优于联邦平均算法,在MINIST数据集上,其精确度提高了约7.5%;在CIFAR-10数据集上,其精确度提高了约10%。     

多任务的边缘联邦学习:一种融合契约论和匹配博弈的激励机制

联邦学习（Federated Learning,FL）是一种新兴的分布式机器学习范式,它允许移动设备以分散的方式协作训练全局模型,同时保持训练数据在终端上面。然而,由于数千个异构分布式终端设备参与FL任务,所以FL面临的挑战是通信效率问题。为了解决上述问题,基于边缘计算的FL被提出来了,即边缘联邦学习。边缘计算利用终端设备附近的边缘节点执行模型参数的下发和聚合,进而降低通信时间。尽管有上述巨大的好处,多任务的边缘联邦学习的激励机制尚未得到很好的解决。因此,提出了一种融合契约论和匹配博弈的激励机制;然后,基于三个数据集的实验结果验证了该激励机制和匹配算法的有效性。