基于超级账本的集群联邦优化模型

联邦学习作为分布式机器学习框架,在数据不离开本地的情况下,通过共享模型参数达到协作训练的目标,一定程度上解决了隐私保护问题,但其存在中心参数服务器无法应对单点故障、潜在恶意客户端梯度攻击、客户端数据偏态分布导致训练性能低下等问题。将去中心化的区块链技术与联邦学习相结合,提出基于超级账本的集群联邦优化模型。以超级账本作为分布式训练的架构基础,客户端初始化后在本地训练向超级账本传输模型参数及分布信息,通过聚类优化联邦学习模型在客户端数据非独立同分布下的训练表现。在此基础上,随机选举客户端成为领导者,由领导者代替中央服务器的功能,领导者根据分布相似度和余弦相似度聚类并下载模型参数聚合,最后客户端获取聚合模型继续迭代训练。以EMNIST数据集为例,数据非独立同分布情况下该模型平均准确率为79.26%,较FedAvg提高17.26%,在保证准确率的前提下,较集群联邦学习训练至收敛的通信轮次减少36.3%。     

面向异构网络的联邦优化算法

联邦学习网络中,全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题,提出一种面向异构网络的联邦优化算法q-FedDANE。首先,通过在经典联合近似牛顿型方法中引入衰减参数q,调整衰减梯度校正项和近端项的负面影响,有效提高模型对环境异构性的感知能力,并将每轮算法迭代的设备通信轮次降低至一次,显著减少通信成本和训练开销;其次,模型将随机优化器Adam引入服务器端聚合训练,通过自适应的动态学习率来利用全局信息进行目标优化,加快了模型的收敛速度。实验表明,q-FedDANE算法可以更好地适应环境异构和低设备参与的场景,在高度异构的FEMNIST数据集上,该算法最终获得的测试精度约高出FedDANE的58%。     

基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习（FL）算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布（Non-IID）与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习（PLD-FLD）算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。     

基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。     

基于边缘的联邦学习模型清洗和设备聚类方法

参与联邦学习的终端设备只需在各自的本地数据集上训练本地模型,并在服务器的协同下共同训练一个全局预测模型.因此,联邦学习可以在不共享终端设备的隐私和敏感数据的情况下实现机器学习的目的 .然而,大量终端设备对服务器的高并发访问会增加模型更新的传输延迟,并且本地模型可能是与全局模型收敛方向相反的恶意模型,因此联邦学习过程中会产生大量额外的通信成本.现有工作主要集中在减少通信轮数或清除本地脏数据,本文研究了一种基于边缘的模型清洗和设备聚类方法,以减少本地更新总数.具体来说,通过计算本地更新参数和全局模型参数在多维上的余弦相似度来判断本地更新是否是必要的,从而避免不必要的通信.同时,终端设备根据其所在的网络位置聚类,并通过移动边缘节点以簇的形式与云端通信,从而避免与服务器高并发访问相关的延迟.本文以Softmax回归和卷积神经网络实现MNIST手写数字识别为例验证了所提方法在提高通信效率上的有效性.实验结果表明,相比传统的联邦学习,本文提出的基于边缘的模型清洗和设备聚类方法减少了60％的本地更新数,模型的收敛速度提高了10.3％.     

一种鲁棒的半监督联邦学习系统

联邦学习允许边缘设备或客户端将数据存储在本地来合作训练共享的全局模型。主流联邦学习系统通常基于客户端本地数据有标签这一假设,然而客户端数据一般没有真实标签,且数据可用性和数据异构性是联邦学习系统面临的主要挑战。针对客户端本地数据无标签的场景,设计一种鲁棒的半监督联邦学习系统。利用FedMix方法分析全局模型迭代之间的隐式关系,将在标签数据和无标签数据上学习到的监督模型和无监督模型进行分离学习。采用FedLoss聚合方法缓解客户端之间数据的非独立同分布（non-IID）对全局模型收敛速度和稳定性的影响,根据客户端模型损失函数值动态调整局部模型在全局模型中所占的权重。在CIFAR-10数据集上的实验结果表明,该系统的分类准确率相比于主流联邦学习系统约提升了3个百分点,并且对不同non-IID水平的客户端数据更具鲁棒性。     

基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。     

云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

边缘场景下动态联邦学习优化方法

边缘计算(Edge Computing)是一种新的计算方式,通过在网络边缘提供计算服务,与传统的云计算模式相比,具有高可信度和低延迟等特点。联邦学习(FL)作为一种分布式机器学习方法,尽管具备保护隐私和数据安全的特性,却仍然面临设备异构和数据不均衡等问题,导致出现部分参与者(边缘端)训练时间长、训练效率低下等问题。为了解决上述问题,该文提出了一种名为FlexFL的动态联邦学习优化算法。该算法引入了两层联邦学习策略,通过在同一参与者部署多个联邦学习训练服务和一个联邦学习聚合服务,将本地数据集平均分配给各个联邦学习训练服务,并每回合激活一定数量的训练服务。未激活的服务将休眠,不占用计算资源,并将资源平均分配给激活的服务,以加快训练速度。该算法能够平衡参与者设备异构和数据不均衡性带来的训练时间差异,从而提高整体训练效率。在MINST数据集和CIFAR数据集上与FedAvg联邦学习算法进行了对比实验,结果显示,FlexFL算法在减少时间消耗的同时,不降低模型性能。     

基于高效联邦学习算法的网络入侵检测模型

为解决在入侵检测场景中引入联邦学习技术后，由于节点间存在流量数据非独立同分布（non-iid）现象而导致模型难以聚合并得到高识别率的问题，构造了一种高效联邦学习算法（H-E-Fed），并基于该算法构建了对应的入侵检测模型。首先，协调方设计针对流量数据的全局模型，并下发至入侵检测节点间进行模型训练；然后，协调方收集本地模型，并对节点间本地模型的协方差矩阵评估偏度，以衡量节点间模型的相关性，从而重新分配模型聚合参数，并生成新的全局模型；最后，协调方与节点多轮交互，直至全局模型收敛。实验结果表明，与基于联邦平均（FedAvg）算法和FedProx算法的模型相比，基于高效联邦学习算法的入侵检测模型在节点间产生数据non-iid现象时的通信消耗更低；且在KDDCup99数据集和CICIDS2017数据集上，与基线模型相比，准确率分别提升了10.39%、8.14%与4.40%、5.98%。     

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型,保证数据留在客户端本地,从而保护用户隐私.由于参与训练的设备数目庞大,存在数据非独立同分布和通信带宽受限的情况.因此,降低通信成本是联邦学习的重要研究方向.梯度压缩是提升联邦学习通信效率的有效方法,然而目前常用的梯度压缩方法大多针对独立同分布的数据,未考虑联邦学习的特性.针对数据非独立同分布的联邦场景,本文提出了基于投影的稀疏三元压缩算法,通过在客户端和服务端进行梯度压缩,降低通信成本,并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响.实验结果表明,本文提出的算法不仅提升了通信效率,而且在收敛速度和准确率上均优于现有的梯度压缩算法.     

基于代理选举的高效异构联邦学习方法

物联网多样性终端设备在计算、存储、通信方面的异构性导致联邦学习效率不足。针对上述联邦训练过程中面临的问题,基于代理选举思路,提出了一种高效联邦学习算法。设计了基于马氏距离的代理节点选举策略,将设备的计算能力与闲置时长作为选举因素,选举性价比高的设备作为代理节点,充分发挥设备计算能力。进一步设计了基于代理节点的新型云边端联邦学习架构,提升了异构设备之间的联邦学习效率。基于MNIST和CIFAR-10公开数据集与智能家居设备真实数据的实验表明,该联邦学习方法的效率提高了22%。     

融合联邦学习与区块链的医疗数据共享方案

随着医疗大数据的发展,医疗数据安全、个人隐私保护等问题日益突出。为在高效利用各个医疗机构医疗数据的同时保护病人的隐私,提出一种将联邦学习与区块链相结合的医疗数据共享与隐私保护方案。使用联邦学习对多源医疗数据进行建模,将训练的模型参数和医疗机构的声誉值存储于区块链上,并利用区块链对贡献高质量数据的医院进行奖励。通过分析数据源质量对联邦学习算法性能的影响,提出一种基于双重主观逻辑模型的声誉值计算算法来改进联邦学习的精确度,使用改进的声誉机制保证在数据共享中筛选数据源的效率,并利用区块链和联邦学习技术,提高共享效率和实现隐私保护。此外,利用Tensorflow搭建分布式平台并对算法性能进行对比分析,实验结果表明,所提方案能够筛选出高质量的数据源,减少边缘节点与恶意节点的交互时间,即使当声誉值在0.5以上时,也能达到0.857的学习精确度。     

基于声誉的分布式联邦学习节点选择算法

由于隐私泄露的风险越来越大,而采集的数据中的通常包含大量隐私信息,使数据的采集者不愿意共享自己的数据,造成“数据孤岛”,联邦学习能够实现数据不离本地的数据共享,但其在多机构数据共享中还存在一些问题,一方面中央服务器集中处理信息造成昂贵的成本,易产生单点故障,另一方面,对于多机构数据共享而言,参与节点中混入恶意节点可能影响训练过程,导致数据隐私泄露,基于上述分析,本文提出了一种将区块链和联邦学习相结合的以实现高效节点选择和通信的新的分布式联邦学习架构,解放中央服务器,实现参与节点直接通信,并在此架构上提出了一种基于信誉的节点选择算法方案（RBLNS）,对参与节点进行筛选,保证参与节点的隐私安全。仿真结果表明,RBLNS能够显着提高模型的实验性能。     

基于深度学习的无线传感器网络数据融合

在无线传感器网络数据融合算法中,BP神经网络被广泛用于节点数据的特征提取和分类。为了解决BP神经网络收敛慢,易陷入局部最优值且泛化能力差从而影响数据融合效果的问题,提出一种将深度学习技术和分簇协议相结合的数据融合算法SAESMDA。SAESMDA用基于层叠自动编码器(SAE)的深度学习模型SAESM取代BP神经网络,算法首先在汇聚节点训练SAESM并对网络分簇,接着各簇节点通过SAESM对采集数据进行特征提取,之后由簇首将分类融合后的特征发送至汇聚节点。仿真实验表明,和采用BP神经网络的BPNDA算法相比,SAESMDA在网络能耗大致相同的情况下具有更高的特征提取分类正确率。     

Federated learning for green shipping optimization and management

Many shipping companies are unwilling to share their raw data because of data privacy concerns. However, certain problems in the maritime industry become much more solvable or manageable if data are shared—for instance, the problem of reducing ship fuel consumption and thus emissions. In this study, we develop a two-stage method based on federated learning (FL) and optimization techniques to predict ship fuel consumption and optimize ship sailing speed. Because FL only requires parameters rather than raw data to be shared during model training, it can achieve both information sharing and data privacy protection. Our experiments show that FL develops a more accurate ship fuel consumption prediction model in the first stage and thus helps obtain the optimal ship sailing speed setting in the second stage. The proposed two-stage method can reduce ship fuel consumption by 2.5%–7.5% compared to models using the initial individual data. Moreover, our proposed FL framework protects the data privacy of shipping companies while facilitating the sharing of information among shipping companies.     

基于GB-AEnet-FL网络的物联网设备异常检测

针对物联网场景下,传统异常检测方法在海量不均衡数据中检测准确率低、数据异构导致模型泛化能力差等问题,提出了基于联邦学习的对抗双编码异常检测网络 （GB-AEnet-FL）的物联网设备异常检测算法。首先,提出了一种基于异常数据的主动特征分布学习算法,主动学习数据的潜在特征分布,通过数据重构扩充异常数据,均衡正负样本比例。其次,在潜在特征层引入了对抗训练机制并添加一致性增强约束和收缩约束,提高特征提取的精度。最后,设计了一种基于动态模型选择的联邦学习算法,比较局部模型与全局模型的置信度评分,动态选择部分联邦体参与,加速模型的聚合,在一定程度上也保护了用户隐私。在四个不同数据集上进行验证,结果显示,所提算法在检测准确度优于传统算法,且泛化能力得到相应提升。     

面向分布式复杂数据样本的联邦语义分割方法综述

语义分割在医学图像分析、战场态势感知等领域起着重要的作用,但单一客户端通常无法为模型提供足够数量与多样性的训练数据,因此从复杂多变的分布式数据中训练语义分割模型是有必要的。为了不泄露数据隐私和保护数据安全,应用联邦学习在多客户端协同训练语义分割模型成为领域研究热点。在联邦语义分割定义基础上,围绕分布式复杂数据样本的数据异质性、标签缺失两个关键特征,开展联邦语义分割的问题描述、技术路径、典型模型实例等综述分析,评估不同方法的适用性及特点,梳理当前应用成果,提出针对该问题的潜在研究机会。研究为开展面向分布式复杂数据样本的联邦语义分割方法及相关研究提供借鉴和参考。     

一种面向电能量数据的联邦学习可靠性激励机制

联邦学习解决了数据安全日益受到重视条件下的数据互用难题,但是传统联邦学习缺少鼓励和吸引数据拥有方参与到联邦学习中的激励机制,联邦学习审核机制的缺失给恶意节点进行破坏攻击提供了可能性.针对这个问题,文中提出基于区块链技术的面向电能量数据的可靠的联邦学习激励机制.该方法从对数据参与方的训练参与进行奖励和对数据参与方的数据可...