面向数据异构的联邦学习性能优化研究

参与联邦学习的客户端只需在各自的本地数据集上训练本地模型,并在服务器上聚合全局模型.然而,数据异构会导致本地模型与全局最优模型收敛方向不一致,影响全局模型性能.现有工作主要集中在直接与全局模型做趋同,并未考虑全局模型合理性.本文研究了一种基于局部模型偏移的性能优化方案,本地训练过程中结合所有客户端模型关键参数,提高全局聚合模型可信度.具体来说,计算待训练模型与其他客户端模型参数差值,然后乘以其他客户端梯度,将结果作为正则项加入本地损失函数,从而抑制局部模型偏移.实验结果表明,该方案在MNIST,FMNIST,CIFAR上的图像识别正确率方面优于现有方法5个百分点以上.     

面向通信成本优化的联邦学习算法

联邦学习是一种能够保护数据隐私的机器学习设置,然而高昂的通信成本和客户端的异质性问题阻碍了联邦学习的规模化落地。针对这两个问题,提出一种面向通信成本优化的联邦学习算法。首先,服务器接收来自客户端的生成模型并生成模拟数据;然后,服务器利用模拟数据训练全局模型并将其发送给客户端,客户端利用全局模型进行微调后得到最终模型。所提算法仅需要客户端与服务器之间的一轮通信,并且利用微调客户端模型来解决客户端异质性问题。在客户端数量为20个时,在MNIST和CIFAR-10这两个数据集上进行了实验。结果表明,所提算法能够在保证准确率的前提下,在MNIST数据集上将通信的数据量减少至联邦平均（FedAvg）算法的1/10,在CIFAR-10数据集上将通信数据量减少至FedAvg算法的1/100。     

边缘场景下动态权重的联邦学习优化方法

边缘计算(Edge Computing)作为一种新的计算范式,在网络边缘提供计算服务,相比传统的云计算模式,它具有高可信、低延迟等特点,在各行各业中有着广阔的应用前景,但在隐私保护和数据处理上仍存在一些问题。而联邦学习作为一种分布式的机器学习技术,能很好地解决边缘计算场景下数据分布不一致和数据隐私问题,但仍面临设备异构、数据异质及通信方面的挑战,如模型偏移、收敛效果差、部分设备计算结果丢失等问题。为解决上述问题,提出动态权重的联邦学习优化算法(FedDw)。该算法关注设备的服务质量,减少训练速度不一致导致部分设备参与带来的异构性影响,并根据服务质量确定在最终模型聚合时的占比,从而确保聚合的结果在复杂的真实情况下更具有鲁棒性。在10个地区气象站的真实数据集上与FedProx和Scaffold这两种典型的联邦学习算法进行了对比,实验结果表明FedDw算法具有更好的综合性能。     

自适应异构联邦学习

目的 模型异构联邦学习由于允许参与者在不损害隐私的情况下独立设计其独特模型而受到越来越多的关注。现有的方法通常依赖于公共共享的相关数据或全局模型进行通信,极大地限制了适用性。且每个参与者的私有数据通常以不同的分布收集,导致数据异构问题。为了同时处理模型异构和数据异构,本文提出了一种新颖的自适应异构联邦学习方法。方法 给定一个随机生成的输入信号（例如,随机噪声）,自适应异构联邦学习直接通过对齐输出逻辑层分布来实现异构模型之间的通信,实现协作知识共享。主要优势是在不依赖额外相关数据收集或共享模型设计的情况下解决了模型异构问题。为了进一步解决数据异构问题,本文提出了在模型和样本层面上进行自适应权重更新。因此,自适应异构联邦学习（adaptive heteogeneous federated learning,AHF）允许参与者通过模型输出在无关数据上的差异和强调“有意义”的样本来学习丰富多样的知识。结果 通过在不同的联邦学习任务上使用随机噪声输入进行通信,进行了广泛的实验,显示出比竞争方法更高的域内精确度和更好的跨域泛化性能。结论 本文方法提供了一个简单而有效的基准,为异构联邦学习的未来发展奠定基础。     

边缘场景下动态联邦学习优化方法

边缘计算(Edge Computing)是一种新的计算方式,通过在网络边缘提供计算服务,与传统的云计算模式相比,具有高可信度和低延迟等特点。联邦学习(FL)作为一种分布式机器学习方法,尽管具备保护隐私和数据安全的特性,却仍然面临设备异构和数据不均衡等问题,导致出现部分参与者(边缘端)训练时间长、训练效率低下等问题。为了解决上述问题,该文提出了一种名为FlexFL的动态联邦学习优化算法。该算法引入了两层联邦学习策略,通过在同一参与者部署多个联邦学习训练服务和一个联邦学习聚合服务,将本地数据集平均分配给各个联邦学习训练服务,并每回合激活一定数量的训练服务。未激活的服务将休眠,不占用计算资源,并将资源平均分配给激活的服务,以加快训练速度。该算法能够平衡参与者设备异构和数据不均衡性带来的训练时间差异,从而提高整体训练效率。在MINST数据集和CIFAR数据集上与FedAvg联邦学习算法进行了对比实验,结果显示,FlexFL算法在减少时间消耗的同时,不降低模型性能。     

一种面向边缘计算的高效异步联邦学习机制

随着物联网和移动设备性能的不断提高,一种新型计算架构——边缘计算——应运而生.边缘计算的出现改变了数据需要集中上传到云端进行处理的局面,最大化利用边缘物联网设备的计算和存储能力.边缘计算节点对本地数据进行处理,不再需要把大量的本地数据上传到云端进行处理,减少了数据传输的延时.在边缘网络设备上进行人工智能运算的需求也在逐日增大,因为联邦学习机制不需要把数据集中后进行模型训练,所以更适合于节点平均数据量有限的边缘网络机器学习的场景.针对以上挑战,提出了一种面向边缘网络计算的高效异步联邦学习机制(efficient asynchronous federated learning mechanism for edge network computing, EAFLM),根据自适应的阈值对训练过程中节点与参数服务器之间的冗余通信进行压缩.其中,双重权重修正的梯度更新算法,允许节点在学习的任何过程中加入或退出联邦学习.实验显示提出的方法将梯度通信压缩至原通信次数的8.77%时,准确率仅降低0.03%.     

移动边缘计算下基于联邦学习的动态QoS优化

在5G边缘网络飞速发展的过程中,边缘用户对高带宽、低时延的网络服务的质量要求也显著提高.从移动边缘网络的角度来看,网络内的整体服务质量与边缘用户的分配息息相关,用户移动的复杂性为边缘用户分配带来困难,边缘用户分配过程中还存在隐私泄露问题.本文提出一种移动边缘环境下基于联邦学习的动态QoS(Quality of Service)优化方法MECFLD_QoS,基于联邦学习的思想,优化边缘区域的服务缓存,在动态移动场景下根据用户位置分配边缘服务器,有效保护用户隐私,实现区域服务质量优化,对动态用户移动场景有更好的适应性.MECFLD_QoS主要做了以下几个方面的优化工作:(1)优化了传统QoS数据集,将数据集映射到边缘网络环境中,充分考虑边缘计算的移动、分布式、实时性、复杂场景等特点,形成边缘QoS特征数据集;(2)优化了边缘服务器缓存,在用户终端训练用户偏好模型,与区域公有模型交互时只传输参数,将用户的隐私数据封装在用户终端中,避免数据的传输,可以有效地保护用户特征隐私;(3)优化了用户移动场景,在动态移动场景中收集用户移动信息,利用用户接入基站的地理位置拟合用户的移动轨迹进行预测,有效地模糊了用户的真实位置,在轨迹预测的同时有效地保护了用户的位置隐私;(4)优化了用户分配方法,提出改进的基于二维解的人工蜂群算法对边缘网络中的用户分配问题进行优化,事实证明改进的人工蜂群算法针对其多变量多峰值的特点有效地优化了用户分配,达到了较优的分配效果.通过边缘QoS特征数据集实验表明,本方法在多变量多峰值的用户分配问题中能产生全局最优的分配.     

面向风电场景的联邦学习平台高性能通信优化

风能作为清洁能源为改善我国能源结构发挥着越来越重要的作用. 风电场机组及设备的数据可能会包含机组或风场的隐私敏感信息, 这些隐私数据一旦被泄露, 将会为风电场带来巨大的经济风险和法律风险. 联邦学习作为重要的隐私计算手段, 能够保证原始数据不出本地的情况下完成模型的建模和推理, 实现各参与方在互不泄露隐私的前提下实现联合计算, 从而有效应对风电数据分析面临的挑战. 但是, 联邦学习计算过程中存在大量的通信开销, 这成为限制联邦学习技术在风电场景下应用的关键性能瓶颈. 因此, 本文以经典的联邦学习算法XGBoost为例, 深入分析了联邦学习计算过程中的通信问题, 提出采用RDMA作为底层传输协议的解决方案, 设计并实现了一套高性能联邦学习平台通信库, 有效提升了联邦学习系统的性能.     

面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

边缘计算下的联邦学习应用研究

随着移动设备自身存储和计算能力的提升,越来越多移动设备在本地进行数据处理,如传感器,智能穿戴设备和车载应用等。当前机器学习技术在计算机视觉,自然语言处理,模式识别等领域取得了巨大成功,然而当前机器学习方法是中心化的,数据中心或者云服务器能够对数据进行访问。联邦学习作为新型的分布式机器学习范式,借助设备本身的存储和计算能力,能够在数据不出本地的情况下进行机器学习中的模型共建,从而保护数据隐私,从而有效解决数据孤岛问题。边缘计算能够在靠近设备端提供计算,存储和网络资源,为高带宽低时延的应用提供基础。在联邦学习训练中,设备数量增加,设备网络情况复杂多变等均为联邦学习中的联合训练上带来了巨大挑战,如设备选择,网络通信开销大等状况。本文首先介绍了边缘计算的基础,以及联邦学习的联合训练流程,通过对联邦学习和边缘计算的融合应用进行分析研究,进一步我们对基于边缘计算的联邦学习做了分析,最后我们对当前的主要挑战以及未来的研究方向做了总结。     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

应急通信网络中基于粒子群优化的信道分配算法

当前应急通信亟需解决的问题,在于如何快速有效地满足突发性增长的网络需求,以保证网络传输质量.无线mesh网络以其部署快速、结构灵活、鲁棒性等优点,成为了新一代灾后应急通信网络架构的优秀解决方案.文中提出了一种基于粒子群算法的信道分配优化算法PWCA,在降低全局网络干扰的前提下,考虑了不同链路对整体网络表现的影响,通过其...     

动态物联网环境下的联盟学习计算卸载优化

智能城市、智慧工厂等对物联网设备（Internet of Things，IoT）的性能和连接性提出了挑战。边缘计算的出现弥补了这些能力受限的设备，通过将密集的计算任务从它们迁移到边缘节点（Edge Node，EN），物联网设备能够在节约更多能耗的同时，仍保持服务质量。计算卸载决策涉及协作和复杂的资源管理，应该根据动态工作负载和网络环境实时确定计算卸载决策。采用模拟实验的方法，通过在物联网设备和边缘节点上都部署深度强化学习代理来最大化长期效用，并引入联盟学习来分布式训练深度强化学习代理。首先构建支持边缘计算的物联网系统，IoT从EN处下载已有模型进行训练，密集型计算任务卸载至EN进行训练；IoT上传更新的参数至EN，EN聚合该参数与EN处的模型得到新的模型；云端可在EN处获得新的模型并聚合，IoT也可以从EN获得更新的参数应用在设备上。经过多次迭代，该IoT能获得接近集中式训练的性能，并且降低了物联网设备和边缘节点之间的传输成本，实验证实了决策方案和联盟学习在动态物联网环境中的有效性。     

基于深度学习模型的无线传感器网络数据融合算法

为了在无线传感器网络中提高数据融合性能,基于深度学习模型,提出一种将层叠自动编码器(SAE)和分簇协议相结合的数据融合算法SAEMDA,该算法在各个簇内构建特征提取分类模型SAEM,通过SAEM对节点数据进行特征提取和分类,之后将同类特征融合并发送给汇聚节点。SAEM的训练既可以采用离线有监督学习也可以采用在线无监督学习。仿真实验表明:和BPFDA,SOFMDA算法相比,SAEMDA在网络能耗大致相当的情况下能将数据融合正确率提高最多7.5%。     

智能网络磁盘的WLAN接口驱动程序研究

为了解决在无线局域网(WLAN) 境下的网络存储问题,提出了基于智能网络磁盘(intelligent network disk,IND)和802.11n协议草案2.0的解决方案,重点介绍了基于802.11n帧结构的数据包构成方法和接口驱动程序.     

基于半监督学习的无线网络攻击行为检测优化方法

针对如何优化深度学习技术在海量高维复杂的无线网络流量数据中有效发现异常攻击行为的问题,提出一种基于半监督学习的无线网络攻击行为检测优化方法(WiFi network attacks detection optimization method, WiFi-ADOM).首先基于无监督学习模型栈式稀疏自编码器提出2种网络流量特征表示向量：新特征值向量和原始特征权重值向量.然后利用原始特征权重值向量初始化监督学习模型深度神经网络的权重值得到网络攻击类型的预判结果,并通过无监督学习聚类方法Bi-kmeans对网络流量的新特征值向量进行聚类以生成未知攻击类型判别纠正项.最后结合预判结果和未知攻击类型判别纠正项,得到网络攻击类型的最终判定结果.通过和已有研究方法对比,在公开无线网络攻击行为数据集AWID上验证了WiFi-ADOM方法对网络攻击行为检测的优化性能,同时探索了与网络攻击检测相关的重要特征属性的问题.实验结果表明:WiFi-ADOM方法在保证准确率等检测性能的同时能够有效检测未知攻击类型,具备优化网络攻击行为检测的能力.     

配电监测无线远程数据通信模式研究与设计

本文介绍了一种采用HAC系列微功率无线数传技术和GPRS技术相结合的配变监测远程无线数据通信模式,阐述了系统的通信原理,给出了系统硬件电路和软件结构的设计方法,为提高远程多点数据传输系统的性价比提供了一种新的思路。     

基于无线通信实现方式的PLC网络研究

针对PLC控制系统在工业领域中的应用需求,分析了PLC-DCS控制网络结构,对比总结了三类PLC网络的无线通讯实现方式;通过对不同类型实现PLC无线网络的硬件拓扑结构和组网要点的分析,总结了各种方式的应用特点,并比对了它们的适用场合及局限性,以便针对不同PLC的无线通讯模式,进行具体方案的设计。     

无线传感器网络中数据融合节点数目的确定方法研究

数据融合技术作为无线传感器中的一项关键技术,目的是减少节点的传输数据量,减少网络中总能量的消耗。通过对WSN中的数据融合问题分析,融合节点数存在最优值,建立了一个能量消耗模型获得理论最佳融合节点数目,通过仿真分析了融合节点数目的选取对网络性能的影响,模拟仿真得到的最佳数目与理论值基本吻合。