面向分层联邦学习的传输优化研究

与传统机器学习相比,联邦学习有效解决了用户数据隐私和安全保护等问题,但是海量节点与云服务器间进行大量模型交换,会产生较高的通信成本,因此基于云-边-端的分层联邦学习受到了越来越多的重视。在分层联邦学习中,移动节点之间可采用D2D、机会通信等方式进行模型协作训练,边缘服务器执行局部模型聚合,云服务器执行全局模型聚合。为了提升模型的收敛速率,研究人员对面向分层联邦学习的网络传输优化技术展开了研究。文中介绍了分层联邦学习的概念及算法原理,总结了引起网络通信开销的关键挑战,归纳分析了选择合适节点、增强本地计算、减少本地模型更新上传数、压缩模型更新、分散训练和面向参数聚合传输这6种网络传输优化方法。最后,总结并探讨了未来的研究方向。     

基于类别不平衡数据联邦学习的设备选择算法

考虑移动边缘计算下的联邦学习,其中全局服务器通过网络连接大量移动设备共同训练深度神经网络模型.全局类别不平衡和设备本地类别不平衡的数据分布往往会导致标准联邦平均算法性能下降.提出了一种基于组合式多臂老虎机在线学习算法框架的设备选择算法,并设计了一种类别估计方案.通过每一轮通信中选取与前次全局模型的类别测试性能偏移最互补的设备子集,使得训练后线性组合的全局模型各类别测试性能更平衡,从而获得更快的收敛性、更稳定的训练过程以及更好的测试性能.数值实验充分探究了不同参数对基于类别不平衡联邦平均算法的影响,以及验证了所提设备选择算法的有效性.     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

面向多层无线边缘环境下的联邦学习通信优化的研究

现有的联邦学习模型同步方法大多基于单层的参数服务器架构,难以适应当前异构无线网络场景,同时存在单点通信负载过重、系统延展性差等问题.针对这些问题,文中提出了一种面向边缘混合无线网络的联邦学习高效模型同步方法.在混合无线网络环境中,边缘移动终端将本地模型传输给附近的小型基站,小型基站收到边缘移动终端模型后执行聚合算法,并...     

边缘计算下的联邦学习应用研究

随着移动设备自身存储和计算能力的提升,越来越多移动设备在本地进行数据处理,如传感器,智能穿戴设备和车载应用等。当前机器学习技术在计算机视觉,自然语言处理,模式识别等领域取得了巨大成功,然而当前机器学习方法是中心化的,数据中心或者云服务器能够对数据进行访问。联邦学习作为新型的分布式机器学习范式,借助设备本身的存储和计算能力,能够在数据不出本地的情况下进行机器学习中的模型共建,从而保护数据隐私,从而有效解决数据孤岛问题。边缘计算能够在靠近设备端提供计算,存储和网络资源,为高带宽低时延的应用提供基础。在联邦学习训练中,设备数量增加,设备网络情况复杂多变等均为联邦学习中的联合训练上带来了巨大挑战,如设备选择,网络通信开销大等状况。本文首先介绍了边缘计算的基础,以及联邦学习的联合训练流程,通过对联邦学习和边缘计算的融合应用进行分析研究,进一步我们对基于边缘计算的联邦学习做了分析,最后我们对当前的主要挑战以及未来的研究方向做了总结。     

面向边缘设备的高能效深度学习任务调度策略

近年来,深度学习在图像和自然语言处理等诸多领域表现出色,与深度学习相关的各类移动应用发展迅速,但由于移动网络状态的不稳定性及网络带宽的限制,基于云计算的深度模型任务可能出现较大响应延迟,严重影响用户体验.与此同时,深度模型对设备的计算及存储能力有较高的要求,无法直接在资源受限的移动设备中进行部署.因此,亟须设计一种新的计算模式,使得基于深度模型的移动应用能够满足用户对快速响应、低能耗及高准确率的期望.本文提出一种面向边缘设备的深度模型分类任务调度策略,该策略通过协同移动设备与边缘服务器,充分利用智能移动终端的便捷性和边缘服务器强大的计算能力,综合考虑分类任务的复杂度和用户期望,完成深度模型在移动设备和边缘服务器中的动态部署,并对推理任务进行动态调度,从而提升任务执行效率,降低深度学习模型推理开销.本文以基于卷积神经网络的图像识别应用为例,实验结果表明,在移动环境中,相比于准确率最高的深度模型,本文提出的高能效调度策略的推理能耗可降低93.2%、推理时间降低91.6%,同时准确率提升3.88%.     

基于边缘的联邦学习模型清洗和设备聚类方法

参与联邦学习的终端设备只需在各自的本地数据集上训练本地模型,并在服务器的协同下共同训练一个全局预测模型.因此,联邦学习可以在不共享终端设备的隐私和敏感数据的情况下实现机器学习的目的 .然而,大量终端设备对服务器的高并发访问会增加模型更新的传输延迟,并且本地模型可能是与全局模型收敛方向相反的恶意模型,因此联邦学习过程中会产生大量额外的通信成本.现有工作主要集中在减少通信轮数或清除本地脏数据,本文研究了一种基于边缘的模型清洗和设备聚类方法,以减少本地更新总数.具体来说,通过计算本地更新参数和全局模型参数在多维上的余弦相似度来判断本地更新是否是必要的,从而避免不必要的通信.同时,终端设备根据其所在的网络位置聚类,并通过移动边缘节点以簇的形式与云端通信,从而避免与服务器高并发访问相关的延迟.本文以Softmax回归和卷积神经网络实现MNIST手写数字识别为例验证了所提方法在提高通信效率上的有效性.实验结果表明,相比传统的联邦学习,本文提出的基于边缘的模型清洗和设备聚类方法减少了60％的本地更新数,模型的收敛速度提高了10.3％.     

分层学习的边缘计算资源调度粒子群优化算法

由于存在诸如CPU运算速度慢,电池容量低等问题,智能移动设备本身无法执行计算需求大的应用程序,需要借助边缘计算技术来降低程序对移动设备硬件的要求。然而将部分计算任务从移动设备传输给边缘服务器,会带来额外的传输能耗和服务器计算能耗。综合考虑影响移动设备和服务器,以及数据传输能耗值的四个因素,即移动设备的计算速度,下载数据功耗,数据卸载百分比和剩余网络带宽占,提出一种基于分层学习的粒子群算法,优化每台移动设备对于这四个参数的取值,更合理分配计算资源使得总能耗最小。对计算资源建模时,还考虑了最大能耗、计算周期、存储、带宽和延迟约束条件。与其他算法进行对比实验发现,通过分层学习优化的粒子群算法,能更快速地获得满足约束条件具有更低能耗的资源调度最优解。     

云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

区块链赋能多边缘安全联邦学习模型研究

联邦学习是一种革命性的深度学习模式,可以保护用户不暴露其私有数据,同时合作训练全局模型。然而某些客户端的恶意行为会导致单点故障以及隐私泄露的风险,使得联邦学习的安全性面临极大挑战。为了解决上述安全问题,在现有研究的基础上提出了一种区块链赋能多边缘联邦学习模型。首先,通过融合区块链替代中心服务器来增强模型训练过程的稳定性与可靠性;其次,提出了基于边缘计算的共识机制,以实现更加高效的共识流程;此外,将声誉评估融入到联邦学习训练流程中,能够透明地衡量每一个参与者的贡献值,规范工作节点的行为。最后通过对比实验证明,所提方案在恶意环境下仍然能够保持较高的准确度,与传统的联邦学习算法相比,该方案能够抵抗更高的恶意比例。     

移动边缘计算环境中面向机器学习的计算迁移策略

针对物联网（IoT）数据源的多样化、数据的非独立同分布性、边缘设备计算能力和能耗的异构性,提出一种集中学习和联邦学习共存的移动边缘计算（MEC）网络计算迁移策略。首先,建立与集中学习、联邦学习都关联的计算迁移系统模型,考虑了集中学习、联邦学习模型产生的网络传输延迟、计算延迟以及能耗;然后,以系统平均延迟为优化目标、以能耗和基于机器学习准确率的训练次数为限制条件构建面向机器学习的计算迁移优化模型。接着对所述计算迁移进行了博弈分析,并基于分析结果提出一种能量约束的延迟贪婪（ECDG）算法,通过延迟贪婪决策和能量约束决策更新二阶优化来获取模型的优化解。与集中式贪婪算法和面向联邦学习的客户选择（FedCS）算法相比,ECDG算法的平均学习延迟最低,约为集中式贪婪算法的1/10,为FedCS算法的1/5。实验结果表明,ECDG算法能通过计算迁移自动为数据源选择最优的机器学习模型,从而有效降低机器学习的延迟,提高边缘设备的能效,满足IoT应用的服务质量（QoS）要求。     

基于代理选举的高效异构联邦学习方法

物联网多样性终端设备在计算、存储、通信方面的异构性导致联邦学习效率不足。针对上述联邦训练过程中面临的问题,基于代理选举思路,提出了一种高效联邦学习算法。设计了基于马氏距离的代理节点选举策略,将设备的计算能力与闲置时长作为选举因素,选举性价比高的设备作为代理节点,充分发挥设备计算能力。进一步设计了基于代理节点的新型云边端联邦学习架构,提升了异构设备之间的联邦学习效率。基于MNIST和CIFAR-10公开数据集与智能家居设备真实数据的实验表明,该联邦学习方法的效率提高了22%。     

基于能耗与延迟优化的移动边缘计算任务卸载模型及算法

随着移动边缘计算的兴起,如何处理边缘计算任务卸载成为研究热点问题之一。针对多任务-多边缘服务器的场景,本文首先提出一种基于能量延迟优化的移动边缘计算任务卸载模型,该模型考虑边缘设备的剩余电量,使用时延、能耗加权因子计算边缘设备的总开销,具有延长设备使用时间、减少任务卸载时延和能耗的优点。进一步提出一种基于改进遗传算法的移动边缘计算任务卸载算法,将求解最优卸载决策的问题转化为求解种群最优解的问题。对比仿真实验结果表明,本文提出的任务卸载模型和算法能够有效求解任务卸载问题,改进后的任务卸载算法求解更精确,能够避免局部最优解,利于寻找最优任务卸载决策。     

移动边缘计算中基于改进拍卖模型的计算卸载策略

随着移动互联网业务的快速发展,增强现实、虚拟现实、超清视频等手机应用逐渐普及、IoT应用不断涌现,计算能力和续航能力的不足成为限制智能终端设备成功支撑这些应用的主要瓶颈。针对这一现状,采用计算卸载的方式解决该问题,在多用户多移动边缘服务器的场景下,综合考虑智能设备性能和服务器资源提出了一种基于改进拍卖算法的计算卸载策略。该策略主要包括两个阶段,在卸载决策阶段,通过综合考虑计算任务自身大小、计算需求和服务器计算能力、网络带宽等因素提出了卸载决策的依据;在任务调度阶段,通过综合考虑计算任务的时间需求和MEC服务器计算性能提出了基于改进拍卖算法的任务调度模型。实验证明,提出的计算卸载策略能够有效地降低服务时延,减少智能设备能耗,改善用户体验。     

基于信誉评估机制和区块链的移动网络联邦学习方案

联邦学习是一种新兴的分布式机器学习技术,通过将训练任务下放到用户端,仅将训练得到的模型参数发送给服务端,整个过程并不需要参与方直接共享数据,从而很大限度上规避了隐私问题。然而,这种学习模式中移动用户间没有预先建立信任关系,用户之间进行合作训练时会存在安全隐患。针对上述问题,提出一种基于信誉评估机制和区块链的移动网络联邦学习方案,该方案允许服务端利用主观逻辑模型对参与训练的移动用户进行信誉评估,并且基于区块链智能合约技术为其提供可信的信誉意见共享环境和动态访问策略接口。理论和实验分析结果表明,此方案可以使服务端选择可靠的用户进行训练,同时能够实现更公平和有效的信誉计算,提高联邦学习的准确性。     

基于多重指标拍卖机制的车联网任务卸载策略

在5G移动边缘计算(MEC)的车联网场景中, 针对车辆任务卸载目标的选择问题, 设计了一种基于任务优先级的服务器选择方案. 综合考虑时间、能耗、成本等因素对卸载位置选择的影响, 提出了基于多重指标拍卖博弈的解决方法. 通过多重指标拍卖机制, 选择最优的MEC服务器为车辆提供任务卸载服务, 实现车辆与RSU协作的贝叶斯纳什均衡. 仿真结果表明, 该方案能在保障车辆任务卸载时间和能耗的约束条件下, 降低任务卸载的总费用, 满足多个性能指标.