云-边融合的可验证隐私保护跨域联邦学习方案

联邦学习技术的飞速发展促进不同终端用户数据协同训练梯度模型,其显著特征是训练数据集不离开本地设备,只有梯度模型在本地进行更新并共享,使边缘服务器生成全局梯度模型。然而,本地设备间的异构性会影响训练性能,且共享梯度模型更新具有隐私泄密与恶意篡改威胁。提出云-边融合的可验证隐私保护跨域联邦学习方案。在方案中,终端用户利用单掩码盲化技术保护数据隐私,利用基于向量内积的签名算法产生梯度模型的签名,边缘服务器通过盲化技术聚合隐私数据并产生去盲化聚合签名,确保全局梯度模型更新与共享过程的不可篡改性。采用多区域权重转发技术解决异构网络中设备计算资源与通信开销受限的问题。实验结果表明,该方案能够安全高效地部署在异构网络中,并在MNIST、SVHN、CIFAR-10和CIFAR-100 4个基准数据集上进行系统实验仿真,与经典联邦学习方案相比,在精度相当的情况下,本文方案梯度模型收敛速度平均提高了21.6%。     

边缘场景下动态联邦学习优化方法

边缘计算(Edge Computing)是一种新的计算方式,通过在网络边缘提供计算服务,与传统的云计算模式相比,具有高可信度和低延迟等特点。联邦学习(FL)作为一种分布式机器学习方法,尽管具备保护隐私和数据安全的特性,却仍然面临设备异构和数据不均衡等问题,导致出现部分参与者(边缘端)训练时间长、训练效率低下等问题。为了解决上述问题,该文提出了一种名为FlexFL的动态联邦学习优化算法。该算法引入了两层联邦学习策略,通过在同一参与者部署多个联邦学习训练服务和一个联邦学习聚合服务,将本地数据集平均分配给各个联邦学习训练服务,并每回合激活一定数量的训练服务。未激活的服务将休眠,不占用计算资源,并将资源平均分配给激活的服务,以加快训练速度。该算法能够平衡参与者设备异构和数据不均衡性带来的训练时间差异,从而提高整体训练效率。在MINST数据集和CIFAR数据集上与FedAvg联邦学习算法进行了对比实验,结果显示,FlexFL算法在减少时间消耗的同时,不降低模型性能。     

边缘场景下动态权重的联邦学习优化方法

边缘计算(Edge Computing)作为一种新的计算范式,在网络边缘提供计算服务,相比传统的云计算模式,它具有高可信、低延迟等特点,在各行各业中有着广阔的应用前景,但在隐私保护和数据处理上仍存在一些问题。而联邦学习作为一种分布式的机器学习技术,能很好地解决边缘计算场景下数据分布不一致和数据隐私问题,但仍面临设备异构、数据异质及通信方面的挑战,如模型偏移、收敛效果差、部分设备计算结果丢失等问题。为解决上述问题,提出动态权重的联邦学习优化算法(FedDw)。该算法关注设备的服务质量,减少训练速度不一致导致部分设备参与带来的异构性影响,并根据服务质量确定在最终模型聚合时的占比,从而确保聚合的结果在复杂的真实情况下更具有鲁棒性。在10个地区气象站的真实数据集上与FedProx和Scaffold这两种典型的联邦学习算法进行了对比,实验结果表明FedDw算法具有更好的综合性能。     

移动边缘网络中联邦学习效率优化综述

联邦学习(federated learning)将模型训练任务部署在移动边缘设备,参与者只需将训练后的本地模型发送到服务器参与全局聚合而无须发送原始数据,提高了数据隐私性.然而,解决效率问题是联邦学习落地的关键.影响效率的主要因素包括设备与服务器之间的通信消耗、模型收敛速率以及移动边缘网络中存在的安全与隐私风险.在充分调研后,首先将联邦学习的效率优化归纳为通信、训练与安全隐私保护3类.具体来说,从边缘协调与模型压缩的角度讨论分析了通信优化方案;从设备选择、资源协调、聚合控制与数据优化4个方面讨论分析了训练优化方案;从安全与隐私的角度讨论分析了联邦学习的保护机制.其次,通过对比相关技术的创新点与贡献,总结了现有方案的优点与不足,探讨了联邦学习所面临的新挑战.最后,基于边缘计算的思想提出了边缘化的联邦学习解决方案,在数据优化、自适应学习、激励机制和隐私保护等方面给出了创新理念与未来展望.     

一种解决数据异构问题的联邦学习方法

联邦学习是一种不通过中心化的数据训练就能获得机器学习模型的系统,源数据不出本地,降低了隐私泄露的风险,同时本地也获得优化训练模型。但是由于各节点之间的身份、行为、环境等不同,导致不平衡的数据分布可能引起模型在不同设备上的表现出现较大偏差,从而形成数据异构问题。针对上述问题,提出了基于节点优化的数据共享模型参数聚类算法,将聚类和数据共享同时应用到联邦学习系统中,该方法既能够有效地减少数据异构对联邦学习的影响,也加快了本地模型收敛的速度。同时,设计了一种评估全局共享模型收敛程度的方法,用于判断节点聚类的时机。最后,采用数据集EMNIST、CIFAR-10进行了实验和性能分析,验证了共享比例大小对各个节点收敛速度、准确率的影响,并进一步分析了当聚类与数据共享同时应用到联邦学习前后各个节点的准确率。实验结果表明,当引入数据共享后各节点的收敛速度以及准确率都有所提升,而当聚类与数据共享同时引入到联邦学习训练后,与FedAvg算法对比,其准确度提高10%～15%,表明了该方法针对联邦学习数据异构问题上有着良好的效果。     

一种鲁棒的半监督联邦学习系统

联邦学习允许边缘设备或客户端将数据存储在本地来合作训练共享的全局模型。主流联邦学习系统通常基于客户端本地数据有标签这一假设,然而客户端数据一般没有真实标签,且数据可用性和数据异构性是联邦学习系统面临的主要挑战。针对客户端本地数据无标签的场景,设计一种鲁棒的半监督联邦学习系统。利用FedMix方法分析全局模型迭代之间的隐式关系,将在标签数据和无标签数据上学习到的监督模型和无监督模型进行分离学习。采用FedLoss聚合方法缓解客户端之间数据的非独立同分布（non-IID）对全局模型收敛速度和稳定性的影响,根据客户端模型损失函数值动态调整局部模型在全局模型中所占的权重。在CIFAR-10数据集上的实验结果表明,该系统的分类准确率相比于主流联邦学习系统约提升了3个百分点,并且对不同non-IID水平的客户端数据更具鲁棒性。     

边缘计算下的轻量级联邦学习隐私保护方案

随着物联网和大数据技术的高速发展,以传统云计算模式为代表的集中式学习效率低下,且易受到单点攻击、共谋攻击、中间人攻击等一系列攻击手段,造成数据安全的隐患。边缘计算模式使得分布式联邦学习成为了可能,然而,联邦学习虽然能够保证数据在本地的安全和隐私,但是也面临众多安全威胁,如梯度泄露攻击,此外,效率问题也是联邦学习的痛点所在。为了保障边缘计算场景下的模型训练安全,提出了一种边缘计算下的轻量级联邦学习隐私保护方案(Lightweight Federated Learning Privacy Protection Scheme Under Edge Computing, LFLPP)。首先,提出一种云-边-端分层的联邦学习框架;其次,对不同层进行隐私保护;最后,提出一种周期性更新策略,极大地提高了收敛速度。使用乳腺癌肿瘤数据集和CIFAR10数据集在LR模型和Resnet18残差模型上进行训练和测试,同时使用CIFAR10数据集与FedAvg和PPFLEC(Privacy-Preserving Federated Learning for Internet of Medical Things ...     

基于同态加密的隐私保护逻辑回归协同计算

随着数据交易市场的建立和规范化，多方协同进行机器学习建模成为新需求。联邦学习允许多个数据拥有方联合训练一个机器学习模型，适用于模型共建共用场景，但现有联邦学习计算框架无法适用于数据拥有方和模型需求方诉求不同、模型共建不共用的场景。提出一种不依赖于第三方计算平台且基于同态加密的隐私保护逻辑回归协同计算方案，包括由数据拥有方、模型需求方和密钥生成者构成的多方协同计算框架，以及基于该框架的多方交互协同计算流程，在不泄露模型信息及各方数据隐私的前提下协作完成模型训练任务，通过建立攻击模型分析协同计算方案的安全性。基于先进的浮点数全同态加密方案CKKS在小型计算机集群上实现协同计算的原型系统，并对原型系统进行计算和通信优化，包括提前终止训练和将密文同态运算卸载到GPU上提高计算效率。实验结果表明，计算优化措施获得了约50倍的速度提升，协同计算原型系统在中小规模的数据集上可满足实用性要求。     

基于进化策略的自适应联邦学习算法

联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.     

面向异构网络的联邦优化算法

联邦学习网络中,全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题,提出一种面向异构网络的联邦优化算法q-FedDANE。首先,通过在经典联合近似牛顿型方法中引入衰减参数q,调整衰减梯度校正项和近端项的负面影响,有效提高模型对环境异构性的感知能力,并将每轮算法迭代的设备通信轮次降低至一次,显著减少通信成本和训练开销;其次,模型将随机优化器Adam引入服务器端聚合训练,通过自适应的动态学习率来利用全局信息进行目标优化,加快了模型的收敛速度。实验表明,q-FedDANE算法可以更好地适应环境异构和低设备参与的场景,在高度异构的FEMNIST数据集上,该算法最终获得的测试精度约高出FedDANE的58%。     

面向多层无线边缘环境下的联邦学习通信优化的研究

现有的联邦学习模型同步方法大多基于单层的参数服务器架构,难以适应当前异构无线网络场景,同时存在单点通信负载过重、系统延展性差等问题.针对这些问题,文中提出了一种面向边缘混合无线网络的联邦学习高效模型同步方法.在混合无线网络环境中,边缘移动终端将本地模型传输给附近的小型基站,小型基站收到边缘移动终端模型后执行聚合算法,并...     

Optimal and Effective Resource Management in Edge Computing

Edge computing is a cloud computing extension where physical computers are installed closer to the device to minimize latency. The task of edge data centers is to include a growing abundance of applications with a small capability in comparison to conventional data centers. Under this framework, Federated Learning was suggested to offer distributed data training strategies by the coordination of many mobile devices for the training of a popular Artificial Intelligence (AI) model without actually revealing the underlying data, which is significantly enhanced in terms of privacy. Federated learning (FL) is a recently developed decentralized profound learning methodology, where customers train their localized neural network models independently using private data, and then combine a global model on the core server together. The models on the edge server use very little time since the edge server is highly calculated. But the amount of time it takes to download data from smartphone users on the edge server has a significant impact on the time it takes to complete a single cycle of FL operations. A machine learning strategic planning system that uses FL in conjunction to minimise model training time and total time utilisation, while recognising mobile appliance energy restrictions, is the focus of this study. To further speed up integration and reduce the amount of data, it implements an optimization agent for the establishment of optimal aggregation policy and asylum architecture with several employees’ shared learners. The main solutions and lessons learnt along with the prospects are discussed. Experiments show that our method is superior in terms of the effective and elastic use of resources.     

Evaluation and comparison of federated learning algorithms for Human Activity Recognition on smartphones

Pervasive computing promotes the integration of smart devices in our living spaces to develop services providing assistance to people. Such smart devices are increasingly relying on cloud-based Machine Learning, which raises questions in terms of security (data privacy), reliance (latency), and communication costs. In this context, Federated Learning (FL) has been introduced as a new machine learning paradigm enhancing the use of local devices. At the server level, FL aggregates models learned locally on distributed clients to obtain a more general model. In this way, no private data is sent over the network, and the communication cost is reduced. Unfortunately, however, the most popular federated learning algorithms have been shown not to be adapted to some highly heterogeneous pervasive computing environments. In this paper, we propose a new FL algorithm, termed FedDist, which can modify models (here, deep neural network) during training by identifying dissimilarities between neurons among the clients. This permits to account for clients’ specificity without impairing generalization. FedDist evaluated with three state-of-the-art federated learning algorithms on three large heterogeneous mobile Human Activity Recognition datasets. Results have shown the ability of FedDist to adapt to heterogeneous data and the capability of FL to deal with asynchronous situations.     

Joint learning and optimization for Federated Learning in NOMA-based networks

Over the past decade, the usage of machine learning (ML) techniques have increased substantially in different applications. Federated Learning (FL) refers to collaborative techniques that avoid the exchange of raw data between the nodes in a distributed training task. This addresses important issues such as data privacy, energy consumption, and the limited availability of clean spectral slots. In this work, we investigate the performance of FL updates with edge devices connected to a leading device (LD) with practical wireless links, where uplink updates from the edge devices to the LD are shared without orthogonalizing the resources. In particular, we adopt a non-orthogonal multiple access (NOMA) uplink scheme, and analytically investigate its effect on the convergence round (CR) and the accuracy of the FL model. Moreover, we formulate an optimization problem that aims at minimizing the CR, and further guarantees communication fairness between the users while considering the per-device energy consumption figures and the accuracy of the realized global FL model. Monte-Carlo simulations prove the reliability of our derived analytical expressions and reveal the importance of adopting a joint optimization approach that demonstrates a significant reduction in communication latency, while taking into account user fairness in the NOMA network, improving the energy consumption figures and yielding acceptable accuracy levels when compared with several baselines.     

Federated learning for green shipping optimization and management

Many shipping companies are unwilling to share their raw data because of data privacy concerns. However, certain problems in the maritime industry become much more solvable or manageable if data are shared—for instance, the problem of reducing ship fuel consumption and thus emissions. In this study, we develop a two-stage method based on federated learning (FL) and optimization techniques to predict ship fuel consumption and optimize ship sailing speed. Because FL only requires parameters rather than raw data to be shared during model training, it can achieve both information sharing and data privacy protection. Our experiments show that FL develops a more accurate ship fuel consumption prediction model in the first stage and thus helps obtain the optimal ship sailing speed setting in the second stage. The proposed two-stage method can reduce ship fuel consumption by 2.5%–7.5% compared to models using the initial individual data. Moreover, our proposed FL framework protects the data privacy of shipping companies while facilitating the sharing of information among shipping companies.     

联邦学习中的隐私保护技术

联邦学习是顺应大数据时代和人工智能技术发展而兴起的一种协调多个参与方共同训练模型的机制.它允许各个参与方将数据保留在本地,在打破数据孤岛的同时保证参与方对数据的控制权.然而联邦学习引入了大量参数交换过程,不仅和集中式训练一样受到模型使用者的威胁,还可能受到来自不可信的参与设备的攻击,因此亟需更强的隐私手段保护各方持有的...     

V2G网络中基于联邦学习和CNN-BiLSTM的DDoS攻击检测

DDoS攻击是V2G网络的重要威胁之一,它可以在短时间内耗尽服务器的通信资源。 此前方法以集中式模型为主,将数据从边缘设备传输到中央服务器进行训练可能会将数据暴露给各种攻击。研究了一种基于联邦学习的入侵检测系统,首先,考虑到V2G网络数据的高维性和数据间的时间依赖性,将采集的数据通过改进的特征选择算法进行降维,减少冗余特征,再将处理后的数据传入到融合了卷积神经网络和双向长短时记忆网络的混合模型中,捕获数据中的时间依赖性,并引入批标准化防止神经网络训练过程中出现梯度消失问题; 其次,为了防止隐私泄露,结合联邦学习的固有特性,允许数据留在本地用于神经网络模型的训练;为了解决联邦学习通信造成网络负载压力过大的问题,设计了一种通过设置动态通信阈值筛选参与更新最优边缘设备的方案以减轻网络负载压力。实验结果表明,该方法的准确率可以高达99.95%,单轮通信时间减少了1.7 s。     

边缘计算场景下的异构终端安全接入技术研究

边缘计算能够对海量终端设备的请求进行实时性处理,但是边缘计算的分布性和实时性等特点也为信息安全的防护带来了更多的局限,身份认证和隐私保护是边缘计算的应用和数据的安全防护需要面临的挑战问题。阐述了当前边缘计算终端安全接入时的信息安全需求,分析了其可能面临的信息安全威胁,提出了一种边缘计算场景下“云-边-端”三层体系的异构终端接入认证机制,方案能够支持海量终端的接入认证请求,并且通过匿名身份的方式保障了终端设备的隐私性。     

云计算中改进概率公钥加密的移动设备数据隐私保护方法

基于云计算的服务具有许多优势,但外包数据隐私保护一直以来都有待优化解决。针对云计算中资源受限的移动设备外包数据安全问题,提出一种基于改进概率公钥加密的隐私保护方法。使用概率公钥加密算法加密数据;在云中数据通过搜索其空间关键词进行文件检索;在确保数据准确性和隐私安全性的前提下,实现云计算中移动设备外包数据安全有效加密后的隐私保护。仿真实验结果表明,该方案不仅可以确保数据隐私和计算速度,同时能够减少通信开销。相比于双轮可搜索加密(TRSE)方案、可排序多关键词检索加密(MRSE)方案和实时循环移位加密(RRSE)等方案,该方案在可行性和计算效率方面都有所提升。     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.