提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型, 保证数据留在客户端本地, 从而保护用户隐私. 由于参与训练的设备数目庞大, 存在数据非独立同分布和通信带宽受限的情况. 因此, 降低通信成本是联邦学习的重要研究方向. 梯度压缩是提升联邦学习通信效率的有效方法, 然而目前常用的梯度压缩方法大多针对独立同分布的数据, 未考虑联邦学习的特性. 针对数据非独立同分布的联邦场景, 本文提出了基于投影的稀疏三元压缩算法, 通过在客户端和服务端进行梯度压缩, 降低通信成本, 并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响. 实验结果表明, 本文提出的算法不仅提升了通信效率, 而且在收敛速度和准确率上均优于现有的梯度压缩算法.     

基于本地蒸馏联邦学习的鲁棒语音识别技术

当联邦学习（FL）算法应用于鲁棒语音识别任务时,为解决训练数据非独立同分布（Non-IID）与客户端模型缺乏个性化问题,提出基于个性化本地蒸馏的联邦学习（PLD-FLD）算法。客户端通过上行链路上传本地Logits并在中心服务器聚合后下传参数,当边缘端模型测试性能优于本地模型时,利用下载链路接收中心服务器参数,确保了本地模型的个性化与泛化性,同时将模型参数与全局Logits通过下行链路下传至客户端,实现本地蒸馏学习,解决了训练数据的Non-IID问题。在AISHELL与PERSONAL数据集上的实验结果表明,PLD-FLD算法能在模型性能与通信成本之间取得较好的平衡,面向军事装备控制任务的语音识别准确率高达91%,相比于分布式训练的FL和FLD算法具有更快的收敛速度和更强的鲁棒性。     

基于高效联邦学习算法的网络入侵检测模型

为解决在入侵检测场景中引入联邦学习技术后，由于节点间存在流量数据非独立同分布（non-iid）现象而导致模型难以聚合并得到高识别率的问题，构造了一种高效联邦学习算法（H-E-Fed），并基于该算法构建了对应的入侵检测模型。首先，协调方设计针对流量数据的全局模型，并下发至入侵检测节点间进行模型训练；然后，协调方收集本地模型，并对节点间本地模型的协方差矩阵评估偏度，以衡量节点间模型的相关性，从而重新分配模型聚合参数，并生成新的全局模型；最后，协调方与节点多轮交互，直至全局模型收敛。实验结果表明，与基于联邦平均（FedAvg）算法和FedProx算法的模型相比，基于高效联邦学习算法的入侵检测模型在节点间产生数据non-iid现象时的通信消耗更低；且在KDDCup99数据集和CICIDS2017数据集上，与基线模型相比，准确率分别提升了10.39%、8.14%与4.40%、5.98%。     

不平衡数据下预算限制的联邦学习激励机制

联邦学习的提出解决了在隐私保护下完成多客户合作的机器学习问题,而激励客户参与联邦学习是模型性能提高的一个重要前提。针对客户数据非独立同分布特征会导致联邦学习性能下降这一问题,考虑预算约束下,设计了基于单位数据成本和数据特征—EMD距离的客户端筛选方式,提出一种有效的联邦学习激励机制（EMD-FLIM）,从理论上证明了机制具有诚实性,即每个客户会诚实披露数据成本和数据分布信息,同时机制具有预算可行性,个人理性及计算有效性。实验结果显示,提出的激励机制在数据分布不平衡情况下模型精度至少能达到数据量最优选择（不考虑激励）下的 94%以上,与不考虑数据分布特征的激励机制相比较,模型精度平均可提高5%以上。     

边缘联邦学习的客户端选择机制

针对传统边缘联邦学习（FL）由于客户端资源异质性导致联邦学习模型性能低下等问题,提出面向边缘计算的联邦学习客户端选择机制。该机制综合考虑了客户端的计算资源、通信资源以及数据资源,在联邦学习每轮给定的时间阈值内,使得边缘服务器能够选取尽可能多的客户端数量的同时避免资源不足的客户端,保证参与到联邦学习过程中的客户端的质量,在一定程度上降低了联邦学习的训练成本。该联邦学习客户端选择机制在MNIST和CIFAR-10数据集上与现有的联邦学习客户端选择算法——联邦平均算法（FedCS）和基于多标准的联邦学习客户端选择算法（FedMCCS）进行了对比模拟实验,实验结果表明当所提方法达到FedCS和FedMCCS的最终精度时：在MNIST数据集上时间消耗分别减少了79.55%和72.73%,且最终精度分别提升了2.0%和1.8%;在CIFAR-10数据集上时间消耗分别减少了70.83%和70.83%,且最终精度分别提升了23.6%和27.8%。实验结果验证了提出的客户端选择算法能够有效提升联邦学习的效率。     

非独立同分布数据下的自正则化联邦学习优化方法

联邦学习（FL）是一种新的分布式机器学习范式,它在保护设备数据隐私的同时打破数据壁垒,从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而,如何处理不同客户端的非独立同分布（Non-IID）数据仍是FL面临的一个巨大挑战,目前提出的一些解决方案没有利用好本地模型和全局模型的隐含关系,无法简单而高效地解决问题。针对FL中不同客户端数据的Non-IID问题,提出新的FL优化算法——联邦自正则（FedSR）和动态联邦自正则（Dyn-FedSR）。FedSR在每一轮训练过程中引入自正则化惩罚项动态修改本地损失函数,并通过构建本地模型和全局模型的关系来让本地模型靠近聚合丰富知识的全局模型,从而缓解Non-IID数据带来的客户端偏移问题;Dyn-FedSR则在FedSR基础上通过计算本地模型和全局模型的相似度来动态确定自正则项系数。对不同任务进行的大量实验分析表明,FedSR和Dyn-FedSR这两个算法在各种场景下的表现都明显优于联邦平均（FedAvg）算法、联邦近端（FedProx）优化算法和随机控制平均算法（SCAFFOLD）等FL算法,能够实现高效通信,正确率较高,且对不平衡数据...     

非独立同分布数据下的去中心化联邦学习策略

区块链具有不可篡改性和去中心化的特点,其与联邦学习的结合成为人工智能领域的热门主题。目前去中心化联邦学习存在训练数据非独立同分布导致的性能下降问题,为了解决这个问题,提出一种模型相似度的计算方法,然后设计一种基于该模型相似度的去中心化联邦学习策略,并使用五个联邦学习任务进行测试,分别是CNN模型训练fashion-mnist数据集、alexnet模型训练cifar10数据集、TextRnn模型训练THUsnews数据集、Resnet18模型训练SVHN数据集和LSTM模型训练sentiment140数据集。实验结果表明,设计的策略在五个任务非独立同分布的数据下进行去中心化联邦学习,准确率分别提升了2.51、5.16、17.58、2.46和5.23个百分点。     

移动边缘计算环境中面向机器学习的计算迁移策略

针对物联网（IoT）数据源的多样化、数据的非独立同分布性、边缘设备计算能力和能耗的异构性,提出一种集中学习和联邦学习共存的移动边缘计算（MEC）网络计算迁移策略。首先,建立与集中学习、联邦学习都关联的计算迁移系统模型,考虑了集中学习、联邦学习模型产生的网络传输延迟、计算延迟以及能耗;然后,以系统平均延迟为优化目标、以能耗和基于机器学习准确率的训练次数为限制条件构建面向机器学习的计算迁移优化模型。接着对所述计算迁移进行了博弈分析,并基于分析结果提出一种能量约束的延迟贪婪（ECDG）算法,通过延迟贪婪决策和能量约束决策更新二阶优化来获取模型的优化解。与集中式贪婪算法和面向联邦学习的客户选择（FedCS）算法相比,ECDG算法的平均学习延迟最低,约为集中式贪婪算法的1/10,为FedCS算法的1/5。实验结果表明,ECDG算法能通过计算迁移自动为数据源选择最优的机器学习模型,从而有效降低机器学习的延迟,提高边缘设备的能效,满足IoT应用的服务质量（QoS）要求。     

隐私保护的加密流量检测研究

现有的加密流量检测技术缺少对数据和模型的隐私性保护,不仅违反了隐私保护法律法规,而且会导致严重的敏感信息泄露。主要研究了基于梯度提升决策树（GBDT）算法的加密流量检测模型,结合差分隐私技术,设计并实现了一个隐私保护的加密流量检测系统。在CICIDS2017数据集下检测了DDoS攻击和端口扫描的恶意流量,并对系统性能进行测试。实验结果表明,当隐私预算ε取值为1时,两个数据集下流量识别准确率分别为91.7%和92.4%,并且模型的训练效率、预测效率较高,训练时间为5.16 s和5.59 s,仅是GBDT算法的2～3倍,预测时间与GBDT算法的预测时间相近,达到了系统安全性和可用性的平衡。     

基于LightGBM改进的GBDT短期负荷预测研究

精确的负荷预测对电网的供需平衡以及电力市场的平稳运行具有非常重要的意义。梯度提升决策树(GBDT)算法在短期负荷预测中具有很好的应用前景。Light GBM是一个梯度提升框架。该框架训练效率更快、使用内存更低、准确率更高。除此之外,它还支持并行学习,可以处理规模庞大的数据。对GBDT的计算流程及其特征进行了详细的分析,并指出Light GBM的引入可以使GBDT能够更加高效地处理更多的样本。通过histogram决策树算法寻找决策树的最优分割点,可达到降低内存的目的;通过增加决策树最大深度的方式限制过拟合,可提高预测精度;通过直方图作差,可提高运行速度。基于以上三种改进方式,提出了基于Light GBM的改进GBDT算法,并将其应用于短期负荷预测。根据贵州省某县的实际数据构造了相应的算例,验证了所提方法的有效性,证明了该算法具有更高的计算效率以及计算精度。基于Light GBM的改进GBDT算法不仅可以应用于负荷预测,而且在数据挖掘领域也具有良好的应用前景。     

面向高维特征和多分类的分布式梯度提升树

梯度提升树算法由于其高准确率和可解释性,被广泛地应用于分类、回归、排序等各类问题.随着数据规模的爆炸式增长,分布式梯度提升树算法成为研究热点.虽然目前已有一系列分布式梯度提升树算法的实现,但是它们在高维特征和多分类任务上性能较差,原因是它们采用的数据并行策略需要传输梯度直方图,而高维特征和多分类情况下梯度直方图的传输成为性能瓶颈.针对这个问题,研究更加适合高维特征和多分类的梯度提升树的并行策略,具有重要的意义和价值.首先比较了数据并行与特征并行策略,从理论上证明特征并行更加适合高维和多分类场景.根据理论分析的结果,提出了一种特征并行的分布式梯度提升树算法FP-GBDT.FP-GBDT设计了一种高效的分布式数据集转置算法,将原本按行切分的数据集转换为按列切分的数据表征;在建立梯度直方图时,FP-GBDT使用一种稀疏感知的方法来加快梯度直方图的建立;在分裂树节点时,FP-GBDT设计了一种比特图压缩的方法来传输数据样本的位置信息,从而减少通信开销.通过详尽的实验,对比了不同并行策略下分布式梯度提升树算法的性能,首先验证了FP-GBDT提出的多种优化方法的有效性;然后比较了FP-GBDT与XGBoost的性能,在多个数据集上验证了FP-GBDT在高维特征和多分类场景下的有效性,取得了最高6倍的性能提升.     

基于 GBDT 的铁路事故类型预测及成因分析

运用数据挖掘技术进行铁路事故类型预测及成因分析, 对于建立铁路事故预警机制具有重要意义. 为此, 本文提出一种基于梯度提升决策树(Grandient boosting decision tree, GBDT)的铁路事故类型预测及成因分析算法. 针对铁路事故记录数据缺失的问题, 提出一种基于属性分布概率的补全算法, 最大程度保持原有数据分布, 从而降低数据缺失对事故类型预测造成的影响. 针对铁路事故记录数据类别失衡的问题, 提出一种集成的GBDT模型, 完成对事故类型的鲁棒性预测. 在此基础上, 根据GBDT预测模型中特征重要度排序, 实现事故成因分析. 通过在开放数据库上进行实验, 验证了本文模型的有效性.     

基于伪梯度提升决策树的内网防御算法

结合TF-IDF算法思想,提出了特征频率、森林频率以及伪梯度提升决策树,解决了梯度提升决策树随着迭代次数的增加,错误数据被边缘化的问题。在伪梯度提升决策树中,所有决策树分别在原始数据集的Bootstrapping后的数据集上产生,无须针对每次迭代来对数据集采样。在分布式集群上进行内网防御的实验,结果表明在一定规模的训练集上,伪梯度提升决策树具有更好的预测准确度。     

面向通信成本优化的联邦学习算法

联邦学习是一种能够保护数据隐私的机器学习设置,然而高昂的通信成本和客户端的异质性问题阻碍了联邦学习的规模化落地。针对这两个问题,提出一种面向通信成本优化的联邦学习算法。首先,服务器接收来自客户端的生成模型并生成模拟数据;然后,服务器利用模拟数据训练全局模型并将其发送给客户端,客户端利用全局模型进行微调后得到最终模型。所提算法仅需要客户端与服务器之间的一轮通信,并且利用微调客户端模型来解决客户端异质性问题。在客户端数量为20个时,在MNIST和CIFAR-10这两个数据集上进行了实验。结果表明,所提算法能够在保证准确率的前提下,在MNIST数据集上将通信的数据量减少至联邦平均（FedAvg）算法的1/10,在CIFAR-10数据集上将通信数据量减少至FedAvg算法的1/100。     

基于梯度提升决策树的电力电子电路故障诊断

针对电力电子电路的常见故障类型,提出一种利用主元分析(PCA)提取电路状态的故障信息特征和基于梯度提升决策树(GBDT)分类的电力电子电路故障诊断方法.首先讨论利用PCA进行特征提取的步骤以及GBDT的分类原理;然后研究了基于PCA特征提取以及GBDT分类的电力电子电路故障诊断流程;最后利用三相桥式整流电路进行了建模、仿真、验证,实验结果表明,采用该方法进行电力电子电路故障诊断相比其他方法在低维空间具有更高的诊断准确率和更佳的样本泛化能力.     

A gradient boosting decision tree based GPS signal reception classification algorithm

In urban areas, GPS signals are often reflected or blocked by buildings, which causes multipath effects and non-line-of-sight (NLOS) reception respectively consequently degrading GPS positioning performance. While improved receiver design can reduce the effect of multipath to some extent, it cannot deal with NLOS. Modelling methods based on measurements have shown promise to reduce the effect of NLOS signal reception. However, this depends on their ability to accurately and reliably classify line-of-sight (LOS), multipath and NLOS signals. The traditional method is based on one feature using signal strength as measured by the carrier to noise ratio, C/N₀. However, this feature is ineffective in capturing the characteristics of multipath and NLOS in all environments. In this paper, to improve the accuracy of signal reception classification, we are using the three features of C/N₀, pseudorange residuals and satellite elevation angle with a gradient boosting decision tree (GBDT) based classification algorithm. Experiments are carried out to compare the proposed algorithm with classifiers based on decision tree, distance weighted k-nearest neighbour (KNN) and the adaptive network-based fuzzy inference system (ANFIS). Test results from static receivers in urban environments, show that the GBDT based algorithm achieves a classification accuracy of 100%, 82% and 86% for LOS, multipath and NLOS signals, respectively. This is superior to the other three algorithms with the corresponding results of 100%, 82% and 84% for the Distance-Weighted KNN, 99%, 70% and 65% for the ANFIS and 98%, 35% and 95% for the traditional decision tree. With the NLOS detection and exclusion, the proposed GBDT with multi-feature based method can provide a positioning accuracy improvement of 34.1% compared to the traditional C/N₀ based method.     

基于小波包和GBDT的瓦斯传感器故障诊断

针对瓦斯传感器的常见故障类型,提出了一种基于小波包和GBDT的瓦斯传感器故障诊断方法.该方法首先使用3层小波包分解对瓦斯原始故障信号进行分解;然后利用LDB算法削减得到重构信号能量,经归一化处理后作为输入分类器的特征向量;接着利用由梯度提升技巧和决策树构成的GBDT分类器作为故障模式的训练和识别器;最后通过瓦斯传感器诊断实例验证了该方法的有效性.实验结果表明,采用该方法进行瓦斯传感器故障诊断相比其他方法具有更高的诊断精度和更好的样本泛化能力.