基于梯度分布调节策略的Xgboost算法优化

为了解决集成学习模型Xgboost在二分类问题中少数类检出率低的问题，提出了基于梯度分布调节策略的改进的Xgboost算法——LCGHA-Xgboost。首先，通过定义损失贡献（LC）来模拟Xgboost算法中样本个体的损失量；而后，通过定义损失贡献密度（LCD）来衡量Xgboost算法中样本被正确分类的难易程度；最后，提出了梯度分布调节算法LCGHA，依据LCD动态调整样本个体的一阶梯度分布，间接地增大难分样本（主要存在于少数类中）的损失量，减小易分样本（主要存在于多数类中）的损失量，使Xgboost算法偏向对难分样本的学习。实验结果表明,与Xgboost、GBDT、随机森林（Random_Forest）这三大集成学习算法相比，LCGHA-Xgboost算法在多个UCI数据集上的召回率（Recall）值有5.4%~16.7%的提高，AUC值有0.94%~7.41%的提高；在垃圾网页数据集WebSpam-UK2007和DC2010数据集上所提算法的Recall值更是有44.4%~383.3%的提高，AUC值有5.8%~35.6%的提高。LCGHA-Xgboost算法可以有效提高对少数类的分类检出能力，减小少数类的分类错误率。     

Xgboost在滚动轴承故障诊断中的应用

针对不同轴承数据特征选择困难和单个分类器方法在滚动轴承故障诊断中精度较低的问题,提出一种基于分类与回归树的Xgboost(e Xtreme Gradient Boosting)轴承故障诊断算法。Xgboost是包含多个分类器的集成学习方法。通过Xgboost的"提升"思想来提高滚动轴承故障诊断的精度。首先,从滚动轴承的振动信号中提取时域特征参数;然后利用Xgboost算法对滚动轴承故障进行诊断。将SQI-MFS实验平台的轴承振动数据,与传统分类器(支持向量机、邻近算法和人工神经网络)以及单个分类回归树的诊断结果相比,结果表明Xgboost在轴承故障诊断率上优于上述几种算法,且计算时间比传统提升决策树算法短。     

用户情境感知的流式移动应用推荐

在目前流式应用分发系统中,客户端的移动应用分发都是依靠系统后台管理员人工操作或者简单地依靠位置信息为用户分发应用,没有考虑到用户在不同的情境活动下对应用的需求差异问题。针对上述问题,提出一种基于用户情境感知的流式应用推荐机制。该机制通过采集流式应用场景下用户的情境信息数据,利用机器学习Xgboost算法识别用户情境活动,并根据识别的用户情境来为用户推荐应用。同时,利用用户的反馈信息进一步提高用户个性化应用推荐的准确度。实验结果表明,Xgboost算法在准确率和时间开销上性能优于传统算法,在流式应用分发系统中有很高的实际应用价值。     

基于三维荧光光谱的花生油掺伪快速检测研究

建立一种基于三维荧光光谱的花生油掺伪检测方法。以纯花生油和掺伪4种常见植物油的花生油为研究对象,将三维荧光光谱图处理转化为灰度图,利用Zernike图像矩直接提取三维荧光光谱灰度图的特征信息,得到的特征信息数据通过Xgboost算法和广义回归神经网络（GRNN）算法分别建立定性和定量掺伪判别模型并对其进行验证。结果表明：Xgboost算法可以有效地对掺伪的花生油进行鉴别,并准确解析其掺伪具体成分;GRNN算法可定量预测花生油掺伪含量,各检出限分别为掺伪大豆油0.2%、掺伪菜籽油1.5%、掺伪玉米油1.0%、掺伪葵花籽油0.5%。因此,该方法可对花生油掺伪进行定性和定量分析,具有快速、简便、灵敏度高等优点。     

基于Xgboost和LightGBM算法预测住房月租金的应用分析

结合收集的住房月租金数据,通过合理处理异常缺失数据和设置多个数据集的预处理后,分别应用GBDT(Gradient Boosting Decision Tree)、Xgboost(eXtreme Gradient Boosting)和LightGBM三种机器学习模型对住房月租金进行预测。通过比较分析在不同数据集训练下的预测结果,发现Xgboost和LightGBM模型优于传统GBDT模型。同时发现影响住房月租金的关键因素主要包括房屋面积、小区所在商圈位置、房屋距离地铁的距离、房屋所在建筑的总楼层数和小区房屋出租数量等。预测模型及分析结果对住房租赁市场中住房租金价格的预测具有一定的参考价值。     

基于Xgboost优化的KELM滑坡预报模型研究

针对极限学习机对滑坡预测准确性低及在训练过程中模型不稳定的问题,引入RBF高斯核函数并使用极限梯度提升树算法Xgboost对KELM进行优化,建立了Xgboost优化后的Xgboost-KELM预测模型;首先采用高斯核RBF作为极限学习机的核函数,解决隐藏节点随机映射问题,增加模型稳定性及适用性;其次将清洗后的监测数据作为模型输入,并使用Xgboost寻优算法对核函数中的超参数进行优化,通过4组测试集进行Xgboost-KELM建模,依据均方误差迭代曲线得出最佳超参数;最后使用两组10%样本集验证模型评价指标及稳定性,实验结果AUC均值对比模型至少提高3个百分点,Precision、Accuracy及Recall至少高于对比模型1.7个百分点,同时Xgboost-KELM模型的方差及偏差都较小,证明该模型稳定性较好,实验结果说明Xgboost-KELM模型具有较好的预测效果,在滑坡灾害预测中有较好的预测能力。     

面向用户隐私保护的联邦安全树算法

针对联邦学习算法在用户行为预测中存在的准确率低和运行效率不高等问题,提出一种无损失的联邦学习安全树（FLSectree）算法。首先,通过对损失函数的推导,证明损失函数的一阶偏导数与二阶偏导数为敏感数据,采用特征索引序列的扫描和分裂来返回加密后的最佳分裂点,以保护敏感数据不被泄露;接着,通过对实例空间的更新来继续向下分裂并寻找下一个最佳分裂点,直至满足终止条件后结束训练;最后,利用训练后的结果使得各参与方得到本地算法参数。实验结果表明,FLSectree算法能够在保护数据隐私的前提下有效提高用户行为预测算法的准确率和训练效率,与联邦学习FATE（Federated AI Technology Enabler）框架中的SecureBoost算法相比,FLSectree算法在用户行为预测中的准确率提高了9.09%,运行时间降低了87.42%,训练结果与集中式Xgboost算法一致。     

基于Xgboost的高炉透气性指数预测模型

高炉透气性指数是高炉监控指标的一项重要参数,及时掌控高炉透气性指数的变化趋势并对其进行准确预测,对辅助操作者保持高炉的稳定顺行十分必要。基于某高炉现场实际生产数据,对原始数据存在异常值、缺失值等问题进行处理。利用Spearman、MIC(最大信息系数)和随机森林特征消除等特征选择方法对标准化后的数据选取特征变量,选用Xgboost模型进行预测。结果表明,Xgboost相较于随机森林和线性回归模型具有较大优势,模型在误差±1.5%范围内的准确率达到94.27%,能够准确预测下一小时透气性指数,及时指导高炉生产,保证高炉稳定顺行。