基于梯度分布调节策略的Xgboost算法优化

为了解决集成学习模型Xgboost在二分类问题中少数类检出率低的问题，提出了基于梯度分布调节策略的改进的Xgboost算法——LCGHA-Xgboost。首先，通过定义损失贡献（LC）来模拟Xgboost算法中样本个体的损失量；而后，通过定义损失贡献密度（LCD）来衡量Xgboost算法中样本被正确分类的难易程度；最后，提出了梯度分布调节算法LCGHA，依据LCD动态调整样本个体的一阶梯度分布，间接地增大难分样本（主要存在于少数类中）的损失量，减小易分样本（主要存在于多数类中）的损失量，使Xgboost算法偏向对难分样本的学习。实验结果表明,与Xgboost、GBDT、随机森林（Random_Forest）这三大集成学习算法相比，LCGHA-Xgboost算法在多个UCI数据集上的召回率（Recall）值有5.4%~16.7%的提高，AUC值有0.94%~7.41%的提高；在垃圾网页数据集WebSpam-UK2007和DC2010数据集上所提算法的Recall值更是有44.4%~383.3%的提高，AUC值有5.8%~35.6%的提高。LCGHA-Xgboost算法可以有效提高对少数类的分类检出能力，减小少数类的分类错误率。     

用户情境感知的流式移动应用推荐

在目前流式应用分发系统中,客户端的移动应用分发都是依靠系统后台管理员人工操作或者简单地依靠位置信息为用户分发应用,没有考虑到用户在不同的情境活动下对应用的需求差异问题。针对上述问题,提出一种基于用户情境感知的流式应用推荐机制。该机制通过采集流式应用场景下用户的情境信息数据,利用机器学习Xgboost算法识别用户情境活动,并根据识别的用户情境来为用户推荐应用。同时,利用用户的反馈信息进一步提高用户个性化应用推荐的准确度。实验结果表明,Xgboost算法在准确率和时间开销上性能优于传统算法,在流式应用分发系统中有很高的实际应用价值。     

基于三维荧光光谱的花生油掺伪快速检测研究

建立一种基于三维荧光光谱的花生油掺伪检测方法。以纯花生油和掺伪4种常见植物油的花生油为研究对象,将三维荧光光谱图处理转化为灰度图,利用Zernike图像矩直接提取三维荧光光谱灰度图的特征信息,得到的特征信息数据通过Xgboost算法和广义回归神经网络（GRNN）算法分别建立定性和定量掺伪判别模型并对其进行验证。结果表明：Xgboost算法可以有效地对掺伪的花生油进行鉴别,并准确解析其掺伪具体成分;GRNN算法可定量预测花生油掺伪含量,各检出限分别为掺伪大豆油0.2%、掺伪菜籽油1.5%、掺伪玉米油1.0%、掺伪葵花籽油0.5%。因此,该方法可对花生油掺伪进行定性和定量分析,具有快速、简便、灵敏度高等优点。     

面向用户隐私保护的联邦安全树算法

针对联邦学习算法在用户行为预测中存在的准确率低和运行效率不高等问题,提出一种无损失的联邦学习安全树（FLSectree）算法。首先,通过对损失函数的推导,证明损失函数的一阶偏导数与二阶偏导数为敏感数据,采用特征索引序列的扫描和分裂来返回加密后的最佳分裂点,以保护敏感数据不被泄露;接着,通过对实例空间的更新来继续向下分裂并寻找下一个最佳分裂点,直至满足终止条件后结束训练;最后,利用训练后的结果使得各参与方得到本地算法参数。实验结果表明,FLSectree算法能够在保护数据隐私的前提下有效提高用户行为预测算法的准确率和训练效率,与联邦学习FATE（Federated AI Technology Enabler）框架中的SecureBoost算法相比,FLSectree算法在用户行为预测中的准确率提高了9.09%,运行时间降低了87.42%,训练结果与集中式Xgboost算法一致。     

基于Xgboost优化的KELM滑坡预报模型研究

针对极限学习机对滑坡预测准确性低及在训练过程中模型不稳定的问题,引入RBF高斯核函数并使用极限梯度提升树算法Xgboost对KELM进行优化,建立了Xgboost优化后的Xgboost-KELM预测模型;首先采用高斯核RBF作为极限学习机的核函数,解决隐藏节点随机映射问题,增加模型稳定性及适用性;其次将清洗后的监测数据作为模型输入,并使用Xgboost寻优算法对核函数中的超参数进行优化,通过4组测试集进行Xgboost-KELM建模,依据均方误差迭代曲线得出最佳超参数;最后使用两组10%样本集验证模型评价指标及稳定性,实验结果AUC均值对比模型至少提高3个百分点,Precision、Accuracy及Recall至少高于对比模型1.7个百分点,同时Xgboost-KELM模型的方差及偏差都较小,证明该模型稳定性较好,实验结果说明Xgboost-KELM模型具有较好的预测效果,在滑坡灾害预测中有较好的预测能力。     

基于贝叶斯最优化的Xgboost算法的改进及应用

在使用Xgboost框架时,经常涉及各种参数的调整,并且参数组合的选取对模型的分类性能影响较大. 传统的参数寻优方法,通常先导出一个惩罚函数,然后运用经验或者穷举法调整参数值来最大化或最小化这个惩罚函数,但是经常会遇到某个模型没有一个显式的表达式情况. 这类模型的参数寻优就非常麻烦,同时又会给算法带来一定的不确定性和随机性. 本文基于高斯法（GP）的贝叶斯最优化算法对Xgboost框架进行参数寻优,提出了一种新的算法GP_Xgboost,并通过多组数值进行实验. 结果表明本文改进的算法分类效果要优于人工调优和穷举法,从而证明了该算法的可行性和有效性.     

Intelligent Web Robot for Content Extraction

The main content of a news web page is a source of data for Natural Language Processing(NLP)and Information Retrieval(IR),which contains large quantities of val...     

基于Xgboost的高炉透气性指数预测模型

高炉透气性指数是高炉监控指标的一项重要参数,及时掌控高炉透气性指数的变化趋势并对其进行准确预测,对辅助操作者保持高炉的稳定顺行十分必要。基于某高炉现场实际生产数据,对原始数据存在异常值、缺失值等问题进行处理。利用Spearman、MIC(最大信息系数)和随机森林特征消除等特征选择方法对标准化后的数据选取特征变量,选用Xgboost模型进行预测。结果表明,Xgboost相较于随机森林和线性回归模型具有较大优势,模型在误差±1.5%范围内的准确率达到94.27%,能够准确预测下一小时透气性指数,及时指导高炉生产,保证高炉稳定顺行。     

Intelligent Web Robot for Content Extraction

The main content of a news web page is a source of data for Natural Language Processing (NLP) and Information Retrieval (IR), which contains large quantities of valuable information. This paper proposes a method that formulates the main content extraction problem as a DOM tree node classification problem. In terms of feature extraction, we use the DOM tree node to represent HTML document and then develop multiple features by using the DOM tree node properties, such as text length, tag path, tag properties and so on. In consideration that the essence of the problem is the classification model, we use Xgboost to help select nodes. Experimental results show that the proposed approach is effective and efficient in extracting main content of new web pages, and achieves about 98% accuracy over 1083 news pages from 10 different new sites, and the average processing time per page is within 10ms.     

一种基于Xgboost的Skype时间式隐信道检测方法

时间式隐信道利用数据包的包间时延来传递秘密信息,受网络时间特性复杂性的影响,网络隐信道的检测率低且虚警率较高。提出一种利用Xgboost模型的Skype时间式隐信道检测方法。在传统提取Skype时间序列的Markov转移特性、信息熵、包间时延的均值与方差、DCT系数、ε-相似度等特征的基础上,增加峰态、偏态和标准偏差的差值3种特征,以准确了解包间时延分布并进行筛选排查,同时采用五折交叉验证法结合无重复抽样技术,使每次迭代时每个样本点只有一次被划入训练集或测试集,最终通过Xgboost算法进行判决和检测。实验结果表明,与BP神经网络方法相比,该方法检测率更高且虚警率更低。