基于异构集成模型的个人信用评估研究

针对银行贷款风险控制中客户个人信用难以评估的特点,提出一种基于异构集成算法模型的个人信用评估。对个人信用特征进行分层学习,开展非均衡数据集处理实验,采用多类别不平衡方法对采集的个人信用特征进行均衡化处理,将少数类样本与等量多数类样本组成正负样本均衡的原始特征。采用异构集成模型对个人信用原始特征进行识别,实验结果表明,提出的异构集成学习模型AUC值达到0.916,相对于传统的机器学习模型的AUC值平均提升了7.38%,并具有良好的泛化能力。     

基于Boosting的迭代加权集成分类算法

在集成分类中,如何对基分类器实现动态更新和为基分类器分配合适的权值一直是研究的重点。针对以上两点,提出了BIE和BIWE算法。BIE算法通过最新训练的基分类器的准确率确定集成是否需要替换性能较差的基分类器及需替换的个数,实现对集成分类器的动态迭代更新;BIWE算法在此基础上提出了一个加权函数,对具有不同参数特征的数据流可以有针对性地获得基分类器的最佳权值,从而提升集成分类器的整体性能。实验结果表明,BIE算法相较对比算法在准确率持平或略高的情况下,可以减少生成树的叶子数、节点数和树的深度;BIWE算法相较对比算法不仅准确率较高,而且能大幅度减少生成树的规模。     

基于mRMR特征优化算法的油耗预测建模研究

针对油耗预测建模过程中数据输入的冗余问题,提出一种基于最大相关最小冗余算法(Max-Relevance and Min-Redundancy, mRMR)与主成分分析方法相结合的冗余特征优化算法,进一步基于BP神经网络建立一种高速道路车辆油耗预测模型。模型的仿真检验结果表明,使用mRMR算法与主成分分析结合优化建模数据能较好地去除数据冗余性和保留原数据信息。模型能准确实现对高速路段运输车辆的燃油消耗预测,预测精度达94.77%,验证了模型的有效性和准确性。研究成果可为道路能源消耗监控与驾驶员水平评估提供参考依据。     

基于数据重平衡的AUC优化Boosting算法

接收者操作特性(Receiver operating characteristics, ROC)曲线下面积(Area under the ROC curve, AUC)常被用于度量分类器在整个类先验分布上的总体分类性能. 原始Boosting算法优化分类精度,但在AUC度量下并非最优. 提出了一种AUC优化Boosting改进算法,通过在原始Boosting迭代中引入数据重平衡操作,实现弱学习算法优化目标从精度向AUC的迁移. 实验结果表明,较之原始Boosting算法,新算法在AUC度量下能获得更好性能.     

基于集成混合采样的软件缺陷预测研究

对软件缺陷预测的不平衡问题进行了研究,提出了一种处理不平衡数据的采样方法,用来解决分类器因为样本集中的样本类别不平衡而造成分类器性能下降的问题。为了避免随机采样的盲目性,利用启发性的混合采样方法来平衡数据,针对少数类采用SMOTE过采样,对多数类采用K-Means聚类降采样,然后综合利用多个单分类器来进行投票集成预测分类。实验结果表明,混合采样与集成学习相结合的软件缺陷预测方法具有较好的分类效果,在获得较高的查全率的同时还能显著降低误报率。     

基于Boosting的集成k-NN软件缺陷预测方法

软件缺陷预测是改善软件开发质量,提高测试效率的重要途径.文中提出一种基于软件度量元的集成k-NN软件缺陷预测方法.首先,该方法在不同的Bootstrap抽样数据集上迭代训练生成一个基本k-NN预测器集合.然后,这些基本预测器分别对软件模块进行独立预测,各基本预测值将被融合生成最终的预测结果.为判别新的软件模块是否为缺陷模块,设计分类阈值的自适应学习方法.集成预测结果大于该阈值的模块将被识别为缺陷模块,反之则为正常模块.NASAMDP及PROMISEAR标准软件缺陷数据集上的实验结果表明集成k-NN缺陷预测的性能较之广泛采用的对比缺陷预测方法有较明显的提高,同时也证明软件度量元在缺陷预测中的有效性.     

基于特征优化和BP神经网络的入侵检测方法

为提高网络入侵检测率,提出一个集特征优化和人工神经网络于一体的网络入侵识别发现框架AS-BP.引入SMOTE技术和随机采样技术对数据进行平衡约简处理,解决数据不平衡问题,利用集成方法对网络入侵数据进行重要特征提取,降低数据处理维度,通过优化BP神经网络算法,对网络入侵数据进行判断完成分类.实验结果表明,该方法克服了传统BP神经网络建模时间过长的问题,在不降低其它攻击类型检测率的同时,提高U2R和R2L的检测率,克服了数据集中少数类数据量过少导致的少数类检测率低的问题.将实验结果与其它分类方法进行比较,验证了该方法的准确率、精确率和召回率优于其它方法.     

基于特征Boosting的真核启动子预测方法

提出了一个新的启动子检测方法,它基于以下假设：启动子是由一些词模式决定的且不同的启动子由不同的词决定。通过计算散度距离选择最可能的特征并用feature-boosting构造一系列的弱分类器。一定数目的弱分类器可构造一强分类器,这样就可以达到一个较好的性能。和其他分类器不同的是,采用了不同的训练和分类策略。对大型基因序列实验结果和一些较好的算法比较显示该方法预测启动子区域是有效的,且具有较好的敏感性和特异性。     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

基于支持向量机集成的个人信用评估研究

信用评估模型的优劣会对信贷机构损益和金融市场秩序产生直接的影响，为提升个人信用评估模型的精度，将集成方法应用到信用评估领域，提出改进DS证据理论的支持向量机集成个人信用评估模型，并将属性约减纳入建模过程中。利用C4.5决策树约减冗余属性，并根据数据集类别标签和支持向量机混淆矩阵，后验概率构造证据理论概率赋值函数。计算基于分类器间支持度的权重与专家权重修正由于训练过程受到干扰而产生的冲突证据。通过DS融合做出最终决策。实证分析探讨了该方法的优越性和可行性，可成为一种有效信用评估工具。     

基于集成学习与不平衡数据的返贫预测

中国在扶贫工作取得决定性成就的同时,仍有一些脱贫人口存在返贫风险。本文基于不平衡数据集,利用SMOTE模型对返贫类别样本进行过采样处理,处理后的返贫与未返贫样本数据比例为3:1;接着建立基于Stacking集成学习的返贫预测模型,利用网格搜索对各个模型超参数进行寻优,结合10折交叉验证提高模型的泛化能力。本文使用4种不同的融合模型对脱贫户是否返贫进行预测。实验结果表明,与单一模型相比,模型融合后的分类效果要优于单独的分类器,其中最优融合模型的Acc为0.962,F1-score为0.946。     

基于CatBoost算法的糖尿病预测方法

近几十年来,人们生活水平显著提高,但是健康意识依旧薄弱,不良的生活习惯和饮食习惯导致糖尿病发病人数急剧增加,由糖尿病导致的各种并发症严重威胁了人们的健康.由于糖尿病具有知晓率低的特点,很多糖尿病患者未能及时发现病症,导致出现并发症.本文通过分析糖尿病的特点,针对医疗数据样本量小、容易缺失的特点,选择IV值分析进行特征选择、使用一种新型的Boosting算法CatBoost进行糖尿病患者预测,取得了显著的预测效果.     

基于遗传乌燕鸥算法的同步优化特征选择

针对传统支持向量机方法用于数据分类存在分类精度低的不足问题, 将支持向量机分类方法与特征选择同步结合, 并利用智能优化算法对算法参数进行优化研究. 首先将遗传算法(Genetic algorithm, GA)和乌燕鸥优化算法(Sooty tern optimization algorithm, STOA)进行混合, 先通过对平均适应度值进行评估, 当个体的适应度函数值小于平均值时采用遗传算法对其进行局部搜索的加强, 否则进行乌燕鸥本体优化过程, 同时将支持向量机内核函数和特征选择目标共同作为优化对象, 利用改进后的STOA-GA寻找最适应解, 获得所选的特征分类结果. 其次, 通过16组经典UCI数据集和实际乳腺癌数据集进行数据分类研究, 在最佳适应度值、所选特征个数、特异性、敏感性和算法耗时方面进行对比研究, 实验结果表明, 该算法可以更加准确地处理数据, 避免冗余特征干扰, 在数据挖掘领域具有更广阔的工程应用前景.     

基于特征选择与模型融合的睡眠会员唤醒算法

针对药品销售行业传统低效营销方式的缺点,将药店睡眠会员是否容易被唤醒的问题抽象为二分类问题,提出了一种面向药店平台的预测睡眠会员唤醒算法,来解决现有睡眠会员唤醒模型应用于药店睡眠会员用户唤醒的局限性且预测用户到店消费精度不高的问题。从会员的行为、属性、动态三个维度提出多种传统营销特征属性,在多视角的基础上,设计出药品营销的独有特征属性构建出特征集合,将特征集合代入到支持向量机SVM以及XGBoost算法模型并使用Soft Voting方法进行模型融合。通过实验表明,相对于使用传统特征的单一模型,使用集成学习提取的特征集合所训练的融合模型的precision高出4%左右,recall高出5%左右,AUC值提升了15%左右,由此可知,基于特征选择与模型融合的睡眠会员唤醒算法具有更好的唤醒效果。     

基于改进GS-XGBoost的个人信用评估

信用评估分类器的好坏能够直接影响信贷金融机构的盈利能力.传统的网格搜索法进行参数寻优时会耗费大量的时间,基于此提出改进的网格搜索法优化XGBoost (GS-XGBoost)的个人信用评估算法.该算法利用随机森林进行特征选择后,将改进的网格搜索法对XGBoost中的n_estimators和learning_rate进行参数寻优,建立评估模型.从UCI数据库中选取信贷数据进行分析,分别与支持向量机、随机森林、逻辑回归、神经网络以及未改进的XGBoost进行比较.实验结果表明,该模型的F-score和G-mean的值均有提高.     

结合特征扰动与分配策略的集成辅助多目标优化算法

代理模型利用近似预测代替算法对多目标优化问题的真实评价,大幅减少了算法寻优所需的真实适应度评估次数。为提高代理模型在求解高维问题时的准确性并降低计算开销,提出一种基于特征扰动与分配策略的集成辅助多目标优化算法。将径向基函数网络代理模型与支持向量机回归代理模型作为集成过程中的基模型,降低算法在高维问题上的计算开销。结合特征扰动与基于记忆的影响因子分配策略构建集成代理模型,提高集成准确性。使用集成预测值与不确定信息加权辅助管理集成代理模型,平衡全局搜索与局部探索,增强算法在目标空间中的寻优能力。实验结果表明,该算法在ZDT1~ZDT3和ZDT6测试问题上所得解集的分布性与收敛性相比经典算法更好,并且当决策变量维数增加时,使用集成代理模型相比于Kriging代理模型约减少了90%的适应度评估次数,同时可获得更准确的预测结果。     

基于黑寡妇算法的特征选择方法研究

特征选择通过去除无关和冗余特征提高学习算法性能,本质是组合优化问题。黑寡妇算法是模拟黑寡妇蜘蛛生命周期的元启发式算法,在收敛速度、适应度值优化等方面具有诸多优势。针对黑寡妇算法不能进行特征选择的问题,设计五种优化策略：二进制策略“、或门”策略、种群限制策略、快速生殖策略以及适应度优先策略,提出黑寡妇特征选择算法（black widow optimization feature selection algorithm,BWOFS）和生殖调控黑寡妇特征选择算法（procreation controlled black widow optimization feature selection algorithm,PCBWOFS）,从特征空间中搜索有效特征子集。在多个分类、回归公共数据集上验证新方法,实验结果表明,相较其他对比方法（全集、AMB、SFS、SFFS、FSFOA）,BWOFS和PCBWOFS能找到预测精度更高的特征子集,可提供有竞争力、有前景的结果,而且与BWOFS相比,PCBWOFS计算量更小,性能更好。     

面向高维数据的个人信贷风险评估方法

随着电商平台分期付款方式和P2P信贷平台的不断推广,如何从海量的用户信贷数据中挖掘出潜在的用户模型并对未知用户进行信贷风险评估,以降低信贷业务的风险,已经成为研究的主流。针对现有方法无法高效处理高维度信贷数据的问题,使用一系列的数据预处理方法和基于Embedded思想的特征选择方法XGBFS（XGBoost Feature Selection）,以降低用户信贷数据维度并训练出XGBoost评估模型,最终实现用户信贷风险评估。实验表明,与现有的方法相比,该方法能够从高维的数据中选择出重要属性,并且分类器在精确率、召回率等方面具有较为突出的性能。     

基于C4.5算法优化SVM的个人信用评估模型

支持向量机作为非参数方法已经广泛应用于信用评估领域.为克服其训练高维数据不能主动进行特征选择导致准确率下降的缺点,构建C4.5决策树优化支持向量机的信用评估模型.利用C4.5信息熵增益率方法进行属性选择,减少冗余属性.模型通过网格搜索确定最优参数,使用F-score和平均准确率评价模型性能,并在两组公开数据集上进行验证.实证分析表明,C4.5决策树优化支持向量机的信用评估模型有效减少了数据学习量,较于传统各类单一模型有较高的分类准确率和实用性.