基于串行交叉混合集成的概念漂移检测及收敛方法

概念漂移处理大多采用集成学习策略,然而这些方法多数不能及时提取漂移发生后新分布数据的关键信息,导致模型性能较差。针对这个问题,本文提出一种基于串行交叉混合集成的概念漂移检测及收敛方法（Concept drift detection and convergence method based on hybrid ensemble of serial and cross,SC_ensemble）。在流数据处于平稳状态下,该方法通过构建串行基分类器进行集成,以提取代表数据整体分布的有效信息。概念漂移发生后,在漂移节点附近构建并行的交叉基分类器进行集成,提取代表最新分布数据的局部有效信息。通过串行基分类器和交叉基分类器的混合集成,该方法兼顾了流数据包含的整体分布信息,又强化了概念漂移发生时的重要局部信息,使集成模型中包含了较多“好而不同”的基学习器,实现了漂移发生后学习模型的高效融合。实验结果表明,该方法可使在线学习模型在漂移发生后快速收敛,提高了模型的泛化性能。     

基于在线性能测试的概念漂移检测方法

概念漂移是动态流数据挖掘中一类常见的问题,但混杂噪声或训练样本规模过小而产生的伪概念漂移会引起与真实概念漂移相似的结果,即模型在线测试性能的不稳定波动,导致二者容易混淆,发生概念漂移的误报.针对流数据中真伪概念漂移的混淆问题,提出一种基于在线性能测试的概念漂移检测方法(concept drift detection method based on online performance test,简称CDPT).该方法将最新获得的数据集进行均匀分组,在每组子数据集上分别进行在线学习,同时记录每组子数据集训练测试得到的分类精度向量,并计算相邻学习时间单元之间的精度落差,依据测试精度下降阈值得到有效波动位点.然后采用交叉检验的方式整合不同分组中的有效波动位点,以消除流数据在线学习过程中由于训练样本过小导致模型不稳定造成的检测干扰,根据精度波动一致性得到一致波动位点.最后,通过跟踪在线学习分类准确率,得到一致波动位点邻域参照点的测试精度变化,比较一致波动位点邻域参照点对应的模型测试精度下降幅度及收敛情况,以有效检测一致波动位点当中真实的概念漂移位点.实验结果表明,该方法能够有效辨识流数据在线学习过程中发生的真实概念漂移,并能有效避免训练样本过小或者流数据中噪声对检测结果的负面影响,同时提高模型的泛化性能.     

基于子空间集成的概念漂移数据流分类算法

具有概念漂移的复杂结构数据流分类问题已成为数据挖掘领域研究的热点之一。提出了一种新颖的子空间分类算法,并采用层次结构将其构成集成分类器用于解决带概念漂移的数据流的分类问题。在将数据流划分为数据块后,在每个数据块上利用子空间分类算法建立若干个底层分类器,然后由这几个底层分类器组成集成分类模型的基分类器。同时,引入数理统计中的参数估计方法检测概念漂移,动态调整模型。实验结果表明：该子空间集成算法不但能够提高分类模型对复杂类别结构数据流的分类精度,而且还能够快速适应概念漂移的情况。     

基于动态加权集成学习的遥测数据预测方法

飞行任务中的遥测数据是飞行器中各功能子系统监测模块顺序产生的多维时间序列,其反应各子系统功能是否正常,对遥测数据的精准预测是研判飞行器运行状态的重要依据;针对已有时间序列预测算法会随时间劣化的缺点,提出基于集成学习原理的动态加权神经网络集成算法;该方法通过神经网络强数据拟合能力,集成学习算法具有的泛化特性和动态加权算法适应数据的漂移变化特性,提升算法的整体预测精度;选择多层感知机神经网络作为基学习器,给出神经网络基学习器结构设计方法和优化方法,以及动态加权算法的具体过程,将其与静态加权算法进行比较实验,该算法对预测精度提高效果显著,一定程度抑制数据的漂移,结果表明采用动态加权集成学习适合对遥测数据的预测.     

一种基于双层窗口的概念漂移数据流分类算法

数据流中概念漂移问题的研究已成为近年来流数据挖掘领域的研究热点之一. 已有的研究工作多依据单窗口中错误率的变化来检测概念漂移,难以适应不同类型的漂移. 为此, 本文提出一种新的基于双层窗口机制的数据流分类算法(Double-windows-based classification algorithm for concept drifting data streams, DWCDS),该算法采用随机决策树模型构建集成分类器, 利用双层窗口机制周期性地检测滑动窗口中流数据分布的变化,并动态地更新模型以适应概念漂移. 分析与实验结果表明: 该算法可以快速有效地跟踪检测含噪数据流中的概念漂移,且抗噪性能与分类精度显著提高.     

基于微种群遗传算法和RBF神经网络的散乱数据重建方法

利用微种群遗传算法,结合性能优越的径向基函数神经网络,建立了适用于散乱数据曲面重建的径向基函数网络模型.采用微种群遗传算法完成对神经网络的权值优化,可避免早熟收敛,且有较快的收敛速度.实验结果表明,用这种方法解决散乱数据点的重建问题,具有较高的精度.     

集成学习方法研究

集成学习是当前数据挖掘、机器学习中提升预测精度的重要方法。在介绍集成学习概念、评价标准的基础上,将集成学习划分为基分类器的构建和集成两个阶段,从偏差-方差分解角度,分析集成学习的预测精度主要是通过控制集成模型复杂度和各基分类器差异度实现,研究讨论了集成学习的模型构建阶段的经典算法Bagging、Boosting等,同时分析研究了分类结果集成的普通投票和Stacking方法。     

基于Bagging算法和遗传BP神经网络的负荷预测

负荷预测是电力规划的基础,传统的神经网络顶测方法存在对初始网络权值设置敏感、收敛的速度慢、容易陷入局部极小值等缺点.文中引入遗传算法先对神经网络的初始值进行优化,再通过神经网络进行学习和训练,得出的结果再经Bagging方法集成,目的是提高其准确率.通过Matlab仿真进行实验,结果表明,基于Bagging算法集成遗传神经网络,能够克服传统BP神经网络的缺点,可较快收敛又不易陷入到局部极值中,具有较强的泛化能力,同时也大大提高了网络的预测精度.     

IKnnM-DHecoc:一种解决概念漂移问题的方法

随着数据流挖掘的应用日趋广泛,带概念漂移的数据流分类问题已成为一项重要且充满挑战的工作.根据带概念漂移的数据流的特点,一个有效的学习器必须能跟踪并快速适应这种变化.一种基于增量KnnModel的动态层次编码算法被提出用于解决数据流的概念漂移问题.在将数据流划分为数据块后,根据增量KnnModel算法对每块的预学习结果构建并更新类别层次树、层次编码,用可增量学习的分类算法对照编码划分进行学习,并生成备选分类器集.最后依据活跃度对结点进行剪枝处理以减少计算代价.在预测阶段,利用增量KnnModel算法和动态层次纠错输出编码算法的各自优势进行联合预测.实验结果表明:基于增量KnnModel算法的动态层次纠错输出编码算法不但能够提高模型学习的动态性和分类的正确性,而且还能够快速适应概念漂移的情况.     

基于量子小波神经网络的传动装置模式识别

针对传统神经网络收敛精度低,以及用于故障模式识别能力差的问题,提出了将量子神经网络与小波理论相结合的量子小波神经网络模型.该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,给出了网络学习算法,并以某型传动装置监测信号的小波能量谱为训练样本,识别传动装置带有缺损的齿轮故障征兆.仿真结果表明,量子小波神经网络能够提高神经网络训练精度和故障征兆识别精度.     

时序数据挖掘在AFC系统运营管理中的分析与应用

AFC系统的核心是票/卡售检票自动处理.为保证AFC系统正常运营,需要定期或按需执行票/卡调配.把时序数据分析技术与数据挖掘理论相结合,建立了适合数据挖掘中径向基函数神经网络的输入样本模型.该模型能够通过反复学习从时序数据中发现潜在的规律,并将其用于轨道交通客流量的短期预测.预测结果表明比采用BP神经网络模型的预测结果精度更高、效果更好.     

基于融合神经网络模型的药物分子性质预测

在生物信息学领域,人工智能方法在预测药物分子的物理化学性质和生物活性中获得了重大成功,特别是神经网络已被广泛应用到药物研发中.但是浅层神经网络的预测精度低,深度神经网络又容易出现过拟合的问题,而模型融合策略有望提升机器学习中弱学习器的预测能力.据此,文中将模型融合方法首次应用到药物分子性质的预测中,通过对药物分子的化学结构进行信息化编码,采用平均法、堆叠法融合浅层神经网络,提高对药物分子pKa预测的能力.与深度学习方法相比,堆叠法(Stacking)融合的模型具有更高的预测准确性,其预测结果的相关系数达到0.86.通过将多个弱学习器的神经网络有机组合可使其达到深度神经网络的预测精度,同时保留更好的模型泛化能力.研究结果表明,模型融合方法可提高神经网络对药物分子pKa预测结果的准确性和可靠性.     

一种基于AP-Entropy选择集成的风控模型和算法

近年来互联网金融网贷领域涌现出了众多的风控问题,对此采用多种特征选择方法预处理风控领域的数据指标,构建了全面的针对企业信用的风控指标体系,采用stacking集成策略研究了基于AP-Entropy的信用风险模型.信用风险模型有两层学习器,引入选择集成思想,从种类和数量上筛选基学习器.首先,在Logistic回归、反向传播神经网络、AdaBoost等经典机器学习算法中,采用AP聚类算法选出适合企业信用风险的异质学习器作为基学习器;其次,在每次学习器迭代中,利用熵对学习器择优,自动选出F1值最高的基学习器,其中改进基于熵的学习器选择算法,提升了基学习器选择过程的效率,降低了模型的计算成本,模型选取XGBoost作为次级基学习器.实验结果表明,文中提出的模型和其他模型相比具有更好的学习效果和更强的泛化能力.     

基于时序窗口的概念漂移类别检测

流数据作为一种新型数据,在各个领域均有应用,其快速、大量及持续不断的特点使得单遍精准扫描成为在线学习算法的必备特质.在流数据不断产生过程中,往往会发生概念漂移,目前对于概念漂移节点检测的研究相对成熟,然而实际问题中学习环境因素朝不同方向发展往往会导致流数据中概念漂移类别的多样性,这给流数据挖掘及在线学习带来了新的挑战....     

自适应变系数粒子群—径向基神经网络模型在负荷预测中的应用

为了提高短期电力负荷预测精度,提出了一种自适应变系数粒子群-径向基函数神经网络混合优化算法(AVCPSO-RBF).实现了径向基神经网络参数优化.建立了基于该优化算法的短期负荷预测模型,利用贵州电网历史数据进行短期负荷预测.仿真表明,该方法的收敛速度和预测精度优于传统径向基神经网络方法和粒子群-RBF神经网络方法及基于混沌理论的神经网络模型,该优化算法克服了径向基神经网络和传统的粒子群优化方法的缺点,改善了径向基神经网络的泛化能力,提高了贵州电网短期负荷预测的精度,各日预测负荷的平均百分比误差可控制在1.7%以内.该算法可有效用于电力系统的短期负荷预测.     

基于RBF神经网络的产品概念设计方案评价

分析了现有评价方法存在的问题,利用Matlab神经网络工具箱构建了RBF网络模型,并以冰箱为实例进行评价.RBF神经网络采用监督学习算法和正交最小平方(OLS)算法决定基函数的中心、方差以及隐含层到输出层的权值.与BP神经网络模型的评价结果对比,建立的RBF神经网络评价模型具有更高的预测精度,收敛速度更快.     

径向基函数递推最小二乘算法优化学习的研究

对于广泛使用的三层感知机BP神经网络存在收敛速度慢,预测精度不高的问题,提出了基于径向基函数(RBF)递推最小二乘算法调整网络连接权值以及通过自适应学习的方法优化径向基函数形状参数的协作式自适应算法,并采用该算法进行了RBF神经网络的训练和仿真实验.结果表明:所提出的算法较BP算法以及固定a值的RBF算法有较快的收敛速度;最后,将训练后的神经网络应用于煤矿瓦斯涌出量的预测中,结果大大提高了预测的精度.因此,该算法具有很高的应用价值.     

遗传算法优化小波神经网络的网络流量预测

为了提高网络流量的预测精度,克服小波神经网络收敛速度慢、易陷入局部最优的缺点,提出一种遗传算法优化小波神经网络的网络流量预测模型.首先计算延迟时间和嵌入维数,构建小波神经网络的学习样本,然后采用小波神经网络对网络流训练集进行学习,并采用改进遗传算法对小波神经网络参数进行全局寻优,提高收敛速度和网络学习精度,最后采用网络流量数据对模型性能进行仿真分析.结果表明,相对于对比模型,本文模型的平均误差大幅度降低,训练次数急剧减,减小了二次优化训练的次数,具有更大的实际应用价值.     

量子小波神经网络及其在漏钢预报中的应用

针对传统神经网络收敛速度慢,收敛精度低,以及用于模式识别泛化能力差的问题。提出了将量子神经网络与小波理论相结合的量子小波神经网络模型。该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,称之为多层小波激励函数,这样隐层神经元既能表示更多的状态和量级,又能提高网络收敛精度和速度。给出了网络学习算法。并以之在漏钢预报波形识别中的应用验证了该模型和学习算法的有效性。     

基于岛屿迁徙模型的RBF网络集成及其应用研究

神经网络集成是一种通过组合每个神经网络的输出生成最后预测的很流行的学习方法,可以显著地提高学习系统的泛化能力。为了提高集成方法的有效性,提出了一种基于分而治之的思想和岛屿迁徙模型的径向基神经网络集成的新方法。实验结果表明,岛屿迁徙神经网络集成预测模型不但可以提高系统对多维空间的高维搜索能力,简化网络结构,而且在产品的自动化检测试验中也可获得更高的预测精度。