增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

一种快速选择性神经网络集成方法

选择性集成通过选择部分个体能够获得比传统全部集成更好的泛化性能．已有的一些选择性集成方法实现的时间复杂性较高，或没有充分利用个体的先验信息．提出了一种新的选择性集成方法FASEN（fast approach to selective ENsemble）．该方法在独立训练出一批神经网络后，采用一种近似搜索策略，只选择与其他个体差异较大且估计泛化误差较小的网络参加集成，把个体选择的搜索空间从2^N降到N．理论分析与实验结果表明，该方法简单高效，泛化性能与已有的几种选择性集成方法相当甚至占优．     

基于覆盖的神经网络集成在语音识别中的应用

神经网络集成通过训练多个神经网络并将各网络的结论进行合成,从而得到最终结果.集成可以显著的提高学习系统的泛化能力.讨论了基于覆盖思想而设计的神经网络集成方法,并将其应用于汉语孤立数码语音识别系统中,通过在集成过程中加入基于覆盖思想的控制算法降低系统的泛化误差,从而使系统的识别效果有了进一步的提高.     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求，提出了集成网络间的结构差异度的概念．在此基础上设计了一种基于反向选择的免疫算法，该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度，从而提高神经网络集成的泛化能力．同时证明了该算法对最优个体的收敛性．将该方法应用于受噪声污染的非线性时间序列故障预报，根据预测误差可以方便准确地检测系统的缓变故障和突变故障，实现对微小故障的快速故障预报，降低误检率．仿真结果证明了该方法的有效性．     

基于神经网络集成的经济预测模型

针对单个BP神经网络用于经济预测存在的不足,提出了一种新的更有效的经济预测模型--神经网络集成.神经网络集成通过训练多个神经网络并将各网络输出进行合成,能够显著提高网络的泛化能力.以广东省江门市的经济数据为例,采用Bagging算法训练了五个BP神经网络,构建了一个神经网络集成的GDP预测模型,并运用MATLAB 7.0语言程序实现.预测结果令人满意,优于单个神经网络预测方法.实证表明,神经网络集成用于经济预测是有效可行的,同时在一定程度上克服了单个神经网络的缺陷.     

基于模糊神经网络集成的入侵检测模型

日益严峻的网络安全形势和网络协议本身的缺陷,使传统的防火墙防御的方式无法胜任。为提高对网络入侵防御能力,提出了模糊神经网络集成的入侵检测模型：首先抓取网络中的数据流,使用模糊数学的方法对数据记录入侵特征预处理。然后用集成的模糊神经网络模块接收预处理模块导入的训练数据和测试数据,通过反复训练学习,把各子树中节点的权值收敛到确定值。训练完成后,模型用于检测网络中的数据。响应模块接收模糊神经网络模块处理结果做出相应的响应。实验使用KDDCUP99网络入侵检测数据集对模型进行评测,并与单一神经网络模型相比较。结果表明模糊神经网络集成的方法检测结果比较稳定,在整体上比单一神经网络的误报率、漏报率和错报率有所降低,准确率和数据集泛化能力明显提高。     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

一种神经网络分类器样本数据选择方法

为了提高神经网络分类器的性能,提出一种基于阴影集的训练样本数据选择方法．在阴影集的基础上提出核数据和边界数据的概念．首先通过模糊c均值聚类（FCM）获取样本数据的最优模糊矩阵;然后诱导出相应的阴影集;样本数据结合阴影集构造核数据和边界数据;最后在核数据和边界数据中进行数据选择．利用该方法,结合Iris数据集分别对BP网络、LVQ网络和可拓神经网络（ENN）等分类器进行实验研究．结果表明：该方法能够保留典型的样本,减少训练样本数据的数量;利用该方法所选择的数据对神经网络分类器进行训练,保证了分类器的泛化能力,节约了训练时间,有效提高分类器的性能．     

乙炔羰基化合成丙烯酸甲酯催化性能的人工神经网络模拟

通过神经网络技术可找出催化工艺与催化性能之间的关联性,从而对催化性能进行预测,达到提高研究效率的目的.本文针对训练样本中奇异样本对神经网络模型预测能力和泛化能力的影响,将遗传算法思想引入神经网络,构建神经网络模型动态训练集,建立了遗传算法-神经网络模型(GARBF);利用GARBF模型对乙炔羰基化合成丙烯酸甲酯催化性能进行预测模拟.结果表明:与RBF相比,GARBF的预测精度明显提高,对于六组测试集,平均相对误差从2.94％降低到1.18％,体现了更强的泛化能力.     

基于知识蒸馏的差异性深度集成学习

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

基于神经网络免疫集成的非线性时间序列故障预报

针对神经网络集成对个体差异性的要求 ,提出了集成网络间的结构差异度的概念 .在此基础上设计了一种基于反向选择的免疫算法 ,该算法可以在减小集成网络各自训练误差的同时保持网络间的结构差异度 ,从而提高神经网络集成的泛化能力 .同时证明了该算法对最优个体的收敛性 .将该方法应用于受噪声污染的非线性时间序列故障预报 ,根据预测误差可以方便准确地检测系统的缓变故障和突变故障 ,实现对微小故障的快速故障预报 ,降低误检率 .仿真结果证明了该方法的有效性 .     

基于粒子群优化算法的并行学习神经网络集成构造方法

为了提高神经网络集成中个体网络的差异性,并减少将集成用于预测时的计算量,本文结合粒子群优化算法和个体网络的并行学习机制,提出了一种基于粒子群优化的并行学习神经网络集成构造方法。实验表明,和传统的集成构造方法相比,该构造方法具有比较好的性能。     

基于支持向量回归集成的陀螺仪参数漂移预测

泛化能力是智能方法用于参数预测的最重要的问题之一,提出了支持向量回归集成方法。为了增加个体之间的差异性,提出了基于聚类方法的个体生成方法。首先利用聚类方法将样本分为若干子类,然后用不同结构的支持向量回归学习不同的样本子类,权值由个体在验证集上的泛化误差决定。将ESVR陀螺仪参数飘移数据的预测,并与单支持向量回归,单神经网络,神经网络集成以及组合预测方法进行比较。结果证实,ESVR的预测精度总体高于其他方法。     

电力系统短期负荷预测的多神经网络Boosting集成模型

提出了一种改进的多神经网络集成自适应Boosting回归算法.算法中采用相对误差模型代替绝对误差模型,可以更接近于回归预测问题的要求,并在Boosting迭代过程中,在对训练集采样得到新的训练子集的同时,也对校验集采样得到新的校验子集,保证了两者的一致性.进而采用美国加州电力市场的实际数据,建立了由多个神经网络集成的电力系统短期负荷预测模型.预测结果表明,与传统的单网络预测模型相比,Boosting集成预测模型能显著提高模型输出的稳定性,增强网络结构及模型选择的可靠性,获得更高的预测精度.     

结合扰动集成RBF的故障识别方法

为提高旋转机械故障识别精度,将神经网络与集成学习方法进行结合,提出结合扰动方式的集成RBF故障模式识别方法.首先,通过ReliefF算法计算所提取出的转子故障特征数据集各个特征的权重,并且将权重值进行降序排列,从而筛选出权重趋大的系列特征构成低维特征数据集;其次,将较大权重作为无放回轮盘赌法的输入,对权重所对应的低维特征数据集进行特征扰动,产生系列化低维数据子集并将其划分为训练集和测试集;然后,采用Bagging算法中的自助采样法对训练集进行样本扰动,以此形成新的训练集并用于训练对应个数的RBF神经网络,完成差异性子分类器的构建;最终,对各个神经网络的测试数据辨识结果通过相对多数投票法进行结合,得到故障识别结果.实验结果表明,对于转子系统的故障识别,该方法相较于未集成RBF神经网络、集成BP神经网络具有较高的识别精度,并且拥有较好的泛化性能.