基于广义回归网络的动态权重回归型神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

基于广义回归网络的动态权重回归型神经网络集成方法研究*

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法,在训练出个体神经网络之后,根据各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明,与传统的简单平均和加权平均方法相比,本集成方法能取得更好的预测精度。     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项,增加可选网络的数量。选择部分网络集成,改善网络集成的性能。把个体网络的偏置项统一为集成偏置项,在训练出个体神经网络后,使用遗传算法选择部分网络集成,同时确定集成偏置项。理论分析和实验结果表明,该方法能够取得很好的网络集成效果。     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

最小一乘回归神经网络集成方法股市建模研究

提出了一种新的神经网络集成股市建模方法,采用偏最小二乘方法构造神经网络输入矩阵,利用Bagging技术和不同的神经网络学习算法生成集成个体,再用遗传算法选择参与集成的个体,以"误差绝对值和最小"为最优准,建立最小一乘回归神经网络集成模型,通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法具有较好的学习能力和泛化能力,在股市预测中预测精度高、稳定性好.     

基于神经网络集成的软件可靠性预测研究

为解决软件可靠性预测精度差和泛化能力不强问题,提出一种遗传算法集成神经网络的软件可靠性预测模型.通过遗传算法对神经网络集成权重进行了优化,并用主成分分析方法对软件属性度量数据进行了预处理,降低数据维数,简化神经网络的结构,加快神经网络的运算速度.仿真实验结果表明,基于遗传算法集成神经网络的软件可靠性预测模型同BP网络、LVQ网络和PNN网络相比具有更好的预测精度和泛化能力.     

优化分类型神经网络线性集成

构造多神经网络集成系统,系统的输出由个体神经网络的输出线性加权产生.提出了一种度量个体神经网络在不同的权重下集成性能的判别函数,函数表示了由个体神经网络输出刻画的模式类内会聚性和类间散布性.应用遗传算法解决了求解最优个体网络集成权重问题.分析了该判别函数的合理性及其与Bayes决策规则的关系.用两个手写体汉字特征数据集和4个UCI数据库中的数据集比较了所提出的神经网络集成方法和其他几种神经网络集成方法的性能.     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于Elman神经网络和遗传算法的油田指标预测#

基于指标预测在油田实际开发中的应用,提出将神经网络和改进的遗传算法结合起来构建预测模型。神经网络采用具有动态反馈的Elman网络,充分发挥其动态预测的优势,同时借助遗传算法弥补其训练速度慢和容易陷入局部极小的缺点。对遗传算法的选择算子加以改进,不仅可以保存优良个体而且可以提高搜索效率。将神经网络和遗传算法进行有机结合,实现优势互补,以大庆葡北油田三断块的后续水驱含水率实测数据为例对模型进行论证,结果表明,该模型能达到很好的指标预测效果,本文提出的方法是有效可行的。     

基于改进遗传算法的深度神经网络优化研究

深度前馈神经网络在分类和回归问题上得到了很好的应用,但网络性能极大程度上受到其结构和超参数影响.为了获得高性能的神经网络,首先对遗传算法的选择策略进行改进,之后利用该改进遗传算法,采用二进制编码与实数编码的混合编码策略对深度前馈神经网络层数、每层节点量以及学习率和权重进行优化.改进的选择策略,在最优保存策略的基础上从父代和子代合并的2n个个体中,以一定的概率选择部分适应值较差个体作为新父代,以增加种群多样性,避免陷入局部最优.同时引入dropout方法减少网络过拟合训练数据.使用Ring、Breast cancer、Twonorm、Heart、Blood、Ionosphere、Monk共7个数据集进行数值实验,并与其他相关文献中的算法比较,仿真结果表明,改进的遗传算法能搜索到较高性能的神经网络.     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

An ensemble of neural networks for weather forecasting

This study presents the applicability of an ensemble of artificial neural networks (ANNs) and learning paradigms for weather forecasting in southern Saskatchewan, Canada. The proposed ensemble method for weather forecasting has advantages over other techniques like linear combination. Generally, the output of an ensemble is a weighted sum, which are weight-fixed, with the weights being determined from the training or validation data. In the proposed approach, weights are determined dynamically from the respective certainties of the network outputs. The more certain a network seems to be of its decision, the higher the weight. The proposed ensemble model performance is contrasted with multi-layered perceptron network (MLPN), Elman recurrent neural network (ERNN), radial basis function network (RBFN), Hopfield model (HFM) predictive models and regression techniques. The data of temperature, wind speed and relative humidity are used to train and test the different models. With each model, 24-h-ahead forecasts are made for the winter, spring, summer and fall seasons. Moreover, the performance and reliability of the seven models are then evaluated by a number of statistical measures. Among the direct approaches employed, empirical results indicate that HFM is relatively less accurate and RBFN is relatively more reliable for the weather forecasting problem. In comparison, the ensemble of neural networks produced the most accurate forecasts.     

基于分布式神经网络递推预报误差算法的非线性系统建模

采用基于递推预报误差算法的分布式神经网络 结构建立非线性系统模型．子神经网络模型及其连接权值均采用递推预报误差方法来进行训 练,将所有子网络融合得到的分布式神经网络模型在模型精确性和鲁棒性方面有显著地增加 ．该方法较好地应用于复杂非线性动态系统的建模．     

A study on effectiveness of extreme learning machine

Extreme learning machine (ELM), proposed by Huang et al., has been shown a promising learning algorithm for single-hidden layer feedforward neural networks (SLFNs). Nevertheless, because of the random choice of input weights and biases, the ELM algorithm sometimes makes the hidden layer output matrix H of SLFN not full column rank, which lowers the effectiveness of ELM. This paper discusses the effectiveness of ELM and proposes an improved algorithm called EELM that makes a proper selection of the input weights and bias before calculating the output weights, which ensures the full column rank of H in theory. This improves to some extend the learning rate (testing accuracy, prediction accuracy, learning time) and the robustness property of the networks. The experimental results based on both the benchmark function approximation and real-world problems including classification and regression applications show the good performances of EELM.     

基于GEP-BP网络集成的蛋白质二级结构预测方法研究*

为提高蛋白质二级结构预测的精度,提出了一种基于GEP-BP网络集成的两层结构预测模型。首先利用基因表达式编程（GEP）的全局搜索能力同时进化设计BP网络的结构和连接权,并将进化最后一代的个体用BP算法进一步训练学习,然后采用组合方法将部分个体集成构成模型的第一层;根据神经网络输出之间具有相关性,用第二层网络对第一层的预测结果进行精炼。用PDBSelect25中的36条蛋白质共6 122个残基进行测试,结果表明提出的模型能有效预测蛋白质二级结构,将预测精度提高到73.02%。     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这些网络在输入空间产生不相关的错误．然而,在现有的众多集成方法中,大都采用将训练的所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好的效果。     

一种利用多神经网络结构建立非线性软测量模型的方法

采用多种神经网络结构建立软测量模型。建模所用的样本数据经过Ｋｍｅａｎｓ聚类方法分成多组训练数据,每组数据建立一个单个神经网络模型,再通过ＰＣＲ方法连接起来得到整个模型的输出,从而显著地提高了模型的精确度和鲁棒性。仿真研究表明,采用该建模方法能够达到较好的建模效果。     

Coevolutionary learning of neural network ensemble for complex classification tasks

Ensemble approaches to classification have attracted a great deal of interest recently. This paper presents a novel method for designing the neural network ensemble using coevolutionary algorithm. The bootstrap resampling procedure is employed to obtain different training subsets that are used to estimate different component networks of the ensemble. Then the cooperative coevolutionary algorithm is developed to optimize the ensemble model via the divide-and-cooperative mechanism. All component networks are coevolved in parallel in the scheme of interacting co-adapted subpopulations. The fitness of an individual from a particular subpopulation is assessed by associating it with the representatives from other subpopulations. In order to promote the cooperation of all component networks, the proposed method considers both the accuracy and the diversity among the component networks that are evaluated using the multi-objective Pareto optimality measure. A hybrid output-combination method is designed to determine the final ensemble output. Experimental results illustrate that the proposed method is able to obtain neural network ensemble models with better classification accuracy in comparison with currently popular ensemble algorithms.