一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力，却因为其黑箱性而难以理解；决策树算法因为分类结果显示为树型结构而具有良好的可理解性，泛化能力却比不上神经网络集成。该文将这两种算法相结合，提出一种决策树的构造算法：使用神经网络集成来预处理训练样本，使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法，实验表明：该算法具有神经网络集成方法的强泛化能力的优点，其泛化能力明显优于C4．5算法；该算法的最终结果昆示为决策树，显然具有良好的可理解性。     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这些网络在输入空间产生不相关的错误．然而,在现有的众多集成方法中,大都采用将训练的所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好的效果。     

一种异构神经网络集成协同构造算法

提出一种异构神经网络集成的协同构造算法(HNNECC）。首先利用进化规划同时进化网络拓扑结构和连接权值，生成多个异构最优网络，然后对异构网络进行组合．在构造神经网络集成的过程中通过协同合作，保持各网络间的负相关。从而在提高成员网络精度的同时增加各成员网络之间的差异度．利用统计学习理论对算法进行分析，表明该方法具有很好的泛化性能．分别在四个数据集上进行了实验，相对于单个网络，本文方法可提高性能17％到85％，亦优于Bagging等传统固定结构的神经网络集成方法。     

基于粒子群算法的神经网络短期降水预报建模研究

用多样性粒子群算法优化神经网络的网络结构和连接权，获得神经网络集成个体；进一步用二次规划方法，计算各集成个体的最优非负权系数进行组合集成，生成神经网络集成的输出结论，进行短期降水预报建模研究．以广西全区的月降水量实例分析，结果表明该方法能有效提高系统的泛化能力．     

基于神经网络的知识获取

本文提出了用基于规则专家系统与神经网络的集成，该系统实现了从实例中自动获取知识的功能．在产生和控制不完全情况方面提高了专家系统的推理能力．它使用无导师学习算法的神经网络来获取正规数据，并用一个符号生成器把这些正规的数据变换成规则．生成规则和训练后的神经网络作为知识库嵌于专家系统中．在诊断阶段，为了诊断不明情况，可同时使用知识库和人类专家的知识，而且系统可以利用训练过的神经网络的综合能力进行诊断，并使不相符数据完整化．     

非线性动态系统优化与参数估计集成的神经网络算法

基于动态系统优化与参数估计集成的迭代算法，提出一个求解系统优化的神经网络方法，得到一种动态系统优化与参数估计集成的神经网络算法，该算法通过重复求解参数估计问题和悠神经网络，获得原问题的精确最优解，由于系统优化问题用神经网络求解，因此该算法具有求解速度快，易于硬件实现等优点，特别适用于在线优化与控制。     

小规模数据集的神经网络集成算法研究

研究了小样本数据集的神经网络分类器集成，提出了适合于小样本数据集的神经网络分类器集成方法Novel_NNE，通过生成差异数据提高神经网络集成中个体的差异性，从而提高集成学习的泛化性能；最后应用不同的融合技术针对UCI标准数据集进行了实验研究．结果表明，在集成算法Novel_NNE中，使用相对多数投票与贝叶斯融合方法的性能优于行为知识空间融合方法．     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

BP算法的改进及用模拟电路实现的神经网络分类器

基于用模拟电路实现神经网络分类器的目的，对多层静态前馈神经网络的ＢＰ算法做了改进，采用线性限幅函数代替Ｓｉｇｍｏｉｄ函数作为神经元的激活函数，给出了改进的ＢＰ算法。对该算法性能的实验研究表明：这种改进算法不但方便了用线性模拟集成运算放大电路实现神经网络，而且具有学习速度快，映射能力强等优点。根据本文算法设计的神经网络分类器，无论是计算机仿真，还是模拟电路实现，都得到了比较高的识别率。     

基于聚类分析的综合神经网络集成算法

研究神经网络集成是一种有效实用的分类方法,权值是影响神经网络集成性能的重要因素。为了克服神经网络集成固定权值的缺陷,提出一种基于聚类分析的综合神经网络集成算法。算法首先将样本分类,每类样本中加入其他样本类一定数量的中心样本,不同的神经网络学习不同类的样本。根据输入数据与样本类别之间的相关程度自适应调整集成权值。算法不仅用于自适应调整集成权值,而且是一种产生个体神经网络的训练方法。四个数据集上的仿真试验证实了算法的有效性。     

一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系,提出了一种个体神经网络主动学习方法．个体神经网络同时交互训练,既满足了个体神经网络的精度要求,又满足了个体神经网络的差异性要求．另外,给出了一种个体神经网络选择性集成方法,对个体神经网络加入偏置量,增加了个体神经网络的可选数量,降低了神经网络集成的泛化误差．理论分析和实验结果表明,使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统．     

基于人工神经网络的负相关学习研究

人工神经网络集成技术是神经计算技术的一个研究热点,在许多领域中已经有了成熟的应用.神经网络集成是用有限个神经网络对同一个问题进行学习,集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定.负相关学习法是一种神经网络集成的训练方法,它鼓励集成中的不同个体网络学习训练集的不同部分,以使整个集成能更好地学习整个训练数据.改进的负相关学习法是在误差函数中使用一个带冲量的BP算法,给合了原始负相关学习法和带冲量的BP算法的优点,使改进的算法成为泛化能力强、学习速度快的批量学习算法.     

基于强化学习的股票预测系统的研究与设计

股票市场是金融分析领域中重要而困难的问题。股票数据的分析和预测具有重大的理论意义和诱人的应用价值。BP神经网络在目前的股票预测系统中应用广泛,但是作为有导师的学习系统,BP神经网络必须要求提供相关的经验数据才能正常运行。对此本文提出了一种基于强化学习BP算法应用于股票预测系统,通过强化学习体系来实现体统的自学习,通过网络集成来达到初始数据的预处理,提高系统的泛化能力,在实际应用中取的较好的效果。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于遗传算法的集成神经网络入侵检测系统

介绍集成神经网络的基本概念及其算法理论,提出基于遗传算法的集成神经网络入侵检测方法,并以KDDCUP99作为数据源给出应用该方法进行入侵检测的性能.通过与单个神经网络的比较,说明基于遗传算法的集成神经网络检测方法能克服单个分类算法的缺陷,提高入侵检测系统的检测率.     

神经网络集成

神经网络集成通过训练多个神经网络并将成结论进行合成，可以显著地提高学习系统的泛化能力。它不仅有助于科学家对机器学习和神经的深入研究，还有助于普通工程技术人员利用神经网络技术来解决真实世界中的问题。因此，它被视为一种广阔应用前景的工程化神经计算技术，已经成为机器学习和神经计算领域的研究热点。该文从实现方法、理论分析和应用成果等三个方面综述了神经网络集成的国际研究现状，并对该领域值得进一步研究的一些问题进行了讨论。     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项,增加可选网络的数量。选择部分网络集成,改善网络集成的性能。把个体网络的偏置项统一为集成偏置项,在训练出个体神经网络后,使用遗传算法选择部分网络集成,同时确定集成偏置项。理论分析和实验结果表明,该方法能够取得很好的网络集成效果。     

一种多层次选择性集成学习算法

选择性集成学习是为解决同一个问题而训练多个基分类器,并依据某种规则选取部分基分类器的结果进行整合的学习算法。通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。提出了一种多层次选择性集成学习算法Ada_ens。试验结果表明,Ada_ens具有更好的学习效果和泛化性能。     

基于样本重构的神经网络集成学习方法

在回顾以往神经网络集成的研究成果基础上，提出一种新的负相关学习方法，该方法易于执行，计算量小，有效的消除了学习中的复合线性问题，减小了集成误差，最后用测试用例对该方法进行了考察，证明该方法可以有效的降低集成预测误差，得到较为理想的集成效果。