基于PPGA-MBP的神经网络优化及其应用

多物种并行进化遗传算法应用于神经网络拓扑结构的设计,开辟了新的研究领域,论文提出伪并行(PPGA-MBP)混合遗传算法,结合改进的BP算法优化多层前馈神经网络的拓扑结构。算法采用实数编码来克服传统二进制编码的精度不足问题,并设计基于层次的杂交算子允许结构相异的个体杂交重组成新的个体,适应度函数更是综合考虑了均方误差、网络结构复杂度和网络的泛化能力等因素。实验证明取得了明显的优化效果,提高了神经网络的自适应能力和泛化能力,具有全局快速收敛的性能。论文还运用该算法建立了工业增产值经济预测网络模型,将网络预测值和多项式拟合值进行了对比分析。     

结合遗传算法优化BP神经网络的结构和参数

本文提出了一种改进的遗传算法，并用其实现BP神经网络的拓扑结构和参数的优化。改进的遗传算法采用了一种新的编码方式，并对遗传操作进行了改进。仿真试验的结果表明，这种算法能够有效地提高BP神经网络结构和参数的优化效率。     

基于神经网络的混合优化算法研究

为了在资源有限的嵌入式系统中提高智能特性,需要研究开发具有较好逼近和泛化能力的、以及代码简单的神经网络.本文采用具有很强全局寻优能力的遗传算法以及局部寻优能力较强的梯度下降法,结合两者的优点形成了一种神经网络混合优化算法.对遗传算法操作算子做了改进,能同时优化神经网络的结构和权值及阈值.仿真实验结果表明,该混合优化算法能够有效地对神经网络的结构和权值及阈值优化,优化后的神经网络有较好的逼近能力和泛化能力.     

基于DMDE算法的前向神经网络设计

针对神经网络结构与参数并行优化问题,提出一种基于动态多群体差分进化算法的前向神经网络设计方法。采用分层递阶结构原理构造算法个体,根据控制基因信息将个体分成不同的动态群体。通过对个体进行重构,实现进化过程中个体信息的充分交换与共享。设计基于群体适应度的控制基因更新方法来优化网络拓扑结构,克服结构优化的盲目与低效问题。将所设计的神经网络应用于大包线飞行控制律参数拟合中。仿真结果表明,该算法能快速有效地确定神经网络的结构和权值,所优化的网络在调参控制中具有较好的泛化能力。     

自适应递阶遗传算法优化BP网络的程序设计

主要阐述了一种新的遗传算法-自适应递阶遗传算法的基本原理,解决了长期以来无法同时对神经网络拓扑结构和神经网络的权值和阈值进行优化的问题,设计了一个基于自适应递阶遗传算法的BP神经网络学习算法,给出了具体的程序设计,并且利用MATLAB平台进行仿真计算.实验结果表明,该算法比一般遗传算法具有明显的优越性,可以避免神经网络陷入局部最优,迅速优化网络的拓扑结构,提高了网络的学习性能,具有一定的实用性.     

一种遗传算法与粒子群优化的多子群分层混合算法

针对遗传算法全局搜索能力强和粒子群优化收敛速度快的特点, 本文从种群个体组织结构上着手, 进行优势互补, 提出了一种遗传算法和粒子群优化的多子群分层混合算法(multi-subgroup hierarchical hybrid of genetic algorithm and particle swarm optimization, HGA–PSO). 算法采用分层结构, 底层由一系列的遗传算法子群组成, 贡献算法的全局搜索能力; 上层是由每个子群的最优个体组成的精英群, 采用钳制了初始速度的粒子群算法进行精确局部搜索. 文中分析论证了HGA–PSO算法具有全局收敛性, 并采用7个典型高维Benchmark函数进行测试, 实验结果显示该算法的优化性能显著优于其他测试算法.     

用遗传算法优化神经网络结构

本文介绍了一种用遗传算法对神经网络和连接权值同时优化的方法，该神经网络的神经元节点可以一定程度地反馈连接，再通过基因链矩阵把神经网络的结构完整地表示，遗传进化学习后，最优个体是结构最优的神经网络，使用该方法可以设计出结构未知的神经网络，本文最后对ＸＯＲ问题进行了计算。     

一种用于BP网络优化的并行模拟退火遗传算法

针对模拟退火算法和遗传算法存在的不足，提出了并行模拟退火遗传算法，并用于3层BP神经网络优化。在适应度函数中引入模拟退火机制，采用排序、最优保存策略选择算子、启发式交叉和多点非均匀变异改进遗传算子，利用模拟退火算法产生新解增加搜索方向，并结合并行进化思想对经典遗传算法进行改进。通过对英文字母识别的仿真实验，表明该方法全局搜索能力、局部搜索能力和收敛速度都优于经典遗传算法。     

基于混合神经网络与遗传算法方法的注塑参数优化

建立了基于混合神经网络与遗传算法方法的注塑工艺参数优化系统，用Matlab语言编制了应用程序，对神经网络的参数预测与遗传算法的优化过程进行求解。将网络预测结果与CAE模拟结果进行比较和误差分析，显示出BP网络的稳定性和可靠性；优化结果经CAE模拟和实验验证，证明是正确的，表明基于混合神经网络与遗传算法方法的注塑工艺参数优化方法是可行的。     

改进的约束优化多目标遗传算法及工程应用

利用多目标法处理约束条件,提出一种改进的基于多目标优化的遗传算法用于求解约束优化问题。该算法将约束优化问题转化为两个目标的多目标优化问题; 利用庄家法构造非劣个体,将种群分为支配子种群和非支配子种群,以一定概率分别从支配子种群和非支配子种群中选择个体进行算术交叉操作,引导个体逐步向极值点靠近,增强算法的局部搜索能力,对非支配子种群进行多样性变异操作。8个标准测试函数和3个工程应用的仿真实验结果表明了该算法的有效性。     

Variable Hidden Layer Sizing in Elman Recurrent Neuro-Evolution

The relationship between the size of the hidden layer in a neural network and performance in a particular domain is currently an open research issue. Often, the number of neurons in the hidden layer is chosen empirically and subsequently fixed for the training of the network. Fixing the size of the hidden layer limits an inherent strength of neural networks—the ability to generalize experiences from one situation to another, to adapt to new situations, and to overcome the brittleness often associated with traditional artificial intelligence techniques. This paper proposes an evolutionary algorithm to search for network sizes along with weights and connections between neurons.This research builds upon the neuro-evolution tool SANE, developed by David Moriarty. SANE evolves neurons and networks simultaneously, and is modified in this work in several ways, including varying the hidden layer size, and evolving Elman recurrent neural networks for non-Markovian tasks. These modifications allow the evolution of better performing and more consistent networks, and do so more efficiently and faster.SANE, modified with variable network sizing, learns to play modified casino blackjack and develops a successful card counting strategy. The contributions of this research are up to 8.3% performance increases over fixed hidden layer size models while reducing hidden layer processing time by almost 10%, and a faster, more autonomous approach to the scaling of neuro-evolutionary techniques to solving larger and more difficult problems.     

基于文化算法的符号网络全局不平衡度计算

针对已有符号网络不平衡度计算方法大都只关注局部网络单元的平衡信息,没有考虑网络更大范围乃至全局角度的平衡,无法揭示网络中的不平衡区域这一问题,提出基于文化算法的符号网络全局不平衡度计算方法。该方法利用伊辛自旋玻璃模型描述符号网络的全局状态,将不平衡度的计算转换为一个优化问题,并设计一种具有双层进化结构的文化算法——CA-SNB进行求解。首先,该算法采用遗传算法进行种群空间进化;其次,在信度空间中记录较优个体,并采用贪婪算法提取状况知识;最后,利用状况知识引导种群空间的进化,在保证种群多样性的基础上提高了收敛速度。实验表明,与遗传算法和矩阵变换算法相比,CA-SNB能较快地收敛到最优解,具有较高鲁棒性,在计算全局不平衡度的同时识别不平衡区域。     

利用遗传模拟退火算法优化神经网络结构

常用的神经网络是通过固定的网络结构得到最优权值,使网络的实用性受到影响。引入了一种基于方向的交叉算子和变异算子,同时把模拟退火算法引入了遗传算法,结合遗传算法和模拟退火算法的优点,提出了一种优化神经网络结构的遗传——模拟退火混合算法,实现了网络结构和权值的同时优化。仿真实验表明,与遗传算法和模拟退火算法相比,该算法优化的神经网络收敛速度较快、预测精度较高,提高了网络的处理能力。     

基于改进型遗传算法的数字电路优化

遗传算法（ Genetic Algorithm,GA）是一种模拟生物界自然选择的智能优化算法,已经被广泛应用到各个领域。文中主要针对传统遗传算法在应用于数字电路优化设计中时所出现的未成熟收敛和收敛速度慢的问题,提出一种新的个体选择方法。该方法将保留最优个体选择方式和改进轮盘赌选择方式相结合,能够在保持种群的多样性的同时有效地提高数字电路优化的精确度。将该算法应用到最小分类网络的设计中,实验结果验证了改进算法的合理性和有效性。     

一种实现全父辈交叉遗传算法的神经计算模型

该文提出了一种实现二值编码全父辈交叉遗传算法的神经计算模型GAnn。GAnn将遗传算法的迭代循环结构通过一组由神经元模块所组成的反馈回路实现,并给出了实现二值编码全父辈交叉操作以及突变操作的人工神经元和神经网络拓扑结构。该文通过实验结果验证了GAnn的可行性。GAnn综合了硬件遗传算法和并行遗传算法的优点,这对于用硬件实现遗传算法,显式地实现遗传算法的内在并行性,提高遗传算法的实时性,拓宽遗传算法应用领域的研究具有积极的意义。     

一种基于优化的RBF神经网络交通流预测新算法

提出了一种基于遗传算法优化的RBF神经网络交通流预测新方法,该方法把遗传算法应用于RBF神经网络的参数确定中,实现了RBF神经网络隐层高斯函数的中心矢量和基宽向量以及隐层与输出层之间的权值的优化,提高了RBF神经网络的泛化能力。仿真结果表明：改进的RBF网络用于交通流预测中具有可靠的精度和较好的收敛速度,具有广阔的应用推广前景。     

基于两次赌轮选择的神经网络遗传优化

从神经网络输入输出映射关系的实质是一种广义级数展开的观点出发,提出利用两次赌轮法,按照基因片段的功能划分来对交叉部位进行再次选择,以使功能相似的基因片段不会出现在同一个染色体中,避免神经网络遗传优化中"近亲繁殖"的产生.一个两类分类问题的仿真分析表明,该算法非常有效,能使网络持续收敛到所能达到的最小误差,从而得到全局最优解.     

Differential evolution and sparse neural networks

Abstract: The aim of this work is to avoid overfitting by seeking parsimonious neural network models and hence to provide better out-of-sample predictions. The resulting sparse networks are easier to interpret as simple rules which, in turn, could give greater insight into the structure of the data. Fully connected feedforward neural networks are pruned through optimization of an estimated Schwartz model selection criterion using differential evolution to produce a sparse network. A quantity, α , which indicates how close a parameter is to zero is used to estimate the number of model parameters which are being pruned out. The value of α is incorporated into a function of the Schwartz information criterion to form an objective function whose maxima, as α tends to zero, define parsimonious neural network models for a given data set. Since there is a multiplicity of maxima, differential evolution, with its greater capacity for global optimization, is used to optimize this objective function. The value of α is progressively reduced during the evolution of the population of models in the manner of a sequential unconstrained optimization technique. The method is illustrated by results on four sets of data.     

基于改进遗传算法的深度神经网络优化研究

深度前馈神经网络在分类和回归问题上得到了很好的应用,但网络性能极大程度上受到其结构和超参数影响.为了获得高性能的神经网络,首先对遗传算法的选择策略进行改进,之后利用该改进遗传算法,采用二进制编码与实数编码的混合编码策略对深度前馈神经网络层数、每层节点量以及学习率和权重进行优化.改进的选择策略,在最优保存策略的基础上从父代和子代合并的2n个个体中,以一定的概率选择部分适应值较差个体作为新父代,以增加种群多样性,避免陷入局部最优.同时引入dropout方法减少网络过拟合训练数据.使用Ring、Breast cancer、Twonorm、Heart、Blood、Ionosphere、Monk共7个数据集进行数值实验,并与其他相关文献中的算法比较,仿真结果表明,改进的遗传算法能搜索到较高性能的神经网络.