基于SQP 局部搜索的混沌粒子群优化算法

提出一种基于序贯二次规划(SQP)法的混沌粒子群优化方法(CPSO-SQP).将混沌PSO作为全局搜索器,并用SQP加速局部搜索,使得粒子能够在快速局部寻优的基础上对整个空间进行搜索,既保证了算法的收敛性,又大大增加了获得全局最优的几率.仿真结果表明,算法精度高、成功率大、全局收敛速度快,明显优于现有算法.将所提出的算法用于高密度聚乙烯(HDPE)装置串级反应过程的乙烯单耗优化,根据工业反应机理以及现场操作经验分析可知,所提出的算法是可行的.     

改进PSO优化神经网络算法的人体姿态识别

为了提高人体姿态的识别精度,提出一种基于改进的粒子群优化(PSO)神经网络的人体姿态识别算法.采用加速度传感器获取加速度信息,并在常用特征集的基础上,加入离散系数和曲线积分两种新特征作为神经网络的输入;在利用PSO神经网络参数的同时,通过控制概率,自适应地对粒子进行遗传操作,增强粒子跳出局部极小值的能力;采用训练后的神经网络对6种人体姿态进行识别.实验结果表明:该算法收敛速度和全局寻优能力得到了提高,与其他经典算法相比识别精度更高.     

多粒子群优化算法和RBF神经网络在缺陷故障参数红外智能识别中的应用

讨论了利用多粒子群优化算法(Multi-PSO)和径向基函数(RBF)神经网络进行缺陷参数红外识别的途径.PSO算法可以不用计算梯度,算法通用,而使用RBF神经网络作为代理模型,极大简化了复杂、费时的有限元计算,其中训练RBF神经网络的样本由有限元软件的计算结果产生.提出的多粒子群优化算法将粒子群分为若干子群,并利用粒子本身、粒子所在子群以及全局的最优解来更新粒子的速度与位置,该方法收敛速度较慢,但有可能找到问题的多个极小值.最后给出了该方法在缺陷参数红外识别中一个简单的应用例子.     

一种改进的粒子群算法在BP网络中的应用研究

采用Sigmoid激活函数的三层前向神经网络能够以任意精度模拟复杂的非线性关系,训练算法对神经网络模式分类的性能有较大影响。基于梯度下降的BP网络存在收敛速度慢、易陷入局部极小的缺陷。粒子群算法是一种全局优化算法。本文针对粒子群算法本身存在的不足加以改进,用改进后的粒子群算法对BP网络进行训练,从而克服BP网络的一些缺陷。采用IRIS分类问题验证了本文提出的方法的有效性。实验结果表明本文采用的方法比普通PSO-BP算法效果更好。     

改进粒子群算法对BP神经网络的优化

介绍一种基于改进粒子群算法优化BP网络的权值调整综合方法。该算法在传统BP算法的误差反传调整权值的基础上,引入粒子群算法的权值修正,并且在训练神经网络权值的同时优化其连接结构,删除冗余连接,从而建立了基于粒子群算法优化的BP网络新模型。结果表明,改进算法不仅可以克服传统BP算法收敛速度慢和易陷入局部权值的局限,而且很大程度地提高了结果精度和BP网络学习能力。     

基于PSO算法的模糊神经网络的网络异常检测

在网络异常检测中,为了提高对异常状态的检测率,降低对正常状态的误判率,提出一种基于粒子群优化算法训练模糊神经网络进行网络异常检测的新方法。在对模糊神经网络训练中采取PSO算法和梯度下降算法相结合的方法,充分发挥PSO全局寻优的能力和梯度下降局部细致搜索优势。实验数据采用KDD CUP99数据集,实验结果表明,该学习算法与传统的梯度下降法（GD）相比,收敛速度快,具有更好的全局收敛性,提高了异常检测的准确性,同时该方法对于新的异常也有较高检测率。     

基于QPSO算法的RBF神经网络参数优化仿真研究

针对粒子群优化(PSO)算法搜索空间有限,容易陷入局部最优点的缺陷,提出一种以量子粒子群优化(QPSO)算法为基础的RBF神经网络训练算法,将RBF神经网络的参数组成一个多维向量,作为算法中的粒子进行进化,由此在可行解空间范围内搜索最优解。实例仿真表明,该学习算法相比于传统的学习算法计算简单,收敛速度快,并由于其算法模型的自身特性比基于PSO的学习算法具有更好的全局收敛性能。     

基于粒子群神经网络线控转向故障诊断的研究

改进的自适应粒子群优化算法根据群体早熟收敛程度和个体适应值来调整惯性权重和阈值系数,以及对粒子速度与位置进行更新,该算法兼顾全局寻优和局部寻优,有效地避免早熟收敛.使用改进的自适应粒子群优化算法训练神经网络,并根据汽车线控转向系统构建故障诊断模型.实验结果表明:与传统的粒子群优化算法、遗传算法训练神经网络相比,基于改进的自适应粒子群优化算法的神经网络能够有效改善神经网络的训练效率,加快了收敛速度,提高故障模式识别的准确率.     

免疫粒子群算法在神经网络训练中的应用

神经网络能够用来检测结构损伤,但是其训练方法容易陷入局部最优。粒子群算法具有全局搜索能力,将免疫系统中的抗体抑制机理引入粒子群算法以保持粒子多样性,采用免疫粒子群算法（ImPso）训练前向神经网络。计算机仿真结果显示,训练后的网络性能优于使用一般BP算法训练的网络。     

一种克服粒子群早熟的混合优化算法

针对粒子群优化算法在寻优时容易出现早熟现象,提出在粒子群收敛停滞时,从种群中随机选择粒子进行共轭梯度法计算,通过引入共轭梯度算法计算的信息来影响粒子速度的更新,以保持群体的活性,从而打破群体信息陷入局部最优的状况.不同于传统的粒子群算法,该算法有机地结合了粒子群的全局搜索能力和共轭梯度法的强大局部搜索能力,从而在一定程度上有效地克服了粒子群早熟的缺点.仿真计算结果表明,该改进粒子群的方法对于不同维数的非线性函数具有很好的寻优效果.     

改善遗传神经网络收敛性的研究

针对BP神经网络中采用的梯度下降法局部搜索能力强、全局搜索能力差和遗传神经网络中采用的遗传算法全局搜索能力强、局部搜索能力差的特点,提出了一种集梯度下降法和遗传算法优点为一体的混合智能学习法(Hybrid Intelligence learning algorithm),简称HI算法,并将其应用到优化多层前馈型神经网络连接权问题。对该算法进行了设计和实现,从理论和实际两方面证明混合智能学习法神经网络与BP神经网络和基于遗传算法的神经网络相比有更好的运算性能、更快的收敛速度和更高的精度。     

Boundedness and Convergence of Online Gradient Method with Penalty for Linear Output Feedforward Neural Networks

This paper investigates an online gradient method with penalty for training feedforward neural networks with linear output. A usual penalty is considered, which is a term proportional to the norm of the weights. The main contribution of this paper is to theoretically prove the boundedness of the weights in the network training process. This boundedness is then used to prove an almost sure convergence of the algorithm to the zero set of the gradient of the error function.     

粒子群优化算法在神经网络控制中的应用

考虑粒子群优化算法在不确定系统的自适应控制中的应用。神经网络在不确定系统的自适应控制中起着重要作用。但传统的梯度下降法训练神经网络时收敛速度慢,容易陷入局部极小,且对网络的初始权值等参数极为敏感。为了克服这些缺点,提出了一种基于粒子群算法优化的RBF神经网络整定PID的控制策略。首先,根据粒子群算法的基本原理提出了优化得到RBF神经网络输出权、节点中心和节点基宽参数的初值的算法。其次,再利用梯度下降法对控制器参数进一步调节。将传统的神经网络控制与基于粒子群优化的神经网络控制进行了对比,结果表明,后者有更好逼近精度。以PID控制器参数整定为例,对一类非线性控制系统进行了仿真。仿真结果表明基于粒子群优化的神经网络控制具有较强的鲁棒性和自适应能力。     

Cooperative-Competitive Algorithms for Evolutionary Networks Classifying Noisy Digital Images

We describe an efficient method of combining the global search of genetic algorithms (GAs) with the local search of gradient descent algorithms. Each technique optimizes a mutually exclusive subset of the network's weight parameters. The GA chromosome fixes the feature detectors and their location, and a gradient descent algorithm starting from random initial values optimizes the remaining weights. Three algorithms having different methods of encoding hidden unit weights in the chromosome are applied to multilayer perceptrons (MLPs) which classify noisy digital images. The fitness function measures the MLP classification accuracy together with the confidence of the networks.     

An improved approximation approach incorporating particle swarm optimization and a priori information into neural networks

In this paper, an improved approach incorporating adaptive particle swarm optimization (APSO) and a priori information into feedforward neural networks for function approximation problem is proposed. It is well known that gradient-based learning algorithms such as backpropagation algorithm have good ability of local search, whereas PSO has good ability of global search. Therefore, in the improved approach, the APSO algorithm encoding the first-order derivative information of the approximated function is used to train network to near global minima. Then, with the connection weights produced by APSO, the network is trained with a modified gradient-based algorithm with magnified gradient function. The modified gradient-based algorithm can reduce input-to-output mapping sensitivity and lessen the chance of being trapped into local minima. By combining APSO with local search algorithm and considering a priori information, the improved approach has better approximation accuracy and convergence rate. Finally, simulation results are given to verify the efficiency and effectiveness of the proposed approach.     

零代价函数的前馈神经网络新算法

文章提出一种全新的三层前馈神经网络算法,它比BP算法优越得多.新算法不再采用误差反向传播原理,而是选择一层自由权,通过求解线性方程组求得另一层待求权.新算法选择很广一类的隐层神经元函数,可以直接求得全局最小点,不存在BP算法的局部极小、收敛速度慢等问题.新算法较BP算法快得多.     

Model predictive control of an industrial packed bed reactor using neural networks

This paper discusses an industrial application of a multivariable nonlinear feedforward/feedback model predictive control where the model is given by a dynamic neural network. A multi-pass packed bed reactor temperature profile is modelled via recurrent neural networks using the backpropagation through time training algorithm. This model is then used in conjunction with an optimizer to build a nonlinear model predictive controller. Results show that, compared with conventional control schemes, the neural network model based controller can achieve tighter temperature control for disturbance rejection     

基于卷积计算的多层脉冲神经网络的监督学习

针对脉冲神经元基于精确定时的多脉冲编码信息的特点,提出了一种基于卷积计算的多层脉冲神经网络监督学习的新算法。该算法应用核函数的卷积计算将离散的脉冲序列转换为连续函数,在多层前馈脉冲神经网络结构中,使用梯度下降的方法得到基于核函数卷积表示的学习规则,并用来调整神经元连接的突触权值。在实验部分,首先验证了该算法学习脉冲序列的效果,然后应用该算法对Iris数据集进行分类。结果显示,该算法能够实现脉冲序列复杂时空模式的学习,对非线性模式分类问题具有较高的分类正确率。     

Wavelet networks for sensor signal classification in flank wear assessment

It is known that the force and vibration sensor signals in a turning process are sensitive to the gradually increasing flank wear. Based on this fact, this paper investigates a flank wear assessment technique in turning through force and vibration signals. Mainly to reduce the computational burden associated with the existing sensor-based methods for flank wear assessment, a so-called wavelet network is investigated. The basic idea in this new method is to optimize simultaneously the wavelet parameters (that represent signal features) and the signal-interpretation parameters (that are equivalent to neural network weights) to eliminate the feature extraction phase without increasing the computational complexity of the neural network. A neural network architecture similar to a standard one-hidden-layer feedforward neural network is used to relate sensor signal measurements to flank wear classes. A novel training algorithm for such a network is developed. The performance of this n ew method is compared with a previously developed flank wear assessment method which uses a separate feature extraction step. The proposed wavelet network can also be useful for developing signal interpretation schemes for manufacturing process monitoring, critical component monitoring, and product quality monitoring.