基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的、基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验表明,该算法比其他学习算法的识别率高,并能较快地收敛到极小值。     

基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验,表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值。     

势能记忆梯度优化的协同模式分类方法

传统的协同模式分类学习方法是依据原型向量再通过伪逆或M-P广义逆的方法求出满足一定关系式的伴随向量,当样本维数大时,这种方法学习过程较慢,特别当样本维数有变化时传统的方法就不太适用了;协同势能函数优化的方法是直接利用协同动力学过程,来获得原型向量和伴随向量的收敛值,相比于传统的方法具有一定的优势。将最优化理论引入到协同进化的动力学过程,以加快学习过程的收敛,并以记忆梯度法替代了传统的梯度下降的算法进行势能函数的优化,来同时进行原型向量和伴随向量的学习,新方法能显著地提高收敛速度并获得较优的原型向量。通过图像的分类识别表明,相对于传统的方法,能提高识别率且收敛更好。     

一种改进的共轭梯度法及全局收敛性

在DY共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法．该方法在标准wolfe线搜索下具有充分下降性，且算法全局收敛．数值结果表明了该算法的有效性．最后将算法用于SO2氧化反应动力学模型的非线性参数估计，获得满意效果．     

用最优化方法解决BP神经网络训练问题

BP神经网络可以有效地对非线性系统进行逼近,但是传统的最速下降搜索方法存在收敛速度慢的问题。本文提出把BP神经网络转化为最优化问题,用一种共轭梯度算法代替最速下降法进行搜索迭代,极大地提高了收敛速度。     

采用资格迹的神经网络学习控制算法

强化学习是解决自适应问题的重要方法,被广泛地应用于连续状态下的学习控制,然而存在效率不高和收敛速度较慢的问题.在运用反向传播(back propagation,BP)神经网络基础上,结合资格迹方法提出一种算法,实现了强化学习过程的多步更新.解决了输出层的局部梯度向隐层节点的反向传播问题,从而实现了神经网络隐层权值的快速更新,并提供一个算法描述.提出了一种改进的残差法,在神经网络的训练过程中将各层权值进行线性优化加权,既获得了梯度下降法的学习速度又获得了残差梯度法的收敛性能,将其应用于神经网络隐层的权值更新,改善了值函数的收敛性能.通过一个倒立摆平衡系统仿真实验,对算法进行了验证和分析.结果显示,经过较短时间的学习,本方法能成功地控制倒立摆,显著提高了学习效率.     

共轭梯度与牛顿混杂算法及在神经网络的应用

在Powell重启动共轭梯度法基础上,利用共轭迭代过程产生的二阶导数信息,构造出当前点的牛顿方向,从而得出一类快速共轭梯度法。用于神经网络逼近非线性函数的学习结果表明,该算法的收敛速度均高于使用相同构造公式的共轭梯度算法。     

改进的RBF学习算法及其相似性应用

针对RBF网络梯度下降法容易造成网络收敛速度不够快和陷入局部极小的缺陷,引入一个具有步长先验知识的神经网络来动态调整梯度下降法中的学习步长.该算法中构造了两个RBF网络,分别设为A网和B网,其中A网具有步长先验知识.当B网络陷入局部极小时,则调用A网获得优化的学习步长,进而来提高B网络的收敛速度.实验结果表明了该算法的有效性和优越性.同时,该算法对相似性问题也有较好的解决能力.     

Pi-sigma神经网络的乘子法随机单点在线梯度算法*

在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法,将有约束问题转换为无约束问题,利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性,仿真实验结果验证了算法的有效性。     

基于自组织神经网络的非平稳信号盲分离

针对具有二阶非平稳特性的源信号盲分离问题,提出一种基于自组织神经网络的在线盲源分离新算法.利用自组织神经网络构建一种多层盲分离网络模型,以网络输出层信号的相关性为代价函数,采用自然梯度原理对网络参数进行学习,最小化该代价函数从而实现信号分离.将多层自组织神经网络和自然梯度原理相结合,提高了分离算法的灵活性和性能.最后将该算法与其他算法进行了仿真对比,仿真结果表明该算法具有较好的收敛精度及稳定性.