基于新的步长搜索下的记忆梯度法收敛性分析

根据最速下降算法、拟牛顿法、FR共轭梯度法、PRP共轭梯度法等，求解大规模无约束优化问题的有效算法、精确线搜索与Wolfe线搜索等的搜索条件，着重对计算更为有效的适合求解无约束优化问题的记忆梯度算法进行研究。基于Wolfe非精确线搜索提出一种新的步长搜索方法，对记忆梯度算法进行改进。最后证明改进的算法在较弱的条件下是全局收敛的。     

基于人工神经网络的负荷预报模型

针对基于ＢＰ（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）学习算法存在的问题,提出了变步幅最速下降和共轭梯度的混合算法来训练人工神经网络,并建立负荷预报人工神经网络模型．为了提高预测精度,对预报权值进行在线修正．实例证明,混合算法在全局收敛特性和收敛速度上要好于基本ＢＰ算法,所建立的预报模型能达到令人满意的精度．     

理想化最速下降法及其逼近实例

已证明,当最速下降法的步长为系数矩阵特征值的倒数时,任意非奇异矩阵都可以在m步内收敛到精确解,这里m为系数矩阵最小多项式的次数。这是一种理想化的最速下降法。由于特征值的计算并不容易,因此只能用其近似估算值代替。分析了近似特征值获取方法并研究了其误差对迭代的影响,从而给出了逼近理想化的最速下降法的一般方法。作为一个例子,给出了一种高效的自适应循环最速下降法:每当求出最优步长h后,将算法变成定步长最速下降法并用该步长重复M步,当目标函数或梯度模反而变大时则放弃重复。这里,M可根据经验预先确定。该算法保证了目标函数值的单调下降性质。将上述结果推广至一般函数的无约束最优化,并对一些典型测试函数的计算表明:该算法的收敛速度优于共轭方法和变尺度法,内存需求则与共轭方法相当。     

提高前馈神经网络学习效率的学习算法探讨

简要分析了最速下降法（Ｓｔｅｅｐｅｓｔ Ｄｅｓｃｅｎｔ Ａｌｇｏｒｉｔｈｍ ,即ＳＤＡ 法）和正交校正共轭梯度法（ＣＧＭ－ＯＣ法）的优缺点,提出了一种进行多层前馈神经网络学习的新算法,即ＳＤ－ＣＧＭ－ＯＣ算法．该算法结合最速下降法与正交校正共轭梯度法的特点,在文中所述实际问题构造模型的基础上,论证了ＳＤ－ＣＧＭ－ＯＣ算法比传统的ＢＰ算法具有更高的学习效率和二次收敛率．实验结果验证了该学习算法的有效性．     

基于人工神经网络的负荷预报模型

针对基于ＢＰ学习算法存在的问题,提出了变步幅最速下降和共轭梯度的混合算法来训练人工神经网络,并建立负荷预报人工神经网络模型,为了提高预测精度,对预报权值进行在线修正,实例证明,混合算法在全局收敛特性和收敛速度上要好于基本ＢＰ算法,所建立的预报模型能达到令人满意的精度。     

共轭梯度法全局收敛的一个充分条件

通过对不同共轭梯度法收敛性分析的研究,提出了共轭梯度法全局收敛的一个充分条件,分析了该充分条件的合理性,并给出一种带参数的混合共轭梯度法,证明了该方法在强Wolfe线搜索下满足该充分条件.数值实验结果表明:该算法是有效的.     

一类充分下降的混合PRP-LS共轭梯度法

针对无约束优化问题,提出一类充分下降的混合共轭梯度法.该算法在每次迭代过程中均可得到充分下降的搜索方向.在适当条件下,证明了算法的全局收敛性和R-收敛速率.数值结果表明该算法是可行、有效的.     

地球物理资料非线性反演方法讲座（六）——共轭梯度法

概要地介绍了在非启发式非线性反演方法——共轭梯度法的原理、算法、优点,以及它的局限性,和改进型算法：一种全局收敛的随机共轭梯度法。最后通过一个例子来说明共轭梯度法及其改进型算法的优缺点。     

广义Wolfe线搜索下共轭梯度法的全局收敛性

共轭梯度法是求解大规模约束问题的有效算法,不同的参数选取构成不同的共轭梯度法.通过研究一个新的求解无约束最优化问题的共轭梯度法,证明该公式在广义Wolfe线搜索下是具有充分下降性,并且是全局收敛的.     

相关DY共轭梯度法的全局收敛性

针对无约束优化问题的一类重要算法——共轭梯度法,提出一种相关DY共轭梯度法,由此得到新的确定βk公式,并在强Wolfe条件下证明了该算法的全局收敛性.结合修正的DY共轭梯度法,得到相关修正DY共轭梯度法,确定另一个βk公式,同时证明在强Wolfe条件下,该算法是全局收敛的.通过拓展共轭梯度法相关性的有关内容,进一步验证了共轭梯度法中FR公式与DY公式之间的某种特殊的联系.     

在Wolfe步长搜索下的一类新的共轭梯度算法

研究利用共轭梯度法求解无约束最优化问题。为了保证共轭梯度方向是目标函数的充分下降方向,对共轭梯度算法中的共轭梯度方向参数确定了一个取值范围并与Wolfe步长搜索相结合,提出了新的共轭梯度算法,使算法具有更好的收敛速度,特别是在求解大规模无约束最优化问题时,此算法只需要较小的存储。     

超记忆梯度算法的全局收敛性

对无约束优化算法进行了研究。描述了最速下降算法、牛顿法、非线性FR共轭梯度法、非线性PRP共轭梯度法、非线性DY共轭梯度法等求解大规模无约束优化问题的有效算法以及精确线搜索、Wolfe线搜索、Armijo线搜索的搜索条件;着重研究了计算更为有效的适合求解无约束优化问题的超记忆梯度算法;在一类Wolfe型非精确线搜索条件下给出了一类超记忆梯度算法,并且在较弱的条件下证明了算法的全局收敛性,为求解大规模无约束优化问题以及各种算法的比较提供了参考。     

对较好和较差个体双向更新的混合蛙跳算法

针对基本蛙跳算法在处理复杂函数优化问题时求解精度低且易陷入局部最优的缺点,将共轭梯度法引入基本蛙跳算法,对排名靠前的p个模因组中的精英个体和排名靠后的q个模因组中的落后个体同时使用共轭梯度法进行更新,一方面增强对较差青蛙的指导能力,另一方面使最差的青蛙直接更新,提高了算法的收敛精度.所得混合蛙跳算法有效结合了基本蛙跳算法较强的全局搜索能力和共轭梯度法快速精确的局部搜索能力.将所得的混合蛙跳算法与其他智能优化算法进行对比,数值试验结果表明,无论从收敛精度还是进化代数而言,所得混合蛙跳算法较其他算法均有较大的改进,具有更高的收敛精度,能有效避免陷入局部最优,且优化结果更加稳定.     

基于最速下降法改进的人工蜂群算法

针对基本人工蜂群算法求解优化问题时存在收敛精度低、搜索盲目性大的缺点,提出一种基于最速下降法改进的人工蜂群算法.算法利用最速下降法简单、计算量小的特点,对基本人工蜂群算法中经过limit次更新后没有得到改善的蜜源进行更新,它结合了基本人工蜂群算法较强的全局搜索能力和最速下降法快速精确的局部搜索能力,能够有效避免基本人工蜂群算法中的某些盲目的无意义迭代.经过9个标准测试问题的仿真试验表明,所得的人工蜂群算法具有比基本人工蜂群算法更快的收敛速度和更高的求解精度.     

一类推广的共轭梯度法及其全局收敛性

共轭梯度法是求解非线性优化问题的一种重要方法.通过对共轭梯度法及其全局收敛性的分析,提出一个新的非线性共轭梯度公式,采用该公式和Wolfe非精确线搜索的方法是全局收敛的.文末的数值实验验证了算法是有效的.     

适合于BP学习的共轭梯度法

基于ＬＭＳ的标准ＢＰ算法收敛速度极慢，而共轭梯度法要求精确的线性搜索，这在神经网络的高维权空间中是难以实现的。本文提出了一种新的ＢＰ学习算法，它采用一种对线性搜索要求不高的改进的共轭梯度法与一种简单的不精确线性搜索相结合，极大地提高了ＢＰ学习速度。经多次测试表明，与标准ＢＰ算法相比，该算法的效率提高了二个数量极。     

工程优化中最速下降法的加速技巧

利用向量ε－算法对工程优化中的最速下降法作了改进，使其收敛速度由原来的一阶提高到二阶，同时保留了原方法结构简单，计算量少等优点，数值计算结果表明，改进后的最速下降法的确是一种有效的计算方法。     

一种带扰动项的修正PRP共轭梯度法的全局收敛性

提出了一种搜索方向带扰动项的修正PRP共轭梯度法。在主方向充分下降的情况下,证明采用强wolfe搜索时,算法是全局收敛的。最后给出了初步的数值试验结果。     

无约束最优化图像重建算法研究

在无约束最优化为基础的图像重建问题中,为了提高迭代效率以及重建图像质量,首次提出将变度量法应用到图像重建中.分别给出了变度量法,最速下降法和共轭梯度法的算法描述,并且分析了这些方法的优缺点.变度量法在迭代效率和重建图像质量方面优于其它两种算法.通过模拟实验,分别对这三种算法进行了迭代次数和重建图像质量的比较,结果证明了变度量法的优越性.     

改进的凸组合最小均方算法

凸组合最小均方（CLMS）算法能够克服传统最小均方算法收敛速率、跟踪性能和稳态误差之间的矛盾. 但传统CLMS算法使用最速下降法推导参数导致其搜索路径呈“之”字形而使收敛速率变慢,为了解决这个问题,采用共轭梯度法实现参数的更新,同时使用双曲正切函数拟合Sigmoid函数来降低算法的运算复杂度. 为进一步提高算法性能,在所设计的基础上附加瞬时转移结构实现优化. 仿真结果证明,改进算法与传统CLMS、变步长CLMS相比,在噪声、相关信号输入以及非平稳环境下能够保持较好的均方性能和跟踪性能.