一类广义拟牛顿算法的收敛性分析

根据提出的一种广义拟牛顿方程,推导出了一族广义拟牛顿校正公式,并给出了相应的广义拟牛顿算法。该算法具有很强的广泛性,它不仅包含了Zhang和焦宝聪提出的算法,还使得著名的B royden族成为它的一种特殊形式。实例证明:新的广义拟牛顿算法在一致凸的条件下具有整体收敛性和局部超线收敛性。     

一种基于弱拟牛顿方程的单调梯度法的收敛性

基于弱拟牛顿方程,Leong W J等人提出了一种单调梯度法,该算法在每次迭代时利用对角矩阵逼近Hessian矩阵,使计算量和存储量明显减少,并且此算法对凸函数具有收敛性。在此算法的基础上,进一步研究了算法对于一般函数的收敛性,并证明了在一定的假设条件下算法仍具有全局收敛性、R-线性收敛性和超线性收敛性。     

修正的两步BFGS算法的全局收敛性

拟牛顿方法在无约束优化中起着核心的作用。修正的两步拟牛顿法是在两步拟牛顿法基础上,构造一个修正的带有向量参数的多步拟牛顿方程。主要讨论在目标函数一致凸的条件下,基于该修正方程的两步BFGS算法的全局收敛性。     

基于熵方误差的QuasiNewton前馈神经网络

为了提高前馈神经网络学习算法的收敛速度 ,尝试定义熵方误差函数 ,在理论上证明了熵方误差函数的有效性 ,并将其应用于拟牛顿 (QuasiNewton)前馈神经网络。最后与使用其他误差函数的网络算法进行对比实验 ,结果表明引入熵方误差函数的前馈神经网络具有良好的收敛性与稳定性。     

基于三阶拟牛顿方程的对角三阶拟牛顿法

基于三阶拟牛顿方程,结合Zhang H.C.提出的非单调线搜索规则设计了求解大规模无约束优化问题的对角三阶拟牛顿算法。该算法在每次迭代中利用对角矩阵逼近Hessen矩阵的逆,使存储量和计算量明显减少,并且证明了算法的全局收敛性和超线性收敛性。数值试验表明该算法是有效的。     

极大极小问题的光滑信赖域拟牛顿法

利用函数逼近论的思想和数学规划最优解的稳定性理论,提出了一种求解非线性约束的极大极小问题的信赖域拟牛顿算法,并且该算法具有全局收敛性,初步的数值试验表明,对于该类极大极小问题,该算法具有良好的数值表现.     

基于新拟牛顿方程的一类改进BFGS算法

针对无约束最优化问题，在已建立的一类新拟牛顿方程Bk 1sk=yk=yk (γk/sk^Tsk)sk的基础上，证明了满足新拟牛顿方程的一类改进BFGS算法在修正矩阵Bk中参数tk满足|1-tk|≤t‘‖sk‖（t‘为任一常数)，且目标函数一致凸的条件下，具有全局收敛性．基于新方程的改进BFGS算法产生的修正矩阵比传统拟牛顿方程产生的修正矩阵更接近于Hessian矩阵．     

一个新的求解非线性等式约束的QP-free非可行域方法

提出了一个求解非线性等式约束优化问题的无罚函数无滤子的非单调QP-free非可行域方法.利用乘子和原始变量,构造一个等价于原约束问题一阶最优KKT条件的方程组.通过牛顿-拟牛顿迭代得到满足一阶KKT条件的解.采用了非单调的无罚函数无滤子线搜索方法,每次迭代使得目标函数或者约束违反度函数具有充分的非单调下降,可以取得更好的试探步长.该算法具有全局收敛性,在较弱条件下可以证明该方法具有超线性收敛性.     

求解半光滑KKT等式算法的快速收敛性

讨论了利用NCP函数将KKT条件转化为与之等价的一个半光滑等式,并针对求解这个半光滑KKT等式的混合拟牛顿算法,在比较弱的条件下,证明了算法所计算的序列中原问题变量的超线性收敛性.     

基于新拟牛顿方程的拟牛顿法的全局收敛性分析

研究了基于新牛顿方程的Broyden类拟牛顿法的全局收敛性,得到了与传统拟牛顿方程的相应结果完全相同的结论．