鞍点梯度法、鞍点共轭梯度法

本文根据文献[1]、[2]、[3]所提出的鞍点逼近算法,提出两种新型算法。这两种算法有如下重要意义。①将计算鞍点问题转化为求二次极值问题;②用新方法计算鞍点可以在有限步达到最优解;③用新方法求解线性规划问题具有多项式算法性质;④引出差梯度的新概念。     

能克服鞍点的并行计算寻优算法

为有效解决在求解具有鞍点的无约束最优化问题时寻优算法提前终止的问题,提出了一种能克服鞍点的计算机并行计算寻优算法。该算法以共轭梯度法为基础,对该算法寻优终止的条件进一步改进,提出当算法迭代到鞍点时,选择雅克比矩阵的所有正特征值对应的特征向量所对应的方向作为新的搜寻方向,重新搜索且并行计算取最优。最后通过实例验证了该算法能成功克服鞍点,并成功收敛到函数的极小值。     

正则化HSS预处理鞍点矩阵的多尺度算法

针对鞍点求解结果收敛速度慢、CPU消耗时间较长等问题,提出一种正则化HSS预处理鞍点矩阵的多尺度算法.运用最优正则化方法确定正则参数,得到计算最优正则参数公式;通过HSS方法完成系数矩阵预处理,得到新的预处理子NHSS;为了更加具体地分析预处理后的鞍点矩阵多尺度算法特征值分布形态,择优选取预处理子参数,确保算法收敛速率.通过仿真,结果表明所提算法可以提升鞍点矩阵方程求解的收敛速率,减少计算过程的CPU占用率,具有较好的鲁棒性,在大规模线性方程运算中可进行广泛应用.     

线性二次微分对策鞍点策略的小波分析法

研究线性二次微分对策鞍点策略的数值求解问题,基于小波多尺度多分辨逼近特性,提出一种求解新方法。该方法将原问题转化为代数问题,算法简捷明了,适合于计算机求解。数值例子表明该方法是合理而可行的。     

基于数学规划条件的粘连颗粒图像鞍点搜寻

鞍点在图像粘连对象分割的过程中起着非常关键的作用,目前已有若干以分割为目的的鞍点搜索算法,但在其简捷性、鲁棒性等方面仍有改善的余地。提出一种基于数学规划条件的颗粒图像鞍点搜寻新方法。该方法首先根据颗粒图像3维地貌化后得到的像素空间分布信息,利用数学规划原理提出颗粒图像的鞍点规划条件,然后根据其条件进行鞍点检测。将提出的算法应用在真实粘连颗粒图像上,实验结果表明,该算法具有较高的准判率,为颗粒图像的分割以及相关后续处理奠定了理论分析基础。     

一类大规模稀疏矩阵特征问题求解的并行算法

本文提出一种求解大规模稀疏矩阵特征问题的并行共轭梯度算法.为了提高算法的并行效率,设计了负载平衡的行划分方式,实现了计算和通信重叠的稀疏矩阵重排序方法,通过预处理减少计算过程中各进程间消息传递的通信量.另外,基于多核处理器高性能并行计算,实现了MPI和细粒度(线程级)OpenMP混合并行算法.在深腾7800并行计算机上对并行算法进行了测试,结果表明在进程数增多时并行算法可保持通信时间稳定性,在并行计算机上有很好的扩展性,适合大规模稀疏特征问题的求解.     

神经网络中处理鞍点的LMBP改进算法

针对目前神经网络中的Levenberg-Marquardt反向传播(LMBP)算法在训练过程中有可能迭代到鞍点的问题,提出一种能有效克服鞍点的LMBP改进算法。计算鞍点处雅克比矩阵的正特征值对应的特征向量并将其作为新的搜索方向。通过实例对比传统LMBP算法与改进LMBP算法的效果,证明改进的算法能有效地脱离鞍点并进一步收敛到极小点处。     

基于对分法求解线性规划问题的神经网络方法

从数值逼近的方法出发,结合对分法的思想,提出了一种新的神经网络计算模型,我们称为对分神经网络BNN(BisectNeuralNetwork)模型;给出了一种基于对分法思想的神经网络学习算法,并用于求解线性规划问题,其目的是给线性规划求解问题提供一个新方法。     

求解大型稀疏鞍点问题的对称超松弛方法

为了快速有效地求解大型稀疏鞍点问题,在SOR-like迭代算法的基础上,结合SSOR分裂,构造了一种解鞍点问题的SSOR-like迭代算法,并研究了该算法的收敛性。数值例子证明:通过参数值的选择,SSOR-like算法比SOR-like算法具有更快的收敛速度和更小的迭代次数,选择了合适的参数值后,可以大大提高算法的收敛效率。     

复奇异鞍点问题预条件修正AHSS法的半收敛性

提出了求解一类复奇异鞍点问题的预条件修正AHSS法。研究了所提出的新方法的半收敛性。对任意的正迭代参数,得到了所提出的新方法的半收敛定理。数值实验说明,新方法比HSS法求解鞍点问题时更有效。     

分数阶原始对偶去噪模型及其数值算法

目的：本文结合分数阶微积分理论和对偶理论,提出了一种与分数阶ROF去噪模型等价的分数阶原始对偶模型。从理论上分析了该模型与具有鞍点结构的优化模型在结构上的相似性,从而可使用求解鞍点问题的数值算法求解该模型。方法：使用求解鞍点问题的基于预解式的原始对偶算法对提出模型进行求解,并采用自适应变步长迭代优化策略提高寻优效率,弥补了传统数值算法对步长要求过高的缺陷。同时论证了确保算法收敛性的参数取值范围。结果：实验结果表明,提出的分数阶原始对偶模型能够有效地抑制“阶梯效应”,保护纹理和细节信息,同时采用的数值算法具有较快的收敛速度。结论：本文提出了一种分数阶原始对偶去噪模型,该模型可采用一种基于预解式的原始对偶算法进行求解。实验结果表明,提出的模型能有效改善图像的视觉效果,采用的数值算法能有效快速收敛。     

两种混合共轭梯度法的全局收敛性

基于利用修正HS方法提高算法效率和利用DY方法保证算法的全局收敛性等思想,分别在不同条件下提出两种新的混合共轭梯度法求解大规模无约束优化问题.在一般Wlolfe线搜索下不需给定下降条件,证明了两个算法的全局收敛性,数值实验表明所提出算法的有效性,特别对于某些大规模无约束优化问题,数值表现较好.     

一种求解鞍点问题的广义预条件对称一反对称分裂迭代法

鞍点问题的来源和应用都很广泛，如计算流体力学，约束最优化，约束加权最小二乘问题等。寻求快速有效地求解这类问题的算法具有很重要的现实意义．在白中治，Golub和潘建瑜提出的预条件对称／反对称分裂迭代法（PHSS）的基础上，通过引入新的待定参数对原有迭代算法进行加速的思想，本文提出了一种解鞍点问题的具有两个待定参数的广义预条件对称／反对称分裂迭代法（GPHSS），并给出了该算法收敛性的条件．数值例子表明：通过最优参数值的选择，新算法比PHSS算法具有更快的收敛速度和更小的迭代次数，选择了最优参数值后，可以提高算法的收敛效率．     

基于信赖域Newton 算法的ELM网络

针对极端学习机(ELM)网络伪逆输出权值计算方法的运算复杂度制约其训练速度问题,提出一种基于信赖域Newton算法的新型ELM网络(TRON-ELM),并采用信赖域Newton算法求解ELM网络的输出权值.该算法首先构造一个ELM网络代价函数的Newton方程,并将其作为一个无约束优化问题,采用共轭梯度法求解,避免了求代价函数Hessian矩阵逆的运算,提高了训练速度,信赖域条件的存在保证了算法的整体收敛性.仿真实验结果验证了所提出方法的有效性.     

一类求解鞍点问题的推广的GSOR迭代法

为了快速有效地求解大型稀疏鞍点问题,在SOR-like迭代算法的基础上,通过引入新的待定参数对原有迭代算法进行加速的思想,构造了一种解鞍点问题的具有多个待定参数的一般加速超松弛迭代算法,并给出了该算法收敛性的条件。数值例子表明：通过参数值的选择,新算法比SOR-like和GSOR算法都具有更快的收敛速度和更小的迭代次数,选择了合适的参数值后,可以大大提高算法的收敛效率。     

基于鞍点搜索的粘连对象图像分割方法

针对图像中不规则形状物体接触的分割问题,提出一种采用Hessian矩阵来判断分割点（即鞍点）进行粘连对象分割的方法。根据对图像进行腐蚀操作得到的三维地貌图,结合鞍点的数学特性,运用Hessian矩阵的特征值对鞍点进行搜索定位,沿经过鞍点的最大梯度路径分割粘连对象。与目前已有的几种分割算法相比,该方法具有算法简捷、分割效果好以及易于实现的特点。     

一种针对大波数Helmholtz方程的高性能并行预条件迭代求解算法

针对传统串行迭代法求解大波数Helmholtz方程存在效率低下且受限于单机内存的问题,提出了一种基于消息传递接口(Message Passing Interface,MPI) 的并行预条件迭代法。该算法利用复移位拉普拉斯算子对Helmholtz方程进行预条件处理,联合稳定双共轭梯度法和基于矩阵的多重网格法来求解预条件方程离散后的大规模线性系统,在Linux集群系统上基于 MPI环境实现了求解算法的并行计算,重点解决了多重网格的并行划分、信息传递和多重网格组件的构建问题。数值实验表明,对于大波数问题,提出的算法具有良好的并行加速比,相较于串行算法极大地提高了计算效率。     

图形处理器对ADI-FDTD算法的加速作用研究

随着图形处理器(GPU)性能的大幅度提高以及可编程特性的发展,将通用数值算法的某些处理阶段从 CPU 迁移到 GPU 上已成为可能,从而达到加速计算的目的。首先简要介绍了一种常见的数值计算方法：交变方向隐式时域有限差分法（ADI-FDTD);然后详细论述了利用GPU加速ADI-FDTD计算的基本原理与关键技术,并给出了在GPU上求解ADI-FDTD线性方程组的共轭梯度法实现框架;最后,通过具体的计算实例和相关的性能比较验证了这种加速算法的精确性与效率特点。     

一种新型高效的计算机寻优算法

提出一种全新的寻找无约束最优解的计算机算法。该算法能使得目标函数梯度的模逐渐收缩到零,以达到目标函数极小化,因此命名“梯度收缩法”。它同时利用了牛顿法和共轭梯度法的优点,应用目标函数的二阶导数,收敛很快,且具有牛顿法的“二次终止”特性。但Hessian矩阵奇异时,牛顿法将无法进行下去,该文算法可以克服这个缺点且能快速确定是否收敛到一个鞍点。     

一种改进的基于梯度动力学的协同神经网络学习算法

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法.该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛.通过对汉字图象库和人脸图象库的图象识别实验表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值.