首页 | 官方网站   微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 150 毫秒
1.
§1 算法模型利用函数的梯度求解无约束优化问题的各种下降方法,求解约束最优化问题的梯度投影法、梯度投影恢复算法、缩简梯度法和一些能行方向法,均具有线性的终端收敛速度。但是这个结果的证明非常繁复,并且是对各个方法单独进行的。当考虑到它们在计算机上实现的各种误差处理时,情况显得更加复杂,使得算法的收敛性和收敛速度的分析不易进行。为了克服这个困难,目前已建立起抽象的算法模型,可以统一地处理这些算法的收敛  相似文献   

2.
基于梯度动力学的协同神经网络学习算法的改进   总被引:3,自引:0,他引:3  
本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的、基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验表明,该算法比其他学习算法的识别率高,并能较快地收敛到极小值。  相似文献   

3.
陈丽  戚飞虎 《计算机应用与软件》2005,22(1):98-99,144,F003
本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验,表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值。  相似文献   

4.
基于求解多集分裂可行问题与非线性最优化问题的等价性,考虑Jinling Zhao and Qingzhi Yang在[1]中提出的求解SFP的共轭梯度法和Censor等在[2]中提出的梯度投影法,尝试运用共轭梯度法求解多集分裂可行问题;并且证明了所构造算法的收敛性.提出的新算法克NT求矩阵逆的缺点.初步的数值结果表明新算法对于不同的问题都能够有较快的收敛速度,具有良好的稳定性和可行性,在问题维数增大时表现得越发明显.  相似文献   

5.
本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法.该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛.通过对汉字图象库和人脸图象库的图象识别实验表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值.  相似文献   

6.
传统的梯度算法存在收敛速度过慢的问题,针对这个问题,提出一种将惩罚项加到传统误差函数的梯度算法以训练递归pi-sigma神经网络,算法不仅提高了神经网络的泛化能力,而且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,相比不带惩罚项的梯度算法提高了收敛速度。从理论上分析了带惩罚项的梯度算法的收敛性,并通过实验验证了算法的有效性。  相似文献   

7.
《计算机工程与科学》2017,(10):1958-1965
针对基本蛙跳算法在处理复杂函数优化问题时求解精度低且易陷入局部最优的缺点,提出了一种嵌入共轭梯度法的混合蛙跳算法。该算法在基本蛙跳算法划分模因组的基础上引入共轭梯度法,由于基本蛙跳算法模因组的划分规则,使得排在最后的青蛙子群个体位置较差,严重影响着整个群体的寻优速度,因而选取排列在后面的一部分模因组使用共轭梯度法进行求解,这使得算法在进化中后期易跳出局部最优,提高了算法的收敛精度。所得混合蛙跳算法有效结合了基本蛙跳算法较强的全局搜索能力和共轭梯度法快速精确的局部搜索能力。数值实验结果表明,所提出的改进蛙跳算法较基本蛙跳算法具有更高的收敛精度,避免了陷入局部最优的缺点,且优化结果更加稳定。  相似文献   

8.
基于模拟退火算法的多道逆向蚁群算法   总被引:2,自引:2,他引:0       下载免费PDF全文
为克服现有蚁群算法运算过程中易出现停滞现象、收敛速度慢等缺点,提出了一种基于模拟退火策略的多道逆向蚁群算法。通过向原始蚁群中引入逆向蚂蚁,并结合模拟退火思想确定蚁群中逆向蚂蚁的数目,来提高算法全局寻优能力。在算法执行过程中一组蚂蚁分成几群并行运算,通过交换策略,有效地利用了当前最优解,提高了算法收敛速度。将该算法应用于旅行商问题的求解,仿真实验结果表明该算法的全局寻优能力和收敛速度都得到了很大改善。  相似文献   

9.
人工鱼群算法是一种群智能全局随机优化算法,存在算法收敛精度低和效率差的缺点。为克服这一缺点,利用最速下降法具有运算简单、运算速度较快的特点,提出了对精英加速的改进人工鱼群算法。该算法利用最速下降法对适应度值最好的人工鱼更新,通过人工鱼之间信息交换指导其他人工鱼,提高鱼群整体水平,加快人工鱼群算法收敛速度。数值试验结果表明,所得改进人工鱼群算法不仅运算量减少,而且具有更快的收敛速度和更高的收敛精度。改进算法提高收敛精度和运算效率,相较其他算法具有一定优势。  相似文献   

10.
分布式人工蜂群免疫算法求解函数优化问题   总被引:1,自引:0,他引:1  
为了克服人工蜂群算法由于开发能力较弱而导致收敛速度慢、搜索精度不高等缺点,结合子蜂群思想和免疫克隆选择算法,提出一种基于分布式精英进化模型的人工蜂群免疫算法。首先对外层子蜂群进行启发式快速人工蜂群操作以提高收敛速度;然后对内层精英蜂群进行免疫克隆选择操作,进一步提高了算法的收敛精度和全局搜索能力。仿真结果表明了该算法在求解函数优化问题上的有效性和优越性。  相似文献   

11.
Xiong Y  Wu W  Kang X  Zhang C 《Neural computation》2007,19(12):3356-3368
A pi-sigma network is a class of feedforward neural networks with product units in the output layer. An online gradient algorithm is the simplest and most often used training method for feedforward neural networks. But there arises a problem when the online gradient algorithm is used for pi-sigma networks in that the update increment of the weights may become very small, especially early in training, resulting in a very slow convergence. To overcome this difficulty, we introduce an adaptive penalty term into the error function, so as to increase the magnitude of the update increment of the weights when it is too small. This strategy brings about faster convergence as shown by the numerical experiments carried out in this letter.  相似文献   

12.
This paper investigates an online gradient method with penalty for training feedforward neural networks with linear output. A usual penalty is considered, which is a term proportional to the norm of the weights. The main contribution of this paper is to theoretically prove the boundedness of the weights in the network training process. This boundedness is then used to prove an almost sure convergence of the algorithm to the zero set of the gradient of the error function.  相似文献   

13.
In this paper, the deterministic convergence of an online gradient method with penalty and momentum is investigated for training two-layer feedforward neural networks. The monotonicity of the new error function with the penalty term in the training iteration is firstly proved. Under this conclusion, we show that the weights are uniformly bounded during the training process and the algorithm is deterministically convergent. Sufficient conditions are also provided for both weak and strong convergence results.  相似文献   

14.
In this brief, we consider an online gradient method with penalty for training feedforward neural networks. Specifically, the penalty is a term proportional to the norm of the weights. Its roles in the method are to control the magnitude of the weights and to improve the generalization performance of the network. By proving that the weights are automatically bounded in the network training with penalty, we simplify the conditions that are required for convergence of online gradient method in literature. A numerical example is given to support the theoretical analysis.   相似文献   

15.

针对BP 训练方式采用梯度法易导致局部收敛的不足, 提出一种融合进食粒子群算法(EPSO) 和梯度法的Elman 网络优化方法. 首先, 通过模拟鸟群进食行为得到一种EPSO 算法, 以改善标准PSO 的全局性能; 然后, 将EPSO 用于Elman 网络权值的全局优化, 同时将梯度法用于EPSO 的进食过程局部搜索, 以提高解的局部收敛性能; 最后, 将该网络优化方法用于飞行轨迹预测实验, 仿真结果表明了其有效性.

  相似文献   

16.
一种用于非线性控制的神经网络模糊自组织控制器   总被引:5,自引:0,他引:5  
本文提出一种神经网络自组织控制器,并应用于非线性跟踪控制中,为了加快模糊控制器的在线学习,文中给出了一种变的最速梯度下降学习算法,仿真结果表明,该控制是有效的。  相似文献   

17.
在自适应波束形成技术中,共轭梯度法是求解最优化问题的一种常用方法,最速下降法在不需要矩阵求逆的情况下,通过递推方式寻求加权矢量的最佳值。文中将最速下降法与共轭梯度法有机结合,构造出一种混合的优化算法。该方法在每次更新迭代过程中,采用负梯度下降搜索方向,最优自适应步长,既提高了共轭梯度算法的收敛速度,又解决了最速下降法在随相关矩阵特征值分散程度增加而下降缓慢的问题,具有收敛速度快,运算量低的特点。计算机仿真给出了五阵元均匀线阵的数字波束形成系统实例,分别从波束形成、误差收敛及最佳权值等方面与传统LMS 算法进行了比较分析,结果表明了该方法的可行性与有效性。  相似文献   

18.
This paper investigates the split-complex back-propagation algorithm with momentum and penalty for training complex-valued neural networks. Here the momentum are used to accelerate the convergence of the algorithm and the penalty are used to control the magnitude of the network weights. The sufficient conditions for the learning rate, the momentum factor, the penalty coefficient, and the activation functions are proposed to establish the theoretical results of the algorithm. We theoretically prove the boundedness of the network weights during the training process, which is usually used as a precondition for convergence analysis in literatures. The monotonicity of the error function and the convergence of the algorithm are also guaranteed.  相似文献   

19.
为克服BP算法易陷入局部最小的缺点,同时为减少样本数据维数,提出一种基于主成分分析(PCA)的遗传神经网络方法。通过降维和去相关加快收敛速度,采用改进的遗传算法优化神经网络权值,利用自适应学习速率动量梯度下降算法对神经网络进行训练。MATLAB仿真实验结果表明,该方法在准确性和收敛性方面都优于BP算法,应用于入侵检测系统中的检测率和误报率明显优于传统方法。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号