首页 | 官方网站   微博 | 高级检索  
     

Ridge Polynomial神经网络带动量项异步梯度算法的收敛性
引用本文:喻昕,唐利霞,于琰.Ridge Polynomial神经网络带动量项异步梯度算法的收敛性[J].计算机科学,2013,40(12):116-121.
作者姓名:喻昕  唐利霞  于琰
作者单位:广西大学计算机与电子信息学院 南宁530004;广西大学计算机与电子信息学院 南宁530004;广西大学计算机与电子信息学院 南宁530004
基金项目:本文受国家自然科学基金项目(61063045),广西科技攻关项目(桂科攻11107006-1),广西教育厅项目(TLZ100715)资助
摘    要:将动量项引入到Ridge Polynomial神经网络异步梯度训练算法的误差函数中,有效地改善了算法的收敛效率,并从理论上分析了Ridge Polynomial神经网络的带动量项的异步梯度算法的收敛性,给出了算法的单调性和收敛性(包括强收敛性和弱收敛性)。算法的这些收敛性质对于如何选取学习率和初始权值来进行高效的网络训练是非常重要的。最后通过计算机仿真实验验证了带动量项的异步梯度算法的高效性和理论分析的正确性。

关 键 词:Ridge  Polynomial神经网络  异步梯度算法  动量项  单调性  收敛性  中图法分类号TP183文献标识码A
收稿时间:2013/5/21 0:00:00
修稿时间:7/9/2013 12:00:00 AM

Convergence of Asynchronous Gradient Method with Momentum for Ridge Polynomial Neural Networks
YU Xin,TANG Li-xia and YU Yan.Convergence of Asynchronous Gradient Method with Momentum for Ridge Polynomial Neural Networks[J].Computer Science,2013,40(12):116-121.
Authors:YU Xin  TANG Li-xia and YU Yan
Affiliation:School of Computer,Electronics and Information,Guangxi University,Nanning 530004,China;School of Computer,Electronics and Information,Guangxi University,Nanning 530004,China;School of Computer,Electronics and Information,Guangxi University,Nanning 530004,China
Abstract:
Keywords:Ridge polynomial neural networks  Asynchronous gradient algorithm  Momentum  Monotonicity  Convergence
点击此处可从《计算机科学》浏览原始摘要信息
点击此处可从《计算机科学》下载全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司    京ICP备09084417号-23

京公网安备 11010802026262号