基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

求解多集分裂可行问题的一种共轭梯度法

基于求解多集分裂可行问题与非线性最优化问题的等价性,考虑Jinling Zhao and Qingzhi Yang在[1]中提出的求解SFP的共轭梯度法和Censor等在[2]中提出的梯度投影法,尝试运用共轭梯度法求解多集分裂可行问题;并且证明了所构造算法的收敛性．提出的新算法克NT求矩阵逆的缺点．初步的数值结果表明新算法对于不同的问题都能够有较快的收敛速度,具有良好的稳定性和可行性,在问题维数增大时表现得越发明显．     

Pi-sigma神经网络的乘子法随机单点在线梯度算法*

在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法,将有约束问题转换为无约束问题,利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性,仿真实验结果验证了算法的有效性。     

定步长压缩感知锥束CT重建算法

针对锥束CT成像系统中投影数据不完全的图像重建问题,提出了一种定步长压缩感知锥束CT重建算法。首先将锥束CT重建问题归结为投影数据均方误差作为数据保真项、全变分作为正则项的无约束优化问题,分析目标函数的Lipschitz连续性;然后近似计算Lipschitz常数,求出梯度下降步长,利用梯度下降法进行重建;最后对CT投影数据采用联合代数重建算法更新重建图像。在每次迭代过程中调整梯度下降步长,提高重建算法的收敛速度。Shepp-Logan模型的无噪声实验结果表明,该算法的重建图像信噪比分别比联合代数重建算法、自适应最速下降-凸集投影算法、BB梯度投影算法的重建图像信噪比高出13.7728 dB、12.8205 dB、7.3580 dB。仿真试验表明该重建算法提高了收敛速度,同时减少了重建图像的相对误差,极大提高了用少量投影数据重建的图像质量。     

定步长压缩感知锥束CT重建算法

针对锥束CT成像系统中投影数据不完全的图像重建问题,提出了一种定步长压缩感知锥束CT重建算法。首先将锥束CT重建问题归结为投影数据均方误差作为数据保真项、全变分作为正则项的无约束优化问题,分析目标函数的Lipschitz连续性;然后近似计算Lipschitz常数,求出梯度下降步长,利用梯度下降法进行重建;最后对CT投影数据采用联合代数重建算法更新重建图像。在每次迭代过程中调整梯度下降步长,提高重建算法的收敛速度。Shepp-Logan模型的无噪声实验结果表明,该算法的重建图像信噪比分别比联合代数重建算法、自适应最速下降-凸集投影算法、BB梯度投影算法的重建图像信噪比高出13.7728dB、12.8205dB、7.3580dB。仿真试验表明该重建算法提高了收敛速度,同时减少了重建图像的相对误差,极大提高了用少量投影数据重建的图像质量。     

基于改进PSO算法的机动通信保障任务分配方法

针对机动通信保障问题建立任务分配模型,结合梯度下降法提出一种基于改进粒子群算法(TSPSO)的任务分配模型求解方法.在TSPSO算法中增加判断极值陷阱、粒子二次搜索、设定禁忌区域、粒子淘汰与生成4个部分,并将TSPSO算法与其他4种改进PSO算法应用于四种典型测试函数的优化.结果表明,TSPSO算法收敛精度更高、收敛速度更快.在基于TSPSO算法的任务分配模型求解方法中,基于各机动通信保障单元到不同通信地点分配概率的思想对粒子群进行编码和解码,提高模型求解效率.仿真结果表明,TSPSO算法能够快速寻找到机动通信保障任务最优分配方案.     

两相图像变分分割凸松弛模型快速算法

主要研究两相图像分割凸模型的三类快速数值算法.首先,分别针对无约束和有约束的图像分割凸模型分别提出相应的具有O(1/k)阶收敛速率的梯度投影算法,并结合快速迭代收缩算法的加速收敛策略,将所提出的梯度投影算法的收敛速率从O(1/k)阶提高到O(1/k2)阶;其次,基于分块协调下降的思想,对无约束的图像分割凸模型采用Newton法求解,该算法不仅是单调下降的,而且具有二阶收敛性;然后,根据交互式迭代算法的思想,在约束模型的Fenchel原始-对偶形式的基础上,提出了一种通过原始变量和对偶变量交互式混合迭代求解的算法,所提出的算法在求解过程中避免了梯度算子和散度算子作用于未知变量,使得迭代形式更简单;最后,仿真实验表明了这3类算法的有效性和在收敛速率上的优势.     

基于FR共轭梯度的SAR图像重构方法

合成孔径雷达(SAR)图像含有丰富的高频细节纹理信息。结合这一特点,提出了一种基于Fletcher-Reeves(FR)光滑零范数(FRSL0)的压缩感知SAR图像重构方法。该方法的基础理论为光滑L0范数算法(SL0)思想以及压缩感知理论。使用简单的分式函数对离散的L0范数进行拟合,从而对这一问题进行优化处理。相对于SL0算法中使用的高斯拟合函数,在迭代计算过程中能极大地减少运算量与计算复杂度。为了提高求解函数最优化的效率,利用梯度投影原理以及FR共轭梯度法对其下降方向进行推导,进而使问题的求解更加接近最优。相关仿真试验证明,在试验外部条件相同的情况下,与其他同一类型的SAR图像重构算法相比,在重构精度以及收敛速度等方面,这一算法均表现优异。     

嵌入共轭梯度法的混合蛙跳算法

针对基本蛙跳算法在处理复杂函数优化问题时求解精度低且易陷入局部最优的缺点,提出了一种嵌入共轭梯度法的混合蛙跳算法。该算法在基本蛙跳算法划分模因组的基础上引入共轭梯度法,由于基本蛙跳算法模因组的划分规则,使得排在最后的青蛙子群个体位置较差,严重影响着整个群体的寻优速度,因而选取排列在后面的一部分模因组使用共轭梯度法进行求解,这使得算法在进化中后期易跳出局部最优,提高了算法的收敛精度。所得混合蛙跳算法有效结合了基本蛙跳算法较强的全局搜索能力和共轭梯度法快速精确的局部搜索能力。数值实验结果表明,所提出的改进蛙跳算法较基本蛙跳算法具有更高的收敛精度,避免了陷入局部最优的缺点,且优化结果更加稳定。     

基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的、基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验表明,该算法比其他学习算法的识别率高,并能较快地收敛到极小值。     

序列泛函网络模型及其学习算法与应用

通过对泛函网络的分析,提出了一种序列泛函网络模型及学习算法,而网络的泛函参数利用梯度下降法来进行学习.在此基础上,给出了9种典型泛函方程对应的序列泛函网络求解模型以及一种基于序列泛函网络学习算法的求解泛函方程方法.通过算例进行仿真实验,结果表明,该方法十分有效,具有收敛速度快、计算精度高、泛化性能好等特点,解决了传统的数值方法难以求解泛函方程这个问题.该方法可用于一般泛函方程求解问题.     

大型复线性方程组预处理双共轭梯度法

当复线性方程组的规模较大或系数矩阵的条件数很大时,系数矩阵易呈现病态特性,双共轭梯度法存在不收敛和收敛速度慢的潜在问题,采用适当的预处理技术,可以改善矩阵病态特性,加快收敛速度。从实型不完全Cholesky分解预处理方法出发,构造了一种针对复线性方程组的预处理方法,结合双共轭梯度法,给出了一种预处理双共轭梯度法。数值算例表明该算法求解速度快,可靠高效,能够应用于大型复线性方程组的求解。     

基于梯度动力学的协同神经网络学习算法的改进

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛。通过对汉字图像库和人脸图像库的图像识别实验,表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值。     

一种改进的基于梯度动力学的协同神经网络学习算法

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法.该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛.通过对汉字图象库和人脸图象库的图象识别实验表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值.     

一种改进的EMD目标跟踪方法

DEMD（Differential Earth Mover’s Distance）跟踪算法采用归一化的EMD模型作为相似性函数,在推导相似性函数梯度时,假定颜色模型中某一区间权重发生改变时其他区间的权重等比例变化,这种假定在很多情况下并不合理。另外,DEMD算法沿着梯度方向以一个像素为步长进行迭代,收敛速度较慢。为了解决上述问题,提出了一种改进的EMD目标跟踪算法。该方法使用未归一化的EMD模型作为相似性函数,通过线性规划中的两阶段法求解EMD距离并推导出相应的均值漂移算法。实验表明,改进算法具有更好的跟踪性能而且收敛速度更快。     

一种求解非线性方程组的混合优化算法及程序实现

非线性方程组求解是工程实践与理论研究中的一个典型问题。传统的方法主要有梯度法、Newton迭代法等。该文综合修正Newton法与梯度法的各自优势,对非线性方程组的求解问题提出了一种混合方法并用C语言编码实现该算法。将两种方法相结合,使其相互取长补短,在迭代初始值不太好的情况下也能保证收敛性,同时加快收敛速度,数值结果表明该算法是有效的。     

最速下降与共轭梯度在数字波束形成中的研究

在自适应波束形成技术中,共轭梯度法是求解最优化问题的一种常用方法,最速下降法在不需要矩阵求逆的情况下,通过递推方式寻求加权矢量的最佳值。文中将最速下降法与共轭梯度法有机结合,构造出一种混合的优化算法。该方法在每次更新迭代过程中,采用负梯度下降搜索方向,最优自适应步长,既提高了共轭梯度算法的收敛速度,又解决了最速下降法在随相关矩阵特征值分散程度增加而下降缓慢的问题,具有收敛速度快,运算量低的特点。计算机仿真给出了五阵元均匀线阵的数字波束形成系统实例,分别从波束形成、误差收敛及最佳权值等方面与传统LMS 算法进行了比较分析,结果表明了该方法的可行性与有效性。     

一种新的自适应步长梯度投影法

梯度投影法是一种求解约束优化问题的经典算法.它具有单步计算量低等优点,但其效率受步长规则影响较大.本文提出的一种新的自适应步长规则的梯度投影法.该算法一方面,它无需函数值信息;另一方面,它的步长接受规则比Armijo规则更为宽松,因而可以接受较长的步长以加速收敛.初步的数值实验表面新算法较为高效.     

梯度有偏情形非光滑问题NAG的个体收敛性

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.     

基于BFGS计算力场的GVF Snake模型及其应用实现

梯度向量流模型(GVF Snake)在图像处理领域取得较好的效果.但它简单的迭代运算方法,其收敛速度慢,限制了其应用.针对梯度向量场的计算,提出一种基于BFGS算法求解力场的方法,给出详细的求解过程并并且通过计算机仿真进行数值求解,最后将改进后的GVF Snake模型用于图像处理.结果表明, BFGS-GVF建立的梯度向量场性能较好.与图像处理中的牛顿几何轮廓算法、CV活动轮廓算法及IALM-GVF Snake算法进行对比, BFGS-GVF Snake算法能得到清晰、光滑的图像轮廓.