具有线性化技术的三块非凸不可分优化问题BregmanADMM收敛性分析

交替方向乘子法是求解两块可分离凸优化问题的有效方法,但是对于三块不可分的非凸优化问题的交替方向乘子法的收敛性可能无法保证.该文主要研究的是用线性化广义Bregman交替方向乘子法(L-G-BADMM)求解目标函数是三块不可分的非凸极小化问题的收敛性分析.在适当假设条件下,对算法中子问题进行求解并构建满足Kurdyka-Lojasiewicz性质的效益函数,经过理论证明可以得到该算法的收敛性.     

多块交替方向乘子法不收敛反例的几点注记

近年来,多块交替方向乘子法被广泛地应用在信号处理、图像处理、机器学习、工程计算等各个领域中,然而它的收敛性一直是一个悬而未决的公开问题;直至2016年,陈彩华等人给出了一个三维线性方程组构成的反例说明多块交替方向乘子法是可能发散的.结合陈等人的结果,现讨论了与此相关的三个问题:1)反例之所以发散是否由于初始点选择不够好?2)反例的发散是否因为它的可行域是单点集?3)是否能够在对偶变量更新中引入某一与问题无关的步长γ∈(0,1]使得小步长的交替方向乘子法变形收敛?从理论上对前两个问题给出了否定的回答,证明当初始点随机选取时,存在可行域不是单点集的例子,使得多块交替方向乘子法求解该问题时以概率1发散;从数值上否定了第三个问题,说明即使步长γ=10~(-8),多块交替方向乘子法也可能发散.     

关于一类潜在空间问题的数值计算

潜在空间模型是网络数据统计建模和可视化的有效工具.随着网络规模的不断扩大,潜在空间模型的计算也面临着巨大挑战.在本文我们应用对偶半邻近交替方向乘子法(dual semiproximal Alternating Direction Method of Multipliers,简称dsADMM)求解大型网络的通用潜在空间模型拟合问题.并在一些温和的条件下分析了该算法的全局收敛性.数值试验验证了该算法的有效性.     

一类自适应广义交替方向乘子法

广义交替方向乘子法是求解凸优化问题的有效算法.当实际问题中子问题难以求解时,可以采用在子问题中添加邻近项的方法处理,邻近矩阵正定时,算法收敛,然而这也会使迭代步长较小.最新研究表明,邻近矩阵可以有一定的不正定性.本文在基于不定邻近项的广义交替方向乘子法框架下,提出一种自适应的广义交替方向乘子法,动态地选择邻近矩阵,增大迭代步长.在一些较弱的假设下,证明了算法的全局收敛性.我们进行一些初等数值实验,验证了算法的有效性.     

非凸非光滑不可分离优化的线性对称邻近ADMM收敛性分析

交替方向乘子法(ADMM)是一种求解可分离优化问题的简单有效的方法,相关研究已经较为完善.然而,当目标函数存在耦合项时,对ADMM算法收敛性的研究还处于初期.文章针对非凸非光滑不可分离优化问题,基于对称交替方向乘子法(SADMM),结合线性化技术,提出了一种新的线性对称邻近ADMM.在一定的假设条件下,证明了算法生成的序列有界并收敛至增广拉格朗日函数的稳定点.其次,当辅助函数满足Kurdyka-Lojasiewicz性质时,证明了算法的强收敛性.最后,数值实验的结果表明了算法的有效性.     

基于交替方向乘子法的大规模线性多商品流问题求解算法

企业的商品流通配送问题是典型的线性多商品流问题.由于经营规模的扩大和全球化运营模式的推行,企业所面临的问题规模正变得空前巨大,数据存储也越来越分散,传统方法已无法适应求解需求.本文基于交替方向乘子法(ADMM)的可分解性,提出一类随机ADMM算法,将大规模的问题分解成多个、规模比较小的问题,并采取随机顺序去求解这些小问题以及对偶问题,最终得到原问题的最优解.算法克服了ADMM的直接拓展求解多块问题时可能发散的缺点,并采用MnetGen生成器随机生成的多个规模不同的线性多商品流问题对算法进行了测试,验证了算法的有效性和高效的求解效率.     

线性约束两分块非凸优化的ADMM-SQP算法

基于乘子交替方向法(ADMM)和序列二次规划(SQP)方法思想, 致力于研究线 性约束两分块非凸优化的新型高效算法. 首先, 以SQP思想为主线, 在其二次规划(QP)子问题的求解中引入ADMM思想, 将QP分解为两个相互独立的小规模QP求解. 其次, 借助增广拉格朗日函数和Armijo线搜索产生原始变量新迭代点. 最后, 以显式解析式更新对偶变量. 因此, 构建了一个新型ADMM-SQP算法. 在较弱条件下, 分析了算法通常意义下的全局收敛性, 并对算法进行了初步的数值试验.     

曲率障碍下四阶变分不等式的交替方向乘子法北大核心CSCD

对于重调和算子和曲率障碍表示的变分不等式,提出了自适应交替方向乘子数值解法(SADMM).对问题引入一个辅助变量表示曲率函数的增广Lagrange函数,导出一个约束极小值问题,并且该问题等价于一个鞍点问题.然后采用交替方向乘子法(ADMM)求解这个鞍点问题.通过采用平衡原理和迭代函数,得到了自动调整罚参数的自适应法则,从而提高了计算效率.证明了该方法的收敛性,并给出了利用迭代函数近似罚参数的具体方法.最后,用数值计算结果验证了该方法的有效性.     

随机椭圆最优控制问题的随机配置方法

本文讨论求解随机系数泊松方程约束最优控制问题的有效数值方法.通过应用有限元方法和随机配置法,将原最优控制问题离散转化为最优化问题,再利用交替方向乘子法求解最优化问题.之后,对所提出的算法进行了收敛性分析,并通过数值实验验证了算法的有效性.     

一种惯性邻近的Peaceman-Rachford分裂方法

严格压缩的Peaceman-Rachford(PR)分裂方法是一种收敛速度快于交替方向乘子法的求解线性约束可分离凸优化问题的有效方法.最近提出的半邻近PR分裂方法是严格压缩的PR分裂方法的一种改进方法.基于惯性邻近交替方向乘子法的思想,本文进一步改进了半邻近PR分裂方法,提出了一种惯性邻近PR分裂方法.该方法利用前两次产生的迭代点来产生新的迭代点,可以加速半邻近PR分裂方法的收敛.本文提出的方法具有一般性,它包含严格压缩的PR分裂方法和半邻近PR分裂方法作为特殊情形.在一定的假设下,本文证明了该算法产生的迭代序列的渐进可行性及函数值的收敛性,进而得到了迭代序列的全局收敛性.最后,本文通过数值试验说明了算法的有效性.     

修正乘子交替方向法求解三个可分离算子的凸优化

指出直接推广的经典乘子交替方向法对三个算子的问题不能保证收敛的原因, 并且给出将其改造成收敛算法的相应策略. 同时, 在一个统一框架下, 证明了修正的乘子交替方向法的收敛性和遍历意义下具有O(1/t)~收敛速率.     

地震时频分析的加权l_1范数稀疏正则化及交替方向乘子算法

地震时频分析在地震信号处理中具有重要意义.本文研究一种基于反演的稀疏算法来对反射地震记录进行时频分析.首先使用窗口逆Fourier变换来形成正演问题,然后建立一个加权l_1范数约束的最小化模型,用于求解未知模型参数向量(Fourier频率域系数).为了实现最小化问题,本文提出应用加权交替方向乘子法(ADMM)进行求解.数值试验部分针对短时Fourier变换(STFT)、连续小波变换(CWT)和本文提出的算法进行了对比结果分析.从比较结果可以看出,本文提出的优化模型和相关算法可以得到比STFT和CWT更高分辨率的地震数据的频谱分解.     

稀疏线性规划研究

稀疏线性规划在金融计算、工业生产、装配调度等领域应用十分广泛.本文首先给出稀疏线性规划问题的一般模型并证明问题是NP困难问题;其次采用交替方向乘子法(ADMM)求解该问题;最后证明了算法在近似问题上的收敛性.数值实验表明,算法在大规模数值算例上的表现优于已有的混合遗传算法;同时通过对金融实例的计算验证了算法及模型在稀疏投资组合问题上的有效性.     

一类单调变分不等式的非精确交替方向法

交替方向法适合于求解大规模问题.该文对于一类变分不等式提出了一种新的交替方向法.在每步迭代计算中,新方法提出了易于计算的子问题,该子问题由强单调的线性变分不等式和良态的非线性方程系统构成.基于子问题的精确求解,该文证明了算法的收敛性.进一步,又提出了一类非精确交替方向法,每步迭代计算只需非精确求解子问题.在一定的非精确条件下,算法的收敛性得以证明.     

非线性半定规划若干算法介绍

介绍近几年国际上求解非线性半定规划的若干有效新算法, 包括增广Lagrangian函数法、序列半定规划法、序列线性方程组法以及交替方向乘子法. 最后, 对非线性半定规划的算法研究前景进行了探讨.     

我和乘子交替方向法20年

1997 年, 交通网络分析方面的问题把我引进乘子交替方向法(ADMM)的研究领域. 近10 年来, 原本用来求解变分不等式的ADMM在优化计算中被广泛采用, 影响越来越大. 这里总结了20 年来我们在ADMM 方面的工作, 特别是近10 年 ADMM 在凸优化分裂收缩算法方面的进展. 梳理主要结果, 说清来龙去脉. 文章利用变分不等式的形式研究凸优化的ADMM 类算法, 论及的所有方法都能纳入一个简单的预测-校正统一框架. 在统一框架下证明算法的收缩性质特别简单. 通读, 有利于了解ADMM类算法的概貌. 仔细阅读, 也许就掌握了根据实际问题需要构造分裂算法的基本技巧. 也要清醒地看到, ADMM类算法源自增广拉格朗日乘子法 (ALM) 和邻近点 (PPA)算法, 它只是便于利用问题的可分离结构, 并没有消除 ALM和PPA等一阶算法固有的缺点.     

求解稀疏相位恢复问题的随机交替方向法(英文)

近年来稀疏相位恢复问题受到了越来越多的关注.本文提出了一种随机交替方法方法求解稀疏相位恢复问题,该算法采用硬阈值追踪算法求解带稀疏约束的最小二乘子问题.大量的数值实验表明,该算法可以通过O(s log n)次测量(理论上最少测量值)稳定的恢复n维s稀疏向量,并且在随机初值下可以获得全局收敛性.     

去除稀疏和结构化噪声的交替方向增强拉格朗日算法

图像和视频去噪是数字图像处理的必要环节之一.为了去除图像和视频中广泛存在的稀疏噪声和结构化噪声,提出了一种分离低秩矩阵、稀疏矩阵和结构化矩阵的优化模型一主成分离群点追求.在交替方向最小化思想的基础上,利用增强拉格朗日乘子法求解主成分离群点追求模型,设计了求解模型的交替方向增强拉格朗日(ADAL)算法,加入了一种连续技术以提高算法的收敛速率.仿真实验结果表明,提出的模型和算法能够有效去除不同尺寸矩阵的不同比例的稀疏噪声和结构化噪声.     

非凸优化带松弛步的对称ADMM局部线性收敛率分析

基于对称交替方向乘子法(ADMM),结合松弛步技巧,该文提出一种带松弛步的对称ADMM用于求解两分块线性约束非凸优化问题.同时,新算法乘子更新步采用不同的松弛因子.常规假设下,给出新算法子序列的收敛性证明.误差界条件下,分析并获得由新算法产生的迭代点列以线性收敛的速率局部趋于问题稳定点,相应增广拉格朗日函数序列亦线性收敛.最后,初步试验结果表明新算法是有效的.     

线性与非线性规划算法与理论

线性规划与非线性规划是数学规划中经典而重要的研究方向. 主要介绍该研究方向的背景知识,并介绍线性规划、无约束优化和约束优化的最新算法与理论以及一些前沿与热点问题. 交替方向乘子法是一类求解带结构的约束优化问题的方法,近年来倍受重视. 全局优化是一个对于应用优化领域非常重要的研究方向. 因此也试图介绍这两个方面的一些最新研究进展和问题.