一种具有最优收敛速度的正则化境面下降算法

Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。     

正则化超限学习机的多分块松弛交替方向乘子法

针对超限学习机在大数据环境下计算负担过重的问题,文中提出正则化超限学习机的多分块松弛交替方向乘子法及N-等分和N/2-等分情形的标量化实现.模型分块使算法具有高度的并行结构,与松弛技术结合提高算法的收敛速度.通过分析,建立算法收敛的充要条件,给出最优收敛率及最优参数.在基准数据集上仿真计算收敛率随分块数的变化关系,对比不同算法的收敛速率和GPU加速比.实验表明,文中算法具有较低的计算复杂度和较高的并行性.     

求解Richardson迭代方程的快速配置法

本文依据多尺度快速配置法求解第一类Fredholm积分方程的Richardson迭代正则化方程.该方法得到了离散Richardson迭代正则化方程的快速解,在积分算子是弱扇形紧算子时,利用改进的迭代停止准则,给出了Richardson迭代正则化方法所得近似解的收敛率.最后,数值例子说明了算法的有效性.     

SVRRPMCC:一种支持向量回归机的正则化路径近似算法

正则化路径算法是数值求解支持向量回归机(Support Vector Regression,SVR)的有效方法。根据SVR正则化路径的分段线性性质,该类算法可在相当于一次SVR求解的时间复杂度内求得正则化参数的所有可能取值及对应SVR的解。由于在解路径建立过程中需要求解线性方程组,已有的精确计算方法难以处理大规模的样本数据,因此研究了正则化路径近似算法,并提出了SVR正则化路径近似算法SVRRPMCC。首先,应用Monte Carlo方法实现线性方程组系数矩阵的随机采样,求得近似系数矩阵; 然后,应用Cholesky分解方法实现快速求解系数逆矩阵;进一步,分析了SVRRPMCC算法的近似误差和计算复杂性;最后,在标准数据集上的实验验证了SVRRPMCC算法的合理性和较高的计算效率。     

一种求解截断L1正则化项问题的坐标下降算法

L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.     

一种求解强凸优化问题的最优随机算法

随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.     

基于小波变换与图割的彩色图像分割方法

为提高图割算法的分割效率与质量并改善shrinking bias现象,提出将图割理论与小波变换相结合的方法.该方法利用小波变换多分辨率分析的特点,将变换中的低频子带图像作为估计GMM参数的训练样本进行多尺度迭代分割,提高算法效率,利用简单高效的CS_LBP纹理描述子提取高频子带图像中的纹理信息,将颜色与纹理特征相结合改善分割效果,并利用高频系数进行多尺度边缘检测,用于计算局部自适应的正则化参数,改善对细长边界的分割.实验结果表明,分割效果得到了改善,算法效率得到了提高.     

改进的正则化模型在图像恢复中的应用

目的 由拟合项与正则项组成的海森矩阵,如果不具有特殊结构,其逆矩阵计算比较困难,为克服此缺点,提出一种海森矩阵可分块对角化的牛顿投影迭代算法。方法 首先,用L₂范数描述拟合项,用自变量是有界变差函数的复合函数刻画正则项,建立能量泛函正则化模型。其次,引入势函数,将正则化模型转化为增广能量泛函。再次,构造预条件矩阵,使得海森矩阵可分块对角化。最后,为防止牛顿投影迭代算法收敛到局部最优解,采用回溯线性搜索算法和改进的Barzilai-Borwein步长更新准则使得算法全局收敛。结果 针对图像去模糊正则化模型容易使边缘平滑和产生阶梯效应“两难”问题,提出一种新的正则化模型和牛顿投影迭代算法。仿真结果表明,“两难”问题通过本文算法得到了很好的解决。结论 与其他正则化图像去模糊模型相比,本文算法明显改善图像的质量,如有效地保护图像的边缘,抑制阶梯效应,相对偏差和误差较小,较高的峰值信噪比和结构相似测度。     

基于李雅普诺夫随机优化的车辆边缘计算资源管理

针对车辆边缘计算系统中的计算资源管理问题,提出一种基于李雅普诺夫随机优化的计算卸载与资源分配方案.构建在保证任务量及长期能耗约束下的车辆用户服务时延最小化优化问题,利用李雅普诺夫随机优化理论将优化问题分解.在本地计算资源分配子问题中,通过求解线性问题的方法,得到最优本地计算CPU频率;在计算卸载子问题中,利用数值优化求解得到最优发射功率.借助李雅普诺夫随机优化中的漂移惩罚方法,设计一种低复杂度的联合计算卸载与资源分配算法,通过同时控制卸载决策、本地计算CPU频率和计算卸载的发射功率,实现整个车辆边缘计算系统中车辆用户的服务时延最小,提高车辆边缘计算服务质量.仿真结果验证了所提出算法的有效性.     

基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法

非盲图像去模糊问题是从已知核的带噪声的线性卷积变换中恢复原始图像.如果噪声是满足高斯分布的,则可以直接使用最小二乘求解.然而在大多数情况下,去模糊问题都是高度病态的,直接求解无法做到.因此,通常的做法是通过抽取原始图像的已知统计先验信息进行正则化来帮助求解问题.两种常用的正则化是低秩和全变分.早期的相关工作单独使用这两种正则化.直到几年前,人们才考虑将这两种正则化结合起来.已有的结果表明,混合正则化模型比单一模型具有更好的性能.然而,目前的混合正则化方法只是采用凸方法,非凸的工作仍然是空白的.考虑到非凸正则化在很多种情况下都比凸正则化的效果要好,因此本文使用L1/2范数和Schatten-1/2范数提出了一种新的非凸混合模型.我们使用这两个非凸函数,因为它们的近端算子很容易计算.这种非凸混合正则化模型本质上是一个非凸线性约束问题,可以通过交替方向乘子法求解.然而,非凸性使得交替方向乘子法收敛十分困难.因此,我们转向求解原问题的惩罚问题.将交替最小化方法应用于惩罚问题就可以得到提出的算法,其中每个子步骤只涉及非常简单的计算.由于惩罚参数很大时,交替极小化算法速度会很慢,为了加速算法,针对惩罚参数我们使用了预热技术,即选取很小的初值但是在迭代过程中不断将参数增大.我们证明了该算法的收敛性.数值实验验证了本文提出的模型和算法的有效性.在非常温和的假设下,我们证明了算法的收敛性.数值实验验证了本文提出的模型和算法的有效性.