L1正则化机器学习问题求解分析

以稀疏学习为主线,从多阶段、多步骤优化思想的角度出发,对当前流行的L1正则化求解算法进行分类,比较基于次梯度的多步骤方法、基于坐标优化的多阶段方法,以及软L1正则化方法的收敛性能、时空复杂度和解的稀疏程度。分析表明,基于机器学习问题特殊结构的学习算法可以获得较好的稀疏性和较快的收敛速度。     

一种求解截断Hinge损失的软阈值坐标下降算法

有效地减少支持向量数目能够提高分类器的鲁棒性和精确性,缩短支持向量机(support vector machine, SVM)的训练和测试时间.在众多稀疏算法中,截断Hinge损失方法可以显著降低支持向量的数目,但却导致了非凸优化问题.一些研究者使用CCCP(concave-convex procedure)方法将非凸问题转化为多阶段凸问题求解,不仅增加了额外计算量,而且只能得到局部最优解.为了弥补上述不足,提出了一种基于CCCP的软阈值坐标下降算法.用坐标下降方法求解CCCP子阶段凸问题,提高计算效率;对偶SVM中引入软阈值投影技巧,能够减少更多的支持向量数目,同时选择合适的正则化参数可消除局部最优解的不良影响,提高分类器的分类精度.仿真数据库、UCI数据库和大规模真实数据库的实验证实了所提算法正确性和有效性.     

L1/2正则化Logistic回归

提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.     

基于L1与TV正则化的改进图像重建算法

针对不完全投影数据图像重建中出现伪影和噪点的问题,提出了L1与TV同时进行正则化的图像重建模型。基于该重建模型,通过将Bregman迭代和TV软阈值滤波相结合,进一步提出了一种图像重建算法。该算法首先将投影数据通过优化的Bregman迭代算法进行初步重建,然后使用TV软阈值滤波对改造的全变分模型进行二次重建,最后判断是否满足设定的收敛阈值,若满足则结束重建,输出重建图像,否则重复进行上述两步操作,直至迭代完成。实验采用不添加噪声的Shepp-Logan模型与添加噪声的Abdomen模型来验证算法的有效性,证明了所提出的算法在视觉上均优于ART,LSQR,LSQT-STF,BTV等典型的图像重建算法,同时通过多项评价指标对比表明所提出的算法有明显优势。实验结果表明,所提算法在图像重建中能够有效去除条形伪影并保护图像细节,同时具有良好的抗噪性。     

基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines, SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

一种非光滑损失坐标下降算法

针对非光滑损失问题提出一种新的坐标下降算法,采用排序搜索的方式求解子问题解析解。分析了算法的时间复杂度,并给出了三种提高收敛速度的实用技巧。实验表明算法对正则化Hinge损失问题具有良好的性能,达到了预期的效果。     

稀疏学习优化问题的求解综述

机器学习正面临着数据规模日益扩大的严峻挑战,如何处理大规模甚至超大规模数据问题,是当前统计学习亟需解决的关键性科学问题.大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题中的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,而且无法满足机器学习对结构的要求.目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化方法成为解决大规模问题的有效手段.针对L1 正则化问题,介绍了这些大规模算法的一些研究进展.     

基于L1范数的全变分正则化超分辨重构算法

针对结构化照明显微成像系统的超分辨图像重构算法存在边界振铃效应、噪声免疫性差的问题,提出了一种基于L1范数的全变分正则化超分辨图像重构算法（简称L1/TV重构算法）。从结构化显微成像模型入手,分析了传统算法的设计原理和局限性;论述了L1/TV重构算法的原理,采用L1范数对重构图像保真度进行约束,并利用全变分正则化有效克服了重构过程的病态性,保护了重构图像边缘。对比研究传统重构算法和L1/TV重构算法的性能。实验结果表明：L1/TV重构算法具有更强的抗噪声干扰能力,重构图像空间分辨率更高。     

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

L1+L2正则化逻辑斯蒂模型分类算法

提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。     

L1正则化的深度谱聚类算法

针对深度谱聚类模型训练不稳定和泛化能力弱等问题,提出L1正则化的深度谱聚类算法（DSCLR）。首先,在深度谱聚类的目标函数中引入L1正则化,使深度神经网络模型生成的拉普拉斯矩阵的特征向量稀疏化,并提升模型的泛化能力;其次,通过利用参数化修正线性单元激活函数（PReLU）改进基于深度神经网络的谱聚类算法的网络结构,解决模型训练不稳定和欠拟合问题。在MNIST数据集上的实验结果表明,所提算法在聚类精度（CA）、归一化互信息（NMI）指数和调整兰德系数（ARI）这3个评价指标上,相较于深度谱聚类算法分别提升了11.85、7.75和17.19个百分点。此外,所提算法相较于深度嵌入聚类（DEC）和基于对偶自编码器网络的深度谱聚类（DSCDAN）等算法,在CA、NMI和ARI这3个评价指标上也有大幅提升。     

一种具有最优收敛速度的正则化境面下降算法

Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。     

基于L1/2正则化的超分辨率图像重建算法

为提高图像重建质量,研究超分辨率图像重建技术与稀疏表示理论,提出一种基于L1/2正则化的超分辨率图像重建算法.将L1/2正则化理论运用到字典学习中,利用学习得到的字典重建高分辨率图像.实验结果表明,该算法的图像重建效果优于基于L1正则化的超分辨率图像重建算法.     

一种获取正则化参数的新方法

提出了一种获取正则化参数的新方法。利用随机理论解决正则解模糊误差能量期望值最小化问题,确定正则化参数。对正则化算子给定为Laplacian算子的情形予以测试,实验结果表明该文的恢复技术比传统方法的恢复性能好,恢复效果接近最佳且性能稳定。     

一种基于加速坐标下降的大规模图像分类算法研究

随着大规模图像分类数据集的出现,设计一种可扩展的、高效的多类分类算法成为目前一个重要的挑战。基于迹范数正则惩罚函数,提出一种新的大规模多类图像分类的可扩展学习算法。把具有挑战性的非光滑优化问题重构为一个带l1正则惩罚的无穷维优化问题,进而设计一个简单而有效的加速坐标下降算法。此外,展示了如何在量化的密集视觉特征的压缩域中进行高效的矩阵计算,该压缩域有100 000个例子,1 000多维特征和100多类图片。最后在图像网的子集"Fungeus"、"Ungulate"和"Vehicles"上的实验结果表明,所提出方法的性能明显优于目前最先进的16高斯Fisher向量方法。     

自适应加权编码L1/2正则化的图像重建算法

针对图像重建过程中噪声去除问题,提出一种自适应加权编码L_1/2正则化重建算法。首先,考虑到许多真实图像中不仅含有高斯噪声,而且含有拉普拉斯噪声,设计一种改进的L₁-L₂混合误差模型(IHEM)算法,该算法兼顾了L₁范数与L₂范数的各自优点;其次,由于迭代过程中噪声分布会发生改变,设计一种自适应隶属度算法,该算法可以减少迭代次数和运算时间;利用一种自适应加权编码方法,该方法可以有效地去除含有重尾分布特性的拉普拉斯噪声;另外,设计一种L_1/2正则化算法,该算法可以得到较稀疏的解。实验结果表明,相比IHEM算法,自适应L_1/2正则化图像重建算法的峰值信噪比(PSNR)平均提高了3.46 dB,结构相似度(SSIM)平均提高了0.02,对含有多种噪声的图像处理具有比较理想的效果。     

基于正则化约束的遥感图像多尺度去模糊

目的遥感成像过程中的图像降质严重影响了高分辨率成像与高精度探测,为了改善遥感图像质量,提出了基于正则化约束的遥感图像多尺度去模糊方法。方法首先利用双边滤波器和冲击滤波对遥感图像进行预处理,然后结合遥感图像模糊核的稀疏特性,使用正则化方法迭代求解模糊核最优解,最后利用基于梯度稀疏的非盲反卷积方法得到去模糊结果。此外,针对图像模糊程度较严重的情况,分析了尺度信息对去模糊结果的影响,提出了多尺度迭代优化方法。结果采用本文方法对大量遥感图像进行去模糊,实验结果表明该方法能有效地去除遥感成像产生的模糊,在保持图像边缘和细节的同时,可有效抑制振铃效应。相比其他方法,本文方法恢复图像的边缘强度平均提高28.7%,对比度平均提高17.6%。结论提出一种正则化约束的遥感图像多尺度去模糊方法,主观视觉感受和客观评价指标都表明该方法可以有效提升遥感图像质量。     

基于L1正则化的贝叶斯网络分类器

目前基于节点排序的贝叶斯网络分类器忽略了节点序列中已选变量和类标签之间的信息,导致分类器的准确率很难进一步提高。针对这个问题,提出了一种简单高效的贝叶斯网络分类器的学习算法:L1正则化的贝叶斯网络分类器(L1-BNC)。通过调整Lasso方法中的约束值,充分利用回归残差的信息,结合点序列中已选变量和类标签的信息,形成一条优秀的有序变量拓扑序列(L1正则化路径);基于该序列,利用K2算法生成优良的贝叶斯网络分类器。实验表明,L1-BNC在分类精度上优于已有的贝叶斯网络分类器。L1-BNC也与SVM,KNN和J48分类算法进行了比较,在大部分数据集上,L1-BNC优于这些算法。