基于次梯度的L1正则化Hinge损失问题求解研究

Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.     

林业运动模糊图像复原的融合正则化方法

林业机器人在林业环境中进行作业时,很容易因为滑动、地面障碍物的碰撞等原因发生小幅的无规律运动导致机器人相机采集的图像发生运动模糊,对后续图像信息提取造成很大的影响。针对这一问题,提出了林业运动模糊图像复原的融合正则化方法。先建立包含[L1/L2]范数正则项的代价函数,求解运动模糊核。再通过图像梯度先验正则项及稀疏正则项构建代价函数,对清晰图像求解。引入的[L1/L2]范数正则项及图像梯度先验正则项对稀疏表示正则项容易产生块效应的问题进行了弥补,因而获得了令人满意的效果。对人工合成的运动模糊图像和自然条件下真实运动模糊图像进行的实验验证了该算法的有效性。     

融合时间隐语义填充和子群划分的推荐算法

随着个性化推荐技术的发展，推荐系统面临着越来越多的挑战。传统的推荐算法通常存在数据稀疏性和推荐精度低等问题。针对以上问题，提出了一种融合时间隐语义填充和子群划分的推荐算法[K]-TLFM（Time Based Latent Factor Model Integrated with [k]-means）。该算法利用融合时间因素的隐语义模型对原始用户物品评分矩阵缺失项进行填充，避免了用全局平均值或者用户/物品平均值补全矩阵带来的误差，有效缓解了数据稀疏性问题，同时融合时间因素有效地刻画了用户偏好随时间的变化；完成评分矩阵缺失项填充后，基于二分[k]-means聚类算法将偏好、兴趣特征相似的对象划分到同一个子群中，在目标用户所属的子群中基于选定的协同过滤算法为用户产生推荐列表，提高了推荐效率和准确性。在MovieLens和Netflix数据集上对该算法的推荐性能进行了对比实验，结果表明该算法具有更高的推荐精度。     

弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

一种基于L1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.     

稀疏性正则化非负矩阵分解的在线学习方法

针对非负矩阵分解效率低的不足,提出一种基于在线学习的稀疏性非负矩阵分解的快速方法.通过对目标函数添加正则化项来控制分解后系数矩阵的稀疏性,将问题转化成稀疏表示的字典学习问题,利用在线字典学习算法求解目标函数,并对迭代过程的矩阵更新进行转换,采取块坐标下降法进行矩阵更新,提高算法收敛速度.实验结果表明,该方法在有效保持图像特征信息的同时,运行效率得到提高.     

L1+L2正则化逻辑斯蒂模型分类算法

提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。     

组合范数正则化稀疏编码和自适应加权残差的鲁棒跟踪

针对基于稀疏表示的目标跟踪中编码系数采用L_0或L_1范数正则,易造成NP难优化或预估偏差增大等问题,提出一种基于贝叶斯框架下的组合范数正则化稀疏编码和自适应加权残差的鲁棒跟踪算法.首先提出组合范数正则化稀疏编码,对目标函数编码系数同时进行L_0和L_1正则,根据其贡献程度赋予不同的权值,以增强目标外观模型的鲁棒性;其次在目标函数中引入残差项,赋予其自适应权重来缓解噪声、腐蚀和光照等离群子干扰;最后求解目标函数最小化所涉及的非凸病态问题,在加速近邻梯度算法框架下提出一种广义阈值法来迭代求解最优值.采用大量具有挑战性的序列进行实验的结果表明,与现阶段其他主流算法相比,该算法具有更好的鲁棒性.     

一种具有最优收敛速度的正则化境面下降算法

Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。     

引入时间效应的SVD++线性回归推荐算法

针对传统协同过滤算法中的数据稀疏问题,在SVD++算法和线性回归模型的基础上引入时间效应属性,提出一种推荐算法timeSVD++LR。采用SVD++算法将用户和项目信息与隐式反馈信息相融合映射到隐语义空间,将用户和项目之间的交互作用建模为该空间中的内积。通过描述用户和物品在各因子上的特征来解释评分值,在此基础上对时间效应建模,进一步提高预测结果的准确度。根据预测评分矩阵构造特征向量,将原始训练数据作为线性回归模型的输入,采用梯度下降算法优化最终代价函数,生成使得代价函数值最小的参数向量,同时将特征向量和参数向量代入预测模型求解预测评分。在MovieLens数据集上的实验结果表明,与RSVD、SVD++和timeSVD++算法相比,该算法的平均绝对误差和均方根误差均较低,其推荐准确性较高。     

一种求解强凸优化问题的最优随机算法

随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.     

Joint sparsity and fidelity regularization for segmentation-driven CT image preprocessing基于稀疏性和保真性正则化模型的分割驱动的CT图像预处理研究

In this paper, we propose a novel segmentation-driven computed tomography (CT) image preprocessing approach. The proposed approach, namely, joint sparsity and fidelity regularization (JSFR) model can be regarded as a generalized total variation (TV) denoising model or a generalized sparse representation denoising model by adding an additional gradient fidelity regularizer and a stronger gradient sparsity regularizer. Thus, JSFR model consists of three terms: intensity fidelity term, gradient fidelity term, and gradient sparsity term. The interactions and counterbalance of these terms make JSFR model has the ability to reduce intensity inhomogeneities and improve edge ambiguities of a given image. Experimental results carried out on the real dental cone-beam CT data demonstrate the effectiveness and usefulness of JSFR model for CT image intensity homogenization, edge enhancement, as well as tissue segmentation.     

混合非凸非光滑正则化约束的模糊图像盲复原

为能够复原出高质量的清晰图像,提出一种混合正则化约束的模糊图像盲复原方法。首先,根据模糊核的稀疏性,采用L₀范数的正则项对模糊核进行稀疏约束,以提高模糊核估计的准确性;然后,根据图像梯度的稀疏性,采用混合一阶和二阶图像梯度的L₀范数对图像梯度进行正则化约束,以保留图像边缘信息;最后,由于所提出的混合正则化约束模型本质上是非凸非光滑优化问题,通过交替方向乘子法对模型进行求解,并在非盲反卷积阶段采用L₁范数数据拟合项和全变分的方法复原清晰图像。实验结果表明,所提方法能够复原出更加清晰的细节和边缘信息,复原结果的质量更高。     

基于Hessian图正则稀疏NMF的高光谱解混

基于非负矩阵分解(Nonnegative Matrix Factorization, NMF)的高光谱解混(Hyperspectral Unmixing,HU)方法引起了大家的关注,因为可以将一个非负高光谱图像(Hyperspectral Imagery, HSI)数据矩阵分解为两个非负矩阵的乘积,分别对应于端元矩阵和丰度系数矩阵。目前,图约束的NMF算法已经被证明对高光谱解混是有效的,因为它们可以捕获HSI的几何特性。为了挖掘数据在混合过程中的几何结构和稀疏性,提出了一种稀疏的Hessian图正则化NMF(SHGNMF)算法。SHGNMF算法是将丰度矩阵的L1/2正则化器和Hessian图正则化项都添加到每个NMF模型中,同时采用乘法更新规则。最后用模拟数据和真实数据进行实验,验证了所提出的SHGNMF算法相对于其他NMF算法的优越性。     

基于低秩矩阵恢复的视觉显著性目标检测与细化

基于低秩矩阵恢复(low-rank matrix recovery,LRMR)的显著性目标检测模型将图像特征分解为与背景关联的低秩分量和与显著性目标相关联的稀疏分量,并从稀疏分量中获得显著性目标.现有的显著性检测方法很少考虑低秩分量与稀疏分量之间的相互关系,导致检测的显著性目标零散或不完整.为此,提出基于低秩矩阵恢复的显著性目标检测与细化方法来规避该限制.首先,所提方法采用ell_1范数稀疏约束和拉普拉斯正则项对初始显著图进行计算;在显著性细化阶段,由于非局部的ell_0优化可以有效地对显著性区域及其邻接区域之间的相互关系进行建模,结合初始显著图,采用非局部ell_0梯度优化,最小化显著性区域中显著值的变化,从而保证显著性目标的完整性.在4个显著性目标检测数据集上进行实验,通过实验结果验证所提算法的优越性.     

Image thresholding by variational minimax optimization

In this paper we introduce an adaptive image thresholding technique via minimax optimization of a novel energy functional that consists of a non-linear convex combination of an edge sensitive data fidelity term and a regularization term. While the proposed data fidelity term requires the threshold surface to intersect the image surface only at places with large image gradient magnitude, the regularization term enforces smoothness in the threshold surface. To the best of our knowledge, all the previously proposed energy functional-based adaptive image thresholding algorithms rely on manually set weighting parameters to achieve a balance between the data fidelity and the regularization terms. In contrast, we use minimax principle to automatically find this weighting parameter value, as well as the threshold surface. Our conscious choice of the energy functional permits a variational formulation within the minimax principle leading to a globally optimum solution. The proposed variational minimax optimization is carried out by an iterative gradient descent with exact line search technique that we experimentally demonstrate to be computationally far more attractive than the Fibonacci search applied to find the minimax solution. Our method shows promising results to preserve edge/texture structures in different benchmark images over other competing methods. We also demonstrate the efficacy of the proposed method for delineating lung boundaries from magnetic resonance imagery (MRI).     

基于FTRL优化算法的广告点击率预测模型研究

当前在线广告的业务场景下，线性模型没有充分考虑到数据高维、稀疏性、非线性等特点。针对这些问题，引入了基于梯度提升决策树算法的特征提取方法，提出了基于FTRL（Follow-The-Regularized-Leader）优化算法的因子分解机模型。FTRL优化算法能有效地学习到特征之间存在的非线性关系，使不同参数可以自适应不同学习率，并加入了混合正则项。实验结果证明基于FTRL优化算法的因子分解机模型能有效提高广告点击事件的预测准确率。