基于流形正则化的分类与回归算法及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对流形正则化的模式分类和回归分析的新算法.该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机分类与回归已有的结果,解决半监督学习的分类与回归问题,提高了泛化能力.该算法实现简单,无需调用其他程序.通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性.且在分类问题上,该算法在输入极少数有标签样本时,也能保持较好的分类效果;在回归问题上,也具有较好的学习精度,尤其在输入带有噪音的流形数据上时,表现就更为突出.     

基于网络结构的正则化逻辑回归

逻辑回归是一个应用广泛的分类模型,但由于高维数据分类任务在实际应用中变得越来越频繁,使得分类模型面临着巨大的挑战.应对该挑战的一种有效方法是对模型进行正则化.许多已有的正则化逻辑回归直接运用L1范数罚作为正则化罚项,而不考虑特征之间的复杂关联关系.也有一些研究工作基于特征的组信息设计了正则化罚项,但它们假设组信息是预先...     

基于流形正则化的支持向量回归及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对回归问题的新算法。该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机回归已有的结果,解决半监督学习的回归问题,提高了泛化能力。通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性,与支持向量回归相比,具有更高的学习精度。     

基于多尺度高斯核的分布式正则化回归学习算法

针对工业、信息等领域出现的基于较大规模、非平稳变化复杂数据的回归问题,已有算法在计算成本及拟合效果方面无法同时满足要求.因此,文中提出基于多尺度高斯核的分布式正则化回归学习算法.算法中的假设空间为多个具有不同尺度的高斯核生成的再生核Hilbert空间的和空间.考虑到整个数据集划分的不同互斥子集波动程度不同,建立不同组合系数核函数逼近模型.利用最小二乘正则化方法同时独立求解各逼近模型.最后,通过对所得的各个局部估计子加权合成得到整体逼近模型.在2个模拟数据集和4个真实数据集上的实验表明,文中算法既能保证较优的拟合性能,又能降低运行时间.     

正则化稀疏模型

正则化稀疏模型在机器学习和图像处理等领域发挥着越来越重要的作用,它具有变量选择功能,可以解决建模中的过拟合等问题．Tibshirani 提出的 Lasso 使得正则化稀疏模型真正开始流行．文中总结了各种正则化稀疏模型,指出了各个稀疏模型被提出的原因、所具有的优点、适宜解决的问题及其模型的具体形式．最后,文中还指出了正则化稀疏模型未来的研究方向．     

短期负荷多变量混沌时间序列正则化回归局域预测方法

为提高短期负荷预测的精度,提出了多变量混沌时间序列正则化回归局域预测方法.选取对负荷影响程度最大的实感温度因素,构建了多变量时间序列.首先采用互信息法和最小预测误差法确定出时间序列延迟和嵌入维数,并依据确定的重构参数进行短期负荷多变量时间序列的相空间重构,针对局域预测法中邻近点个数少而不能满足最小二乘估计条件的问题,提出了基于正则化回归的多变量时间序列混沌局部预测模型.通过重庆某地区电力系统短期负荷预测的计算实例表明,该方法具有较强的自适应能力和较好的预测效果.     

基于字典学习正则化的图像去噪

稀疏表示因其具有稀疏性、特征保持性等一些特点而被广泛应用于图像处理等领域,为解决图像处理中的去噪问题,提出一种基于图像特征稀疏表示的贝叶斯去噪模型.利用K-means和主成分分析方法计算已分割图像块对应字典的矩阵系数,采用正则化约束条件,迭代计算获取的图像字典与原始图像字典之间的差距,优化噪声图片稀疏特征表示的字典,直到达到优化条件.实验结果表明,与传统的离散余弦变换去噪模型相比,该模型的峰值信噪比较高,随着噪声的不断提高,与噪声图像峰值信噪比的差距也越来越大,且图像失真较少.     

Hessian正则化Logistic回归模型

针对大数据量的图像分类问题,Laplacian正则化的半监督学习方法获得了广阔的应用前景。然而Laplacian正则化使分类函数趋向于常数函数而易导致较差的推测能力。提出了基于Hessian正则化的Logistic回归模型用于图像分类,Hessian正则化可以较好地预测区域之外的数据点。在MIR Flickr数据库上进行图像分类实验,与SVM、Logistic回归和Laplacian正则化的Logistic回归方法相比,Hessian正则化的Logistic回归模型更有效。     

联合耦合字典学习与图像正则化的跨媒体检索方法

跨媒体检索方法多数将2个模态的原始特征映射到公共子空间,在子空间中执行跨媒体检索,忽略了判别特征的选择以及模态间的关系。为此,提出一种基于耦合字典学习和图形正则化的新型跨模态检索方法。通过关联和联合更新不同模态的字典,为不同的模态生成均匀的稀疏表示。将不同模态的稀疏表示投影到由类标签信息定义的公共子空间中,以执行跨模态匹配,同时对投影矩阵施加21范数项,选择特征空间的相关和辨别性特征。在此基础上,利用图正则化项保留模态间和模态内相似关系。实验结果表明,与典型相关分析方法相比,该方法跨媒体检索精度较高。     

基于稀疏子空间迁移学习的跨域人脸表情识别

针对实际场景中人脸表情识别训练和测试数据来自不同场景从而导致识别性能显著下降的问题,提出了一种基于稀疏子空间迁移学习的跨域人脸表情识别方法.首先,引入稀疏重构的思想来获得一个共同的投影矩阵,同时对重构系数矩阵施加L 2,1范数约束;其次,引入图拉普拉斯正则化项来保留数据的局部判别结构;最后,利用源域丰富的标签信息,将样...     

基于自步数据重构正则化的模糊C均值聚类算法改进

为了有效降低模糊C均值算法对奇异值和噪声点的敏感性,本文提出一种自步数据重构正则化模糊C均值聚类算法。传统算法是在C均值算法的目标函数中引入加权参数来实现对数据的模糊性划分,而本文提出的方法则是通过对C均值的目标函数进行数据重构正则化来实现,并以自步学习的方式逐步对数据点进行聚类。实验结果表明,本文算法在模拟数据、实际数据以及在图像分割中都能显著降低算法对奇异值和噪声数据的敏感性,聚类更为准确高效。     

Metric-Based Methods for Adaptive Model Selection and Regularization

We present a general approach to model selection and regularization that exploits unlabeled data to adaptively control hypothesis complexity in supervised learning tasks. The idea is to impose a metric structure on hypotheses by determining the discrepancy between their predictions across the distribution of unlabeled data. We show how this metric can be used to detect untrustworthy training error estimates, and devise novel model selection strategies that exhibit theoretical guarantees against over-fitting (while still avoiding under-fitting). We then extend the approach to derive a general training criterion for supervised learning—yielding an adaptive regularization method that uses unlabeled data to automatically set regularization parameters. This new criterion adjusts its regularization level to the specific set of training data received, and performs well on a variety of regression and conditional density estimation tasks. The only proviso for these methods is that sufficient unlabeled training data be available.     

基于池的无监督线性回归主动学习

在许多现实的机器学习应用场景中, 获取大量未标注的数据是很容易的, 但标注过程需要花费大量的时间和经济成本. 因此, 在这种情况下, 需要选择一些最有价值的样本进行标注, 从而只利用较少的标注数据就能训练出较好的机器学习模型. 目前, 主动学习(Active learning)已广泛应用于解决这种场景下的问题. 但是, 大多数现有的主动学习方法都是基于有监督场景: 能够从少量带标签的样本中训练初始模型, 基于模型查询新的样本, 然后迭代更新模型. 无监督情况下的主动学习却很少有人考虑, 即在不知道任何标签信息的情况下最佳地选择要标注的初始训练样本. 这种场景下, 主动学习问题变得更加困难, 因为无法利用任何标签信息. 针对这一场景, 本文研究了基于池的无监督线性回归问题, 提出了一种新的主动学习方法, 该方法同时考虑了信息性、代表性和多样性这三个标准. 本文在3个不同的线性回归模型(岭回归、LASSO (Least absolute shrinkage and selection operator)和线性支持向量回归)和来自不同应用领域的12个数据集上进行了广泛的实验, 验证了其有效性.     

An Incremental Learning Strategy for Support Vector Regression

Support vector machine (SVM) provides good generalization performance but suffers from a large amount of computation. This paper presents an incremental learning strategy for support vector regression (SVR). The new method firstly formulates an explicit expression of ||W||² by constructing an orthogonal basis in feature space together with a basic Hilbert space identity, and then finds the regression function through minimizing the formula of ||W||² rather than solving a convex programming problem. Particularly, we combine the minimization of ||W||² with kernel selection that can lead to good generalization performance. The presented method not only provides a novel way for incremental SVR learning, but opens an opportunity for model selection of SVR as well. An artificial data set, a benchmark data set and a real-world data set are employed to evaluate the method. The simulations support the feasibility and effectiveness of the proposed approach.     

基于双正则化参数的在线字典学习超分辨率重建

基于学习的单图超分辨率重建算法能获得较好的超分效果,但存在重建图像伪影较为明显的问题。为解决这一问题,提出了一种基于双正则化参数的在线字典学习超分辨率重建算法。在字典学习过程中运用在线字典学习方法（Online Dictionary Learning,ODL）,并在稀疏字典生成阶段和图像重建阶段分别设置了两个不同的正则化参数。实验中生成的目标高分辨率图像PSNR比经典的稀疏编码超分方法（Sparse Coding Super-Resolution,SCSR）平均提高了0.39dB,较好地恢复图像边缘锐度和纹理细节的同时有效地抑制了伪影。ODL和双正则化参数的引入,提高了字典训练的精度,使字典训练和图像重建阶段的稀疏系数独立可调,实验中能够有效地消除伪影,提升了超分辨率重建的效果。     

A Semi-supervised Learning Algorithm on Gaussian Mixture with Automatic Model Selection

In Gaussian mixture modeling, it is crucial to select the number of Gaussians for a sample set, which becomes much more difficult when the overlap in the mixture is larger. Under regularization theory, we aim to solve this problem using a semi-supervised learning algorithm through incorporating pairwise constraints into entropy regularized likelihood (ERL) learning which can make automatic model selection for Gaussian mixture. The simulation experiments further demonstrate that the presented semi-supervised learning algorithm (i.e., the constrained ERL learning algorithm) can automatically detect the number of Gaussians with a good parameter estimation, even when two or more actual Gaussians in the mixture are overlapped at a high degree. Moreover, the constrained ERL learning algorithm leads to some promising results when applied to iris data classification and image database categorization.     

Latent Variable Regression for Supervised Modeling and Monitoring

A latent variable regression algorithm with a regularization term(r LVR) is proposed in this paper to extract latent relations between process data X and quality data Y. In rLVR,the prediction error between X and Y is minimized, which is proved to be equivalent to maximizing the projection of quality variables in the latent space. The geometric properties and model relations of rLVR are analyzed, and the geometric and theoretical relations among r LVR, partial least squares, and canonical correlation analysis are also presented. The rLVR-based monitoring framework is developed to monitor process-relevant and quality-relevant variations simultaneously. The prediction and monitoring effectiveness of rLVR algorithm is demonstrated through both numerical simulations and the Tennessee Eastman(TE) process.     

流形上的Laplacian半监督回归

把流形学习与半监督学习相结合,研究了流形上的半监督回归问题.简要介绍了半监督流形学习的Laplacian正则化框架,在此基础上推导了基于一类广义损失函数的Laplacian半监督回归,它能够利用数据所在流形的内在几何结构进行回归估计.具体给出了线性ε-不敏感损失函数,二次ε-不敏感损失函数和Huber损失函数的Laplacian半监督回归算法,在模拟数据和Boston Housing数据上对算法进行了实验,并对实验结果进行了分析.这些结果将为进一步深入研究半监督流形回归问题提供一些可借鉴的积累.