L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。     

Ll-norm Regularized SVM Clustering Algorithm

提出L1范数正则化支持向量机(SVM)聚类算法.该算法能够同时实现聚类和特征选择功能.给出LI范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题.在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择.     

基于L1-范数距离的最小二乘对支持向量机

最小二乘对支持向量机(LSTSVM)是一种有效的分类技术。然而,该方法需计算点到平面的平方L2-范数距离,从而易受野值或噪声的影响。为了缓解此问题,提出了一种有效的鲁棒 LSTSVM方法,即基于L1-范数距离的LSTSVM(LSTSVML1D)。该方法由于使 用L1范数作为距离度量,因此不易受到野值或噪声数据的影响。此外,设计了一种有效的迭代算法,旨在求解目标问题,并从理论上证明了其收敛性。在人工数据集和UCI数据集上验证了LSTSVML1D 的有效性。     

基于L1范数的全变分正则化超分辨重构算法

针对结构化照明显微成像系统的超分辨图像重构算法存在边界振铃效应、噪声免疫性差的问题,提出了一种基于L1范数的全变分正则化超分辨图像重构算法（简称L1/TV重构算法）。从结构化显微成像模型入手,分析了传统算法的设计原理和局限性;论述了L1/TV重构算法的原理,采用L1范数对重构图像保真度进行约束,并利用全变分正则化有效克服了重构过程的病态性,保护了重构图像边缘。对比研究传统重构算法和L1/TV重构算法的性能。实验结果表明：L1/TV重构算法具有更强的抗噪声干扰能力,重构图像空间分辨率更高。     

p范数正则化支持向量机分类算法

L2范数罚支持向量机(Support vector machine,SVM)是目前使用最广泛的分类器算法之一,同时实现特征选择和分类器构造的L1范数和L0范数罚SVM算法也已经提出.但是,这两个方法中,正则化阶次都是事先给定,预设p=2或p=1.而我们的实验研究显示,对于不同的数据,使用不同的正则化阶次,可以改进分类算法的预测准确率.本文提出p范数正则化SVM分类器算法设计新模式,正则化范数的阶次p可取范围为02范数罚SVM,L1范数罚SVM和L0范数罚SVM.     

基于卷积神经网络的正则化方法

正则化方法是逆问题求解中经常使用的方法.准确的正则化模型在逆问题求解中具有重要作用.对于不同类型的图像和图像的不同区域,正则化方法的能量约束形式应当不同,但传统的L1,L2正则化方法均基于单一先验假设,对所有图像使用同一能量约束形式.针对传统正则化模型中单一先验假设的缺陷,提出了基于卷积神经网络的正则化方法,并将其应用于图像复原问题.该方法的创新之处在于将图像复原看作一个分类问题,利用卷积神经网络对图像子块的特征进行提取和分类,然后针对不同特征区域采用不同的先验形式进行正则化约束,使正则化方法不再局限于单一的先验假设.实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型.     

基于降维字典的L2范数人脸识别方法研究

基于稀疏表示的人脸识别算法具有良好的识别效果,然而工作机制并不明确.因此,在研究SRC的方法和L1范数作用基础上,提出了一种结合降维字典和L2范数求解的分类方法.利用PCA技术对原始字典进行改进,有效降低原始字典的维数,降低求解系数向量的复杂性;利用L2范数快速计算的特点,加快人脸识别速度,提高系统的鲁棒性和识别率.在Yale B和ORL数据库上的实验结果表明了该方法的有效性.     

基于有效迭代算法的鲁棒L1范数非平行近似支持向量机

针对鲁棒L1范数非平行近似支持向量机（L1-NPSVM）求解算法无法保证获取可靠解的问题,提出一个新颖的迭代算法来解L1-NPSVM的目标问题。首先,根据L1-NPSVM原目标问题对解具有规模不变性,将其转换为一个等价的带等式约束的最大化问题。该迭代算法在每次迭代中利用更新权机制获取每次迭代的更新解;每次迭代中,问题归结为解两个快速的线性方程问题。从理论上证明了算法的收敛性。在公共UCI数据集上,实验显示,所提算法不仅在分类性能上要远远好于L1-NPSVM,且具有相当的计算优势。     

平滑削边绝对偏离惩罚截断Hinge损失支持向量机的财务危机预报

针对传统支持向量机(SVM)分类存在对离群点敏感、支持向量(SV)个数多和分类面参数非稀疏的问题,提出了平滑削边绝对偏离(SCAD)惩罚截断Hinge损失SVM(SCAD-TSVM)算法,并将其用于构建财务预警模型,同时就该模型的求解设计了一个迭代更新算法。结合沪深股市A股制造业上市公司的财务数据进行实证分析,同时对比L1范数惩罚SVM、SCAD惩罚SVM和截断Hinge损失SVM(TSVM)构建的T-2和T-3模型,结果发现SCAD-TSVM构建的T-2和T-3模型都具有最好的稀疏性和最高的预报精度,而且其在不同训练样本数上的平均预测准确率都要比L1范数SVM(L1-SVM)、SCAD-SVM和TSVM算法的高。     

稀疏正则化逆向神经网络在双陷波超宽带天线设计中的应用

在双陷波超宽带天线的设计过程中,直接逆向神经网络模型精度较低,而 BP 逆向神经网络泛化能力较差,若单独使用 HFSS 仿真软件需要不断优化天线各参数增加了设计时间。 针对以上问题,提出一种将 HFSS 与稀疏正则化逆向神经网络联合的方法。 该方法在逆向神经网络性能函数中增加 l1/2范数和 l2 范数,l1/2 范数引入了新的权系数,扩充了输入样本向量,使网络更易得到稀疏性解,逆模型精度更高,l2 范数能有效避免过拟合现象,使网络泛化能力更强。 应用于双陷波超宽带天线设计中,采用在辐射贴片上开弧形槽的方式产生陷波特性,根据天线目标电压驻波比逆向求解对应的开槽尺寸。 仿真实验结果表明,与 BP 逆向神经网络方法相比,求得的与天线电压驻波比对应的开槽角度相对误差减小了 69.3% ,开槽半径相对误差减小了 88.7% ,网络运行时间减少了 15.9% ;最终设计的天线带宽为 2.4~11GHz ,实现了3.31~3.8GHz 和4.98~6.05GHz 的良好陷波特性,缩短了整个天线的设计周期。     

Blind Deblurring Based on L0Norm from Salient Edges简

Motion deblurring is a basic problem in the field of image processing and analysis. This paper proposes a new method of single image blind deblurring which can be significant to kernel estimation and non-blind deconvolution. Experiments show that the details of the image destroy the structure of the kernel, especially when the blur kernel is large. So we extract the image structure with salient edges by the method based on RTV. In addition, the traditional method for motion blur kernel estimation based on sparse priors is conducive to gain a sparse blur kernel. But these priors do not ensure the continuity of blur kernel and sometimes induce noisy estimated results. Therefore we propose the kernel refinement method based on L0 to overcome the above shortcomings. In terms of non-blind deconvolution we adopt the L1/L2 regularization term. Compared with the traditional method, the method based on L1/L2 norm has better adaptability to image structure, and the constructed energy functional can better describe the sharp image. For this model, an effective algorithm is presented based on alternating minimization algorithm.     

基于L0稀疏约束的近似稀疏解人耳识别*

传统的人耳识别算法在人耳图像遮挡、噪声和人耳多姿态变化中表现出低识别率,近年来稀疏表示在模式识别领域中取得很好的成果。决定稀疏分类器识别精确度的因素主要是稀疏解的稀疏度。而稀疏度的估计就是稀疏向量中非0元素的估计,即向量L0范数。因此在人耳稀疏分类算法的研究中引入L0范数稀疏约束。综上所述,采取基于SRC（Sparse Representation-based Classification）稀疏模型,选取对人耳姿态变化具有强鲁棒性的特征逼近过完备字典,然后使用OMP(Orthogonal Matching Pursuit)算法直接解L0问题,并加入稀疏约束,从优化稀疏解的角度对人耳稀疏分类算法进行改进,提高人耳识别效率。     

一种新的L1度量Fisher线性判别分析研究

Fisher线性判别分析（Fisher Linear Discriminant Analysis,FLDA）是一种典型的监督型特征提取方法,旨在最大化Fisher准则,寻求最优投影矩阵。在标准Fisher准则中,涉及到的度量为[L2]范数度量,此度量通常缺乏鲁棒性,对异常值点较敏感。为提高鲁棒性,引入了一种基于[L1]范数度量的FLDA及其优化求解算法。实验结果表明：在很多情形下,相比于传统的[L2]范数FLDA,[L1]范数FLDA具有更好的分类精度和鲁棒性。     

一种基于L_2范数的软核感知机

感知机只能解决线性可分问题。支持向量机中的L2范数软边缘算法可以将线性不可分问题转化为线性可分问题。基于这一事实,提出一种基于L2范数的软核感知机(SoftKernelPerceptron,SKP),将感知机算法直接用于求解L2范数软边缘算法决定的线性可分问题。通过使用核技巧,得到一种普适的非线性分类方法。实际数据库的测试结果表明,SKP算法能够有效地解决非线性问题,并且继承了感知机运算简单速度快的优点。     

Sparse kernel logistic regression based on L 1/2 regularization

The sparsity driven classification technologies have attracted much attention in recent years, due to their capability of providing more compressive representations and clear interpretation. Two most popular classification approaches are support vector machines (SVMs) and kernel logistic regression (KLR), each having its own advantages. The sparsification of SVM has been well studied, and many sparse versions of 2-norm SVM, such as 1-norm SVM (1-SVM), have been developed. But, the sparsification of KLR has been less studied. The existing sparsification of KLR is mainly based on L ₁ norm and L ₂ norm penalties, which leads to the sparse versions that yield solutions not so sparse as it should be. A very recent study on L _1/2 regularization theory in compressive sensing shows that L _1/2 sparse modeling can yield solutions more sparse than those of 1 norm and 2 norm, and, furthermore, the model can be efficiently solved by a simple iterative thresholding procedure. The objective function dealt with in L _1/2 regularization theory is, however, of square form, the gradient of which is linear in its variables (such an objective function is the so-called linear gradient function). In this paper, through extending the linear gradient function of L _1/2 regularization framework to the logistic function, we propose a novel sparse version of KLR, the 1/2 quasi-norm kernel logistic regression (1/2-KLR). The version integrates advantages of KLR and L _1/2 regularization, and defines an efficient implementation scheme of sparse KLR. We suggest a fast iterative thresholding algorithm for 1/2-KLR and prove its convergence. We provide a series of simulations to demonstrate that 1/2-KLR can often obtain more sparse solutions than the existing sparsity driven versions of KLR, at the same or better accuracy level. The conclusion is also true even in comparison with sparse SVMs (1-SVM and 2-SVM). We show an exclusive advantage of 1/2-KLR that the regularization parameter in the algorithm can be adaptively set whenever the sparsity (correspondingly, the number of support vectors) is given, which suggests a methodology of comparing sparsity promotion capability of different sparsity driven classifiers. As an illustration of benefits of 1/2-KLR, we give two applications of 1/2-KLR in semi-supervised learning, showing that 1/2-KLR can be successfully applied to the classification tasks in which only a few data are labeled.     

基于L1和L2混合范式的序列图像超分辨率重建

针对超分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L₁和L₂混合范式并结合双边全变分(BTV)正则化的序列图像超分辨率重建方法。首先基于多分辨率策略的光流场模型对序列低分辨率图像进行配准,使图像的配准精度达到亚像素级,进而可以利用图像间的互补信息提高图像分辨率;其次利用L₁和L₂混合范式的优点,用BTV正则化算法解决重建的病态性反问题;最后进行序列图像超分辨率重建。实验数据显示算法可以降低图像均方误差,并将峰值信噪比(PSNR)提高1.2 dB~5.2 dB。实验结果表明,提出的算法能够有效地滤除高斯和脉冲噪声,保持图像边缘,提高图像可辨识度,可为车牌识别、人脸识别和视频监控等方面提供了良好的技术基础。