基于偏最小二乘法与支持向量机的人脸识别

该文认为在人脸识别中,偏最小二乘回归方法作为一种新的降维方法,在处理小样本问题时具有明显优势,而主元分析方法作为一种传统的降维方法在选择分量时没有考虑类信息,因而有可能忽略掉重要的分类信息。支持向量机（SVM）模式识别方法具备良好的分类性能和鲁棒性。该文提出了一种基于偏最小二乘与支持向量机的人脸识别方法。利用偏最小二乘回归分析对人脸图像进行降维和特征提取,再利用支持向量机对特征向量进行分类识别。ORL人脸库的仿真结果证明偏最小二乘回归方法比主元分析方法更有效。     

基于奇异值分解-偏最小二乘回归的多标签分类算法

针对多标签数据的标签相关性和高维问题,提出一种基于奇异值分解-偏最小二乘回归的多标签分类算法,该算法可以对多标签数据进行维数约简和回归分析。首先,将类别标签集合作为整体处理,对标签相关性进行考察; 其次,利用奇异值分解(SVD)技术得到样本和标签空间的得分向量,实施降维; 最后,在偏最小二乘回归(PLSR)的基础上构建多标签分类模型。实验结果表明,在四种维数较高的真实数据集上,该算法可以获得有效的分类结果。     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

系数增强最小二乘回归子空间聚类法

针对最小二乘回归子空间聚类法在求解表示系数时忽略了样本相似度的不足,提出改进方法。基于样本相互重构的表示系数矩阵和样本相似度矩阵有很大的关联定义系数增强项,求解可以保持样本相似度的表示系数矩阵,提出系数增强最小二乘回归子空间聚类法。在8个标准数据集上的实验表明该方法可以提高最小二乘回归子空间聚类法的聚类性能。     

基于偏最小二乘的支持向量机多分类方法

该文提出了一种基于偏最小二乘（PLS）的支持向量机（SVM）多分类方法,该算法利用偏最小二乘思想对样本进行预处理,消除了样本属性之间的相关性,而且得到的综合属性与类信息的相关程度达到最大。通过实验可以看出,该方法不仅可以减少用支持向量机进行分类过程中的支持向量数目,而且当样本属性较多时,可以提高一定的识别率。     

基于模糊准则的小波特征选择在人脸识别中的应用

提出一种基于模糊准则的小波特征选择方法来实现人脸识别．首先，利用模糊准则得到最优小波包分解；其次，亦利用模糊准则对最优小波包分解中特征（小波系数）的分类能力进行评价并排序；再次，选择鉴别能力强的特征并将它们输入到EFM模型以实现降维，并使用基于最小二乘误差的线性鉴别函数实现分类．人脸识别实验结果表明基于模糊准则的小波特征选择方法的识别率要高于主元分析（PCA）算法．     

基于偏最小二乘法的高光谱图像波段选择

波段选择是高光谱图像降维的重要手段,将偏最小二乘法引入到高光谱图像波段选择中来,提出一种基于偏最小二乘法的波段选择方法.首先用偏最小二乘法计算训练集样本的潜在向量,接着分析波段与潜在向量的相关程度以确定各波段对于图像分类的重要程度,最后分析候选波段的相关度,获得最终选择波段.实验结果表明,与其他现有波段选择方法相比,该...     

基于局部重构的无监督特征选择方法

利用局部线性嵌入(LLE)算法中获得局部邻域之间的重构关系与使用最小角回归方法解决L1归一化问题都使用回归方法,针对在通过映射获得低维嵌入空间与通过特征选择获得低维空间上有着一致的思想,提出一种能保持局部重构关系的无监督谱特征选择方法.该方法利用最小二乘法计算样本的邻域重构系数,并用这些系数表示样本之间的关系,通过解决稀疏特征值问题获得能够保持样本间关系的低维嵌入空间,最后通过解决L1归一化问题实现自动特征选择.通过在四个不同数据集上的聚类实验结果证明,该方法能更准确地评价每个特征的重要性,能自动适应不同的数据集,受参数影响更小,可以明显提升聚类效果.     

高维少样本数据的特征压缩

针对一类高维少样本数据的特点,给出了广义小样本概念,对广义小样本进行信息特征压缩：特征提取（降维）和特征选择（选维）。首先介绍基于主成分分析（PCA）的无监督与基于偏最小二乘（PLS）的有监督的特征提取方法;其次通过分析第一成分结构,提出基于PCA与PLS的新的全局特征选择方法,并进一步提出基于PLS的递归特征排除法（PLS-RFE）;最后针对MIT AML/ALL的分类问题,实现基于PCA与PLS的特征选择和特征提取,以及PLS-RFE特征选择与比较,达到广义小样本信息特征压缩的目的。     

基于鲁棒加权模糊聚类的污水处理过程监测方法

针对非线性强、先验故障知识少、异常工况识别难的污水处理过程监测问题, 提出一种基于鲁棒加权模糊c均值(Robust weighted fuzzy c-means, RoW-FCM)聚类与核偏最小二乘(Kernel partial least squares, KPLS)的过程监测方法. 首先, 针对污水处理过程的高维非线性耦合特性, 采用核偏最小二乘对高维输入变量进行降维; 其次, 针对传统基于最近邻分配的模糊c均值算法对离群点敏感以及存在聚类不平衡簇的问题, 提出充分考虑样本间相互关系的基于鲁棒加权模糊c均值聚类算法. 通过引入可能性划分矩阵作为权值参数实现不同样本数据的区分加权, 提高了离群点数据聚类的鲁棒性, 同时引入聚类大小控制参数解决不平衡簇的问题. 进一步将基于鲁棒加权模糊c均值算法对核偏最小二乘降维后的得分矩阵进行聚类, 利用聚类得到的隶属度矩阵实现异常工况的检测; 最后, 建立隶属度矩阵与过程变量的回归模型, 并利用得到的变量贡献矩阵描述变量对各个簇的解释程度, 实现异常工况的识别. 数值仿真以及污水处理过程数据实验表明该方法具有更好的鲁棒性能, 在异常工况检测和识别上具有较好的效果.     

融合PLS监督特征提取和虚假最近邻点的数据分类特征选择

在高维数据分类中,针对多重共线性、冗余特征及噪声易导致分类器识别精度低和时空开销大的问题,提出融合偏最小二乘(Partial Least Squares,PLS)有监督特征提取和虚假最近邻点(False Nearest Neighbors,FNN)的特征选择方法:首先利用偏最小二乘对高维数据提取主元,消除特征之间的多重共线性,得到携带监督信息的独立主元空间;然后通过计算各特征选择前后在此空间的相关性,建立基于虚假最近邻点的特征相似性测度,得到原始特征对类别变量解释能力强弱排序;最后,依次剔除解释能力弱的特征,构造出各种分类模型,并以支持向量机(Support Vector Machine,SVM)分类识别率为模型评估准则,搜索出识别率最高但含特征数最少的分类模型,此模型所含的特征即为最佳特征子集。3个数据集模型仿真结果:均表明,由此法选择出的最佳特征子集与各数据集的本质分类特征吻合,说明该方法:有良好的特征选择能力,为数据分类特征选择提供了一条新途径。     

非负局部约束线性编码图像分类算法

基于特征提取的图像分类算法的核心问题是如何对特征进行有效编码. 局部约束线性编码(Locality-constrained linear coding, LLC) 因其良好的特征重构性与局部平滑稀疏性, 已取得了很好的分类性能. 然而, LLC编码的分类性能对编码过程中的近邻数k的大小比较敏感, 随着k的增大, 编码中的某些负值元素与正值元素的差值绝对值也可能增大, 这使得LLC越来越不稳定. 本文通过在LLC优化模型的目标方程中引入非负约束, 提出了一种新型编码方式, 称为非负局部约束线性编码(Non-negative locality-constrained linear coding, NNLLC). 该模型一般采取迭代优化算法进行求解, 但其计算复杂度较大. 因此, 本文提出两种近似非负编码算法, 其编码速度与LLC一样快速. 实验结果表明, 在多个广泛使用的图像数据集上, 相比于LLC, NNLLC编码方式不仅在分类精确率上提高了近1%～4%, 而且对k的选取具有更强的鲁棒性.     

基于偏最小二乘的土壤重金属铜含量高光谱估算

为探究高光谱数据估算土壤重金属铜含量的可行性,以石家庄市水源保护区褐土为研究对象,对不同光谱变换数据与重金属铜含量做了相关分析,建立了土壤重金属铜的单光谱变换指标偏最小二乘模型和多光谱变换指标偏最小二乘模型。结果表明：光谱反射率（R）经倒数一阶微分（RTFD）变换后与铜含量的相关性有所提高;光谱敏感波段为418、427、435、446、490、673、1 909、1 920和2 221 nm,基本位于土壤氧化铁、粘土矿物的特征吸收区域;对土壤重金属铜含量估算效果最好的单光谱变换指标偏最小二乘模型为RTFD模型,其模型决定系数（R²）为0.649,均方根误差（RMSE）为1.477;多光谱变换指标偏最小二乘模型R²和RMSE分别为0.751和1.162,建模效果优于单光谱变换指标模型。研究结果可为北方地区褐土类型土壤重金属铜的高光谱估算提供借鉴。     

基于偏最小二乘的土壤重金属铜含量高光谱估算

为探究高光谱数据估算土壤重金属铜含量的可行性，以石家庄市水源保护区褐土为研究对象，对不同光谱变换数据与重金属铜含量做了相关分析，建立了土壤重金属铜的单光谱变换指标偏最小二乘模型和多光谱变换指标偏最小二乘模型。结果表明：光谱反射率（R）经倒数一阶微分（RTFD）变换后与铜含量的相关性有所提高；光谱敏感波段为418、427、435、446、490、673、1 909、1 920和2 221 nm，基本位于土壤氧化铁、粘土矿物的特征吸收区域；对土壤重金属铜含量估算效果最好的单光谱变换指标偏最小二乘模型为RTFD模型，其模型决定系数（R²）为0.649，均方根误差（RMSE）为1.477；多光谱变换指标偏最小二乘模型R²和RMSE分别为0.751和1.162，建模效果优于单光谱变换指标模型。研究结果可为北方地区褐土类型土壤重金属铜的高光谱估算提供借鉴。     

参数独立的加权局部均值伪近邻分类算法

针对局部均值伪近邻（LMPNN）算法对k值敏感且忽略了每个属性对分类结果的不同影响等问题,提出了一种参数独立的加权局部均值伪近邻分类（PIW-LMPNN）算法。首先,利用差分进化算法的最新变体——基于成功历史记录的自适应参数差分进化（SHADE）算法对训练集样本进行优化,从而得到最佳k值和一组与类别相关的最佳权重;其次,计算样本间的距离时赋予每类的每个属性不同的权重,并对测试集样本进行分类。在15个实际数据集上进行了仿真实验,并把所提算法与其他8种分类算法进行了比较,实验结果表明,所提算法的分类准确率和F1值分别最大提高了约28个百分点和23.1个百分点;同时Wilcoxon符号秩检验、Friedman秩方差检验以及Hollander-Wolfe两处理的比较结果表明,所提出的改进算法在分类精度以及k值选择方面相较其他8种分类算法具有明显优势。     

基于多模态多标记迁移学习的早期阿尔茨海默病诊断

针对当前基于机器学习的早期阿尔茨海默病（AD）诊断中训练样本不足的问题,提出一种基于多模态特征数据的多标记迁移学习方法,并将其应用于早期阿尔茨海默病诊断。所提方法框架主要包括两大模块：多标记迁移学习特征选择模块和多模态多标记分类回归学习器模块。首先,通过稀疏多标记学习模型对分类和回归学习任务进行有效结合;然后,将该模型扩展到来自多个学习领域的训练集,从而构建出多标记迁移学习特征选择模型;接下来,针对异质特征空间的多模态特征数据,采用多核学习技术来组合多模态特征核矩阵;最后,为了构建能同时用于分类与回归的学习模型,提出多标记分类回归学习器,从而构建出多模态多标记分类回归学习器。在国际老年痴呆症数据库（ADNI）进行实验,分类轻度认知功能障碍（MCI）最高平均精度为79.1%,预测神经心理学量表测试评分值最大平均相关系数为0.727。实验结果表明,所提多模态多标记迁移学习方法可以有效利用相关学习领域训练数据,从而提高早期老年痴呆症诊断性能。     

Spectral Mixture Analysis: Linear and Semi-parametric Full and Iterated Partial Unmixing in Multi- and Hyperspectral Image Data

As a supplement or an alternative to classification of hyperspectral image data linear and semi-parametric mixture models are considered in order to obtain estimates of abundance of each class or end-member in pixels with mixed membership. Full unmixing based on both ordinary least squares (OLS) and non-negative least squares (NNLS), and the partial unmixing methods orthogonal subspace projection (OSP), constrained energy minimization (CEM) and an eigenvalue formulation alternative are dealt with. The solution to the eigenvalue formulation alternative proves to be identical to the CEM solution. The matrix inversion involved in CEM can be avoided by working on (a subset of) orthogonally transformed data such as signal maximum autocorrelation factors, MAFs, or signal minimum noise fractions, MNFs. This will also cause the partial unmixing result to be independent of the noise isolated in the MAF/MNFs not included in the analysis. CEM and the eigenvalue formulation alternative enable us to perform partial unmixing when we know one desired end-member spectrum only and not the full set of end-member spectra. This is an advantage over full unmixing and OSP. The eigenvalue formulation of CEM inspires us to suggest an iterated CEM scheme. Also the target constrained interference minimized filter (TCIMF) is described. Spectral angle mapping (SAM) is briefly described. Finally, semi-parametric unmixing (SPU) based on a combined linear and additive model with a non-linear, smooth function to represent end-member spectra unaccounted for is introduced. An example with two generated bands shows that both full unmixing, the CEM, the iterated CEM and TCIMF methods perform well. A case study with a 30 bands subset of AVIRIS data shows the utility of full unmixing, SAM, CEM and iterated CEM to more realistic data. Iterated CEM seems to suppress noise better than CEM. A study with AVIRIS spectra generated from real spectra shows (1) that ordinary least squares in this case with one unknown spectrum performs better than non-negative least squares, and (2) that although not fully satisfactory the semi-parametric model gives better estimates of end-member abundances than the linear model.     

最小二乘法联合光学与雷达遥感数据估算玉米叶面积指数

针对单源数据经验模型估算精度较低等问题,提出采用最小二乘法联合光学和雷达遥感数据构建联合估算模型,以中国科学院河北怀来遥感综合实验站为研究区,以夏季玉米为研究对象,利用Landsat8和Radarsat2影像实现研究区叶面积指数估算:首先分别建立了多光谱数据和雷达数据与实测叶面积指数之间的回归模型,然后利用最小二乘算法联合不同数据间的回归模型构建估算模型,最后利用迭代法估算叶面积指数并通过验证数据对估算结果进行评价分析,同时与单源数据经验模型、多源数据加权平均模型和基于物理模型查找表估算结果进行对比。通过对研究区59个样本点数据分析表明:基于最小二乘算法联合光学与雷达遥感数据能够提高叶面积指数的估算精度(R2=0.5442,RMSE=0.81),优于单源遥感数据拟合经验模型(DVI经验模型:(R2=0.485,RMSE=1.27))、基于权重的光学微波联合模型(R2=0.447,RMSE=1.36)和物理模型查找表法(R2=0.333,RMSE=1.36),并当叶面积指数大于3时,对其由于信息饱和或误差引起的低估或高估现象具有一定的抑制作用。     

基于Laplacian正则化最小二乘的半监督SAR目标识别

提出了一种基于核主成分分析(kernel principal component analysis,简称KPCA)和拉普拉斯正则化最小二乘(Laplacian regularized least squares,简称LapRLS)的合成孔径雷达(synthetic aperture radar,简称SAR)目标识别方法.KPCA特征提取方法不仅能够提取目标主要特征,而且有效地降低了特征维数.Laplacian正则化最小二乘分类是一种半监督学习方法,将训练集样本作为有标识样本,测试集样本作为无标识样本,在学习过程中将测试集样本包含进来以获得更高的识别率.在MSTAR实测SAR地面目标数据上进行实验,结果表明,该方法具有较高的识别率,并对目标角度间隔具有鲁棒性.与模板匹配法、支撑矢量机以及正则化最小二乘监督学习方法相比,具有更高的SAR目标识别正确率.此外,还通过实验分析了不同情况下有标识样本数目对目标识别性能的影响.     

Joint feature re-extraction and classification using an iterative semi-supervised support vector machine algorithm

The focus of this paper is on joint feature re-extraction and classification in cases when the training data set is small. An iterative semi-supervised support vector machine (SVM) algorithm is proposed, where each iteration consists both feature re-extraction and classification, and the feature re-extraction is based on the classification results from the previous iteration. Feature extraction is first discussed in the framework of Rayleigh coefficient maximization. The effectiveness of common spatial pattern (CSP) feature, which is commonly used in Electroencephalogram (EEG) data analysis and EEG-based brain computer interfaces (BCIs), can be explained by Rayleigh coefficient maximization. Two other features are also defined using the Rayleigh coefficient. These features are effective for discriminating two classes with different means or different variances. If we extract features based on Rayleigh coefficient maximization, a large training data set with labels is required in general; otherwise, the extracted features are not reliable. Thus we present an iterative semi-supervised SVM algorithm embedded with feature re-extraction. This iterative algorithm can be used to extract these three features reliably and perform classification simultaneously in cases where the training data set is small. Each iteration is composed of two main steps: (i) the training data set is updated/augmented using unlabeled test data with their predicted labels; features are re-extracted based on the augmented training data set. (ii) The re-extracted features are classified by a standard SVM. Regarding parameter setting and model selection of our algorithm, we also propose a semi-supervised learning-based method using the Rayleigh coefficient, in which both training data and test data are used. This method is suitable when cross-validation model selection may not work for small training data set. Finally, the results of data analysis are presented to demonstrate the validity of our approach. Editor: Olivier Chapelle.