基于自适应最近邻的局部保持投影算法

局部保持投影（LPP）是一种新的数据降维技术,但其本身是一种非监督学习算法,对于分类问题效果不是太好。基于自适应最近邻,结合LPP算法,提出了一种有监督的局部保持投影算法（ANNLPP）。该方法通过修改LPP算法中的权值矩阵,在降维的同时,增加了类别信息,是一种有监督学习算法。通过二维数据可视化和UMIST、ORL 人脸识别实验,表明该方法对于分类问题具有较好的降维效果。     

一种基于QR分解的增量式核判别分析法

针对非线性系统在线学习的效率问题,提出了一种基于QR分解的增量式核判别分析法。该算法充分利用基于QR分解的核判别分析法的先降维后提取特征的思想,将核空间映射到低维空间进行计算,减少了构造核矩阵的计算量,降低了核矩阵的存储空间。同时引入增量计算的思想,有效地解决了在线学习中冗余计算的问题。在TE过程数据和ORL人脸库上的仿真实验证明了该算法在特征提取上的有效性,其相比批量式算法有更高的效率优势。     

MFASSC:基于间隔Fisher分析的半监督聚类方法

针对高维数据的聚类问题,提出一种基于间隔Fisher分析(MFA)的半监督聚类算法。该算法首先使用已标记样本进行MFA映射,得到投影矩阵W后,再利用求得的投影方法对未标记样本进行降维;然后在低维空间引入基于约束的球形K-means(PCSKM)算法对降维后的数据进行半监督聚类,根据第一次的聚类结果,交替进行降维与聚类操作,直到算法收敛为止。该算法利用监督信息有效地集成了数据降维和半监督聚类。实验结果表明,该方法能够有效处理高维数据,同时能提高聚类性能。     

局部敏感非负矩阵分解

非负矩阵分解是一种新的基于部分学习的矩阵分解方法,反映了人类思维中局部构成整体的概念。算法只将非负矩阵近似地分解成两个非负矩阵的积,忽略了数据几何结构和判别信息。提出了一个局部敏感非负矩阵分解降维算法来克服这一缺点。该算法既保持了数据非负性,又保持了数据的几何结构和判别信息。构造了一个有效的乘积更新算法并且在理论上证明了算法的收敛性。ORL和Yale人脸数据库实验表明该算法性能超过许多已存在的方法。     

基于矩阵分解的DLDA特征抽取方法分析

提出两种基于矩阵分解的DLDA特征抽取算法。通过引入QR分解和谱分解(SF)两种矩阵分析方法,在DLDA鉴别准则下,对散布矩阵实现降维,从而得到描述人脸图像样本更有效和稳定的分类信息。该方法通过对两种矩阵分解过程的分析,证明在传统Fisher鉴别分析方法中,矩阵分解同样可以模拟PCA过程对样本进行降维,从而克服了小样本问题。在ORL人脸数据库上的实验结果验证了该算法的有效性。     

超光谱遥感图像有监督LPP特征提取研究

在局部保留投影(LPP)特征提取算法的基础上,利用样本标签信息提出了一种有监督的局部保留投影算法(SPLPP),该算法的邻接图的权值不仅考虑了LPP算法中的相似性权值,而且加入了监督类的相关权值。SPLPP算法主要步骤是先用PCA去除高维超光谱遥感图像的冗余信息,再把监督机制引入到LPP中,实现图像的特征提取,将高维超光谱遥感图像投影到低维空间中,利于分类。应用SPLPP算法对高维的遥感原始超光谱图像进行特征提取后,利用支持向量机(SVM)和最近邻分类器(KNN)对降维后的遥感图像数据进行分类;并与PCA、LPP、LDA等特征提取算法进行了比较实验。实验表明:结合了LPP局部信息保留能力和全域标签信息的SPLPP算法,有更好的局部信息保留能力和类判别能力,使分类器分类精度更高,分类效果更好。     

对角矩阵指数优化的局部保持映射算法

局部保持映射（LPP）算法利用欧几里德距离求得权值累加得到对角矩阵,利用结果进行降维。对于这个算法是否可以进一步优化还值得进一步探讨。对该算法所依据的公式进行修改,在对角矩阵上引入指数参数,形成对角距阵指数优化的局部保持映射算法。通过实验可以证明,对角距阵指数优化的局部保持映射算法能够影响降维的结果,可以使得降维更容易得到接近本征维数的投影向量,通过实验验证降维后的识别效果和对噪声的敏感度。     

基于LPP的工业过程故障检测

针对传统的降维算法在降维过程中存在着丢失数据的局部邻域信息的问题,一种基于局部保持投影(LPP)用于工业工程数据检测的方法被应用。LPP算法的思想是通过构造数据样本点之间的亲疏关系,并且在投影降维的同时保留数据样本点的这种局部邻域结构,从而保留数据的局部信息。论文将LPP算法与传统的降维算法-主元分析法(P CA)在田纳西-伊斯曼过程(T EP)仿真系统上进行检测对比,结果表明,LPP算法具有更加优越的检测性能。     

一种潜在信息约束的非负矩阵分解方法

传统的非负矩阵分解方法没有充分利用数据间的内在相似性,从而影响了算法的性能。为此,本文提出一种潜在信息约束的非负矩阵分解方法。该方法首先利用迭代最近邻方法挖掘原始数据的潜在信息,然后利用潜在信息构造数据之间的相似图,最后将相似图作为约束项求得非负矩阵的最优分解。相似图的约束使得非负矩阵分解在降维过程中保持了原始数据之间的相似性关系,进而提高了非负矩阵分解的判别能力。图像聚类实验结果表明了该方法的有效性。     

基于类别信息的监督局部保持投影方法

局部保持投影算法(LPP)是拉普拉斯映射(LE)的线性近似,但LPP作为一种无监督方法,并没有有效利用已有的类别信息提高分类效率。为此提出一种基于类别信息的监督局部保持投影方法(SLPP-LI)。在学习投影矩阵时,SLPP-LI综合利用了流形的几何结构和已有训练点的类别信息,通过调整控制参数的取值,有效地利用已知的低维信息,并且直接求解线性方程获得高维数据的低维模型。通过在多个人脸数据库和手写数字库上的对比实验,表明了SLPP-LI对于高维数据的初始维数以及训练数据的数目并不敏感,〖BP(〗同类问题中与相应的对比算法相比〖BP)〗与主分量分析法(PCA)、LPP、正交LPP(OLPP)、有监督的LPP(SLPP)相比,均具有较高的识别率,充分说明SLPP-LI算法能够有效处理分类问题。     

完备正交邻域保持判别嵌入的人脸识别

为解决邻域保持判别嵌入算法所面临的小样本问题,并充分利用类内邻域散度矩阵零空间和非零空间中的判别信息进行人脸识别,提出一种完备正交邻域保持判别嵌入的人脸识别算法。首先间接地利用特征分解方法去除总体邻域散度矩阵的零空间;然后分别在类内邻域散度矩阵零空间和非零空间中提取最优判别矢量。此外,为进一步提高算法的识别性能,给出了基于瘦QR分解的正交投影矩阵的求解方法。在ORL和Yale人脸库上验证了以上算法的有效性。     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

面向酉子空间的二维判别保局投影的人脸识别*

保局投影算法（LPP）在人脸识别中具有较好的识别性能,但它是一种非监督学习,并且在具体实现时需要把图像转换为向量,破坏了图像的像素结构,这显然不利于模式识别。针对这些问题,提出基于酉子空间的二维判别保局算法,不仅在判别保局算法的基础上增加了类别信息,而且直接在灰度矩阵上进行水平和垂直方向上的二维保局投影。该方法构造酉空间上的复向量后再运用线性判别分析提取特征。在ORL、Yale和XJTU人脸库中验证了算法的正确性和有效性,其识别率比传统的2DLDA和2DLPP等方法提高4～5个百分点。     

一种谱分解降维的模糊有监督局部保持投影策略

提出一种谱分解降维的模糊有监督局部保持投影策略。首先针对监督局部保持投影SLPP存在过学习和不能较好地保持图像空间的差异信息等问题,通过最小化局部离散度和最大化差异离散度准则提取投影方向,找到一种线性鉴别分析的等价形式。其次,通过采用模糊k近邻(FKNN)方法得到相应的样本分布隶属度信息,同时考虑到离群样本对整个分类结果的不利影响,提出一种模糊化方法,根据样本的隶属度对样本分布矩阵重定义所做的贡献,将每个样本的隶属度融入到SLPP特征抽取的过程中,从而得到完整有效的模糊样本特征向量集,有效解决了小样本问题的特征抽取问题。第三,提出一种谱分解的矩阵分析方法,在SLPP投影准则下,对散布矩阵实现降维。在ORL和NUST603人脸库上的实验结果验证了该方法的有效性。     

Locality-preserved maximum information projection.

Dimensionality reduction is usually involved in the domains of artificial intelligence and machine learning. Linear projection of features is of particular interest for dimensionality reduction since it is simple to calculate and analytically analyze. In this paper, we propose an essentially linear projection technique, called locality-preserved maximum information projection (LPMIP), to identify the underlying manifold structure of a data set. LPMIP considers both the within-locality and the between-locality in the processing of manifold learning. Equivalently, the goal of LPMIP is to preserve the local structure while maximize the out-of-locality (global) information of the samples simultaneously. Different from principal component analysis (PCA) that aims to preserve the global information and locality-preserving projections (LPPs) that is in favor of preserving the local structure of the data set, LPMIP seeks a tradeoff between the global and local structures, which is adjusted by a parameter alpha, so as to find a subspace that detects the intrinsic manifold structure for classification tasks. Computationally, by constructing the adjacency matrix, LPMIP is formulated as an eigenvalue problem. LPMIP yields orthogonal basis functions, and completely avoids the singularity problem as it exists in LPP. Further, we develop an efficient and stable LPMIP/QR algorithm for implementing LPMIP, especially, on high-dimensional data set. Theoretical analysis shows that conventional linear projection methods such as (weighted) PCA, maximum margin criterion (MMC), linear discriminant analysis (LDA), and LPP could be derived from the LPMIP framework by setting different graph models and constraints. Extensive experiments on face, digit, and facial expression recognition show the effectiveness of the proposed LPMIP method.     

完备鉴别保局投影人脸识别算法

为了充分利用保局总体散布主元空间内的鉴别信息进行人脸识别,提出了一种完备鉴别保局投影(complete discriminant locality preserving projections,简称CDLPP)人脸识别算法.鉴于Fisher鉴别分析和保局投影已经被广泛的应用于人脸识别,完备鉴别保局投影(locality preserving projections,简称LPP)算法将这两者结合起来,分析了保局类内散布、类间散布和总体散布的主元空间和零空间内包含的鉴别信息.该算法采用奇异值分解(singular value decomposition,简称SVD),去除了不含任何鉴别信息的保局总体散布的零空间;分别在保局类内散布的主元空间和零空间提取规则鉴别特征和不规则鉴别特征;用串联的方式在特征层融合规则鉴别特征和不规则鉴别特征形成完备的鉴别特征进行人脸识别.在ORL库、FERET子库和PIE子库上的大量识别实验充分表明了完备鉴别保局投影算法的性能优于线性鉴别分析、保局投影和鉴别保局投影等现有的子空间人脸识别算法,验证了算法的有 效性.     

基于改进的局部保持投影算法的人脸识别

局部保持投影算法是基于流形的学习方法,在人脸识别过程中容易遇到奇异值问题,为此提出一种利用奇异值分解的方法。在模型中,样本数据被投影到一个非奇异正交矩阵中,解决了奇异值问题;然后再根据局部保持投影算法求出新样本空间的低维投影子空间。将训练样本和测试样本分别投影到低维子空间中,再利用最近邻分类器进行分类识别。在ORL人脸数据库中,采用了一系列的实验来对比该算法与传统局部保持投影算法和主成分分析算法的识别效果。实验结果验证了改进的局部保持投影算法在人脸识别的有效性。     

一种改进的排序QR分解MIMO检测算法

提出了改进的排序QR分解MIMO检测算法,并对其性能进行了分析．该算法针对系统采用排序QR分解检测算法时误码率较高的不足,对信道矩阵按列进行正交变换,避免了求信道矩阵的上三角矩阵,并且仅对信道矩阵按列2—范数模值由小到大进行1次排序．在检测过程中,采用了并行处理的思想,将部分判决信号进行反馈,同时消除接收信号中的干扰,使系统检测性能得到了明显改善．在多散射物的无线通信环境下进行了仿真实验,结果表明,与传统的SQRD算法相比,所提算法在计算复杂度略微下降的情况下,检测性能得到提升．     

LDA/QR: an efficient and effective dimension reduction algorithm and its theoretical foundation

LDA/QR, a linear discriminant analysis (LDA) based dimension reduction algorithm is presented. It achieves the efficiency by introducing a QR decomposition on a small-size matrix, while keeping competitive classification accuracy. Its theoretical foundation is also presented.