有监督正交局部保留投影及其在人脸识别中的应用

针对局部保留投影算法（LPP）的无监督和非正交问题,提出了一种有监督的正交局部保留投影算法SOLPP。该算法同时考虑了样本的类别信息以及投影向量间的相互正交性,首先利用样本的类标签信息重新定义了类内和类间相似度矩阵,同时最大化类间离散度与类内离散度之比,有效地保持了样本的局部结构;其次对投影基向量进行正交化,在保持数据空间结构的同时进一步提高了人脸识别效果。在ORL和FERET人脸库上的实验表明,该方法的识别率要优于SLPP等算法。     

基于改进二维保局投影算法的人脸识别

传统的二维保局投影(2DLPP)算法未考虑样本邻域间局部信息,并且所提取的特征矩阵分量间存在相关性。针对该问题,提出基于大间距准则的最小相关性监督2DLPP算法。引入类间局部散度矩阵和类内局部散度矩阵,最大化带权的散度矩阵迹差,以增大样本类间散度,减小样本类内散度,从而更好地刻画数据的流形结构。计算所提取特征矩阵各分量间的协方差矩阵,通过最小相关性分析,减少特征信息的冗余。在Yale和ORL人脸库上进行仿真实验,结果显示,当训练样本数为5时,该算法的最高识别率分别为92.5%和96.2%,与传统2DLPP算法、二维主成分分析法、二维线性判别分析法和二维大间距准则法相比,识别率均有所提高。同时对不同训练样本数下识别率均值和方差进行分析,验证了算法的稳定性。     

核的正交完备鉴别局部保持投影

针对完备鉴别局部保持投影算法所求得的最优判别矢量间存在信息冗余问题,提出了核的正交完备鉴别局部保持投影算法。通过将核函数技术与正交性原理融合,采用高斯核函数将原始样本映射到高维特征空间,在高维特征空间的局部总体散度矩阵中计算最优判别矢量,只需在整个范围内对值域空间进行特征值分解,去除局部零空间达到样本降维目的。该算法分别在 UMIST 人脸库和 JAFFE 人脸表情库上进行实验,实验结果表明算法的识别率高达95．59％。     

正交判别的线性局部切空间排列的人脸识别

为了将线性局部切空间排列算法发展为有监督的学习算法,提出了一种正交判别的线性局部切空间排列算法.该算法首先利用样本数据的类别信息计算类间散度矩阵,然后再通过对原算法的目标函数进行修改来建立新的优化问题.在解出投影子空间的基础上,再通过进行正交化来得到投影的正交子空间.在两个标准人脸数据库上进行的实验表明,由于该算法使用了局部切空间来表示数据样本所在流形的局部几何结构,不仅融合了判别信息和正交化技术,并且兼顾了局部几何结构和判别结构的保持,因此提高了识别能力.     

完备的无参数近邻保持及最大化非近邻算法

无参数保持投影算法无需参数设置且识别性能稳定,但算法不能有效地保持样本的局部结构,且忽略了非局部样本所起的作用,而且存在着小样本(SSS)问题,为此提出了一种完备的无参数近邻保持及最大化非近邻算法。算法以样本间余弦距离0.5为分界点将样本分成近邻及非近邻样本,为了充分利用近邻样本及非近邻样本,分别构造了近邻散度矩阵及非近邻散度矩阵,因此算法的目标函数就是求取能够最小化近邻散度矩阵的同时,最大化非近邻散度矩阵的投影矩阵。对于目标函数的求解,可先将高维样本通过主成分分析(PCA)算法降至一个低维的子空间,并通过两个定理证明了这种处理方法没有损失任何有效的判别信息;然后将目标函数转换为差形式,从而有效地解决了小样本问题。在人脸库及掌纹库上的实验结果表明,与无参数局部保持投影算法相比,所提算法平均识别率更高,验证了算法的有效性。     

无监督的差分鉴别特征提取以及在人脸识别上的应用

局部保持投影(LPP)只考虑了投影后的局部性,而忽视了非局部性.针对这个问题,引入非局部散布矩阵,提出无监督的差分鉴别特征提取算法,通过最大化非局部和局部之间的散度差来寻找最优变换矩阵,并将其成功地应用于人脸识别.该算法同时引入非局部和局部的信息,揭示隐含在高维图像空间中的非线性结构;采用差分的形式求解最优变换矩阵,以避免"小样本"问题;对LPP中的邻接矩阵进行了修正,以更准确地描述样本之间的邻近关系.在Yale和AR标准人脸库上的实验结果验证了文中算法的有效性.     

基于最大间隔准则的鲁棒多流形判别局部图嵌入算法

针对现有的多流形人脸识别算法大多直接使用带有噪声的原始数据进行处理，而带有噪声的数据往往会对算法的准确率产生负面影响的问题，提出了一种基于最大间距准则的鲁棒多流形判别局部图嵌入算法（RMMDLGE/MMC）。首先，通过引入一个降噪投影对原始数据进行迭代降噪处理，提取出更加纯净的数据；其次，对数据图像进行分块，建立多流形模型；再次，结合最大间隔准则的思想，寻求最优的投影矩阵使得不同流形上的样本距离尽可能大，同时相同流形上的样本距离尽可能小；最后，计算待识样本流形到训练样本流形的距离进行分类识别。实验结果表明，与表现较好的最大间距准则框架下的多流形局部图嵌入算法（MLGE/MMC）相比，所提算法在添加噪声的ORL、Yale和FERET库上的分类识别率分别提高了1.04、1.28和2.13个百分点，分类效果明显提高。     

基于推广流形学习的高分辨遥感影像目标分类

针对传统的流形学习算法不能对位于黎曼流形上的协方差描述子进行有效降维这一问题，本文提出一种推广的流形学习算法，即基于Log-Euclidean黎曼核的自适应半监督正交局部保持投影（Log-Euclidean Riemannian kernel-based adaptive semi-supervised orthogonal locality preserving projection，LRK-ASOLPP），并将其成功用于高分辨率遥感影像目标分类问题.首先，提取图像每个像素点处的几何结构特征，计算图像特征的协方差描述子；其次，通过采用Log-Euclidean黎曼核将协方差描述子投影到再生核Hilbert空间；然后，基于流形学习理论，建立黎曼流形上半监督正交局部保持投影算法模型，利用交替迭代更新算法对目标函数进行优化求解，同时获得相似性权矩阵和低维投影矩阵；最后，利用求得的低维投影矩阵计算测试样本的低维投影，并用K—近邻、支持向量机（Support victor machine，SVM）等分类器对其进行分类.三个高分辨率遥感影像数据集上的实验结果说明了该算法的有效性与可行性.     

基于邻域图的低秩投影学习

特征提取算法通常只单独用到了数据的局部结构或者整体结构,这样将得不到全局最优投影矩阵,且投影矩阵不具备很好的可解释性。为此,提出了一种基于邻域图的低秩投影学习算法。该算法通过在数据的重构残差上施加图约束来保持数据的局部结构,同时引入低秩项来保持整体结构;算法利用L2,1范数行稀疏的性质对投影矩阵进行约束,这样可以剔除冗余特征,提高投影矩阵的可解释性;并且算法引入噪声稀疏项来减弱样本本身存在噪声的干扰。模型采用交替迭代方法求解,在多个数据集上的实验结果表明该算法能有效地提高分类精度。     

基于正交化的无监督鉴别投影映射（UDP）特征提取的人脸识别方法

基于UDP（Unsupervised Discriminant Projection）特征提取方法的研究,本文提出改进算法：基于正交化的UDP算法。正交化的UDP算法是基于样本的局部散度、非局部散度及正交化的条件建立准则函数。准则的目的是在满足共轭正交条件下,寻求一组投影轴使得投影后的样本特征的非局部散度最大,局部散度最小。通过在YALE库和AR库人脸库上进行实验,结果表明本文提出的正交化的UDP算法在识别率方面整体上要好于UDP算法。     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC），利用统计不相关投影空间，提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集，既要使投影后的特征空间的类间散度最大，而类内散度最小；又要使最佳鉴别矢量之间具有统计不相关性。另外，本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明，本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

Orthogonal margin discriminant projection for dimensionality reduction

Dimensionality reduction aims to represent high-dimensional data with much smaller number of features, which plays as a preprocessing step to remove the insignificant and irrelevant features in many machine learning applications, resulting in lower computational cost and better performance of classifiers. In most cases, the data points can be well classified with margin samples which are defined as furthest intra-class samples and nearest inter-class samples. Motivated by this observation, this paper proposes a linear supervised dimensionality reduction method called orthogonal margin discriminant projection (OMDP). After OMDP projection, intra-class data points become more compact and inter-class data points become more separated. Extensive experiments have been conducted to evaluate the proposed OMDP algorithm using several benchmark face data sets. The experimental results confirm the effectiveness of the proposed method.     

基于Contourlet变换的图像压缩感知重构

根据图像信号在Contourlet变换域的稀疏特性,分析Contourlet变换的基本原理,提出一种基于Contourlet变换的压缩感知重构方法。针对Contourlet变换的基函数并不严格规范正交、无法构造正交变换矩阵的问题,采用改进梯度投影算法恢复稀疏处理后的系数,在保证图像质量的情况下,实现图像的低速率重构。实验结果表明,该算法的鲁棒性较好。     

一种基于斜投影的预编码技术研究

现有的MU-MIMO系统一般采用基于正交投影的方法来处理用户信道,即通过增大用户最小的信道增益来最大化最差一路性能,然而这种方法在组建并行信道时减少了信道增益。为了减少正交投影的方法带来的增益损失,进一步提高系统容量,在研究了现有的预编码方案以及斜投影的原理之后,结合块对角化预编码和几何均值分解,提出了一种新的基于抖投影的线性预编码算法,建立了基于料投影的预编码的系统模型,并在此系统模型上利用注水功率算法推导出了系统容量的闭式表达式。仿真结果表明,在低信噪比的情况下该方案可以获得比现有正交投影方案更高的系统总容量。     

一种基于最大边界投影和l2,1 范数正则化的属性选择算法

当数据含有噪声或标签错误时,传统的属性选择方法(如粗糙集)无法得到正确结果,为此提出一种针对含噪、标签错误数据的属性选择方法。首先用最大边界投影方法获得数据的最佳投影;然后通过对投影矩阵进行L2,1范数正则化操作,进而获得行稀疏的投影矩阵,据此获得对关键属性的挖掘;最后给出方法的收敛性和针对标签错误数据的有效性证明。实验结果表明,所提出的算法克服了噪声和标签错误的影响,较好地实现了针对含噪、标签错误数据的属性选择。     

面向Web文档分类的张量最大间隔投影

为了有效地解决传统的基于向量表示的文档维数降维算法存在的维数灾难和奇异值问题,提出了基于张量最大间隔投影的Web文档分类算法,该算法能够在维数降维的过程中充分利用文档的结构和关联信息来提高算法的分类鉴别能力,在WebKB和20NG数据集上的实验结果表明该算法优于其他常用的的文档分类算法。     

无参数无相关最大化判别边界算法

在人脸识别算法中,无参数局部保持投影(PFLPP)是一种有效的特征提取算法, 但忽略了异类近邻样本在分类中所起的作用,并且对于近邻的处理仅利用样本与总体均值的 距离关系来判断,因此并不能有效地确定近邻关系。基于此,提出一种无参数无相关最大化 判别边界算法,有效地利用了样本的类别信息,定义了无参数同类近邻样本的相似权值与异 类近邻样本的惩罚权值,样本邻域大小可根据类内平均余弦距离和类间余弦距离自适应确定, 为了进一步增强算法的性能,给出了具有不相关性的目标函数。UMIST 和 AR 人脸库上的实 验结果表明,该算法相对于不相关保局投影分析算法和 PFLPP 算法,具有运算量低、识别性 能高的优势。     

Locality-preserved maximum information projection.

Dimensionality reduction is usually involved in the domains of artificial intelligence and machine learning. Linear projection of features is of particular interest for dimensionality reduction since it is simple to calculate and analytically analyze. In this paper, we propose an essentially linear projection technique, called locality-preserved maximum information projection (LPMIP), to identify the underlying manifold structure of a data set. LPMIP considers both the within-locality and the between-locality in the processing of manifold learning. Equivalently, the goal of LPMIP is to preserve the local structure while maximize the out-of-locality (global) information of the samples simultaneously. Different from principal component analysis (PCA) that aims to preserve the global information and locality-preserving projections (LPPs) that is in favor of preserving the local structure of the data set, LPMIP seeks a tradeoff between the global and local structures, which is adjusted by a parameter alpha, so as to find a subspace that detects the intrinsic manifold structure for classification tasks. Computationally, by constructing the adjacency matrix, LPMIP is formulated as an eigenvalue problem. LPMIP yields orthogonal basis functions, and completely avoids the singularity problem as it exists in LPP. Further, we develop an efficient and stable LPMIP/QR algorithm for implementing LPMIP, especially, on high-dimensional data set. Theoretical analysis shows that conventional linear projection methods such as (weighted) PCA, maximum margin criterion (MMC), linear discriminant analysis (LDA), and LPP could be derived from the LPMIP framework by setting different graph models and constraints. Extensive experiments on face, digit, and facial expression recognition show the effectiveness of the proposed LPMIP method.     

Image retrieval using nonlinear manifold embedding

The huge number of images on the Web gives rise to the content-based image retrieval (CBIR) as the text-based search techniques cannot cater to the needs of precisely retrieving Web images. However, CBIR comes with a fundamental flaw: the semantic gap between high-level semantic concepts and low-level visual features. Consequently, relevance feedback is introduced into CBIR to learn the subjective needs of users. However, in practical applications the limited number of user feedbacks is usually overwhelmed by the large number of dimensionalities of the visual feature space. To address this issue, a novel semi-supervised learning method for dimensionality reduction, namely kernel maximum margin projection (KMMP) is proposed in this paper based on our previous work of maximum margin projection (MMP). Unlike traditional dimensionality reduction algorithms such as principal component analysis (PCA) and linear discriminant analysis (LDA), which only see the global Euclidean structure, KMMP is designed for discovering the local manifold structure. After projecting the images into a lower dimensional subspace, KMMP significantly improves the performance of image retrieval. The experimental results on Corel image database demonstrate the effectiveness of our proposed nonlinear algorithm.     

Estimation of the chemical rank for the three-way data: a principal norm vector orthogonal projection approach.

A new approach for estimating the chemical rank of the three-way array called the principal norm vector orthogonal projection method has been proposed. The method is based on the fact that the chemical rank of the three-way data array is equal to one of the column space of the unfolded matrix along the spectral or chromatographic mode. A vector with maximum Frobenius norm is selected among all the column vectors of the unfolded matrix as the principal norm vector (PNV). A transformation is conducted for the column vectors with an orthogonal projection matrix formulated by PNV. The mathematical rank of the column space of the residual matrix thus obtained should decrease by one. Such orthogonal projection is carried out repeatedly till the contribution of chemical species to the signal data is all deleted. At this time the decrease of the mathematical rank would equal that of the chemical rank, and the remaining residual subspace would entirely be due to the noise contribution. The chemical rank can be estimated easily by using an F-test. The method has been used successfully to the simulated HPLC-DAD type three-way data array and two real excitation-emission fluorescence data sets of amino acid mixtures and dye mixtures. The simulation with added relatively high level noise shows that the method is robust in resisting the heteroscedastic noise. The proposed algorithm is simple and easy to program with quite light computational burden.