一种引入成对代价的子类判别分析

传统的降维方法追求较低的识别错误率,假设不同错分的代价相同,这个假设在一些实际应用中往往不成立.例如,在基于人脸识别的门禁系统中,存在入侵者类和合法者类,将入侵者错分成合法者的损失往往高于将合法者错分成入侵者的损失,而将合法者错分成入侵者的损失又大于将合法者错分成其他合法者的损失.为此,首先通过对人脸识别门禁系统进行分析,将其归为一个代价敏感的子类学习问题,然后将错分代价以及子类信息同时注入判别分析的框架中,提出一种近似于成对贝叶斯风险准则的降维算法.在人脸数据集Extended Yale B以及ORL上的实验结果表明了该算法的有效性.     

代价敏感的局部判别嵌入人脸识别算法

局部判别嵌入算法寻求最高的正确识别率时假设所有的错误分类具有相同的错分代价,然而这个假设在现实的人脸识别系统中往往是不成立的,因为不同的错误分类将会导致不同的错分代价.为此,提出一种代价敏感的局部判别嵌入算法.首先通过构造代价矩阵将代价敏感理念融入到特征提取阶段,以提高算法判别不同错误分类的能力;然后最大化异类近邻样本点之间的错分代价,同时最小化同类近邻样本点之间的距离;最后利用迭代算法求得最佳的正交投影向量,以更好地维持数据的度量架构.在Yale,ORL,AR和Extended Yale B人脸数据库上的实验结果表明,文中算法是有效的.     

基于Cost-Sensitive主成分分析的人脸识别

目前现有的人脸识别算法寻求最高的正确识别率,且假设所有的错误分类具有相同的错分代价,但此假设在现实的人脸识别系统中往往不成立。为此,提出一种基于代价敏感（Cost-Sensitive）主成分分析的人脸识别方法,该方法在主成分分析理论中引入一个代价敏感函数,将不同错误识别所造成的损失进行分类划分,以确定不同的损失代价,实现更精确的人脸识别。在AR、FERET和UMIST人脸数据集上的实验结果表明,与经典的基于子空间的人脸识别方法相比,提出的方法以最少的代价达到了较高的k最近邻分类识别精度。     

多分类问题代价敏感AdaBoost算法

针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题, 研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法 类似的流程和误差估计. 当代价完全相等时, 该算法就变成了一种新的多分类的连续AdaBoost算法, 算法能够确保训练错误率随着训练的分类器的个数增加而降低, 但不直接要求各个分类器相互独立条件, 或者说独立性条件可以通过算法规则来保证, 但现有多分类连续AdaBoost算法的推导必须要求各个分类器相互独立. 实验数据表明, 算法可以真正实现分类结果偏向错分代价较小的类, 特别当每一类被错分成其他类的代价不平衡但平均代价相等时, 目前已有的多分类代价敏感学习算法会失效, 但新方法仍然能 实现最小的错分代价. 研究方法为进一步研究集成学习算法提供了一种新的思路, 得到了一种易操作并近似满足分类错误率最小的多标签分类问题的AdaBoost算法.     

代价敏感学习方法综述

分类是机器学习的重要任务之一.传统的分类学习算法追求最低的分类错误率,假设不同类型的错误分类具有相等的损失.然而,在诸如人脸识别门禁系统、软件缺陷预测、多标记学习等应用领域中,不同类型的错误分类所导致的损失差异较大.这要求学习算法对可能导致高错分损失的样本加以重点关注,使得学习模型的整体错分损失最小.为解决该问题,代价敏感学习方法引起了研究者的极大关注.以代价敏感学习方法的理论基础作为切入点,系统阐述了代价敏感学习的主要模型方法以及代表性的应用领域.最后,讨论并展望了未来可能的研究趋势.     

基于代价敏感的决策树的电信离网分析模型

随着电信行业竞争的加剧,客户流失率日益攀升,因此提高客户流失的预测精度将直接关系到电信企业的生存和发展.而电信客户数据集中存在严重的数据不平衡问题,会导致两类错分代价明显不等同.而基于传统决策树的客户流失模型却是在两类错分代价相等的前提下建立的,与实际情况不符.因此引入代价敏感学习理论,该理论将不同的错分代价纳入建模过程,以建立一个基于代价敏感的决策树的电信客户离网分析模型.该方法有效地提高了模型对流失客户的预测性能.这对促进电信业的发展具有相当重要的意义.     

不平衡数据分类方法综述

随着信息技术的快速发展,各领域的数据正以前所未有的速度产生并被广泛收集和存储,如何实现数据的智能化处理从而利用数据中蕴含的有价值信息已成为理论和应用的研究热点.数据分类作为一种基础的数据处理方法,已广泛应用于数据的智能化处理.传统分类方法通常假设数据类别分布均衡且错分代价相等,然而,现实中的数据通常具有不平衡特性,即某一类的样本数量要小于其他类的样本数量,且少数类具有更高错分代价.当利用传统的分类算法处理不平衡数据时,由于多数类和少数类在数量上的倾斜,以总体分类精度最大为目标会使得分类模型偏向于多数类而忽略少数类,造成少数类的分类精度较低.如何针对不平衡数据分类问题设计分类算法,同时保证不平衡数据中多数类与少数类的分类精度,已成为机器学习领域的研究热点,并相继出现了一系列优秀的不平衡数据分类方法.鉴于此,对现有的不平衡数据分类方法给出较为全面的梳理,从数据预处理层面、特征层面和分类算法层面总结和比较现有的不平衡数据分类方法,并结合当下机器学习的研究热点,探讨不平衡数据分类方法存在的挑战.最后展望不平衡数据分类未来的研究方向.     

基于稀疏近邻表示的分类方法

稀疏表示分类方法(SRC)在人脸识别方面取得了当前最好的分类结果,针对SRC存在的问题,提出稀疏近邻表示方法(SNRC).在局部线性嵌入方法前提假设成立的条件下,SNRC通过稀疏近邻表示实现目标分类.在几个不同数据集上的实验结果显示,SNRC适用于呈非线性分布的数据集,并取得了较好的效果.进一步的分析表明,SNRC能够较好的适用于那些通过降维方法得到的低维数据的分类问题,尤其适用于基于近邻保持的一类降维方法得到的低维数据,并且具有较低的时间复杂度.     

基于主动表观模型的稀疏聚类人脸识别算法

在复杂的非人脸成分干扰以及训练样本过大、训练样本之间相似度较高的条件下,原始稀疏表示分类(SRC)算法识别准确率较低。针对上述问题,提出一种基于主动表观模型的稀疏聚类(CS-AAM)人脸识别算法。首先,利用主动表观模型快速、准确地对人脸特征点进行定位,获取主要人脸信息;然后,对训练样本进行K-means聚类,将相似程度高的图像分为一类,计算聚类中心,将该中心作为原子构造过完备字典并进行稀疏分解;最后,计算稀疏系数和重构残差对人脸图像进行分类、识别。将该算法与最近邻(NN)、支持向量机(SVM)、稀疏表示分类(SRC)、协同表示分类(CRC)人脸识别算法在ORL和Extended Yale B人脸数据库上对不同样本数及不同维数的人脸图像分别进行识别率测试,在相同样本数或相同维数情况下CS-AAM算法识别率均高于其他算法。在ORL人脸库中选取样本数为210时,相同维数条件下CS-AAM算法识别率为95.2%;在Extended Yale B人脸库上选取样本数为600时,CS-AAM算法识别率为96.8%。实验结果表明,该算法能够有效地提高人脸图像的识别准确率。     

基于马氏距离的局部边界Fisher分析降维算法

针对人脸识别应用中的高维数据图像以及欧氏距离不能准确体现样本间的相似度的问题,提出了一种基于马氏距离的局部边界Fisher分析(MLMFA)降维算法。该算法从现有的样本中学习得到一个马氏度量,然后在近邻选择以及新样本降维过程中用马氏距离作为相似性度量。同时,通过马氏度量构造出类内“相似”图和类间“代价”图来描述数据集的类内紧凑性和类间分离性。MLMFA很好地保持了数据集的局部结构。用YALE和FERET人脸库进行实验,MLMFA的最大识别率比传统基于欧氏距离算法的最大识别率平均分别提高了1.03%和6%。实验结果表明,算法MLMFA具有很好的分类和识别性能。     

Locality preserving and global discriminant projection with prior information

Existing supervised and semi-supervised dimensionality reduction methods utilize training data only with class labels being associated to the data samples for classification. In this paper, we present a new algorithm called locality preserving and global discriminant projection with prior information (LPGDP) for dimensionality reduction and classification, by considering both the manifold structure and the prior information, where the prior information includes not only the class label but also the misclassification of marginal samples. In the LPGDP algorithm, the overlap among the class-specific manifolds is discriminated by a global class graph, and a locality preserving criterion is employed to obtain the projections that best preserve the within-class local structures. The feasibility of the LPGDP algorithm has been evaluated in face recognition, object categorization and handwritten Chinese character recognition experiments. Experiment results show the superior performance of data modeling and classification to other techniques, such as linear discriminant analysis, locality preserving projection, discriminant locality preserving projection and marginal Fisher analysis.     

A classification approach incorporating misclassification costs

We explore an algorithm for learning a classification procedure to minimize the cost of misclassified examples. The described approach is based on the generation of oblique decision trees. The various misclassification costs are defined by a cost matrix. A special splitting criterion is defined to determine the next node for splitting. Clustering techniques are used to process the splitting. The specific splitting criterion is based on cost histograms that count the misclassification costs per class. To avoid overfitting cross-validation techniques are directly integrated into the framing cycle to terminate the splitting process. Several successful tests with different data sets cause this method to seem very promising.     

Regularized locality preserving discriminant embedding for face recognition

For face recognition, graph embedding techniques attempt to produce a high data locality projection for better recognition performance. However, estimation of population data locality could be severely biased due to small number of training samples. The biased estimation triggers overfitting problem and hence poor generalization. In this paper, we propose a new linear graph embedding technique based upon an adaptive locality preserving regulation model (ALPRM), known as Regularized Locality Preserving Discriminant Embedding (RLPDE). In RLPDE, the projection features are regulated based on ALPRM to approach population data locality, which can directly enhance the locality preserving capability of the projection features. This paper also presents the relation between locality preserving capability and class discrimination. Specifically, we show that the optimization of the locality preserving function minimizes the within-class variability. Experiments on three face datasets such as PIE, FRGC and FERET show the promising performance of the proposed technique.     

Supervised optimal locality preserving projection

In the past few years, the computer vision and pattern recognition community has witnessed a rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among these methods, locality preserving projection (LPP) is one of the most promising feature extraction techniques. Unlike the unsupervised learning scheme of LPP, this paper follows the supervised learning scheme, i.e. it uses both local information and class information to model the similarity of the data. Based on novel similarity, we propose two feature extraction algorithms, supervised optimal locality preserving projection (SOLPP) and normalized Laplacian-based supervised optimal locality preserving projection (NL-SOLPP). Optimal here means that the extracted features via SOLPP (or NL-SOLPP) are statistically uncorrelated and orthogonal. We compare the proposed SOLPP and NL-SOLPP with LPP, orthogonal locality preserving projection (OLPP) and uncorrelated locality preserving projection (ULPP) on publicly available data sets. Experimental results show that the proposed SOLPP and NL-SOLPP achieve much higher recognition accuracy.     

有监督正交局部保留投影及其在人脸识别中的应用

针对局部保留投影算法（LPP）的无监督和非正交问题,提出了一种有监督的正交局部保留投影算法SOLPP。该算法同时考虑了样本的类别信息以及投影向量间的相互正交性,首先利用样本的类标签信息重新定义了类内和类间相似度矩阵,同时最大化类间离散度与类内离散度之比,有效地保持了样本的局部结构;其次对投影基向量进行正交化,在保持数据空间结构的同时进一步提高了人脸识别效果。在ORL和FERET人脸库上的实验表明,该方法的识别率要优于SLPP等算法。     

基于样本邻域保持的代价敏感特征选择

特征选择是机器学习和数据挖据中一个重要的预处理步骤,而类别不均衡数据的特征选择是机器学习和模式识别中的一个热点研究问题。多数传统的特征选择分类算法追求高精度,并假设数据没有误分类代价或者有同样的代价。在现实应用中,不同的误分类往往会产生不同的误分类代价。为了得到最小误分类代价下的特征子集,本文提出一种基于样本邻域保持的代价敏感特征选择算法。该算法的核心思想是把样本邻域引入现有的代价敏感特征选择框架。在8个真实数据集上的实验结果表明了该算法的优越性。     

无关性判别保局算法及其在人脸识别中的应用

特征提取是人脸识别过程中的一个重要步骤,是人脸识别算法有效性的关键。提出了一种基于无关性判别保局的特征提取算法,并应用于人脸识别。基于保局投影算法的人 脸识别是一种有效的人脸识别算法,但它只考虑了数据的局部性,没有考虑类别信息,也没有考虑所提特征之间的相关性,现有的改进算法虽然考虑了类别信息,但是没有考虑到 类间信息。本文算法使得所提特征之间相互无关,这样降低了数据冗余,同时考虑到类别信息,使得投影后的类间区分度加强了。实验结果验证了算法的正确性和有效性,比传统 算法有较好的识别性能。     

局部非参数子空间分析在人脸识别中的应用

提出了一种局部非参数子空间分析算法（Local Nonparametric Subspace Analysis,LNSA）,将其应用在人脸识别中。LNSA算法结合了非参数子空间算法（Nonparametric Subspace Analysis,NSA）与局部保留投影算法（Locality Preserving Projection,LPP）。它利用LPP算法中的相似度矩阵重构NSA的类内散度矩阵,使得在最大化类间散度矩阵的同时保留了类的局部结构。在ORL人脸库和XM2VTS人脸库上作了实验并证明LNSA方法要优于其他方法。     

正交拉普拉斯语种识别方法

提出了一种正交拉普拉斯语种识别方法,即在提取语音的i-vector后,采用正交局部保持投影进行子空间映射,将信号整体空间映射到语言信息加信道信息子空间,然后对映射后的矢量进行信道补偿处理,最后用支持向量机进行识别. 尽管i-vector最大限度地保留了语音的声学信息,但是并没有发现这些信息之间的内在结构. 利用正交局部保持投影在去除声学无关信息的基础上,进一步发现声学特征的内在结构,能够有效地提高特征的区分性. 在对NIST LRE 2003测试数据库实验后,发现新方法相较于基线系统来说,平均代价降低了28.91%.