基于PCA及ICA的双空间特征提取算法

任何一种单子空间特征提取算法都不能在任何情况下优于其他子空间算法,但是采用双子空间却可以克服单子空间的局限性。为了提高分类结果的正确率,提出了一种基于PCA及ICA的双空间特征提取算法,该算法采用ICA作为PCA的补空间进行特征提取,其目的是将在PCA子空间中难以识别的样本,再次投影到ICA子空间中进行识别。该算法可分为以下两个步骤:首先进行预分类,即在一个子空间内同时使用两种分类器对测试样本进行分类,若某个测试样本被两种分类器划分到不同的类,则将该测试样本加入到新测试样本集中;然后将新测试样本集中的测试样本再次投影到另一个子空间中进行分类识别;最后,将识别结果与预分类结果一起进行正确率测试。在ORL及FERET人脸库上的实验结果表明,该算法的模式识别率明显优于传统的特征提取算法。     

基于子空间样本选择的最近凸包分类器

最近邻凸包分类器需要求解测试样本到训练集凸包距离的凸二次规划问题,对于训练集规模较大的情况,有必要在分类之前进行适当的样本选择。为此该文提出基于子空间样本选择的最近凸包分类方法。该方法首先采用子空间样本选择算法对训练集样本进行筛选,然后将各类选出的样本作为最近邻分类器的新的训练集。子空间样本选择方法的原理是在一类训练样本集内,迭代选择距离已选样本张成子空间最远的样本。在MIT-CBCL人脸识别数据库的training-synthetic子库的实验中,该方法只需5.6%的训练样本即可取得100%的识别率,并且执行时间较未经选样的最近邻凸包分类器也大为减少。     

基于线性判别回归的最近-最远子空间分类鲁棒人脸识别

针对人脸识别中小样本问题导致类依赖子空间不完善而严重影响识别性能的问题,提出一种基于线性判别回归的最近-最远子空间分类算法。首先,基于线性判别回归,利用最近子空间分类器度量测试图像与单一类之间的关系;然后,利用所提出的最远子空间分类器度量测试图像与训练图像之间的关系;最后,结合最近、最远子空间分类器,利用类依赖子空间的不同特性完成人脸的分类识别。在三个公开的人脸数据库ORL、AR及扩展Yale B上的实验验证了该算法的有效性。实验结果表明,相比其他几种分类算法,该算法取得了更好的识别效果。     

一种新的基于聚类的多分类器融合算法

提出了一种新的多分类器融合算法,该算法能找出各分类器在特征空间中局部性能较好的区域,并利用具有最优局部性能的分类器的输出作为最终的融合结果。首先,利用各分类器对训练样本进行分类,这样训练样本被划分为正确分类样本和错误分类样本两个集合;接着,对这两个样本集合分别进行聚类分析来划分特征空间,并计算各分类器在特征空间局部区域中的性能;在测试时,选择测试样本周围局部性能最优的分类器的输出作为最终的融合结果。基于ELENA数据集的实验显示了该算法的有效性。     

半动态集成选择分类方法

在集成学习领域,传统的动态集成选择需要为每一个样本选择子分类器组成集成分类器,这极大地增加了计算复杂度。针对这一问题,提出一种新的半动态集成选择方法。该方法分为两阶段,第一阶段为所有的测试样本选择最好的个体分类器组成一个集成分类器,第二阶段从剩余的个体分类器集合中为当前测试样本动态地选择子分类器组成一个集成分类器。最终的分类结果通过融合两阶段得到集成分类器的结果得到。通过对UCI数据测试的结果表明,该算法不仅能取得较好的分类性能,而且能极大地降低计算复杂度。     

基于补集零空间与最近空间距离的人脸识别

针对人脸识别中在分类器判别时没有充分利用类间差异的问题,提出一种补集零空间（CNS）算法,并进一步提出结合CNS算法与最近空间距离的人脸识别算法——补集零空间与最近空间距离算法（CNSD）。首先,在训练样本中,对每一种类别的人脸样本,构建其子空间并计算其补集的零空间;其次,计算测试样本与所有子空间和补集零空间的距离,找到最小的子空间距离与最大的补集零空间距离对应的类别,将其判别为测试样本的类别。算法在ORL与AR人脸数据集上进行了测试,当训练样本数较小时,CNS算法与CNSD算法识别率远高于最近邻分类器（NN）算法、最近空间距离（NS）算法、最近最远空间距离（NFS）算法;训练样本数较大时,CNS算法与CNSD算法识别率也略高于NN算法、NS算法、NFS算法。实验结果表明,所提算法能充分利用图像的类间差异,提高人脸识别的成功率。     

核子空间样本选择方法的核最近邻凸包分类器

为了保证核最近邻凸包分类器有效地处理大训练集的应用问题,提出一种核子空间样本选择方法与该分类器相结合。核子空间样本选择方法是一个类内迭代算法,该算法在核空间里每次迭代选择一个距离选择集样本张成子空间最远的样本。在MIT-CBCL人脸识别数据库的training-synthetic子库上的实验中,该方法不但可以取得100%的识别率,而且与未经选样的核最近邻凸包分类器相比,其执行速度要快许多。     

结合X-means聚类的自适应随机子空间组合分类算法

针对大规模数据的分类准确率低且效率下降的问题,提出一种结合X-means聚类的自适应随机子空间组合分类算法。首先使用X-means聚类方法,保持原有数据结构的同时,把复杂的数据空间自动分解为多个样本子空间进行分治学习;而自适应随机子空间组合分类器,提升了基分类器的差异性并自动确定基分类器数量,提升了组合分类器的鲁棒性及分类准确性。该算法在人工和UCI数据集上进行了测试,并与传统单分类和组合分类算法进行了比较。实验结果表明,对于大规模数据集,该方法具有更好的分类精度和健壮性,并提升了整体算法的效率。     

改进的模块2DPCA人脸识别算法

提出一种改进的模块2DPCA人脸识别算法,即基于子距离的模块2DPCA人脸识别算法。该算法对图像进行分块,对每一子块独立地利用2DPCA进行处理,求出测试样本子块与训练样本对应子块间的子距离,将所有子距离相加得到测试样本与训练样本的距离,用最近距离分类器分类。在ORL人脸库上的实验结果表明,该算法在识别性能上优于普通的模块2DPCA算法和修正的模块2DPCA算法。     

空间光滑且完整的子空间学习算法

提出一种空间光滑且完整的子空间学习算法.它融合了主成分分析、空间光滑的子空间学习算法和局部敏感判别投影的技术特点.不但保持了数据流形的全局和局部几何结构,而且保持了它的判别信息和空间关系.从原始样本提取全局和局部特征经线性变换组成新样本,再从新样本中提取最佳分类特征,最后由分类器完成分类识别.同一般的子空间算法相比,该算法提高了识别率.实验结果验证了该算法的有效性.     

GSwMKnn:基于类别基尼系数子空间的加权互K近邻算法

在高维数据空间中,存在大量冗余或无用的属性,这使得在子空间中寻找目标类更为有效．为此文章提出基于类别基尼系数子空间的加权互k近邻算法,利用类别基尼系数求出其对应的软子空间并将待分类样本和训练样本投影到各个类别子空间中,再在各软子空间中使用类别基尼系数加权距离互k近邻算法计算出待分类样本在各个子空间的投票权重并叠加,最终得出待分类样本的类标签．在公共数据集上的实验结果验证了该方法的有效性．     

聚类分片双支持向量域分类器

针对支持向量域分类器对大规模样本集的训练时间长且占用内存大的问题,构造聚类分片双支持向量域分类器。以均值聚类剖分原始空间,并选取密度指标大的样本作为初始聚类中心;对子空间构造双支持向量域分类器,根据样本与正负类最小包围超球的距离构造分段决策函数;定义样本的变尺度距离,以链接规则组合子空间的分类结果。数值实验表明,所提出算法的分类精度高且受参数变化的影响不大,分类时间短且随子空间数的增加而降低。     

子空间搜索广义主成分分析

GPCA(Generalized Principal Component Analysis)是近几年提出的一种数据聚类和降维方法,它通过将样本聚类为不同的子空间得到样本的低维表达.GPCA方法已经被应用于图像分割、图像聚类等问题.原有的GPCA算法具有指数计算复杂度,很难应用于高维数据的实际处理.文中针对此问题,提出了基于子空间搜索的SGPCA算法,将聚类问题分解为单个平面的单个垂直向量的搜索问题,对不同子空间分别搜索,从而实现多项式复杂度算法.实验表明,新方法不仅计算复杂度低,而且对噪声的鲁棒性也更强.     

Genetic nearest feature plane

The problem addressed in this paper concerns the complexity reduction of the nearest feature plane classifier, so that it may be applied also in dataset where the training set contains many patterns. This classifier considers, to classify a test pattern, the subspaces created by each combination of three training patterns. The main problem is that in dataset of high cardinality this method is unfeasible.A genetic algorithm is here used for dividing the training patterns in several clusters which centroids are used to build the feature planes used to classify the test set.The performance improvement with respect to other nearest neighbor based classifiers is validated through experiments with several benchmark datasets.     

核仿射子空间最近点分类算法

受支持向量机的几何解释和最近点问题启发,提出一种新型的模式分类算法——核仿射子空间最近点分类算法。该算法在核空间中,将支持向量机几何模型中的最近点搜索区域由2类训练特征集凸包推广到2类特征样本各自生成的仿射子空间,以仿射子空间作为特征样本分布的粗略估计,通过仿射子空间中的最近的2个点构造平分仿射子空间间隔的最优分类超平面。该算法在ORL人脸识别数据库上的比较实验中取得了较好的识别效果。     

一种融合各类最小主成分子空间的特征变换方法

针对主成分分析算法没有很好地利用数据的类别信息,且最大主成分方向容易导致各类数据重叠的问题,提出一种融合各类最小主成分子空间的特征变换方法.首先将各类数据分别进行主成分分析,由各类最小主成分方向张成各类投影子空间;然后将原始数据在各类子空间投影后的最小主成分子空间进行融合,构成新的特征空间;最后使用KE E L公共数据集对该方法进行测试.结果表明,与其他特征变换方法相比,该方法能够构造出更加利于分类的特征空间,有助于提升分类器的分类精度.     

Classification by nearness in complementary subspaces

This study introduces a classifier founded on k-nearest neighbours in the complementary subspaces (NCS). The global space, spanned by all training samples, can be decomposed into the direct sum of two subspaces in terms of one class: the projection vectors of this class into one subspace are nonzero, and that into another subspace are zero. A query sample is projected into the two subspaces for each class, respectively. In each subspace, the distance from the projection vector to the mean of its k-nearest neighbours can be calculated, and the final classification rules are designed in terms of the two distances calculated in the two complementary subspaces, respectively. Allowing for the geometric meaning of Gram determinant and kernel trick, the classifier is naturally implemented in the kernel space. The experimental results on 1 synthetic, 13 IDA binary class, and five UCI multi-class data sets show that NCS compares favourably to the comparing classifiers, which is founded on the k-nearest neighbours or the nearest subspace, on almost all the data sets. The classifier can straightforwardly solve multi-classification problems, and the performance is promising.     

基于搜索空间信息的新型遗传算法

针对多模态函数优化问题，提出了一种遗传算法。用正交设计法对搜索空间进行探索，用差分法确定适应函数关于各变量的灵敏性，对灵敏性较高的几个变量，按其所在维度对搜索空间进行划分。用遗传算法分别对各子空间进行单次搜索，根据各子空间当前最优解的大小依概率对其应用遗传搜索。根据情况决定是否对各子空间递归调用该算法。仿真实验证明：在同等计算量的情况下，该算法相对于其他遗传算法能明显提高全局最优解的精度，并获取更多的局部最优解和其他有效信息。     

仿射子空间最近点分类算法

为了取得更好的识别效果,受支持向量机的几何解释和最近点问题启发,提出了一种新的模式分类算法——仿射子空间最近点算法。该算法是将支持向量机最近点法的最近点搜索区域由两类训练集凸包推广到两类训练样本各自张成的仿射子空间,并以仿射子空间作为样本分布的粗略估计,通过仿射子空间中的最近点对来构造平分仿射子空间间隔的最优分类超平面。该算法在ORL人脸识别数据库上进行的比较实验中取得了较好的识别效果,从而证实了该方法的可行性和有效性。