类依赖的相关性多类分类器

典型相关分析（CCA）是利用样本的相关性进行特征提取的一种重要的降维方法,而相关性判别分析（CDA）则是在特征空间中最大化同类样本对间的相关性,同时最小化不同类样本对间的相关性,可看作类依赖的典型相关分析。这两种方法的特征提取与其后的分类器是两个相互独立的过程,如此不可避免地会影响分类器的性能。借助正则单纯形的顶点等距并具有仿射不变性的特性,将其作为类标号编码,把样本中包含的类信息结合到分类器设计中,最大化各个样本与其类标号的相关性,同时最小化样本与其余类标号之间的相关性,得到类依赖的相关性多类分类器（CCMC）。进一步通过与经验核相结合,获得了具有更强分类性能的核化版非线性分类器EK-CCMC。人工数据集和部分UCI数据集上的实验结果表明,利用类依赖的相关性直接设计分类器可以提高分类性能。     

基于GAN-AdaBoost-DT不平衡分类算法的信用卡欺诈分类

针对传统单个分类器在不平衡数据上分类效果有限的问题，基于对抗生成网络（GAN）和集成学习方法，提出一种新的针对二类不平衡数据集的分类方法——对抗生成网络-自适应增强-决策树（GAN-AdaBoost-DT）算法。首先，利用GAN训练得到生成模型，生成模型生成少数类样本，降低数据的不平衡性；其次，将生成的少数类样本代入自适应增强（AdaBoost）模型框架，更改权重，改进AdaBoost模型，提升以决策树（DT）为基分类器的AdaBoost模型的分类性能。使用受测者工作特征曲线下面积（AUC）作为分类评价指标，在信用卡诈骗数据集上的实验分析表明，该算法与合成少数类样本集成学习相比，准确率提高了4.5%，受测者工作特征曲线下面积提高了6.5%；对比改进的合成少数类样本集成学习，准确率提高了4.9%，AUC值提高了5.9%；对比随机欠采样集成学习，准确率提高了4.5%，受测者工作特征曲线下面积提高了5.4%。在UCI和KEEL的其他数据集上的实验结果表明，该算法在不平衡二分类问题上能提高总体的准确率，优化分类器性能。     

局部判别型典型相关分析算法

在典型相关分析（CCA）的基础上,通过引入样本的类信息,并结合局部化思想,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,提出了一种新的有监督学习方法——局部判别型CCA（Locality Discriminative CCA,简记为LDCCA）。LDCCA提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类。在人工数据集,手写体数字数据集上和ORL,Yale和AR人脸数据集的实验结果表明,LDCCA能有效地利用类信息来提高分类性能。     

聚类与PCA融合的特征提取方法研究

针对主成分分析（Principal Component Analysis,PCA）在克服变量多重相关性中的局限作用,提出了基于K-maxmin聚类的改进PCA特征提取方法,并结合RelieF算法去除分类不相关特征,可进一步提高算法效率和准确性。实验结果表明,该方法的特征提取效果优于传统的PCA方法。     

基于卷积神经网络和贝叶斯分类器的句子分类模型

针对传统句子分类模型存在特征提取过程复杂且分类准确率较低等不足,利用当下流行的基于深度学习模型的卷积神经网络在特征提取上的优势,结合传统句子分类方法提出一种基于卷积神经网络和贝叶斯分类器的句子分类模型。该模型首先利用卷积神经网络提取文本特征,其次利用主成分分析法对文本特征进行降维,最后利用贝叶斯分类器进行句子分类。实验结果表明在康奈尔大学公开的影评数据集和斯坦福大学情感分类数据集上,所提出的方法优于只使用深度学习的模型或传统句子分类模型。     

局部特征融合的小样本分类

目的 小样本学习是一项具有挑战性的任务,旨在利用有限数量的标注样本数据对新的类别数据进行分类。基于度量的元学习方法是当前小样本分类的主流方法,但往往仅使用图像的全局特征,且模型分类效果很大程度上依赖于特征提取网络的性能。为了能够充分利用图像的局部特征以及提高模型的泛化能力,提出一种基于局部特征融合的小样本分类方法。方法 首先,将输入图像进行多尺度网格分块处理后送入特征提取网络以获得局部特征;其次,设计了一个基于Transformer架构的局部特征融合模块来得到包含全局信息的局部增强特征,以提高模型的泛化能力;最后,以欧几里得距离为度量,计算查询集样本特征向量与支持集类原型之间的距离,实现分类。结果 在小样本分类中常用的3个数据集上与当前先进的方法进行比较,在5-way 1-shot和5-way 5-shot的设置下相对次优结果,所提方法在MiniImageNet数据集上的分类精度分别提高了2.96%和2.9%,在CUB（Caltech-UCSD Birds-200-2011）数据集上的分类精度分别提高了3.22%和1.77%,而在TieredImageNet数据集上的分类精度与最优结果相当,实验结果表明了所提方法的有效性。结论 提出的小样本分类方法充分利用了图像的局部特征,同时改善了模型的特征提取能力和泛化能力,使小样本分类结果更为准确。     

流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

基于灰度图纹理指纹的恶意软件分类

随着安卓恶意软件数量的快速增长,传统的恶意软件检测与分类机制存在检测率低、训练模型复杂度高等问题。为解决上述问题,结合图像纹理特征提取技术和机器学习分类器,提出基于灰度图纹理特征的恶意软件分类方法。该方法首先将恶意软件样本生成灰度图,设计并集成了包含GIST和Tamura特征提取算法在内的4种特征提取方法;然后将所得纹理特征集合作为源数据,基于Caffe高性能处理架构构造了5种分类学习模型,最终实现对恶意软件的检测和分类。实验结果表明,基于图像纹理特征的恶意软件分类具有较高的准确率,且Caffe架构能有效缩短学习时间,降低复杂度。     

一种基于群等变卷积的度量元学习算法

传统机器学习方法泛化性能不佳,需要通过大规模数据训练才能得到较好的拟合结果,因此不能快速学习训练集外的少量数据,对新种类任务适应性较差,而元学习可实现拥有类似人类学习能力的强人工智能,能够快速适应新的数据集,弥补机器学习的不足。针对传统机器学习中的自适应问题,利用样本图片的局部旋转对称性和镜像对称性,提出一种基于群等变卷积神经网络（G-CNN）的度量元学习算法,以提高特征提取能力。利用G-CNN构建4层特征映射网络,根据样本图片中的局部对称信息,将支持集样本映射到合适的度量空间,并以每类样本在度量空间中的特征平均值作为原型点。同时,通过同样的映射网络将查询机映射到度量空间,根据查询集中样本到原型点的距离完成分类。在Omniglot和miniImageNet数据集上的实验结果表明,该算法相比孪生网络、关系网络、MAML等传统4层元学习算法,在平均识别准确率和模型复杂度方面均具有优势。     

基于深度学习的监督型典型相关分析

典型相关分析（CCA）是利用综合变量对之间的相关关系反映两组指标之间整体相关性的多元统计方法。传统的CCA方法无法有效利用样本的标签信息,导致准确率降低。将类信息融入到深度学习与CCA相结合的深度典型相关分析中,提出一种监督型降维方法DL-SCCA,用于处理带标签的非线性可分数据。在2个独立的深度神经网络（DNN）结构上,增加1个公共的输出维数与数据集类别数相同的全连接层,并且以softmax函数作为该层的激活函数,输出带有概率意义的编码向量。在此基础上,利用全连接输出与样本标签信息之间的交叉熵对DNN进行训练,获得分类性能较优的低维特征。实验结果表明,该方法采用最近邻分类器和网络本身结构得到的分类准确率分别为98.00%和97.82%,相比CCA、DisCCA、DCCA等方法,能够有效利用样本的标签信息,并且具有较优的分类性能。     

有序判别典型相关分析

多视图学习方法通过视图间互补信息的融合,达到增强单一视图方法的鲁棒性并提升学习性能的目的.典型相关分析(canonical correlation analysis,简称CCA)是一种重要的多视图信息融合技术.其研究的是针对同一组目标两组不同观测数据间的相关性,目标是得到一组相关性最大的投影向量.但当面对标号有序的分类任务时,CCA因没有利用类信息和类间有序信息,造成了对分类性能的制约.为此,通过将有序类信息嵌入CCA进行扩展,发展出有序判别典型相关分析(ordinal discriminative canonical correlation analysis,简称OR-DisCCA).实验结果表明, OR-DisCCA的性能比相关方法更优.     

二维典型相关分析及其在人脸识别中的应用

通过对传统的基于向量的典型相关分析(CCA)方法进行改进,提出了一种新的直接基于特征矩阵的二维典型相关分析方法(2DCCA),并将其应用于人脸识别的特征融合过程中。较基于向量的典型相关分析,该方法的优点主要有两点：第一,该方法计算过程中构造的协方差矩阵维数大幅度减小,这在一定程度上避免了人脸识别中存在的“高维小样本问题”;第二,由于协方差矩阵维数的缩减,使特征抽取的速度明显提高。最后在ORL标准人脸库和AR大型人脸数据库上的实验结果有效地验证了这两点。     

增强组合特征判别性的典型相关分析

典型相关分析(CCA)在执行分类任务时主要存在如下不足:1)尽管分类时的输入是组合特征,但CCA仅优化组合特征的各组成部分,并未直接优化组合特征本身;2)尽管面对的是分类任务,然而CCA根本无法利用样本的类信息。为弥补CCA的上述不足,文中提出一种监督型降维方法——增强组合特征判别性的典型相关分析(CECCA)。CECCA在CCA基础上,通过结合组合特征的判别分析,实现对组合特征相关性与判别性的联合优化,使所抽取特征更适合分类。在人工数据集、多特征手写体数据集和人脸数据集上的实验结果验证该方法的有效性。     

基于低秩分解的鲁棒典型相关分析

典型相关分析（CCA）是一种经典的多特征提取算法,它能够有效地抽取两组特征之间的相关性,现已被广泛应用于模式识别。在含噪声数据情况下,CCA的特征表示性能受到限制。为了使CCA更好地处理含噪声数据,提出一种基于低秩分解的典型相关分析算法——鲁棒典型相关分析（robust canonical correlation analysis,RbCCA）。RbCCA首先对特征集进行低秩分解,得到低秩分量和噪声分量,以此分别构建对应的协方差矩阵。通过最大化低秩分量的相关性,同时最小化噪声分量的相关性来建立判别准则函数,进而求取鉴别投影矢量。在MFEAT手写体数据库、ORL和Yale人脸数据中的实验结果表明,在包含噪声的情况下,RbCCA的识别效果优于现有的典型相关分析方法。     

基于块稀疏表示的行人重识别方法

针对非重叠视角下的行人重识别和高维特征提取等问题,提出基于块稀疏表示的行人重识别方法。采取典型相关分析（CCA）方法进行特征投影变换,通过提高特征匹配能力来避免高维特征运算引起的维数灾难问题,并在CCA转换后的投影空间使投影后查询集行人特征向量与相应的数据集特征向量近似成线性关系;利用行人数据集的块结构特征构建行人重识别模型,采用交替方向框架求解优化问题;最后对查询集中要识别的行人采用残差项处理,并将最小残差项所对应的指标作为最终识别的行人记号。在公开数据集PRID 2011、iLIDS-VID和VIPeR上进行多次实验,结果显示所提方法的Rank1性能在三个数据集上分别达到40.4%、38.11%和23.68%,明显高于大间隔最近邻分类（LMNN）等算法,其在Rank-1上的匹配率也远大于LMNN算法;其总体性能也优于经典的基于特征表示与度量学习的算法。实验结果验证了所提方法在行人重识别上的有效性。     

基于超限学习机的非线性典型相关分析及应用

典型相关分析是目前常用的研究两个变量间相关性的统计方法。针对线性典型相关分析难以准确揭示变量之间复杂关系的问题,提出一种基于超限学习机的非线性典型相关分析多模态特征提取方法。首先,采用超限学习机分别的对每个模态进行无监督特征学习,得到抽象的深度特征表示;然后将这些深度抽象特征通过典型相关分析极大化模态之间的相关性,同时得到两组相关变量,实现多模态数据的复杂非线性和高相关性表示。最后在康奈尔大学机器抓取公开数据集上进行实验验证,结果表明,所提出的方法与其他相关算法相比,训练速度得到显著提升。     

Orthogonal canonical correlation analysis and applications

Canonical correlation analysis (CCA) is a cornerstone of linear dimensionality reduction techniques that jointly maps two datasets to achieve maximal correlation. CCA has been widely used in applications for capturing data features of interest. In this paper, we establish a range constrained orthogonal CCA (OCCA) model and its variant and apply them for three data analysis tasks of datasets in real-life applications, namely unsupervised feature fusion, multi-target regression and multi-label classification. Numerical experiments show that the OCCA and its variant produce superior accuracy compared to the traditional CCA.     

二维典型相关分析在小样本图像识别上的应用

针对传统典型相关分析（Canonical Correlation Analysis,CCA）的图像识别中出现的小样本（Small Sample Size,SSS）问题,提出二维典型相关分析（Two-Dimensional CCA,2DCCA）。首先阐述了2DCCA方法的基本原理并给出了类成员关系矩阵的构造方法,推导出了类成员关系协方差矩阵广义逆的解析解。其次,从理论上证明了2DCCA方法对于解决小样本问题的有效性。最后,利用人脸识别实验来测试该方法的性能,实验结果表明,2DCCA方法有效地解决了图像识别中常见的小样本问题,并且能取得较其他几种基于CCA的人脸识别方法更优的识别结果。