基于雅克比稀疏自动编码机的手写数字识别算法

由于手写数字边缘轮廓差异大造成书写风格的不同,为了提高识别准确度,通过在自动编码机中加入稀疏约束项和雅克比正则项,提出一种雅克比稀疏自动编码机(JSAE)的算法进行手写数字识别。加入稀疏约束项能够有效提取数据中的隐藏结构,而雅克比正则化可以描述数据点的边缘特征,提高自动编码器算法的学习能力,从而更准确地抽取样本的本质特征。实验结果表明,JSAE在分类准确率上要高于自动编码机（AE）和稀疏自动编码机（SAE）算法。     

改进的深度置信网络分类算法研究

深度置信网络(deep belief network,DBN)通过逐层无监督学习进行训练,但训练过程中易产生大量冗余特征,进而影响特征提取能力。为了使模型更具有解释和辨别能力,基于对灵长类视觉皮层分析的启发,在无监督学习阶段的似然函数中引入惩罚正则项,使用CD(contrastive divergence)训练最大化目标函数的同时,通过稀疏约束获得训练集的稀疏分布,可以使无标签数据学习到直观的特征表示。其次,针对稀疏正则项中存在的不变性问题,提出一种改进的稀疏深度置信网络,使用拉普拉斯函数的分布诱导隐含层节点的稀疏状态,同时将该分布中的位置参数用来控制稀疏的力度,即根据隐藏单元的激活概率与给定稀疏值的偏差程度而具有不同的稀疏水平。通过在MNIST和Pendigits手写体数据集上进行验证分析,并与多种现有方法相比,该方法始终达到最好识别准确度,并且具有良好的稀疏性能。     

成对约束指导的稀疏保持投影

针对稀疏保持投影的稀疏重构过程中监督信息不足的问题,提出一种成对约束指导的稀疏保持投影算法。该算法在训练样本数据的稀疏重构的过程中,通过引入正约束和负约束监督信息指导稀疏重构,使得稀疏保持投影有效地融合了约束监督信息。在UMIST、YALE和AR人脸库人脸数据集上的实验结果表明,与无监督的稀疏保持投影相比,该方法提高了基于最近近邻分类算法的5%~15%识别准确率,有效地提高了降维分类性能。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

鲁棒自表达的低秩属性选择算法

针对无监督属性选择算法无类别信息和未考虑属性的低秩问题,提出一种基于自表达方法的低秩属性选择算法。在损失函数中使用低秩和自表达方法描述属性间的相关结构,利用K均值聚类算法得到所有样本的伪类标签进行属性选择,采用稀疏学习方法中的l_(2,p)-范数参数p控制属性选择结果的稀疏性,并通过子空间学习方法使属性选择结果达到全局最优。实验结果表明,与无监督属性选择算法相比,该算法在6个公开数据集上均具有较高的分类准确率及稳定性。     

基于低秩和图拉普拉斯的属性选择算法

针对无监督属性选择算法使用单一方法,未考虑数据间内在相关性和噪声等问题,提出一种基于属性自表达的低秩无监督属性选择算法。算法首先将稀疏正则化（[l2,1-]范数）引入属性自表达损失函数中实现无监督稀疏学习,其次在系数矩阵中加入低秩约束以降低噪声和离群点的影响,然后利用低秩结构和图拉普拉斯正则化使子空间学习兼顾数据的全局和局部结构,最后通过属性自表达实现无监督学习。经数据集上多次迭代验证,该算法能够快速收敛并达到全局最优,与SOGFS、PCA、LPP、RSR等四种算法相比分类准确率平均提高了16.11%、14.03%、9.92%和4.2%,并且在各数据集上互信息平均值也是最高的,说明该算法有效、高效。     

调整聚类假设联合成对约束半监督分类方法

当不同类别的样本严重重叠在分类边界时,由于聚类假设不能很好地反映出数据的真实分布,基于聚类假设的半监督分类方法的性能,可能比与之对立的监督分类方法更差。针对上述不安全的半监督分类问题,提出了调整聚类假设联合成对约束半监督分类方法（ACA-JPC-S3VM）。一方面,它将单个未标记样本到数据分布边界的距离融入到模型的学习中,能够一定程度上缓解此类情况下算法性能的下降程度;另一方面,它将成对约束信息引入,弥补了模型对监督信息利用方面的不足。在UCI数据集上的实验结果表明,ACA-JPC-S3VM方法的性能绝不会低于支持向量机（SVM）,且在标记样本数量为10时的平均准确率较SVM高出5个百分点;在图像分类数据集上的实验结果表明,直推式支持向量机（TSVM）等半监督分类方法出现了不同程度的不安全学习情形（即性能相近或低于SVM）,而ACA-JPC-S3VM却能安全地学习。因此,ACA-JPC-S3VM具有更好的安全性与正确性。     

低秩约束的非线性属性选择算法

针对高维的数据中往往存在非线性、低秩形式和属性冗余等问题,提出一种基于核函数的属性自表达无监督属性选择算法——低秩约束的非线性属性选择算法（LRNFS）。首先,将每一维的属性映射到高维的核空间上,通过核空间上的线性属性选择去实现低维空间上的非线性属性选择;然后,对自表达形式引入偏差项并对系数矩阵进行低秩与稀疏处理;最后,引入核矩阵的系数向量的稀疏正则化因子来实现属性选择。所提算法中用核矩阵来体现其非线性关系,低秩考虑数据的全局信息进行子空间学习,自表达形式确定属性的重要程度。实验结果表明,相比于基于重新调整的线性平方回归（RLSR）半监督特征选择算法,所提算法进行属性选择之后作分类的准确率提升了2.34%。所提算法解决了数据在低维特征空间上线性不可分的问题,提升了属性选择的准确率。     

结合稀疏表示与约束传递的半监督谱聚类算法

针对半监督谱聚类不能有效处理大规模数据,没有考虑约束传递不能充分利用有限约束信息的问题,提出一种结合稀疏表示和约束传递的半监督谱聚类算法。首先,根据约束信息生成约束矩阵,将其引入到谱聚类中;然后,将约束集合中的数据作为地标点构造稀疏表示矩阵,近似获得图相似度矩阵,从而改进约束谱聚类模型;同时,根据地标点的相似度矩阵生成连通区域,在每个连通区域内动态调整近邻点,利用约束传递进一步提高聚类准确率。实验表明,所提算法和约束谱聚类相比,在算法效率方面具有明显优势,且准确率没有明显下降;和快速谱聚类方法相比,在聚类准确率上有所提升。     

自适应嵌入的半监督多视角特征降维方法

半监督模式下的多视角特征降维方法,大多并未考虑到不同视角间特征投影的差异,且由于缺乏对降维后的低维矩阵的稀疏约束,无法避免噪声和其他不相关特征的影响。针对这两个问题,提出自适应嵌入的半监督多视角特征降维方法。首先,将投影从单视角下相同的嵌入矩阵扩展到多视角间不同的矩阵,引入全局结构保持项;然后,将无标签的数据利用无监督方法进行嵌入投影,对于有标签的数据,结合分类的判别信息进行线性投影;最后,再将两类多投影映射到统一的低维空间,使用组合权重矩阵来保留全局结构,很大程度上消除了噪声及不相关因素的影响。实验结果表明,所提方法的聚类准确率平均提高了约9%。该方法较好地保留了多视角间特征的相关性,捕获了更多的具有判别信息的特征。     

无监督混阶栈式稀疏自编码器的图像分类学习

目前多数图像分类的方法是采用监督学习或者半监督学习对图像进行降维,然而监督学习与半监督学习需要图像携带标签信息。针对无标签图像的降维及分类问题,提出采用混阶栈式稀疏自编码器对图像进行无监督降维来实现图像的分类学习。首先,构建一个具有三个隐藏层的串行栈式自编码器网络,对栈式自编码器的每一个隐藏层单独训练,将前一个隐藏层的输出作为后一个隐藏层的输入,对图像数据进行特征提取并实现对数据的降维。其次,将训练好的栈式自编码器的第一个隐藏层和第二个隐藏层的特征进行拼接融合,形成一个包含混阶特征的矩阵。最后,使用支持向量机对降维后的图像特征进行分类,并进行精度评价。在公开的四个图像数据集上将所提方法与七个对比算法进行对比实验,实验结果表明,所提方法能够对无标签图像进行特征提取,实现图像分类学习,减少分类时间,提高图像的分类精度。     

Scene classification based on a hierarchical convolutional sparse auto-encoder for high spatial resolution imagery

Efficiently representing and recognizing the semantic classes of the subregions of large-scale high spatial resolution (HSR) remote-sensing images are challenging and critical problems. Most of the existing scene classification methods concentrate on the feature coding approach with handcrafted low-level features or the low-level unsupervised feature learning approaches, which essentially prevent them from better recognizing the semantic categories of the scene due to their limited mid-level feature representation ability. In this article, to overcome the inadequate mid-level representation, a patch-based spatial-spectral hierarchical convolutional sparse auto-encoder (HCSAE) algorithm, based on deep learning, is proposed for HSR remote-sensing imagery scene classification. The HCSAE framework uses an unsupervised hierarchical network based on a sparse auto-encoder (SAE) model. In contrast to the single-level SAE, the HCSAE framework utilizes the significant features from the single-level algorithm in a feedforward and full connection approach to the maximum extent, which adequately represents the scene semantics in the high level of the HCSAE. To ensure robust feature learning and extraction during the SAE feature extraction procedure, a ‘dropout’ strategy is also introduced. The experimental results using the UC Merced data set with 21 classes and a Google Earth data set with 12 classes demonstrate that the proposed HCSAE framework can provide better accuracy than the traditional scene classification methods and the single-level convolutional sparse auto-encoder (CSAE) algorithm.     

特征特定标记关联挖掘的类属属性学习

在多标记分类中,某个标记可能只由其自身的某些特有属性决定,这些特定属性称之为类属属性.利用类属属性进行多标记分类,可以有效避免某些无用特征影响构建分类模型的性能.然而类属属性算法仅从标记角度去提取重要特征,而忽略了从特征角度去提取重要标记.事实上,如果能从特征角度提前关注某些标记,更容易获取这些标记的特有属性.基于此,提出了一种新型类属属性学习的多标记分类算法,将从特征层面提取重要标记与从标记层面提取重要特征进行双向联合学习.首先,为了保证模型求解速度与精度都较为合理,采用极限学习机构建学习模型.随后,将弹性网络正则化理论添加到极限学习机损失函数中,使用互信息构建特征标记相关性矩阵作为L 2正则化项,而L 1正则化项即提取类属属性.该学习模型改进了类属属性在多标记学习中的不足,通过在标准多标记数据集上与多个先进算法对比,实验结果表明了所提模型的合理性和有效性.     

新颖的判别性特征选择方法

作为数据预处理的一种常用的手段,特征选择不仅能够提高分类器的分类性能,而且能增加对分类结果的解释性。针对基于稀疏学习的特征选择方法有时会忽略一些有用的判别信息而影响分类性能的问题,提出了一种新的判别性特征选择方法——D-LASSO,用于选择出更具有判别力的特征。首先D-LASSO模型包含一个L₁-范式正则化项,用于产生一个稀疏解;其次,为了诱导出更具有判别力的特征,模型中增加了一个新的判别性正则化项,用于保留同类样本以及不同类样本之间几何分布信息,用于诱导出更具有判别力的特征。在一系列Benchmark数据集上的实验结果表明,与已有方法相比较,D-LASSO不仅能进一步提高分类器的分类精度,而且对参数也较为鲁棒。     

Deep learning for fault-relevant feature extraction and fault classification with stacked supervised auto-encoder

Stacked auto-encoder (SAE)-based deep learning has been introduced for fault classification in recent years, which has the potential to extract deep abstract features from the raw input data. However, SAE cannot ensure the relevance of deep features with the fault types due to its unsupervised self-reconstruction in the pretraining stage. To overcome this problem, a stacked supervised auto-encoder is proposed to pretrain the deep network and obtain deep fault-relevant features from raw input data. In each supervised auto-encoder, informative features are learned from the input data with the goal that they can largely distinguish different fault types. By stacking multiple supervised auto-encoders hierarchically, high-level fault-relevant features are gradually learned from raw input data, which can improve the classification accuracy of the classifiers. The proposed SSAE is tested on the Tennessee–Eastman (TE) benchmark process and a real industrial hydrocracking process. The results show the effectiveness and flexibility of SSAE.     

结合全局和局部正则化的半监督二分类算法

针对在半监督分类问题中单独使用全局学习容易出现的在整个输入空间中较难获得一个优良的决策函数的问题,以及单独使用局部学习可在特定的局部区域内习得较好的决策函数的特点,提出了一种结合全局和局部正则化的半监督二分类算法。该算法综合全局正则项和局部正则项的优点,基于先验知识构建的全局正则项能平滑样本的类标号以避免局部正则项学习不充分的问题,通过基于局部邻域内样本信息构建的局部正则项使得每个样本的类标号具有理想的特性,从而构造出半监督二分类问题的目标函数。通过在标准二类数据集上的实验,结果表明所提出的算法其平均分类正确率和标准误差均优于基于拉普拉斯正则项方法、基于正则化拉普拉斯正则项方法和基于局部学习正则项方法。     

基于自适应稀疏邻域重构的无监督主动学习算法

在很多信息处理任务中,人们容易获得大量的无标签样本,但对样本进行标注是非常费时和费力的。作为机器学习领域中一种重要的学习方法,主动学习通过选择最有信息量的样本进行标注,减少了人工标注的代价。然而,现有的大多数主动学习算法都是基于分类器的监督学习方法,这类算法并不适用于无任何标签信息的样本选择。针对这个问题,借鉴最优实验设计的算法思想,结合自适应稀疏邻域重构理论,提出基于自适应稀疏邻域重构的主动学习算法。该算法可以根据数据集各区域的不同分布自适应地选择邻域规模,同步完成邻域点的搜寻和重构系数的计算,能在无任何标签信息的情况下较好地选择最能代表样本集分布结构的样本。基于人工合成数据集和真实数据集的实验表明,在同等标注代价下,基于自适应稀疏邻域重构的主动学习算法在分类精度和鲁棒性上具有较高的性能。     

Predicting labels for dyadic data

In dyadic prediction, the input consists of a pair of items (a dyad), and the goal is to predict the value of an observation related to the dyad. Special cases of dyadic prediction include collaborative filtering, where the goal is to predict ratings associated with (user, movie) pairs, and link prediction, where the goal is to predict the presence or absence of an edge between two nodes in a graph. In this paper, we study the problem of predicting labels associated with dyad members. Special cases of this problem include predicting characteristics of users in a collaborative filtering scenario, and predicting the label of a node in a graph, which is a task sometimes called within-network classification or relational learning. This paper shows how to extend a recent dyadic prediction method to predict labels for nodes and labels for edges simultaneously. The new method learns latent features within a log-linear model in a supervised way, to maximize predictive accuracy for both dyad observations and item labels. We compare the new approach to existing methods for within-network classification, both experimentally and analytically. The experiments show, surprisingly, that learning latent features in an unsupervised way is superior for some applications to learning them in a supervised way.