自适应邻域图的流形学习方法

针对目前流形学习方法的嵌入效果非常敏感于局部邻域的选取方式,提出一种自适应邻域图的非线性数据降维方法。该方法考虑数据点周围的点分布信息,自适应地寻找最近邻域大小。不同于传统的邻域选取方法,此方法根据样本点周围的疏密程度来动态地获得最近邻域数,且所得到的各个样本点的邻域数是不等的;将每个样本点与其最近邻点连接,构建自适应邻域图进行有效降维。在人工生成数据集和人脸数据上的仿真结果表明,提出的方法得到了良好的降维效果。     

自适应邻域选择的数据可分性降维方法

针对现有基于流形学习的降维方法对局部邻域大小选择的敏感性,且降至低维后的数据不具有很好的可分性,提出一种自适应邻域选择的数据可分性降维方法。该方法通过估计数据的本征维度和局部切方向来自适应地选择每一样本点的邻域大小;同时,使用映射数据时的聚类信息来汇聚相似的样本点,保证降维后的数据具有良好的可分性,使之实现更好的降维效果。实验结果表明,在人工生成的数据集上,新方法获得了较好的嵌入结果;并且在人脸的可视化分类和图像检索中得到了期望的结果。     

基于双重局部保持的不完整多视角嵌入学习方法

现有的多视角降维方法多数假设数据是完整的,但该假设在实际应用中难以实现。为解决不完整多视角数据降维问题,提出一种新的不完整多视角嵌入学习方法。基于多视角数据的一致性与同一视角下样本间的线性相关性学习一组重构系数,对缺失样本进行线性重构,通过学习所有视角的公共低维嵌入,保持原始空间的局部几何结构。在此基础上,设计一种惩罚参数来度量重构样本的可靠度,从而权衡缺失样本对学习结果的负面影响。实验结果表明,该方法在Yale、ORL和COIL-20数据集上NMI值分别达到65.63%、73.23%和78.27%,较MVL-IV算法分别提升8.37%、16.71%和20.24%。     

一种基于极大熵的快速无监督线性降维方法

现实世界中高维数据无处不在,然而在高维数据中往往存在大量的冗余和噪声信息,这导致很多传统聚类算法在对高维数据聚类时不能获得很好的性能.实践中发现高维数据的类簇结构往往嵌入在较低维的子空间中.因而,降维成为挖掘高维数据类簇结构的关键技术.在众多降维方法中,基于图的降维方法是研究的热点.然而,大部分基于图的降维算法存在以下两个问题:(1)需要计算或者学习邻接图,计算复杂度高;(2)降维的过程中没有考虑降维后的用途.针对这两个问题,提出一种基于极大熵的快速无监督降维算法MEDR. MEDR算法融合线性投影和极大熵聚类模型,通过一种有效的迭代优化算法寻找高维数据嵌入在低维子空间的潜在最优类簇结构. MEDR算法不需事先输入邻接图,具有样本个数的线性时间复杂度.在真实数据集上的实验结果表明,与传统的降维方法相比, MEDR算法能够找到更好地将高维数据投影到低维子空间的投影矩阵,使投影后的数据有利于聚类.     

自适应局部线性降维方法

高维数据降维方法已经被广泛应用在信息检索、模式识别、数据挖掘和人工智能等领域。针对目前流形学习方法的嵌入效果非常敏感于局部邻域的选取方式,提出一种自适应邻域选择的局部线性降维方法。该方法评估真实数据的固有维数,判断每一数据点的局部切方向,以便自适应地选择每一数据点的邻域数,使得不同数据集与邻域选取方式之间存在很好的自适应性,实现更好的降维效果。在人工生成数据集和医学数据上的仿真结果表明,该方法起到了良好的降维效果。     

融合LLE和ISOMAP的非线性降维方法

局部线性嵌入（LLE）和等距映射（ISOMAP）在降维过程中都只单一地保留数据集的某一种特性结构, 从而使降维后的数据集往往存在顾此失彼的情况。针对这种情况, 借助流形学习的核框架, 提出融合LLE和ISOMAP的非线性降维方法。新的融合方法使降维后的数据集既保持着数据点间的局部邻域关系, 也保持着数据点间的全局距离关系。在仿真数据集和实际数据集上的实验结果证实了该方法的优越性。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

基于自监督的多视角图协同过滤推荐方法

现有的图协同过滤算法在现实场景中存在数据稀疏问题,同时在相邻信息聚合的过程中使得特征学习更容易受到交互噪声的影响。为了解决上述问题,提出一个基于自监督的多视角图协同过滤(SMGCF)推荐方法,通过图神经网络学习用户和项目节点的嵌入表示。在学习节点嵌入表示的过程中,考虑到单个节点间的交互关系以及聚类节点间的聚类关系对推荐结果的影响,引入自监督学习来辅助图协同过滤算法进行多视角关系的挖掘。针对节点交互级关系视角,通过数据增强得到多个用户-项目交互二分图,并且提出一种节点交互级关系的对比学习方法;针对节点聚类级关系视角,提出一种节点聚类级关系的对比学习方法。通过多视角融合策略将2种类型的对比学习方法进行融合,从而提升节点嵌入效果。在4个公开的数据集上进行实验,实验结果证明了SMGCF的可行性和有效性。相比最优基准方法NCL,SMGCF在Recall@10和NDCG@10指标上最高可提升2.1%和4.3%。     

基于密度刻画的降维算法

针对LLE算法在数据密度变化较大时很难降维的问题,提出一种基于密度刻画的降维算法。采用cam分布寻找数据点的近邻,并在低维局部重建时对数据点加入密度信息。对手写体数字图像进行字符特征的降维,再对降维后的特征进行分类识别。实验结果表明,该方法能区分字符,具有较好的识别率,能够发现高维空间的低维嵌入流形。     

基于多视图的半监督集成学习方法

针对集成学习方法中分类器差异性不足以及已标记样本少的问题,提出了一种新的半监督集成学习算法,将半监督方法引入到集成学习中,利用大量未标记样本的信息来细化每个基分类器,并且构造差异性更大的基分类器,首先通过多视图方法选取合适的未标记样本,并使用多视图方法将大量繁杂的特征属性分类,使用不同的特征降维方法对不同的视图进行降维,便与输入到学习模型中,同时采用相互独立的学习模型来增加集成的多样性。在UCI数据集上的实验结果表明,与使用单视图数据相比,使用多视图数据可以实现更准确的分类,并且与现有的诸如Boosting、三重训练算法比较,使用差异性更高的基学习器以及引入半监督方法能够有效提升集成学习的性能效果。     

Denoising and dimensionality reduction of hyperspectral imagery using wavelet packets,neighbour shrinking and principal component analysis

After dimensionality reduction of a hyperspectral datacube using principal component analysis (PCA), the dimension-reduced channels often contain a significant amount of noise. To overcome this problem, this letter proposes a method that can fulfil both denoising and dimensionality reduction of hyperspectral data using wavelet packets, neighbour wavelet shrinking and PCA. A 2D forward wavelet packet transform is performed in the spatial domain on each of the band images of a hyperspectral datacube, the wavelet packet coefficients are then shrunk by employing a neighbourhood wavelet thresholding scheme, and an inverse 2D wavelet packet transform is performed on the thresholded coefficients to create the denoised datacube. PCA is applied on the denoised datacube in the spectral domain to obtain the dimension-reduced datacube. Experiments conducted in this letter confirm the feasibility of the proposed method for denoising and dimensionality reduction of hyperspectral data.     

多标记学习自编码网络无监督维数约简

多标记学习是针对一个实例同时与一组标签相关联而提出的一种机器学习框架,是该领域研究热点之一,降维是多标记学习一个重要且具有挑战性的工作。针对有监督的多标记维数约简方法,提出一种无监督自编码网络的多标记降维方法。首先,通过构建自编码神经网络,对输入数据进行编码和解码输出;然后,引入稀疏约束计算总体成本,使用梯度下降法进行迭代求解;最后,通过深度学习训练获得自编码网络学习模型,提取数据特征实现维数约简。实验中使用多标记算法ML-kNN做分类器,在6个公开数据集上与其他4种方法对比。实验结果表明,该方法能够在不使用标记的情况下有效提取特征,降低多标记数据维度,稳定提高多标记学习性能。     

面向不完整多视图聚类的深度互信息最大化方法

多视图聚类是无监督学习领域研究热点之一,近年来涌现出许多优秀的多视图聚类工作,但其中大多数方法均假设各视图是完整的,然而真实场景下数据收集过程极容易发生缺失,造成部分视图不完整。同时,很多方法采取传统机器学习方法（即浅层模型）对数据进行特征学习,这导致模型难以挖掘高维数据内的复杂信息。针对以上问题,本文提出一种面向不完整多视图聚类的深度互信息最大化方法。首先利用深度自编码器挖掘各视图深层次的隐含特征,并通过最大化潜在表示间的互信息来学习各视图间的一致性知识。然后,对于不完整视图中的缺失数据,利用多视图的公共潜在表示进行补全。此外,本文采用一种自步学习策略对网络进行微调,从易到难地学习数据集中的样本,得到更加宜于聚类的特征表示。最后,在多个真实数据集上进行实验,验证了本文方法的有效性。     

Adaptive partial graph learning and fusion for incomplete multi-view clustering

Most of existing multi-view clustering methods assume that different feature views of data are fully observed. However, it is common that only portions of data features can be obtained in many practical applications. The presence of incomplete feature views hinders the performance of the conventional multi-view clustering methods to a large extent. Recently proposed incomplete multi-view clustering methods often focus on directly learning a common representation or a consensus affinity similarity graph from available feature views while ignore the valuable information hidden in the missing views. In this study, we present a novel incomplete multi-view clustering method via adaptive partial graph learning and fusion (APGLF), which can capture the local data structure of both within-view and cross-view. Specifically, we use the available data of each view to learn a corresponding view-specific partial graph, in which the within-view local structure can be well preserved. Then we design a cross-view graph fusion term to learn a consensus complete graph for different views, which can take advantage of the complementary information hidden in the view-specific partial graphs learned from incomplete views. In addition, a rank constraint is imposed on the graph Laplacian matrix of the fused graph to better recover the optimal cluster structure of original data. Therefore, APGLF integrates within-view partial graph learning, cross-view partial graph fusion and cluster structure recovering into a unified framework. Experiments on five incomplete multi-view data sets are conducted to validate the efficacy of APGLF when compared with eight state-of-the-art methods.     

多视角数据缺失补全

随着信息技术的快速发展,现实生活中不断涌现出大量的多视角数据,由此应运而生的多视角学习已成为机器学习领域的研究热点.然而,在数据获取过程中,由于收集的难度、高额成本或设备故障等问题,往往导致收集到的多视角数据出现视角缺失,这使得一些多视角学习方法无法有效进行.为此,本文提出了一种基于视角相容性的多视角数据缺失补全方法.通过监督的共享子空间学习,获得与每类多视角数据相对应的共享子空间,从而建立视角相容性判别模型.与此同时,基于共享子空间重构误差等同分布的假设,提出了针对视角缺失的多视角数据的共享表征获取方法,实现多视角缺失数据的预补全.在此基础上,进一步通过多元线性回归实现缺失视角的精确补全.此外,本文还把所提出的视角补全方法拓展到解决含有噪声的多视角数据的降噪问题.在UCI、COIL-20以及人工合成数据集上的实验结果验证了本文算法的有效性.     

HSVNN: an efficient medical data classification using dimensionality reduction combined with hybrid support vector neural network

Early diagnosis and therapy are the most essential strategies to prevent deaths from diseases, such as cancer, brain tumors, and heart diseases. In this regard, information mining and artificial intelligence approaches have been valuable tools for providing useful data for early diagnosis. However, high-dimensional data can be challenging to examine, practically difficult to visualize, and costly to measure and store. Transferring a high-dimensional portrayal of the data to a lower-dimensional one without losing important information is the focal issue of dimensionality reduction. Therefore, in this study, dimensionality reduction-based medical data classification is presented. The proposed methodology consists of three modules: pre-processing, dimension reduction using an adaptive artificial flora (AAF) algorithm, and classification. The important features are selected using the AAF algorithm to reduce the dimension of the input data. From the results, a dimension-reduced dataset is obtained. The reduced data are then fed as input to the hybrid classifier. A hybrid support vector neural network is proposed for classification. Finally, the effectiveness of the proposed method is analyzed in terms of different metrics, namely accuracy, sensitivity, and specificity. The proposed method is implemented in MATLAB.

     

基于流形学习和SVM的环境声音分类

为利用生态环境中各种声音包含的信息,提出一种将流形学习算法和支持向量机(SVM)相结合的生态环境声音分类技术。提取音频强度、音色、音调和音频节奏的特征集合并计算对应的特征向量,采用改进的拉普拉斯特征映射流形学习算法对特征向量进行维数约简,从而降低数据处理的复杂性。使用SVM对降维后的特征向量进行分类,发挥SVM在处理小样本、非线性及高维数据方面的优势,从而提高分类准确率。实验结果表明,该技术能对生态环境声音进行快速准确的分类。