基于模糊聚类的改进LLE算法

局部线性嵌入法（Locally Linear Embedding,LLE）是一种基于流形学习的非线性降维方法。针对LLE近邻点个数选取、样本点分布以及计算速度的问题,提出基于模糊聚类的改进LLE算法。算法根据聚类中心含有大量的信息这一特点,基于模糊聚类原理,采用改进的样本点距离计算方法,定义了近似重构系数,提高了LLE计算速度,改进了模糊近邻点个数的选取。实验结果表明,改进的算法有效地降低了近邻点个数对算法的影响,具有更好的降维效果和更高的计算速度。      

基于局部线性嵌入算法的流量矩阵流形结构分析

利用经典流形学习算法研究流量矩阵中的流形结构,能够获得流量矩阵的本征维度。然而局部线性嵌入(LLE)算法依赖于近邻点的选取,传统近邻选取个数往往通过实验试凑法得到最优解,不能完全揭示流量矩阵的流形结构。针对上述缺点,提出一种改进的局部线性嵌入算法,该算法利用改进的LLE算法探索流量矩阵的流形结构,并对实际骨干网络中的流量矩阵进行分析。实验结果证明,改进算法具有较小的重构误差,相对于标准LLE算法,能更为准确地揭示流量矩阵的低维流形结构。     

基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

基于密度信息的改进降维方法

扩散映射(diffusion maps)是一种基于流形学习的非线性降维方法。为了提高降维的效果, 根据近邻点的选取对diffusion maps的降维效果影响, 利用数据近邻点分布的不同, 挖掘该数据点局部的密度信息, 能够更好地保持数据的流形结构。利用样本点聚类后的类别信息构造密度信息指数, 提出了一种改进的diffusion maps算法, 有效地保持了高维数据中的流形结构, 所提的新算法在多种实验中得到了证实。     

基于数据点松紧度的局部线性嵌入算法

局部线性嵌入算法（LLE）是流形学习中非线性数据降维的重要方法之一。考虑数据点分布大多呈现不均匀性,LLE对近邻点的选取方式将会导致大量的信息丢失。根据其不足,提出一种基于数据点松紧度的局部线性嵌入改进算法——tLLE算法,针对数据点分布不均匀的数据集,tLLE算法能有效地进行维数约简,且具有比LLE更好的降维效果。在人造数据和现实数据上的嵌入以及分类识别结果表明了tLLE算法的有效性。     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

保持局部邻域关系的增量Hessian LLE算法

Hessian LLE算法是一种经典的流形学习算法,但该方法是以批处理的方式进行的,当新的数据点加入时,必须重新运行整个算法,计算所有数据点低维嵌入,原来的运算结果被全部丢弃。鉴于此,提出了一种保持局部邻域关系的增量Hessian LLE(LIHLLE)算法,该方法通过保证流形新增样本点在原空间和嵌入空间局部邻域的线性关系不变,用其已有邻域点的低维坐标线性表示新增样本点,来得到新增点的低维嵌入,实现增量学习。在Swiss roll withhole和frey_rawface数据集上的实验表明,该方法简便、有效可行。     

基于流形学习与SVM的手写字符识别方法

本文结合核方法、局部线性嵌入(LLE)和支持向量机等机器学习方法,提出了一种集成手写字符维数约简、特征提取及识别方法.鉴于LLE方法对其近邻个数太过敏感,以及要求流形上的数据分布比较均匀,难以实现手写字符维数约简.本文提出的基于核局部线性嵌入方法(KLLE),能够选择最优的近邻个数、构造分布均匀流形,并克服了手写字符识别中由于书写习惯和风格不同造成字符模式不稳定的问题.使用MINST数据库中的手写数字进行仿真实验并利用PCA、LLE进行维数约简比较,验证了KLLE算法的有效性及优势.     

基于双权重多邻域保持嵌入的间歇过程故障检测

针对间歇过程数据的动态特性带来的故障检测问题,提出一种双权重多邻域保持嵌入(double weight multiple neighborhoods preserving embedding,DWMNPE)算法.首先,为每个样本点寻找时间近邻来描述样本点之间的时序相关关系;其次,定义角度近邻,并为样本点寻找角度近邻和距离近邻,以表征样本点在空间上的相似性,通过提取这3种不同的流形特征,充分表征数据的局部结构特征;再次,构造一种新的目标函数,在考虑误差最小的同时兼顾3种近邻的顺序信息,可防止NPE算法在计算重构权值时丢失近邻顺序信息,在解决数据动态性的同时充分提取原始数据的本质局部结构;最后,对降维数据构造局部离群因子(local outlier factor,LOF)统计量进行监控,消除数据非高斯特性对监控效果的不利影响.数值例子和青霉素发酵过程仿真结果验证了DWMNPE方法对动态性间歇过程故障检测的有效性.     

基于聚类和改进距离的LLE方法在数据降维中的应用

局部线性嵌入算法（locally linear embedding，LLE）是解决降维的方法，针对LLE计算速度和近邻点个数K的选取，研究了该方法的扩展，提出了基于聚类和改进距离的LLE方法．基于聚类LLE方法大大缩减了计算LLE方法的时间；改进距离的LLE方法在近邻点个数取值比较小时的情况下，可得到良好的效果，而原始的LLE方法要达到相同的效果，近邻点个数K的取值通常要大很多．同时，改进距离的LLE方法可以模糊近邻点个数选取．实验结果表明，基于聚类和改进距离相结合的LLE方法相比原来的LLE方法大大提高了降维速度和扩大了参数K的选取．     

一种改进的局部线性嵌套算法

局部线性嵌套(LLE)算法对近邻个数较敏感,无法处理稀疏数据源。针对该问题提出一种基于改进距离和联合优化的LLE算法。将Conformal-IsoMap中度量数据间距离的方法引入到LLE,并对原算法的2个优化过程进行联合优化。在SwissRoll曲线采样数据和MINST手写数字字符数据库上的实验结果验证了该算法的有效性。     

Mutual neighbors and diagonal loading-based sparse locally linear embedding

In this study, a new Locally Linear Embedding (LLE) algorithm is proposed. Common LLE includes three steps. First, neighbors of each data point are determined. Second, each data point is linearly modeled using its neighbors and a similarity graph matrix is constructed. Third, embedded data are extracted using the graph matrix. In this study, for each data point mutual neighborhood conception and loading its covariance matrix diagonally are used to calculate the linear modeling coefficients. Two data points will be named mutual neighbors, if each of them is in the neighborhood of the other. Diagonal loading of the neighboring covariance matrix is applied to avoid its singularity and also to diminish the effect of noise in the reconstruction coefficients. Simulation results demonstrate the performance of applying mutual neighborhood conception and diagonal loading and their combination. Also, the results of applying the mutual neighborhood on Laplacian Eigenmap (LEM) demonstrate the good performance of the proposed neighbor selection method. Our proposed method improves recognition rate on Persian handwritten digits and face image databases.     

局部线性嵌入算法中参数的选取*

局部线性嵌入(LLE)算法是有效的非线性降维方法,时间复杂度低并具有强的流形表达能力.与其他降维方法相比,局部线性嵌入算法的优势在于只定义唯一的参数,即邻域数.因此算法的性能主要依靠此邻域参数的选取,这就产生问题:怎样选取邻域参数的最佳值.通过对两种自动选取最佳参数值的方法,即简单方法和分层方法进行试验比较与分析,归纳出在实践中确定邻域参数的启发式策略.     

改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

基于近邻非负线性组合的高分辨率图像重建

针对现有基于局部线性嵌入的高分辨率图像重建算法对噪声敏感、图像块间边界不连续等问题,提出一种近邻非负线性重建高分辨率图像的流形学习算法。将流形学习重建过程中的近邻线性组合系数约束为非负,并采用基于像素块比例值的特征提取方法。实验结果表明,该算法能重建更多的细节,降低块效应,提高重建图像的峰值信噪比。     

Locally linear discriminant embedding: An efficient method for face recognition

In this paper an efficient feature extraction method named as locally linear discriminant embedding (LLDE) is proposed for face recognition. It is well known that a point can be linearly reconstructed by its neighbors and the reconstruction weights are under the sum-to-one constraint in the classical locally linear embedding (LLE). So the constrained weights obey an important symmetry: for any particular data point, they are invariant to rotations, rescalings and translations. The latter two are introduced to the proposed method to strengthen the classification ability of the original LLE. The data with different class labels are translated by the corresponding vectors and those belonging to the same class are translated by the same vector. In order to cluster the data with the same label closer, they are also rescaled to some extent. So after translation and rescaling, the discriminability of the data will be improved significantly. The proposed method is compared with some related feature extraction methods such as maximum margin criterion (MMC), as well as other supervised manifold learning-based approaches, for example ensemble unified LLE and linear discriminant analysis (En-ULLELDA), locally linear discriminant analysis (LLDA). Experimental results on Yale and CMU PIE face databases convince us that the proposed method provides a better representation of the class information and obtains much higher recognition accuracies.     

基于表情加权距离SLLE的人脸表情识别

局部线性嵌入(LLE)算法没有考虑训练样本的类别信息,而有监督LLE(SLLE)算法等同处理类别之间的差异性。根据人脸表情的特点,各个表情类别之间的差异性是有区别的,据此,文中构造一种基于表情加权距离的SLLE算法。在计算训练样本之间距离时,对来自不同表情类别的样本距离选择不同的加权值,从而使表情类别的先验信息得到更充分利用。在JAFFE库上进行人脸表情识别实验结果表明,相比LLE算法和SLLE算法,该算法在一定邻域范围内获得更好的人脸表情识别率,是一种有效算法。