高维数据流形的低维嵌入及嵌入维数研究

发现高维数据空间流形中有意义的低维嵌入是一个经典难题.Isomap是提出的一种有效的基于流形理论的非线性降维方法,它不仅能够揭示高维观察数据的内在结构,还能够发现潜在的低维参教空间.Isomap的理论基础是假设在高维数据空间和低维参数空间存在等距映射,但并没有进行证明.首先给出了高维数据的连续流形和低维参数空间之间的等距映射存在性证明,然后区分了嵌入空间维数、高维数据空间的固有维数和流形维数,并证明存在环状流形高维数据空间的参数空间维数小于嵌入空间维数.最后提出一种环状流形的发现算法,判断高维数据空间是否存在环状流形,进而估计其固有维教及潜在空间维数.在多姿态三维对象的实验中证明了算法的有效性,并得到正确的低维参数空间.     

基于放大因子和延伸方向研究流形学习算法

流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数和进行维数约简,近年来越来越受到机器学习和认知科学领域研究者的重视．虽然目前已经出现了很多有效的流形学习算法,如等度规映射（ISOMAP）、局部线性嵌套（Locally Linear Embedding,LLE）等,然而,对观测空间的高维数据与降维后的低维数据之间的定量关系,尚难以直观地进行分析．这一方面不利于对数据内在规律的深入探察,一方面也不利于对不同流形学习算法的降维效果进行直观比较．文中提出了一种方法,可以从放大因子和延伸方向这两个方面显示出观测空间的高维数据与降维后的低维数据之间的联系;比较了两种著名的流形学习算法（ISOMAP和LLE）的性能,得出了一些有意义的结论;提出了相应的算法从而实现了以上理论．对几组数据的实验表明了研究的有效性和意义．     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

几种流形学习算法的比较研究

如何发现高维数据空间流形中有意义的低维嵌入信息是流形学习的主要目的。目前,大部分流形学习算法都是用于非线性维数约简或是数据可视化的,如等距映射（Isomap）,局部线性嵌入算法（LLE）,拉普拉斯特征映射算（laplacian Eigenmap）等等,文章对这三种流形学习算法进行实验分析与比较,目的在于了解这几种流形学习算法的特点,以便更好地进行数据的降维与分析。     

改进的有监督的局部线性嵌入算法及实验演示

流形学习方法中的LLE算法可以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中．并得到与原样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问题进行研究,提出改进的有监督的局部线性嵌人算法（MSLLE）,并利用MatLab对该改进算法的实现效果同LLE进行实验演示比较。通过实验演示表明,MSLLE算法较LLE算法可以有利于保持数据点本身内部结构。     

流形学习中的算法研究

详细介绍了一种新的机器学习的方法--流形学习.流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数并进行维数约简,近年来越来越受到机器学习和认知科学领域的研究者的重视.目前已经出现了很多有效的流形学习算法,如等度规映射(ISOMAP)、局部线性嵌套(Locally Linear Embedding ,LLE)等.详细讲述了当前常用的几种流形学习算法以及在流形方面已经取得的研究成果,并对流形学习目前在各方面的应用作了较为细致的阐述.最后展望了流形学习的研究发展趋势,且提出了流形学习中仍需解决的关键问题.     

一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

流形学习算法综述

流形学习算法作为一种新的维数降维方法工具,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前,流形学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了流形学习的基本思想、一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

基于邻域距离ISOMAP算法的高光谱遥感降维算法

提出一种以邻域距离改进ISOMAP的算法(Neighborhood Distance ISOMAP,ND\|ISOMAP),该方法采用邻域距离逐步逼近流形距离来表达高维数据的流形结构。同时针对ISOMAP算法的计算复杂度高、运算时间长的特点,提出了一种基于矩阵分块和自动调图的ISOMAP算法(Block\|matrix and Auto\|color ISOMAP,BA\|ISOMAP)以提高运算速率。通过对高光谱遥感影像进行分类比较算法优劣性,基于邻域距离的ISOMAP算法较原始的ISOMAP算法降维效果有了较大的提升,最高分类精度达到97.36%,而原始的ISOMAP算法仅能达到75.01%的分类精度,而基于矩阵分块与自动调图ISOMAP与邻域距离相结合降维后精度达到89.61%,但是其计算速率得到了较大提升,为原始ISOMAP算法的近40倍。     

一种改进的局部线性嵌入算法

局部线性嵌入算法(Local Linear Embedding,简称LLE)是一种非线性流形学习算法,能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的线性嵌入算法(Local Project Linear Embedding,简称LPLE).通过假定目标空间的整体嵌入函数,重新构造样本点的局部邻域特征向量,最后将问题归结为损失矩阵的特征向量问题从而构造出目标空间的全局坐标.LPLE算法解决了传统LLE算法在源数据稀疏情况下的不能有效进行降维的问题,这也是其他传统的流形学习算法没有解决的.通过实验说明了LPLE算法研究的有效性和意义.     

递归算法与高效算法

文章通过实例给出了采用母函数法同时解决递归算法的两个问题:复杂递归算法的时间复杂度的求解问题和递归算法到高效算法的转化问題,并由此设计出高效的组合算法.     

基于EM算法和PSO算法的混合优化算法

针对粒子群优化算法容易陷入局部最优解并且存在过早收敛的问题,将类电磁机制算法中的吸引-排斥机制引入到粒子群优化算法中,提出一种类电磁机制算法和粒子群优化算法的混合优化算法(EMPSO).首先按照基本粒子群优化算法的寻优方式对各粒子进行更新,再利用类电磁机制中的吸引-排斥机制对个体最优粒子和群体最优粒子进行移动,最后通过几个标准测试函数进行了测试,并与标准粒子群算法(PSO)、免疫粒子群算法(IPSO)、混沌粒子群算法(CPSO)进行对比.测试结果表明,改进算法提高了全局搜索能力和熟练速度,改善了优化性能.     

一种基于PBIL算法和变焦算法的混合算法

基于群体的增量学习(PBIL)算法具有运行过程简单、解决问题快速准确的优点.本文采用二进制编码,针对二进制编码的算法从二进制最高位到最低位依次收敛的多米诺现象,提出一种变焦算法用来提高PBIL算法的搜索效率和求解精度.基于多组不同维数的Benchmark函数的仿真结果表明,混合算法具有全局收敛、求解精度及搜索效率高的优点.     

基于混沌优化与人工鱼群算法的混合算法研究

针对人工鱼群算法和混沌优化算法的特点,将人工鱼群算法与混沌优化算法相结合提出一种混合算法。此混合算法是利用混沌变量敏感性来提高人工鱼群初始群体解的质量;然后利用混沌的遍历性和随机性扰动使鱼群算法摆脱局部极值点,提高全局收敛性。仿真实验结果表明了混合算法的有效性。最后,给出了在一定条件下提出的混合算法的收敛性证明。     

FBACN算法与FCM算法比较研究

Wei和Fahn提出了用多触突神经网络结构解决有条件限制的优化问题,可以包括高次方、对数、正弦等形式,并提出了基于FBACN结构的模糊C均值聚类算法(FCM)的实现方式,但是可以证明上述实现方式与其对应的FCM算法并不等价.数值实验结果也说明FBACN算法的结果与与其对应的FCM算法的聚类结果并不相同.因此,Wei和Fahn提出的用多触突神经网络结构解决有条件限制的优化问题的方法是一种新的聚类方法.     

FBACN算法与FCM算法比较研究

Wei和Fahn提出了用多触突神经网络结构解决有条件限制的优化问题，可以包括高次方、对数、正弦等形式,并提出了基于。FBACN结构的模糊C均值聚类算法(FCM)的实现方式，但是可以证明上述实现方式与其对应的FCM算法并不等价。数值实验结果也说明FBACN算法的结果与与其对应的FCM算法的聚类结果并不相同。因此．Wet和Fahn提出的用多触突神经网络结构解决有条件限制的优化问题的方法是一种新的聚类方法。     

Tomasulo算法与记分牌调度算法研究

为消除数据竞争,可通过旁路控制机构或其它技术手段来解决,但仍然不能从根本上消除数据竞争.针对数据相关的不可避免性,采用流水线的动态调度算法来解决数据竞争问题,常用的动态调度算法是Tomasulo算法和记分牌调度算法,分析了Tomasulo算法和记分牌调度算法的基本思想和算法实现,对他们的异同进行了分析说明,实验证明,动态调度算法具有很好的消除数据竞争效果.     

Arnold变换及其逆变换

Arnold变换由于其周期性,广泛应用于图像置乱。但Arnold反变换,需要计算其周期,对于阶数较大的图像,非常耗时。因此本文采用一种改进的Arnold反变换算法。通过计算Arnold变换矩阵的逆矩阵求解Arnold反变换,不需要计算周期,节省了开销。     

基于改进PSO-TrICP算法的点云配准

针对传统迭代最近点(Iterative Closest Point, ICP)算法在初始空间位置偏差大时,容易陷入局部最优的问题,提出一种基于改进PSO-TrICP算法的点云配准方法。首先,对传统粒子群(Particle Swarm Optimization, PSO)算法进行改进,引入适应度的相似度测量准则调整粒子的更新方式,然后加入历次迭代的全局最优解的均值作为新的学习因子避免求解过程中出现“早熟”现象;其次用刚性变换参数和点云间的重叠率组成粒子,利用改进PSO算法为配准提供良好的初始相对位置;最后,通过裁剪迭代最近点(Trimmed Iterative Closest Point, TrICP)算法估计点云间的空间变换。实验结果表明,改进PSO-TrICP算法的配准精度与运行效率优于近年提出的同类配准算法,且具有较好的鲁棒性。     

改进混合蛙跳算法和K-Means的新型聚类算法

研究针对现有聚类算法存在着精度较低,易陷于局部最优等问题,提出一种改进的混合蛙跳算法和K-Means相结合的新型聚类算法ISFLA-K,该算法使用对立学习的思想产生初始种群,根据蛙自身具有认知能力和学习能力的特性对混合蛙跳算法的蛙跳规则进行改进,即形成ISFLA,最后使用ISFLA优化K-Means聚类算法,提高求解精度。实验结果表明, ISFLA-K具有很好的聚类性能,求解精度高。