联合结构化图学习与l1范数谱嵌入的鲁棒聚类算法

谱聚类算法存在两个不足:a)将图的构造与谱分解割裂成两个独立的阶段,导致了结果的次优性;b)常用的基于l₂范数度量谱特征向量的相似性具有噪声敏感性。为了克服上述两点不足,提出基于联合结构化图学习与l₁范数谱嵌入的鲁棒聚类算法(记为CLRL1)。在该算法框架下,一方面图的学习过程与聚类过程可以有效结合起来进行协同优化,另一方面l₁范数的使用可以很好地约束谱特征向量的相似性以提升算法的鲁棒性。在多个常用数据集上进行的实验结果表明,改进算法聚类性能得到了明显提升。     

基于l2,0范数稀疏性和模糊相似性的图优化无监督组特征选择方法

基于图的无监督特征选择方法大多选择投影矩阵的l_2,1范数稀疏正则化代替非凸的l_2,0范数约束,然而l_2,1范数正则化方法根据得分高低逐个选择特征,未考虑特征的相关性.因此,文中提出基于l_2,0范数稀疏性和模糊相似性的图优化无监督组特征选择方法,同时进行图学习和特征选择.在图学习中,学习具有精确连通分量的相似性矩阵.在特征选择过程中,约束投影矩阵的非零行个数,实现组特征选择.为了解决非凸的l_2,0范数约束,引入元素为0或1的特征选择向量,将l_2,0范数约束问题转化为0-1整数规划问题,并将离散的0-1整数约束转化为2个连续约束进行求解.最后,引入模糊相似性因子,拓展文中方法,学习更精确的图结构.在真实数据集上的实验表明文中方法的有效性.     

通信辐射源个体识别中基于l2正则化的最大相关熵算法*

为了衡量通信辐射源细微特征间的相似性,提出基于l₂正则化的最大相关熵通信辐射源个体识别算法.首先提取通信辐射源信号矩形积分双谱特征表征辐射源个体差异,并构造基于l₂正则化的最大相关熵准则的优化模型.然后利用半二次优化方法,将非线性的优化问题转化为加权线性最小二乘问题.最后利用有效集算法得到稀疏系数,并利用系数的判别信息构造分类器,实现通信辐射源的个体识别.在实际采集的同厂家同型号的FM电台数据集上验证文中算法的可行性与有效性.     

半监督偏好学习算法

为了解决推荐系统的鲁棒性和重构精度问题,文中提出半监督偏好学习算法,通过偏好学习获得潜在偏好,实现推荐.使用l_2,1范数作为优化目标函数的正则项,消除噪声和异常点.采用图的拉普拉斯调节整合用户-项目矩阵的单边信息,实现多图融合,提高推荐精度.在Movielens 10M数据集和Netflix数据集上的实验验证文中算法精度较高、速度较快、鲁棒性较高.     

一种自适应邻域选择半监督判别分析算法

为克服边界Fisher判别分析(MFA)只利用少量有标记样本和构建邻域不能充分反映流形学习对邻域要求的缺点,提出一种基于局部线性结构的自适应邻域选择半监督判别分析的算法。采用自适应算法扩大或者缩小近邻系数k来构建邻域以保持局部线性结构。MFA通过少量有类别标签样本进行降维的同时UDP对大量无标签样本进行学习,以半监督的方法对高维人脸数据进行维数约减。最后,在ORL和YALE人脸数据库通过实验结果验证了该算法的有效性。     

混合l2/l1/2范数的局部组稀疏表示方法

当前基于稀疏表示的行人再识别都是通过松弛l₀正则项为l₁正则项以达到逼近l₀范数稀疏性的目的.在满足有限等距性质(RIP)条件下,l₁和l₀具有等价性,然而在具有杂乱背景、物体遮挡等众多干扰因素的行人再识别任务中,却很难满足RIP条件.因此,文中提出混合l₂/l_1/2范数的组稀疏表示方法,通过将gallery集中同一行人图像序列视为一组,利用l₂范数约束组内结构,l_1/2范数约束组间结构,对遮挡和杂乱背景等干扰因素具有更高的鲁棒性.为了进一步增强模型的判别性,引入人体结构约束,将行人图像划分为若干近邻块区域,针对每一区域分别构造适应性的混合l₂/l_1/2范数的组稀疏模型,最终融合全部稀疏模型得出再识别结果.在当前具有挑战性的2个多行人图像序列数据集PRID 2011和iLIDS-VID上的实验验证文中方法的有效性.     

一种提高文本分类效果的改进流形学习算法

流形学习算法在模式识别领域有着重要应用,针对文本分类数据的特点,提出一种基于邻域选取进行修正的局部线性嵌入算法,用带有权值的欧式距离来构造文本数据的局部邻域,提高文本分类的识别率;同时,利用文本数据的类别信息,运用半监督局部线性嵌入算法构造分类器,提高文本分类的效果。实验表明,本文基于文本分类改进的流形学习算法,能够有效地对文本进行分类。     

局部敏感的半监督鉴别分析方法

为解决图像处理中的高维特征在模式分类中带来的问题,提出一种基于半监督学习理论的数据降维方法,称为局部敏感的半监督鉴别分析算法.为能够发现局部的流形结构,算法寻找一个能够最小化类内距离的同时最大化类间距离的投影,并且在最优化过程中充分利用无标签数据,控制局部邻域的散度.在人脸识别数据库和行为数据库中的测试结果表明了该算法是有效的.     

基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

一种基于压缩感知的邻域优化算法

非线性降维方法是目前对降维研究有着重要影响的方法,但在降维过程中经常会遇到局部邻域信息量不足、短路和噪声干扰等问题,严重影响降维效果,很难广泛应用于真实数据的处理中.对以上问题分析发现,其主要原因在于经典降维算法都是采用全局固定的邻域大小.提出了一种基于压缩感知的邻域优化算法,运用压缩感知技术对高维空间目标点近邻进行压缩采样,构建“收—放”模型,自适应得到最优子空间,同时优化邻域组成元素,使得数据的整体降维效果更加稳定.通过手工流形和真实数据集的实验,验证了算法的有效性和稳定性.     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

保持局部邻域关系的增量Hessian LLE算法

Hessian LLE算法是一种经典的流形学习算法,但该方法是以批处理的方式进行的,当新的数据点加入时,必须重新运行整个算法,计算所有数据点低维嵌入,原来的运算结果被全部丢弃。鉴于此,提出了一种保持局部邻域关系的增量Hessian LLE(LIHLLE)算法,该方法通过保证流形新增样本点在原空间和嵌入空间局部邻域的线性关系不变,用其已有邻域点的低维坐标线性表示新增样本点,来得到新增点的低维嵌入,实现增量学习。在Swiss roll withhole和frey_rawface数据集上的实验表明,该方法简便、有效可行。     

基于马氏距离度量的局部线性嵌入算法

局部线性嵌入算法(LLE)中常用欧氏距离度量样本间相似度。而对于图像等高维数据,欧氏距离不能准确体现样本间的相似程度。文中提出基于马氏距离度量的局部线性嵌入算法(MLLE)。算法首先从现有样本中学习到一个马氏度量,然后在LLE算法的近邻选择、现有样本及新样本降维过程中用马氏度量作为相似性度量。将MLLE算法及其它典型的流形学习算法在ORL和USPS数据库上进行对比实验,结果表明MLLE算法具有良好的识别性能。     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

基于自适应近邻参数的局部线性嵌入

局部线性嵌入算法是一种有效的非线性降维方法。文中提出一种自适应的局部线性嵌入方法。该方法通过分析数据集中任意样本所在局部区域的线性重构误差,确定该局部区域的近似线性块,然后根据位于此局部线性块上的样本来选择局部线性嵌入的近邻参数。实验结果表明,在不同的数据集上,采用多个评价标准,自适应的局部线性嵌入方法相比普通的局部线性嵌入方法,取得更好的结果。     

中心近邻嵌入学习算法的人脸识别研究

针对人脸识别问题,提出了一种中心近邻嵌入的学习算法,其与经典的局部线性嵌入和保局映射不同,它是一种有监督的线性降维方法。该方法首先通过计算各类样本中心,并引入中心近邻距离代替两样本点之间的直接距离作为权系数函数的输入;然后再保持中心近邻的几何结构不变的情况下把高维数据嵌入到低维坐标系中。通过中心近邻嵌入学习算法与其他3种人脸识别方法(即主成分分析、线形判别分析及保局映射)在ORL、Yale及UMIST人脸库上进行的比较实验结果表明,它在高维数据低维可视化和人脸识别效果等方面均较其他3种方法取得了更好的效果。     

基于表情加权距离SLLE的人脸表情识别

局部线性嵌入(LLE)算法没有考虑训练样本的类别信息,而有监督LLE(SLLE)算法等同处理类别之间的差异性。根据人脸表情的特点,各个表情类别之间的差异性是有区别的,据此,文中构造一种基于表情加权距离的SLLE算法。在计算训练样本之间距离时,对来自不同表情类别的样本距离选择不同的加权值,从而使表情类别的先验信息得到更充分利用。在JAFFE库上进行人脸表情识别实验结果表明,相比LLE算法和SLLE算法,该算法在一定邻域范围内获得更好的人脸表情识别率,是一种有效算法。     

基于核函数的稳健线性嵌入方法

LLE算法是一种新的非监督学习方法,主要针对非线性降维问题。针对该算法存在的缺点,提出了一种基于核函数的稳健线性嵌入方法,该方法通过引进核函数来优化算法邻域点的求解;在特征空间中,修正权值矩阵W,进行降噪处理,经过推导,最终将实际的子空间计算归结为标准的特征值分解问题。采用最小近邻分类器估算识别率。在Yale人脸库以及AT&T人脸库的测试结果表明,在姿态、光照、表情、训练样本数目变化的情况下,改进的算法都具有较好的识别率。     

基于局部平滑性的通用增量流形学习算法

目前大多数流形学习算法无法获取高维输入空间到低维嵌入空间的映射,无法处理新增数据,因此无增量学习能力。而已有的增量流形学习算法大多是通过扩展某一特定的流形学习算法使其具备增量学习能力,不具有通用性。针对这一问题,提出了一种通用的增量流形学习(GIML)算法。该方法充分考虑流形的局部平滑性这一本质特征,利用局部主成分分析法来提取数据集的局部平滑结构,并寻找包含新增样本点的局部平滑结构到对应训练数据的低维嵌入坐标的最佳变换。最后GIML算法利用该变换计算新增样本点的低维嵌入坐标。在人工数据集和实际图像数据集上进行了系统而广泛的比较实验,实验结果表明GIML算法是一种高效通用的增量流形学习方法,且相比当前主要的增量算法,能更精确地获取增量数据的低维嵌入坐标。