稀疏限制的增量式鲁棒非负矩阵分解及其应用

针对鲁棒非负矩阵分解（RNMF）的运算规模随训练样本数量逐渐增多而不断增大的问题，提出一种稀疏限制的增量式鲁棒非负矩阵分解算法。首先，对初始数据进行鲁棒非负矩阵分解；然后，将其分解结果参与到后续迭代运算；最后，在对系数矩阵增加稀疏限制的情况下与增量式学习相结合，使目标函数值在迭代求解时下降地更快。该算法在节省运算时间的同时提高了分解后数据的稀疏度。在数值实验中，将所提算法与鲁棒非负矩阵分解算法、稀疏限制的鲁棒非负矩阵分解（RNMFSC）算法进行了比较。在ORL和YALE人脸数据库上的实验结果表明，所提算法在运算时间和分解后数据的稀疏度等方面均优于其他两个算法，并且还具有较好的聚类效果，尤其在YALE人脸数据库上当聚类类别数为3时该算法的聚类准确率达到了91.67%。     

一种统一的鲁棒自适应控制方法及近期自适应控制结果综述

针对离散/连续时间情况下时不变/时变多种不同的鲁棒自适应控制系统,基于归纳法提出一种统一的传统分析方法,该方法为鲁棒自适应控制器的设计提供了一般性的指导原则.在设计和实现鲁棒自适应控制器时要求具有与模型误差先验知识相关的假设,通过所提出的算法可以将该假设消除,使得已有的鲁棒自适应控制理论得到进一步发展.此外,通过稳定性分析证明了该算法对于更宽松边界的模型误差具有鲁棒性.最后,归纳总结了近期自适应控制方法在处理非光滑不确定性、执行器故障补偿、欠驱动非完整约束、分布式一致性和随机系统控制等问题上取得的代表性成果.     

奇异值分解下在线鲁棒正则化随机网络

在线鲁棒随机权神经网络(OR-RVFLN)具有较好的逼近性、较快的收敛速度、较高的鲁棒性能以及较小的 存储空间. 但是, OR-RVFLN 算法计算过程中会产生矩阵的不适定问题, 使得隐含层输出矩阵的精度较低. 针对这 个问题, 本文提出了奇异值分解下在线鲁棒正则化随机网络(SVD-OR-RRVFLN). 该算法在OR-RVFLN 算法的基础 上, 将正则化项引入到权值的估计中, 并且对隐含层输出矩阵进行奇异值分解; 同时采用核密度估计(KDE) 法, 对 整个SVD-OR-RRVFLN网络的权值矩阵进行更新, 并分析了所提算法的必要性和收敛性. 最后, 将所提的方法应用 于Benchmark数据集和磨矿粒度的指标预测中, 实验结果证实了该算法不仅可以有效地提高模型的预测精度和鲁 棒性能, 而且具有更快的训练速度.     

基于L21范式的多图正则化非负矩阵分解方法

针对非负矩阵分解方法对原始数据的单图约束导致的结果未知性大、满足需求单一,以及大多非负矩阵分解方法存在对噪声、离群点较敏感导致的稀疏度和鲁棒性较差等问题,提出基于L21范式的多图正则化非负矩阵分解方法。采用L21范式,提升分解结果的稀疏度和鲁棒性。构建多图约束的算法模型更好地保持数据的流形结构。构建目标函数并给出乘性迭代规则。通过在多个数据库上的实验表明,该方法在识别效果上有明显的提升。     

基于剪枝的海量数据离群点挖掘

基于距离的离群点挖掘通常需要O(N2)的时间进行大量的距离计算与比较,这限制了其在海量数据上的应用。针对此问题,提出了一个带剪枝功能的离群点挖掘算法。算法分为两步:在对数据集进行一遍扫描后,剪枝掉大量的非离群点;然后对余下的可疑数据实施一种改进的嵌套循环算法,以每个数据点与其k个最近邻点的平均距离作为离群度,确定前n个离群点。在真实数据和合成数据集上的实验结果均表明,该算法在获得高命中率的同时仍保持低误警率。与相关算法相比,其具有较低的时间复杂性。     

鲁棒拉普拉斯特征映射算法*

研究拉普拉斯特征映射算法（Laplacian eigenmap,LE）对离群点的敏感性,提出一种具有鲁棒性的拉普拉斯特征映射算法（robust Laplacian eigenmap,RLE）。该方法在离群点检测的基础上,利用鲁棒PCA算法（robust PCA,RPCA）对离群点进行局部光滑化处理,将离群点和其邻域投影到低维的局部切空间上,再构造能够准确反映离群点局部邻域关系的对应权值,减少离群点对Laplacian矩阵的影响。模拟实验和实际例子都证明,通过这种方法构造的鲁棒拉普拉斯特征映射算法,对于离群     

基于对称非负矩阵分解的重叠社区发现方法

针对重叠社区中的重要节点(重叠节点、中心节点、离群节点)及其固有的重叠社区结构的发现问题,提出了一种新的对称非负矩阵分解算法。首先将误差逼近项和非对称惩罚项的和作为目标函数,然后基于梯度更新的原则及非负约束条件推导出该算法。对5个实际网络进行了仿真实验,结果显示所提算法能将实际网络的重要节点及其固有的社区结构发现出来。从社区发现结果的平均导电率和算法的执行时间看,所提方法优于非负矩阵分解社区发现(CDNMF)方法;从准确率和召回率的调和平均值的加权平均值看,所提方法比较适合较大数据集的重叠社区发现。     

拟合矩阵与两阶融合迭代加速推荐算法

传统的矩阵分解模型无法充分探索用户与物品在均值、偏置和特征之间的内在联系,提出拟合矩阵模型,通过构建用户与物品矩阵分别代表用户与物品特性来提高预测性能。矩阵分解模型在推荐系统领域有精度优势,但求解模型参数最常用的梯度下降法收敛速度缓慢,因此考虑与拟牛顿法融合,加快收敛速度。提出的算法命名为拟合矩阵与两阶融合迭代加速推荐算法（fitting matrix and two orders fusion iterative,FAST）,实验表明,FAST算法比传统的非负矩阵分解（NMF）、奇异值矩阵分解（SVD）、正则化奇异值矩阵分解（RSVD）在平均绝对误差（MAE）与均方根误差（RMSE）上有下降,在迭代效率上有显著提高,缓解了精度与迭代效率难以平衡的问题。     

结构未知系统降维辨识方法-----变量消去算法

针对结构未知的系统提出一种新的降维辨识方法.借助核函数方法,利用一个高维Volterra模型逼近未知系统.由于Volterra模型未知参数维数较高,为避免高阶矩阵求逆和求特征值,提出变量消去算法,将高维系统的辨识问题转化为两个低维系统辨识问题.通过理论证明采用降维算法后降维系统信息矩阵条件数变小,参数收敛速度得到提高.进一步引入Aitken加速方法提高算法收敛速度,增强算法对步长的鲁棒特性.最后通过仿真例子验证所提出方法的有效性.     

面向数据表示的Cauchy非负矩阵分解

非负矩阵分解(Non-negative Matrix Factorization,NMF)是一类广泛应用于数据挖掘和机器学习领域的重要矩阵分解模型,可从一组高维非负向量中提取出低维、稀疏和有意义的特征.标准NMF利用Frobenius范数的平方度量重建误差,虽然在一些应用场景中表现出一定的有效性,但对非高斯噪声和离群点较为敏感.由于现实世界中的真实数据不可避免地包含各种噪声,因此有必要对非高斯噪声和离群点较为稳健的非负矩阵分解模型进行研究.为此,文中提出用Cauchy估计函数取代标准N MF中的平方形式的残差.在度量样本重建误差时,充分考虑样本特征不同维度之间的相关性,以样本的重建误差作为基本的重建误差度量单元.此外,基于半二次规划推导了高效的乘性更新规则,用于求解所提出的模型.在3个真实人脸图像库上的聚类实验中验证了所提模型和算法的有效性.实验结果表明,所提算法对人脸姿态、光照和表情变化均表现出一定的稳健性,且聚类结果对参数的依赖性较小.