稀疏和标签约束半监督自动编码机的分类算法

自动编码机通过深度无监督学习能够表达数据的语义特征,但由于其隐含层节点个数难以有效确定,所处理的数据进一步用于分类时常会导致分类准确度低、稳定性弱等问题。针对这些问题,提出了一种稀疏和标签约束的半监督自动编码机（SLRAE）,以实现无监督学习与监督学习的有机结合,更准确地抽取样本的本质特征。稀疏约束项针对每个隐含节点的响应添加约束条件,从而在隐含神经元数量较多的情况下仍可发现数据中潜在的结构;同时引入标签约束项,以监督学习的方式比对实际标签与期望标签,针对性地调整网络参数,进一步提高分类准确率。为验证所提方法的有效性,实验中对多个数据集进行广泛地测试,其结果表明,相对传统自动编码机（AE）、稀疏自动机（SAE）以及极限学习机（ELM）,SLRAE所处理的数据应用于同一分类器,能明显提高分类准确率和稳定性。     

稀疏近似最近特征空间嵌入标签传播

针对现有的基于图的半监督学习（graph-based semi-supervised learning,简称GSSL）方法存在模型参数敏感和数据空间判别信息不充分等问题,受最近特征空间嵌入和数据稀疏表示思想的启发,提出一种稀疏近似最近特征空间嵌入标签传播算法SANFSP（sparse approximated nearest feature space embedding label propagation）.SANFSP首先利用特征空间嵌入投影点来稀疏表示原始数据;然后,度量原始数据和稀疏近似最近特征空间嵌入投影间的相似性;进而提出稀疏近似最近特征空间嵌入正则化项;最后,基于传统GSSL 方法的标签传播算法,实现数据标签的平滑传播.同时,还将SANFSP 算法简单拓展到out-of-sample 学习.SANFSP 算法在人造和实际数据集（如人脸识别、可视物件识别以及手写数字分类等）上取得了有效的实验结果.     

结合L1和L2正则化约束的隐语义预测模型研究

在大数据领域中预测高维稀疏矩阵中的缺失数据，通常采用随机梯度下降算法构造隐语义模型来对缺失数据进行预测。在随机梯度下降算法来求解模型的过程中经常加入正则化项来提高模型的性能，由于[L1]正则化项不可导，目前在隐语义模型中主要通过加入[L2]正则化项来构建隐语义模型（SGD_LF）。但因为[L1]正则化项能提高模型的稀疏性增强模型求解能力，因此提出一种基于[L1]和[L2]正则化约束的隐语义（SPGD_LF）模型。在通过构建目标函数时，同时引入[L1]和[L2]正则化项。由于目标函数满足利普希茨条件，并通过二阶的泰勒展开对目标函数进行逼近，构造出随机梯度下降的求解器，在随机梯度下降求解隐语义模型的过程中通过软阈值来处理[L1]正则化项所对应的边界优化问题。通过此优化方案，可以更好地表达目标矩阵中的已知数据在隐语义空间中的特征和对应的所属社区关系，提高了模型的泛化能力。通过在大型工业数据集上的实验表明，SPGD_LF模型的预测精度、稀疏性和收敛速度等性能都有显著提高。     

基于Moreau-包络的近似平滑迭代磁共振图像重建算法

针对基于压缩感知（CS）的磁共振成像（MRI）稀疏重建中存在的两个非平滑正则项问题,提出了一种基于Moreau包络的近似平滑迭代算法（PSIA）。基于CS的经典MRI稀疏重建是求解一个由最小二乘保真项、小波变换稀疏正则项和总变分（TV）正则项线性组合成的目标函数最小化问题。首先,对目标函数中的小波变换正则项作平滑近似;然后,将数据保真项与平滑近似后的小波正则项的线性组合看成一个新的可以连续求导的凸函数;最后,采用PSIA对新的优化问题进行求解。该算法不仅可以同时处理优化问题中的两个正则约束项,还避免了固定权重带来的算法鲁棒性问题。仿真得到的体模图像及真实磁共振图像的实验结果表明,所提算法与四种经典的稀疏重建算法：共轭梯度（CG）下降算法、TV1范数压缩MRI（TVCMRI）算法、部分k空间重建算法（RecPF）和快速复合分离算法（FCSA）相比,在图像信噪比、相对误差和结构相似性指数上具有更好的重建结果,且在算法复杂度上与现有最快重建算法即FCSA相当。     

自适应步长非局部全变分约束迭代图像重建算法

针对计算机断层成像（CT）系统中,全变分（TV）迭代约束模型易于产生阶梯效应以及不能很好地保存图像中精细结构的问题,提出一种自适应步长的非局部全变分（NLTV）约束迭代重建算法。考虑到NLTV模型能较好保存和恢复图像细节以及纹理的特点,首先将CT模型当成在满足投影数据的保真项的解集中寻找满足特定正则项即NLTV最小化的解约束优化模型;然后,使用代数重建（ART）算法和分离布雷格曼（SB）来确保重建结果满足数据保真项和正则化项的约束;最后,以自适应最速下降-投影到凸集（ASD-POCS）算法作为基础迭代框架来重建图像。实验结果表明,在不含噪声的稀疏重建条件下,提出的算法使用30个角度的投影数据已经可以重建出理想的结果。在含噪稀疏数据重建实验中,该算法在30次迭代时已得到接近最终收敛的结果,且均方根误差（RMSE）是ASD-POCS算法的2.5倍。该重建算法能在稀疏投影数据下重建出精确的结果图像,同时改善了TV迭代模型的细节重建能力,且对噪声有一定的抑制作用。     

基于深层自适应平衡自编码机的手写数字分类

针对深层自动编码机(DAE)内部协变量迁移问题,提出一种深层自适应平衡自动编码机(DSBAE),用于手写数字的分类(HDC)。重点研究了自适应平衡层对内部协变量迁移的纠正方法,构建了DSBAE网络的分类模型,根据平衡网络参数体系原理,制定了自适应参数更新策略。实验在MNIST,USPS以及PENDIGITS三个公开手写数据集上对DSBAE以及深度学习中其他分类算法进行比较,证明DSBAE能有效解决深层网络的内部协变量迁移问题,并在手写数字分类准确率上占有明显优势。     

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机（RBM）无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机（SRBM）难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机（DBM）的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。     

基于反馈稀疏约束的非负张量分解算法

为了充分利用图像本身的结构信息并充分压缩图像数据,把得到的子空间中数据(反馈)的稀疏性作为约束项加入非负张量分解目标函数中,即采用基于反馈稀疏约束的非负张量分解算法对图像集合进行降维。最后,将该算法应用于手写数字图像库中,实验结果表明所提出的方法能有效改善图像分类的准确性     

基于核技巧和超图正则的稀疏非负矩阵分解

针对传统的非负矩阵分解（NMF）应用于聚类时,没有同时考虑到鲁棒性和稀疏性,导致聚类性能较低的问题,提出了基于核技巧和超图正则的稀疏非负矩阵分解算法（KHGNMF）。首先,在继承核技巧的良好性能的基础上,用L_2,1范数改进标准非负矩阵分解中的F范数,并添加超图正则项以尽可能多地保留原始数据间的内在几何结构信息;其次,引入L_2,1/2伪范数和L_1/2正则项作为稀疏约束合并到NMF模型中;最后,提出新算法并将新算法应用于图像聚类。在6个标准的数据集上进行验证,实验结果表明,相对于非线性正交图正则非负矩阵分解方法,KHGNMF使聚类性能（精度和归一化互信息）成功地提升了39%~54%,有效地改善和提高了算法的稀疏性和鲁棒性,聚类效果更好。     

融合信任信息的欧氏嵌入推荐算法

为了改善推荐系统存在的稀疏性和冷启动问题，提出一种融合信任信息的欧氏嵌入推荐（TREE）算法。首先，利用欧氏嵌入模型将用户和项目嵌入到统一的低维空间中；其次，在用户相似度计算公式中引入项目参与度和用户共同评分因子以度量信任信息；最后，在欧氏嵌入模型中加入社交信任关系正则化项，利用不同偏好的信任用户约束用户的位置向量并生成推荐结果。实验将TREE算法与概率矩阵分解（PMF）、社会正则化（SoReg）模型、社交的矩阵分解（SocialMF）模型、社交信任集成模型（RSTE）四种算法进行对比，当维度为5和10时，在Filmtrust数据集上TREE算法的均方根误差（RMSE）比最优的RSTE算法分别降低了1.60%、5.03%，在Epinions数据集上TREE算法的RMSE比最优的社交矩阵分解模型（SocialMF）算法分别降低了1.12%、1.29%。实验结果表明，TREE算法能进一步缓解稀疏和冷启动问题，提高评分预测的准确性。     

稀疏约束图正则非负矩阵分解的增量学习算法

针对非负矩阵分解后数据的稀疏性降低、训练样本增多导致运算规模不断增大的现象,提出了一种稀疏约束图正则非负矩阵分解的增量学习算法。该方法不仅考虑数据的几何信息,而且对系数矩阵进行稀疏约束,并将它们与增量学习相结合。算法在稀疏约束和图正则化的条件下利用上一步的分解结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和PIE人脸数据库上的实验结果表明了该算法的有效性。     

基于Lorentz函数的稀疏约束RBM模型的算法研究

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种有效的特征提取算法,受视觉皮层稀疏表示的启发,人们试图将稀疏这一概念引入到RBM中,以期学习到原始数据的稀疏表示,提高其特征提取性能。将Lorentz函数引入到RBM中,作为RBM的稀疏约束正则项,构建基于Lorentz函数的稀疏约束RBM模型,将其称之为LRBM模型。对该模型的特征提取性能进行了可视化评价,同时对稀疏度和分类率进行了实验分析;最后将多个LRBM叠加,构造基于LRBM的深度置信网模型并分析该深度网络的性能。实验表明,LRBM模型有效地提取了数据集中的特征信息,在分类效果上较RBM平均提高了2%左右,增强了目标分类的可靠性。     

混合非凸非光滑正则化约束的模糊图像盲复原

为能够复原出高质量的清晰图像,提出一种混合正则化约束的模糊图像盲复原方法。首先,根据模糊核的稀疏性,采用L₀范数的正则项对模糊核进行稀疏约束,以提高模糊核估计的准确性;然后,根据图像梯度的稀疏性,采用混合一阶和二阶图像梯度的L₀范数对图像梯度进行正则化约束,以保留图像边缘信息;最后,由于所提出的混合正则化约束模型本质上是非凸非光滑优化问题,通过交替方向乘子法对模型进行求解,并在非盲反卷积阶段采用L₁范数数据拟合项和全变分的方法复原清晰图像。实验结果表明,所提方法能够复原出更加清晰的细节和边缘信息,复原结果的质量更高。     

基于FTRL优化算法的广告点击率预测模型研究

当前在线广告的业务场景下，线性模型没有充分考虑到数据高维、稀疏性、非线性等特点。针对这些问题，引入了基于梯度提升决策树算法的特征提取方法，提出了基于FTRL（Follow-The-Regularized-Leader）优化算法的因子分解机模型。FTRL优化算法能有效地学习到特征之间存在的非线性关系，使不同参数可以自适应不同学习率，并加入了混合正则项。实验结果证明基于FTRL优化算法的因子分解机模型能有效提高广告点击事件的预测准确率。     

基于稀疏表示的脑电（EEG）情感分类

计算机对人类情绪与情感的识别研究已经成为了脑机接口领域的研究热点。通过分析人类在生活中的各种情感状态,提取脑电信号的特征并对情感状态进行识别、分类是情感智能化领域的重要方向。针对基于音乐视频诱导的情感数据集DEAP进行了研究,提取脑电信号的频域特征后,提出了采用加速近邻梯度算法（APG)和正交匹配算法（OMP）求解稀疏编码的稀疏表示分类模型进行情感分类,并与支持向量机算法（SVM）做效果比较。实验结果表明,APG算法通过L1范数正则近似求解以其快速的收敛速度在情感数据集上有着较好的分类表现,而OMP算法与SVM算法的分类效果相差无几,实现了情感脑电信号的分类。     

重加权稀疏主成分分析算法及其在人脸识别中的应用

针对主成分分析（PCA）算法获取的主成分向量不够稀疏,拥有较多的非零元这一问题,使用重加权方法对PCA算法进行优化,提出了一个新的提取高维数据特征的方法,即重加权稀疏主成分分析（RSPCA）算法。首先,将重加权l₁最优化框架和LASSO回归模型引入到PCA算法数学模型中,建立新的数据降维模型;然后,使用交替最小化算法、奇异值分解算法、最小角回归算法等方式对模型进行求解;最后,使用人脸识别实验对算法效果进行了验证。在实验中使用K折交叉验证的方法针对ORL人脸数据集分别使用PCA算法和RSPCA算法进行识别实验。实验结果表明,RSPCA算法在获取更稀疏解的情况下仍拥有着不弱于PCA算法的表现,平均识别准确率达到95.1%,所提算法与表现最好的sPCA-rSVD算法相比,识别准确率提高了6.2个百分点;针对手写数字识别这一具体现实应用进行求解,获取到平均识别准确率96.4%的良好实验效果。证明了所提方法在人脸识别及书写数字识别方面的优异性。     

基于多尺度特征融合Hessian稀疏编码的图像分类算法

针对传统稀疏编码图像分类算法提取单一类型特征,忽略图像的空间结构信息,特征编码时无法充分利用特征拓扑结构信息的问题,提出了基于多尺度特征融合Hessian稀疏编码的图像分类算法（HSC）。首先,对图像进行空间金字塔多尺度划分;其次,在各个子空间层将方向梯度直方图（HOG）和尺度不变特征转换（SIFT）进行有效的融合;然后,为了充分利用特征的拓扑结构信息,在传统稀疏编码目标函数中引入二阶Hessian能量函数作为正则项;最后,利用支持向量机（SVM）进行分类。在Scene15数据集上的实验结果表明,HSC的准确率比局部约束线性编码（LLC）高了3~5个百分点,比支持区别性字典学习（SDDL）等对比方法高了1~3个百分点;在Caltech101数据集上的耗时实验结果表明,HSC的用时比多核学习稀疏编码（MKLSC）少40%左右。所提HSC可以有效提高图像分类准确率,算法的效率也优于对比算法。     

边缘智能背景下的手写数字识别

随着边缘智能的快速发展,现有手写数字识别卷积网络模型的发展已越来越不适应边缘部署、算力下降的要求,且存在小样本泛化能力较差和网络训练成本较高等问题。借鉴卷积神经网络（CNN）经典结构、Leaky_ReLU算法、dropout算法和遗传算法及自适应和混合池化思想构建了基于LeNet-DL改进网络的手写数字识别模型,分别在大样本数据集MNIST和小样本真实数据集REAL上与LeNet、LeNet+sigmoid、AlexNet等算法进行对比实验。改进网络的大样本识别精度可达99.34%,性能提升约0.83%;小样本识别精度可达78.89%,性能提升约8.34%。实验结果表明,LeNet-DL网络相较于传统CNN在大样本和小样本数据集上的训练成本更低、性能更优且模型泛化能力更强。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

基于稀疏正则化和变量分裂的图像去模糊

传统的图像去模糊方法易产生振铃和边缘模糊等“伪像”效应,针对这一问题,采用非光滑的正则项约束图像在稀疏字典下表示系数的稀疏性,并引入非负约束项,提出了图像的稀疏正则化去模糊模型。进一步,基于交替方向拉格朗日乘子算法,提出了求解该模型的多变量分裂迭代快速算法,将复杂问题求解转化为三个简单子问题的迭代求解,降低了模型求解的复杂性。实验结果表明,所提出的去模糊模型及其快速算法相对较好地保持了图像的结构特征和平滑性,并降低了计算复杂性。