改进的稀疏深度置信网络

深度学习作为近年热门研究领域,具有极大的应用前景,但存在过拟合、欠拟合、隐藏层数和节点数选取等诸多问题。针对深度置信网络存在的过拟合问题,借鉴压缩感知理论和零范数的数学性质,构建了一种基于无均值高斯分布函数的稀疏深度置信网络。通过在预训练阶段添加稀疏正则项,进一步改进深度置信网络训练过程的方法加以解决过拟合问题。利用ORL和MINIST两种公开数据集上对该改进方案进行验证分析,结果表明其比现有的改进方案在稀疏性和准确性上有较大提升。     

弱监督分层深度学习的车辆识别算法

针对已有分类器在结构形式和训练方法的不足,构建了一个以二维深度置信网络（2D deep belief networks,2D DBN）为架构的弱监督分层深度学习车辆识别算法。首先,将传统一维的深度置信网络(Deep belief networks,DBN)扩展成2D-DBN,并构建相应分类器结构,从而能够直接以二维图像像素矩阵作为输入; 其次,在传统无监督训练的目标函数中,引入了一个具有适当权重的判别度正则化项,将原有无监督训练转化为带有较弱监督性的弱监督训练方式,从而使提取的特征较传统无监督特征更具判别性。多组对比实验表明,本文所提算法在识别率等指标上要优于已有深度学习算法。     

基于层次稀疏DBN的瓶颈特征提取方法

针对现有语音特征无法有效利用长时段语音和监督性类别信息,及现有瓶颈特征提取方法耗时过长等缺陷,提出基于层次结构稀疏深度可信神经网络的瓶颈特征提取方法.该方法将重叠组套索作为深度可信神经网络目标函数的稀疏正则项使用,从而构建训练速度更快的稀疏深度可信神经网络.然后利用层次结构的网络架构方式,将两个稀疏深度可信神经网络串联后使用,进一步增强瓶颈特征的判决能力.文中将此瓶颈特征应用于音素识别中,实验表明该特征的有效性.     

批量正则化DBN分类方法研究

针对深度置信网络（DBN）在微调过程中易受训练参数影响的问题,提出一种批量正则化DBN分类方法（BNDBN）。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达;然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理;并将处理后的特征输入到非线性变换激活层中;最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性,有效解决了因网络参数变化而造成的激活函数值分布变化的问题,提高了训练效率。为了检验所提出方法的有效性,选取MNIST手写体数据库和USPS手写数字识别库进行测试,通过与Dropout-DBN、DBN、ANN、SVM、KNN对比,结果表明,提出的方法分类准确率明显提高,具有更强的特征提取能力。     

基于半监督假设的半监督稀疏度量学习

传统的有监督度量学习算法没有利用大量存在的无标记样本,且得到的度量矩阵复杂,难以了解不同原始特征的重要程度。针对这些情况,提出基于半监督假设的半监督稀疏度量学习算法。根据三样本组约束建立间隔损失函数;基于平滑假设、聚类假设、流形假设这三个半监督假设建立半监督正则项,并利用L_1范数建立稀疏正则项;利用梯度下降法求解目标函数。实验结果表明,该算法学习得到的度量能有效地使不同类别的样本间距离增大,度量矩阵具有稀疏性,分界面穿过低密度区域,该算法在UCI的样本数据集上具有良好的分类准确性。     

基于压缩感知的社团结构深度学习方法

传统社团结构发现算法复杂度高,且只适合处理小规模低维度的社会网络数据,而无法处理大规模高维度实际网络数据。为此,提出一种基于压缩感知的社团结构深度学习方法。通过随机测量矩阵对社会网络数据进行特征降维,并使用深度信度网(DBN)对降维后的特征样本集进行无监督学习,利用带类标的小样本集进行有监督调优。仿真结果表明,随机测量方法对高维稀疏特征具有较好的降维效果,DBN对大规模数据集具有较好的处理性能,该方法适合对大规模高维度实际社会网络数据进行高效处理。     

基于深度置信网络的风电机组主轴承故障诊断方法研究

为解决目前传统风电机组主轴故障诊断过程中因主轴结构复杂、信号非线性变化和机械大数据等因素引起的故障诊断困难问题,提出了一种高效、准确的风电机组主轴承故障诊断方法。利用深度置信网络强大的特征分层提取和泛化能力优势,结合Python语言基于Tensor Flow学习框架,实现了高效准确的风电机组主轴承故障诊断。采集风电机组主轴轴转动频率,内、外圈故障频率,滚动体频率和保持架频率,对数据预处理并划分测试集和训练集,同时进行归一化处理。构建深度置信网络DBN诊断网络模型,确定网络层数、学习率、各层节点数等参数。输入训练样本逐层无监督训练达到局部参数最优,反向微调使整体性能最优并用测试集数据进行验证。试验结果表明:在网络参数合适且训练集和测试集相同的情况下,采用深度置信网络的风电机组主轴承故障诊断方法的准确率高达86.18%,同比优于传统支持向量机、人工神经网络故障诊断方法。     

一种半监督协同训练的正则化算法

半监督学习是机器学习领域的研究热点。协同训练研究数据有多个特征集时的半监督学习问题。从正则化角度研究协同训练,利用假设空间的度量结构定义学习函数的光滑性和一致性,在每个视图内的学习过程中以函数光滑性为约束条件,在多个视图的协同学习过程中以函数一致性为约束条件,创新性地提出一种两个层次的正则化算法,同时使用函数的光滑性和一致性进行正则化。实验表明,该算法较仅使用光滑性或仅使用一致性的正则化方法在预测性能上有显著提高。     

基于稀疏贝叶斯模型的特征选择

通过采用稀疏贝叶斯推理方法,设计出可同时进行学习最优分类器与选取最优特征子集的特征选择概率分类向量机算法。该算法是对概率分类向量机特征选择的扩展,可提高其在高维数据集上的性能。通过选取零均值的高斯分布作为先验,在模型中起到正则项的作用,同时在核函数和特征中引入稀疏,得到泛化性更好的分类模型。在高维度和低维度数据集中的实验结果表明,该算法同时具有较好的分类和特征选择能力。     

基于Lorentz函数的稀疏约束RBM模型的算法研究

受限玻尔兹曼机（Restricted Boltzmann Machine,RBM）是一种有效的特征提取算法,受视觉皮层稀疏表示的启发,人们试图将稀疏这一概念引入到RBM中,以期学习到原始数据的稀疏表示,提高其特征提取性能。将Lorentz函数引入到RBM中,作为RBM的稀疏约束正则项,构建基于Lorentz函数的稀疏约束RBM模型,将其称之为LRBM模型。对该模型的特征提取性能进行了可视化评价,同时对稀疏度和分类率进行了实验分析;最后将多个LRBM叠加,构造基于LRBM的深度置信网模型并分析该深度网络的性能。实验表明,LRBM模型有效地提取了数据集中的特征信息,在分类效果上较RBM平均提高了2%左右,增强了目标分类的可靠性。