新型稀疏自动编码器组合的深度学习方法

针对自动编码器在强噪声环境下分类效果低的特征,提出了基于改进型稀疏自动编码器组合的深度学习方法。在采用计算相关熵的方法,增强了稀疏自动编码器对非高斯噪声的鲁棒性的基础上,利用卷积神经网络对自动编码器进行边缘降噪,接着将改进后的稀疏自动编码器和边缘降噪自动编码器相结合,得到新的稀疏边缘降噪自动编码器。实测数据的实验结果表明,新的稀疏边缘降噪自动编码器比现有的分类算法,计算时间更短、准确率更高、效果更明显。     

基于堆叠稀疏自动编码器的手写数字分类

将稀疏自动编码器(Sparse Autoencoder,SAE)模型应用于数字识别中,并通过多个稀疏自动编码器的堆叠构建了深度网络,采用非监督贪婪逐层训练算法(Greedy Layer-Wise Unsupervised Learning Algorithm)初始化网络权重,使用反向传播算法优化网络参数。利用堆叠稀疏自动编码器学习数字图像的特征,使用softmax分类器进行数字分类。经实验证明,与其它浅层学习模型对比,深度网络不仅进一步学习了数据的高层特征,同时还降低了特征维数,提高了分类器的分类精度,最终改善了手写数字的分类效果。     

用于域适应的多边缘降噪自动编码器

神经网络模型被广泛用于跨领域分类学习。边缘堆叠降噪自动编码器(marginalized stacked denoising autoencoders,mSDA)作为一种神经网络模型,通过对源领域和目标领域数据进行边缘化加噪损坏,学习一个公共的、健壮的特征表示空间,从而解决领域适应问题。然而,mSDA对所有的特征都采取相同的边缘化加噪处理方式,没有考虑到不同特征对分类结果的影响不同。为此,对特征进行区分性的噪音系数干扰,提出多边缘降噪自动编码器(multi-marginalized denoising autoencoders,M-MDA)。首先,利用改进的权重似然率(weighted log-likelihood ratio update,WLLRU)区分出领域间的共享和特有特征;然后,通过计算特征在两个领域的距离,对共享特征和特有特征进行不同方式的边缘化降噪处理,并基于单层边缘降噪自动编码器(marginalized denoising autoencoders,MDA)学习获取更健壮的特征;最后,对新的特征空间进行二次损坏以强化共享特征的比例。实验结果表明,该方法在跨领域情感分类方面优于基线算法。     

基于降噪自动编码器的推荐算法

传统的推荐算法一般采用用户项目评分矩阵学习潜在因素,了解用户的个人偏好并作出推荐,但在实际应用中,评分矩阵通常非常稀疏。针对传统推荐算法的不足,提出一种基于降噪自动编码器的推荐模型。首先用2个自动编码器来训练用户和项目的潜在因子矩阵,然后将学习到的隐含特征向量输入一神经网络来进行评分预测,最后根据新的评分矩阵作出推荐。实验结果表明,该算法提高了推荐结果的召回率,同时缩小了重构误差。     

多层降噪自动编码器的心电信号去噪算法

传统的心电信号(ECG)去噪算法在去除线性的、平稳的ECG信号噪声时效果显著,但是在面对非线性、非平稳的ECG信号噪声时去噪效果不理想.为了提高心电信号算法的去噪能力运用了一种基于降噪自动编码器的ECG去噪算法.降噪自动编码器(DAE)具有噪声鲁棒性的特点,可以在信号受到污染的情况下尽可能地恢复数据的原始状态.为了进一步提升降噪自动编码器算法的去噪效果用多个降噪自动编码器堆叠形成深度神经网络对心电信号进行降噪处理.通过实验结果表明:多层降噪自动编码器(SDAE)算法相较于DAE算法和传统的心电信号去噪算法,SDAE算法对非线性、非平稳的信号噪声具有更好的降噪效果,而且保留了原始心电信号绝大部分的细节信息,对噪声具有较强的抗干扰能力,满足了心电信号的去噪要求.     

局部感知的类限制极限学习机

极限学习机(ELM)由于高效的训练方式被广泛应用于分类回归,然而不同的输入权值在很大程度上会影响其学习性能。为了进一步提高ELM的学习性能,针对ELM的输入权值进行了研究,充分利用图像局部感知的稀疏性,将局部感知的方法运用到基于自动编码器的ELM(ELM-AE)上,提出了局部感知的类限制极限学习机(RF-C₂ELM)。通过对MNIST数据集进行分类问题分析实验,实验结果表明,在具有相同隐层结点数的条件下,提出的方法能够获得更高的分类精度。     

基于融合型深度学习的滚动轴承亚健康识别算法

深度学习模型增加了隐含层的层数,使得该模型在语音识别、图像视频分类等方面取得了不错的效果;但建立一个适合特定对象的模型需要大量的数据集来训练,而且需要较长时间才能获得合适的权重和偏置,为此提出一种基于深度自动编码器-相关向量机网络模型的滚动轴承亚健康诊断方法。首先,采集滚动轴承振动信号并进行傅里叶变换和归一化处理;其次,设计改进的自动编码器-稀疏边缘降噪自动编码器,结合了稀疏自动编码器和边缘降噪自动编码器的特点;接着建立深度自动编码器-相关向量机网络模型,用有监督的函数对各个隐含层的参数进行微调,并利用相关向量机（RVM）进行训练;最后将得到的分类根据D-S证据理论融合并得出最终的分类结果。实验结果表明所提算法能有效提高滚动轴承"亚健康"状态的识别精度,纠正错误分类。     

基于堆叠降噪稀疏自动编码器的软件缺陷预测

特征提取是软件缺陷预测中的关键步骤,特征提取的质量决定了缺陷预测模型的性能,但传统的特征提取方法难以提取出软件缺陷数据的深层本质特征。深度学习理论中的自动编码器能够从原始数据中自动学习特征,并获得其特征表示,同时为了增强自动编码器的鲁棒性,本文提出一种基于堆叠降噪稀疏自动编码器的特征提取方法,通过设置不同的隐藏层数、稀疏性约束和加噪方式,可以直接高效地从软件缺陷数据中提取出分类预测所需的各层次特征表示。利用Eclipse缺陷数据集的实验结果表明,该方法较传统特征提取方法具有更好的性能。     

稀疏降噪自编码器在IR-BCI的应用研究

针对脑-机接口的特征提取问题,提出了一种基于非监督学习的稀疏降噪自编码器,对刺激诱发的脑电信号进行自主学习,构建原始数据的深层特征表达。该编码器引用稀疏自编码神经网络,通过加入噪声,增强其学习的泛化能力,增加了神经网络的鲁棒性。首先对多导联信号进行重新拼接,输入稀疏降噪自编码器,得到原始数据的稀疏特征表达;然后,采用支持向量机将学习到的特征进行分类;最后,同直接使用最优单通道相对比。实验结果为：稀疏降噪自编码器的分类准确率要优于单通道,表明该方法能够更好地学习到特征,并提高了“模拟阅读”脑-机接口的识别正确率,为脑-机接口系统的特征提取和分类提供了新思路。     

结合侧抑制机制的自动编码器训练新算法

深度学习是目前最热门的机器学习方法之一。针对深度学习中的自动编码器在训练时容易产生网络模型复杂度过高、输出矩阵不够稀疏、小样本训练过拟合等问题,提出一种结合侧抑制机制的自动编码器训练新算法。算法构建了用于隐藏层的侧抑制神经元筛选模型。首先设定抑制限寻找符合抑制条件的神经元,然后通过侧抑制函数对符合条件的神经元进行快速输出抑制,运用反向传播算法对模型进行优化,最终输出权重特征。实验结果表明,算法能够使隐藏层输出近似满足稀疏条件并学习得到更加鲁棒的特征,提高分类正确率的同时还能一定程度上抑制过拟合现象。     

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder,SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder,DAE）、稀疏自编码器（Sparse Auto-Encoder,SAE）以及自编码器（Auto-Encoder,AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。     

基于SDAE与RELM的EEG情感识别方法

针对情感识别中堆叠式自动编码器存在反向传播方法收敛速度慢和容易陷入局部最优的问题,提出一种基于堆叠式降噪自动编码器（SDAE）和正则化极限学习机（RELM）的情感状态识别方法。从脑电信号的时域、频域和时频域中提取表征情感状态的初始特征,使用SDAE进行无监督特征学习,提取初始特征的高层抽象表示。在网络的回归层,使用RELM进行情感分类。在DEAP数据集上的实验结果表明,与SDAE以及DT、KNN等传统基于机器学习的方法相比,该方法在实时性、准确性和泛化性能等方面均有明显提升。     

基于改进栈式稀疏去噪自编码器的图像去噪

为了提高栈式稀疏去噪自编码器（SSDA）的图像去噪性能,解决计算复杂度高,参数不易调节,训练收敛速度慢等问题,提出了一种栈式边缘化稀疏去噪自编码器（SMSDA）的图像去噪方法。首先,由于边缘化去噪自编码器（MDA）具有收敛速度快这一特性,对SDA网络损失函数作边缘化处理,形成边缘化稀疏去噪自编码器（MSDA）,使其同时满足边缘性和稀疏性。其次,将多个MSDA堆叠构成深度神经网SMSDA,为避免模型参数局部最优,采用非监督逐层训练法分别训练每一层网络,再用BP算法对整个网络微调,从而获得最优权重。最后,用SMSDA对给定图像去噪。仿真结果表明,较SSDA而言,所提算法在降低计算复杂度、提高收敛速度的同时,拥有较高峰值信噪比（PSNR）,且保留了更多原始图像的细节信息,具有更好的降噪性能。     

结合栈式监督AE与可变加权ELM的回归预测模型

在现代工业生产过程中,许多关键变量与产品质量或生产效率密切相关,关键变量的实时监测是实现利润最大化及节能降耗的有效途径。针对回归预测任务中目标特征提取不全面、预测精度较低等问题,提出一种基于栈式监督自编码器与可变加权极限学习机的回归预测模型。通过堆叠多层自编码器并在每层自编码器中添加回归网络,同时以有监督方式对栈式自编码器（SAE）进行逐层预训练,得到与输出变量相关的特征表示。利用反向传播算法对网络参数进行微调,优化自编码器模型参数。在分析提取特征与输出变量的相关性基础上,对极限学习机（ELM）的输入权值和偏置进行加权得到预测结果。实验结果表明,与基于ELM和SAE-ELM的回归预测模型相比,该模型在多晶硅铸锭的G6产品数据集上的均方根误差降低0.056 7和0.011 2、决定系数提高0.489 3和0.290 3,具有更高的回归预测准确性及更强的鲁棒性与泛化性能。     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。     

基于变分自编码器的谣言立场分类算法

针对当前谣言检测任务中社交媒体推特平台的推文数据分布复杂且不均衡的特点,提出基于变分自编码器（VAE）的谣言立场分类算法VAE-LSTM。对数据进行预处理后,利用word2vec模型提取推文词向量并输入VAE中进行训练,得到符合简单概率分布的深度特征序列再从中采样获取有效特征,以避免数据量较大的推文类别影响特征向量。在此基础上,使用长短时记忆（LSTM）网络处理向量序列数据进而实现分类。理论分析和实验结果表明,VAE-LSTM算法无须手动提取或添加特征,训练过程简单高效,同时能缓解类间不平衡问题,其应用于实际场景准确率和F1得分分别为0.800和0.494,与时序注意力机制算法、Turing算法、霍克斯过程算法等相比分类性能更好,且较SVM等早期机器学习方法节省了大量数据预处理时间。     

引入动态调节学习率的SAE轴承故障诊断研究

为提高轴承故障分类收敛速度和分类精度,提出一种动态调节学习率的堆叠自编码网络（SAE）。初始时刻给予一个较大的学习率,迭代过程中利用当前重构误差动态调节学习率的大小,根据重构误差梯度的正负值给出两种不同的学习率减小策略,使学习率大小更符合网络当前的运行状态,最后通过不同的有标签数据量进行反向微调,验证故障分类识别的准确率。实验结果表明：相比固定学习率,该动态调节学习率SAE网络预训练收敛时间减少17.70%,重构误差下降22.92%,故障分类准确率得到提高,且能在保持分类准确率的前提下,减少有标签样本量。     

基于极端学习机的人脸特征深度稀疏自编码方法

针对输入人脸特征的不准确性导致识别系统识别率不高的问题,提出了一种有效的基于极端学习机（ELM）的人脸特征深度稀疏自编码（DSAE）方法。首先,利用截断式核范数构造损失函数,通过最小化损失函数提取人脸图像的稀疏特征;其次,利用极端学习机自编码器（ELM-AE）模型进行人脸特征的自编码,实现数据维度的降低以及噪声过滤;最后,通过经验风险极小化得到最优的深度结构。在ORL、IMM、Yale和UMIST人脸数据集上的实验结果表明,DSAE方法对高维人脸图像的识别率明显优于极端学习机、随机森林（RF）等算法,且具有良好的泛化性能。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。