基于自动编码器组合的深度学习优化方法

为了提高自动编码器算法的学习精度,更进一步降低分类任务的分类错误率,提出一种组合稀疏自动编码器(SAE)和边缘降噪自动编码器(mDAE)从而形成稀疏边缘降噪自动编码器(SmDAE)的方法,将稀疏自动编码器和边缘降噪自动编码器的限制条件加载到一个自动编码器(AE)之上,使得这个自动编码器同时具有稀疏自动编码器的稀疏性约束条件和边缘降噪自动编码器的边缘降噪约束条件,提高自动编码器算法的学习能力。实验表明,稀疏边缘降噪自动编码器在多个分类任务上的学习精度都高于稀疏自动编码器和边缘降噪自动编码器的分类效果;与卷积神经网络(CNN)的对比实验也表明融入了边缘降噪限制条件,而且更加鲁棒的SmDAE模型的分类精度比CNN还要好。     

新型稀疏自动编码器组合的深度学习方法

针对自动编码器在强噪声环境下分类效果低的特征,提出了基于改进型稀疏自动编码器组合的深度学习方法。在采用计算相关熵的方法,增强了稀疏自动编码器对非高斯噪声的鲁棒性的基础上,利用卷积神经网络对自动编码器进行边缘降噪,接着将改进后的稀疏自动编码器和边缘降噪自动编码器相结合,得到新的稀疏边缘降噪自动编码器。实测数据的实验结果表明,新的稀疏边缘降噪自动编码器比现有的分类算法,计算时间更短、准确率更高、效果更明显。     

多层降噪自动编码器的心电信号去噪算法

传统的心电信号(ECG)去噪算法在去除线性的、平稳的ECG信号噪声时效果显著,但是在面对非线性、非平稳的ECG信号噪声时去噪效果不理想.为了提高心电信号算法的去噪能力运用了一种基于降噪自动编码器的ECG去噪算法.降噪自动编码器(DAE)具有噪声鲁棒性的特点,可以在信号受到污染的情况下尽可能地恢复数据的原始状态.为了进一步提升降噪自动编码器算法的去噪效果用多个降噪自动编码器堆叠形成深度神经网络对心电信号进行降噪处理.通过实验结果表明:多层降噪自动编码器(SDAE)算法相较于DAE算法和传统的心电信号去噪算法,SDAE算法对非线性、非平稳的信号噪声具有更好的降噪效果,而且保留了原始心电信号绝大部分的细节信息,对噪声具有较强的抗干扰能力,满足了心电信号的去噪要求.     

叠加去噪自动编码器结合深度神经网络的心电图信号分类方法

针对现有心电图信号分类方法精度较低,模型训练收敛速度较慢的缺点,提出一种基于叠加去噪自动编码器和深度神经网络方法的新型分类方法。该方法采用无监督学习方式,利用带有稀疏约束的叠加去噪自动编码器,实现心电图原始数据的特征学习。基于深度神经网络对信号进行分类,同时利用监督式自主学习微调方法对神经网络权重进行适时调整,从而保证信号分类的精度和质量。利用三个机构的经典数据库对该方法进行实验研究,并与目前两种最新的方法进行对比。实验结果证明,该方法在专家标记样本较少的情况下,仍能明显提高心电图数据分类的准确率,同时加快训练时的收敛速度。     

基于改进的多层降噪自编码算法临床分类诊断研究

针对临床分类诊断中普遍存在的样本不均衡、错分代价不同、大量无标签样本和测量误差等特点,引入了机器学习中较新的研究成果———多层降噪自编码（stacked denoising autoencoders,SDA）神经网络,并与欠采样局部更新的元代价（metacost）算法相结合,对 SDA 神经网络进行了改进,使组合模型具有代价敏感、降低不均衡性、有效利用无标签样本、抗噪声的特性。实验中将改进的 SDA 神经网络与 SOFTMAX 回归、反向传播（back propagation,BP）神经网络、支持向量机（support vector machine,SVM）、传统多层自编码（stacked autoencoders, SAE）神经网络,以及传统 SDA 神经网络等作了比较。实验结果表明,改进的 SDA 神经网络的准确率、ROC 曲线下面积等均优于其他模型,提高了分类模型的辅助诊断性能。     

稀疏降噪自编码器在IR-BCI的应用研究

针对脑-机接口的特征提取问题,提出了一种基于非监督学习的稀疏降噪自编码器,对刺激诱发的脑电信号进行自主学习,构建原始数据的深层特征表达。该编码器引用稀疏自编码神经网络,通过加入噪声,增强其学习的泛化能力,增加了神经网络的鲁棒性。首先对多导联信号进行重新拼接,输入稀疏降噪自编码器,得到原始数据的稀疏特征表达;然后,采用支持向量机将学习到的特征进行分类;最后,同直接使用最优单通道相对比。实验结果为：稀疏降噪自编码器的分类准确率要优于单通道,表明该方法能够更好地学习到特征,并提高了“模拟阅读”脑-机接口的识别正确率,为脑-机接口系统的特征提取和分类提供了新思路。     

基于深度学习的作曲家分类问题

在音乐信息检索领域,作曲家分类是一个十分重要的问题,这一问题的目标是通过音频数据来识别相应的作曲家信息.传统的分类算法都是通过提取复杂的特征来进行分类的,而深层神经网络在特征学习上具有比较强的能力,因此提出用深层神经网络来解决这一问题.为了结合不同深层神经网络模型的优点,设计了一种混合模型,该模型基于深度置信网络(deep belief network,DBN)和级联去噪自编码器(stacked denoising autoencoder,SDA),可以较好地解决作曲家分类问题.实验表明,该模型取得了76.26%的正确率,这一结果比单纯用某一种模型搭建的深层神经网络以及支持向量机要好.和图像数据类似,人脑在提取音乐特征也是分层的,每一层对信号的处理不一样,因此混合模型在解决作曲家分类问题上具有一定的优势.     

基于深度小波去噪自动编码器的轴承智能故障诊断方法

针对原始振动数据无监督特征学习问题,提出一种深度小波去噪自动编码器与鲁棒极限学习机相结合的滚动轴承的智能故障诊断方法。利用小波函数作为非线性激活函数设计小波去噪自动编码器,从而有效地捕获信号特征;利用多个小波去噪自动编码器构造一个深度小波去噪自动编码器来增强无监督特征学习能力;采用鲁棒极限学习机作为分类器,对不同的轴承故障进行分类识别。对实验所得的轴承振动信号进行对比分析,结果验证了该方法在原始振动数据无监督特征学习的条件下优于传统方法和标准深度学习方法。     

自编码网络在JavaScript恶意代码检测中的应用研究

针对传统机器学习特征提取方法很难发掘JavaScript恶意代码深层次本质特征的问题,提出基于堆栈式稀疏降噪自编码网络(sSDAN)的JavaScript恶意代码检测方法。首先将JavaScript恶意代码进行数值化处理,然后在自编码网络的基础上加入稀疏性限制,同时加入一定概率分布的噪声进行染噪的学习训练,使得自动编码器模型能够获取数据不同层次的特征表达;再经过无监督逐层贪婪的预训练和有监督的微调过程可以得到有效去噪后的更深层次特征;最后利用Soft max函数对特征进行分类。实验结果表明,稀疏降噪自编码分类算法对JavaScript具有较好的分类能力,其准确率高于传统机器学习模型,相比随机森林的方法提高了0.717%,相比支持向量机(SVM)的方法提高了2.237%。     

基于堆叠降噪稀疏自动编码器的软件缺陷预测

特征提取是软件缺陷预测中的关键步骤,特征提取的质量决定了缺陷预测模型的性能,但传统的特征提取方法难以提取出软件缺陷数据的深层本质特征。深度学习理论中的自动编码器能够从原始数据中自动学习特征,并获得其特征表示,同时为了增强自动编码器的鲁棒性,本文提出一种基于堆叠降噪稀疏自动编码器的特征提取方法,通过设置不同的隐藏层数、稀疏性约束和加噪方式,可以直接高效地从软件缺陷数据中提取出分类预测所需的各层次特征表示。利用Eclipse缺陷数据集的实验结果表明,该方法较传统特征提取方法具有更好的性能。