基于自动编码器组合的深度学习优化方法

为了提高自动编码器算法的学习精度,更进一步降低分类任务的分类错误率,提出一种组合稀疏自动编码器(SAE)和边缘降噪自动编码器(mDAE)从而形成稀疏边缘降噪自动编码器(SmDAE)的方法,将稀疏自动编码器和边缘降噪自动编码器的限制条件加载到一个自动编码器(AE)之上,使得这个自动编码器同时具有稀疏自动编码器的稀疏性约束条件和边缘降噪自动编码器的边缘降噪约束条件,提高自动编码器算法的学习能力。实验表明,稀疏边缘降噪自动编码器在多个分类任务上的学习精度都高于稀疏自动编码器和边缘降噪自动编码器的分类效果;与卷积神经网络(CNN)的对比实验也表明融入了边缘降噪限制条件,而且更加鲁棒的SmDAE模型的分类精度比CNN还要好。     

新型稀疏自动编码器组合的深度学习方法

针对自动编码器在强噪声环境下分类效果低的特征,提出了基于改进型稀疏自动编码器组合的深度学习方法。在采用计算相关熵的方法,增强了稀疏自动编码器对非高斯噪声的鲁棒性的基础上,利用卷积神经网络对自动编码器进行边缘降噪,接着将改进后的稀疏自动编码器和边缘降噪自动编码器相结合,得到新的稀疏边缘降噪自动编码器。实测数据的实验结果表明,新的稀疏边缘降噪自动编码器比现有的分类算法,计算时间更短、准确率更高、效果更明显。     

稀疏降噪自编码器在IR-BCI的应用研究

针对脑-机接口的特征提取问题,提出了一种基于非监督学习的稀疏降噪自编码器,对刺激诱发的脑电信号进行自主学习,构建原始数据的深层特征表达。该编码器引用稀疏自编码神经网络,通过加入噪声,增强其学习的泛化能力,增加了神经网络的鲁棒性。首先对多导联信号进行重新拼接,输入稀疏降噪自编码器,得到原始数据的稀疏特征表达;然后,采用支持向量机将学习到的特征进行分类;最后,同直接使用最优单通道相对比。实验结果为：稀疏降噪自编码器的分类准确率要优于单通道,表明该方法能够更好地学习到特征,并提高了“模拟阅读”脑-机接口的识别正确率,为脑-机接口系统的特征提取和分类提供了新思路。     

基于堆叠稀疏自动编码器的手写数字分类

将稀疏自动编码器(Sparse Autoencoder,SAE)模型应用于数字识别中,并通过多个稀疏自动编码器的堆叠构建了深度网络,采用非监督贪婪逐层训练算法(Greedy Layer-Wise Unsupervised Learning Algorithm)初始化网络权重,使用反向传播算法优化网络参数。利用堆叠稀疏自动编码器学习数字图像的特征,使用softmax分类器进行数字分类。经实验证明,与其它浅层学习模型对比,深度网络不仅进一步学习了数据的高层特征,同时还降低了特征维数,提高了分类器的分类精度,最终改善了手写数字的分类效果。     

自编码网络在JavaScript恶意代码检测中的应用研究

针对传统机器学习特征提取方法很难发掘JavaScript恶意代码深层次本质特征的问题,提出基于堆栈式稀疏降噪自编码网络(sSDAN)的JavaScript恶意代码检测方法。首先将JavaScript恶意代码进行数值化处理,然后在自编码网络的基础上加入稀疏性限制,同时加入一定概率分布的噪声进行染噪的学习训练,使得自动编码器模型能够获取数据不同层次的特征表达;再经过无监督逐层贪婪的预训练和有监督的微调过程可以得到有效去噪后的更深层次特征;最后利用Soft max函数对特征进行分类。实验结果表明,稀疏降噪自编码分类算法对JavaScript具有较好的分类能力,其准确率高于传统机器学习模型,相比随机森林的方法提高了0.717%,相比支持向量机(SVM)的方法提高了2.237%。     

基于压缩感知和深度小波网络的列车故障识别

针对列车走行部故障振动数据无监督特征学习的难点，提出了一种基于压缩感知和深度小波神经网络（CS-DWNN）的列车故障识别方法。首先，对采集得到的列车走行部振动信号利用高斯随机矩阵进行压缩采样；其次，构建以改进小波自编码器（WAE）为基础的深层小波网络，将压缩后的信号直接输入网络进行自动逐层特征提取；最后，用DWNN学习到的多层特征分别训练多个深度支持向量机（DSVM）和深度森林（DF）分类器，并将识别结果进行集成。该方法利用深层小波网络从压缩信号中自动挖掘隐藏的故障信息，受先验知识和主观影响较小，并且避免了复杂的人工特征提取过程。实验结果表明，CS-DWNN方法取得了99.16%的平均诊断正确率，能够有效识别列车走行部的3种常见故障，识别能力优于传统的人工神经网络（ANN）、支持向量机（SVM）等方法和深度信念网络（DBN）、堆栈降噪自编码器（SDAE）等深度学习模型。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于栈式稀疏自编码器的矿用变压器故障诊断

鉴于将深度学习应用于变压器故障诊断具有良好的故障诊断效果,提出了一种基于栈式稀疏自编码器的矿用变压器故障诊断方法。通过在自编码器隐含层引入稀疏项限制构成稀疏自编码器,再将多个稀疏自编码器进行堆叠形成栈式稀疏自编码器,并以Softmax分类器作为输出层,建立矿用变压器故障诊断模型;利用大量无标签样本对模型进行无监督预训练,并通过有监督微调优化模型参数。算例分析结果表明,与栈式自编码器相比,栈式稀疏自编码器应用于矿用变压器故障诊断具有更高的准确率。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

深度稀疏自编码器在ECG特征提取中的应用

针对心电（ECG）信号智能分析模型中,复杂波形的特征提取困难,人工设计特征造成源信号特征丢失,标签样本不足等问题,提出了一种基于深度稀疏自编码器（Deep Sparse Auto-Encoders,DSAEs）的ECG特征提取方法。该方法在DSAEs进行贪婪逐层训练时,采用适应性矩阵估计（Adaptive moment estimation,Adam）对网络权重进行寻优,以此获得最优参数组合,同时提取出高层隐含层的输出,并作为ECG高度抽象的低维特征。最后利用支持向量机（Support Vector Machines,SVM）构建分类模型,完成对ECG的特征分类。使用MIT-BIH心律失常数据库的ECG数据进行仿真实验,结果表明,提出的ECG特征提取方法能有效地分层抽取特征,提高分类识别准确率。     

基于竞争学习的稀疏受限玻尔兹曼机机制

针对受限玻尔兹曼机（RBM）无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机（SRBM）难以自适应稀疏的缺陷,提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量,评估两者相似度;然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元;其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度;最后执行参数更新并依据深度模型训练过程,将竞争稀疏应用于深度玻尔兹曼机（DBM）的构建中。通过手写数字识别实验证明,与误差平方和正则化因子相比,基于该稀疏机制的DBM分类准确率提高了0.74%,平均稀疏度提高了5.6%,且无需设置稀疏参数,因此,该稀疏机制可提高RBM等无监督训练模型的训练效率,并应用于深度模型的构建中。     

一种滚动轴承故障诊断方法

针对基于支持向量机的滚动轴承故障诊断方法中支持向量机的参数优化问题,提出一种改进的果蝇优化算法,即以模式分类准确率作为果蝇味道浓度函数,并采用该算法来优化支持向量机模型的惩罚因子和核函数参数;基于改进果蝇优化算法和支持向量机对滚动轴承的故障模式进行分类诊断,结果表明改进的果蝇优化算法具有较高的收敛速度和寻优效率,基于该算法和支持向量机的滚动轴承故障诊断方法具有较高的分类准确率。     

基于支持向量机的机械故障智能分类研究

故障样本不足是制约故障诊断技术向智能化方向发展的主要原因之一，支持向量机（SVM)是一种基于统计学习理论(SLT)的机器学习算法，它能在训练样本很少的情况下达到很好的分类效果，从而为故障诊断技术向智能化发展提供了新的途径．本文介绍了支持向量机分类算法，以滚动轴承的故障分类为例，探讨了该算法在故障诊断领域中的应用，并与BP神经网络分类方法进行了对比研究，结果表明，SVM方法在少样本情况下的分类效果优于BP神经网络分类方法．     

基于雅克比稀疏自动编码机的手写数字识别算法

由于手写数字边缘轮廓差异大造成书写风格的不同,为了提高识别准确度,通过在自动编码机中加入稀疏约束项和雅克比正则项,提出一种雅克比稀疏自动编码机(JSAE)的算法进行手写数字识别。加入稀疏约束项能够有效提取数据中的隐藏结构,而雅克比正则化可以描述数据点的边缘特征,提高自动编码器算法的学习能力,从而更准确地抽取样本的本质特征。实验结果表明,JSAE在分类准确率上要高于自动编码机（AE）和稀疏自动编码机（SAE）算法。     

基于SAE和GNDO-SVM的脑电信号情绪识别

情感计算是现代人机交互中的关键问题, 随着人工智能的发展, 基于脑电信号(electroencephalogram, EEG)的情绪识别已经成为重要的研究方向. 为了提高情绪识别的分类精度, 本研究引入堆叠自动编码器(stacked auto-encoder, SAE)对EEG多通道信号进行深度特征提取, 并提出一种基于广义正态分布优化的支持向量机(generalized normal distribution optimization based support vector machine, GNDO-SVM)情绪识别模型. 实验结果表明, 与基于遗传算法、粒子群算法和麻雀搜索算法优化的支持向量机模型相比, 所提出的GNDO-SVM模型具有更优的分类性能, 基于SAE深度特征的情感识别准确率达到了90.94%, 表明SAE能够有效地挖掘EEG信号不同通道间的深度相关性信息. 因此, 利用SAE深度特征结合GNDO-SVM模型可以有效地实现EEG信号的情绪识别.     

基于迁移学习的分层注意力网络情感分析算法

文本情感分析的目的是判断文本的情感类型。传统的基于神经网络的研究方法主要依赖于无监督训练的词向量,但这些词向量无法准确体现上下文语境关系;常用于处理情感分析问题的循环神经网络（RNN）,模型参数众多,训练难度较大。为解决上述问题,提出了基于迁移学习的分层注意力神经网络（TLHANN）的情感分析算法。首先利用机器翻译任务训练一个用于在上下文中理解词语的编码器;然后,将这个编码器迁移到情感分析任务中,并将编码器输出的隐藏向量与无监督训练的词向量结合。在情感分析任务中,使用双层神经网络,每层均采用简化的循环神经网络结构——最小门单元（MGU）,有效减少了参数个数,并引入了注意力机制提取重要信息。实验结果证明,所提算法的分类准确率与传统循环神经网络算法、支持向量机（SVM）算法相比分别平均提升了8.7%及23.4%。     

基于改进SAE和双向LSTM的滚动轴承RUL预测方法

针对稀疏自动编码器(Sparse auto encoder, SAE)采用sigmoid激活函数容易造成梯度消失的问题, 用一种新的Tan函数替代原有的sigmoid函数; 针对SAE采用Kullback-Leibler (KL) 散度进行稀疏性约束在回归预测方面的局限性, 以dropout机制替代KL散度实现网络的稀疏性. 利用改进SAE对滚动轴承振动信号进行无监督深层特征自适应提取, 无需人工设计标签进行有监督微调. 同时, 考虑到滚动轴承剩余使用寿命(Remaining useful life, RUL)预测方法一般仅考虑过去信息而忽略未来信息, 引入双向长短时记忆网络(Bi-directional long short-term memory, Bi-LSTM)构建滚动轴承RUL的预测模型. 在2个轴承数据集上的实验结果均表明, 所提基于改进SAE和Bi-LSTM的滚动轴承RUL预测方法不仅可以提高模型的收敛速度而且具有较低的预测误差.     

面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.     

基于SVM的车型检测和识别算法

根据模式识别理论和支持向量机(SVM)网络技术，对运动车辆的检测和模式识别、分类进行了研究，提出了基于双帧差“或”运算检测法和基于SVM网络的车型识别和分类算法。实验结果表明，所设计的检测方法和SVM模式识别方法能够快速有效地识别车辆类型并正确地进行分类。     

基于BO-DKELM的滚动轴承故障诊断

滚动轴承作为旋转机械中的必需元件,其任何故障都可能导致机器乃至整个系统发生故障,从而导致巨大的经济损失和时间的浪费,因此必须要及时准确地诊断滚动轴承故障。针对传统极限学习机中模型参数对滚动轴承故障诊断精度影响较大的问题,提出了一种基于贝叶斯优化的深度核极限学习机的滚动轴承故障诊断方法。首先,将自动编码器与核极限学习机相结合,构建了深度核极限学习机(Deep kernel extreme learning machine, DKELM)模型。其次,利用贝叶斯优化(Bayesian optimization, BO)算法对DKELM中的超参数进行寻优,使得训练数据集和验证数据集在DKELM模型中的分类错误率之和最低。然后,将测试数据集输入到训练好的BO-DKELM中进行故障诊断。最后,采用凯斯西储大学轴承故障数据集对所提方法进行验证,最终故障诊断精度为99.6%,与深度置信网络和卷积神经网络等传统智能算法进行对比,所提方法具有更高的故障诊断精度。