基于栈式去噪自动编码器的边际Fisher分析算法

特征学习是模式识别领域的关键问题。基于自动编码器的深度神经网络通过无监督预训练与有监督微调能够有效地提取数据中关键信息,形成特征。提出一种基于栈式去噪自编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于有监督微调阶段,进一步提升算法的特征学习能力。实验结果表明,该算法与标准的栈式去噪自编码器和基于受限玻尔兹曼机的深度信念网相比,具有更好的识别效果。     

结合栈式监督AE与可变加权ELM的回归预测模型

在现代工业生产过程中,许多关键变量与产品质量或生产效率密切相关,关键变量的实时监测是实现利润最大化及节能降耗的有效途径。针对回归预测任务中目标特征提取不全面、预测精度较低等问题,提出一种基于栈式监督自编码器与可变加权极限学习机的回归预测模型。通过堆叠多层自编码器并在每层自编码器中添加回归网络,同时以有监督方式对栈式自编码器（SAE）进行逐层预训练,得到与输出变量相关的特征表示。利用反向传播算法对网络参数进行微调,优化自编码器模型参数。在分析提取特征与输出变量的相关性基础上,对极限学习机（ELM）的输入权值和偏置进行加权得到预测结果。实验结果表明,与基于ELM和SAE-ELM的回归预测模型相比,该模型在多晶硅铸锭的G6产品数据集上的均方根误差降低0.056 7和0.011 2、决定系数提高0.489 3和0.290 3,具有更高的回归预测准确性及更强的鲁棒性与泛化性能。     

基于栈式稀疏自编码器的矿用变压器故障诊断

鉴于将深度学习应用于变压器故障诊断具有良好的故障诊断效果,提出了一种基于栈式稀疏自编码器的矿用变压器故障诊断方法。通过在自编码器隐含层引入稀疏项限制构成稀疏自编码器,再将多个稀疏自编码器进行堆叠形成栈式稀疏自编码器,并以Softmax分类器作为输出层,建立矿用变压器故障诊断模型;利用大量无标签样本对模型进行无监督预训练,并通过有监督微调优化模型参数。算例分析结果表明,与栈式自编码器相比,栈式稀疏自编码器应用于矿用变压器故障诊断具有更高的准确率。     

SDAE-LSTM模型在金融时间序列预测中的应用

针对金融时间序列预测的复杂性和长期依赖性，提出了一种基于深度学习的LSTM神经网络预测模型。利用堆叠去噪自编码从金融时间序列的基本行情数据和技术指标中提取特征，将其作为LSTM神经网络的输入对金融时间序列进行预测；通过LSTM神经网络的长期依赖特性来提高金融时间序列的预测精度。利用股价指数数据，与传统的神经网络的预测结果进行比较，结果表明基于深度学习的LSTM神经网络具有比较高的预测精度。     

基于栈式自编码的上海地铁短时流量预测

城市公共交通网每时每刻都承载巨大的客流量,客流量的增多为公共交通网和交通智能调度带来了巨大的压力。地铁站点短时的客流预测是智能地铁调度系统中重要的决策基础与技术支持。利用历史刷卡数据,提出了一种基于深度学习的地铁短时客流量预测方法,基于栈式自编码器构建深度神经网络模型,采用自下而上逐层非监督预训练,在预训练结束之后,采用反向传播BP算法自上而下来微调整个网络的参数。利用上海一个月范围内的地铁刷卡记录数据进行实验测试,实验结果优于小波神经网络Wavelet NN与自回归移动平均模型ARIMA。     

基于栈式自编码的水体提取方法

为了进一步提高利用遥感图像进行水体提取的准确率和自动化程度,提出一种基于栈式自编码(SAE)深度神经网络的水体提取方法。通过堆叠稀疏自编码器构建深度网络模型,使用逐层贪婪训练法依次训练每层网络,从像素层面无监督学习特征,避免传统神经网络等方法需进行人工特征分析与选取的问题;用学习到的特征结合相应的样本标签有监督训练softmax分类器;利用反向传播(BP)算法微调优化整个模型。采用塔里木河ETM+数据进行实验,基于SAE的水体提取方法准确率达到94.73%,比支持向量机(SVM)和反向传播(BP)神经网络方法分别高出3.28%和4.04%。实验结果表明,所提方法能有效提高水体提取的精度。     

无监督混阶栈式稀疏自编码器的图像分类学习

目前多数图像分类的方法是采用监督学习或者半监督学习对图像进行降维,然而监督学习与半监督学习需要图像携带标签信息。针对无标签图像的降维及分类问题,提出采用混阶栈式稀疏自编码器对图像进行无监督降维来实现图像的分类学习。首先,构建一个具有三个隐藏层的串行栈式自编码器网络,对栈式自编码器的每一个隐藏层单独训练,将前一个隐藏层的输出作为后一个隐藏层的输入,对图像数据进行特征提取并实现对数据的降维。其次,将训练好的栈式自编码器的第一个隐藏层和第二个隐藏层的特征进行拼接融合,形成一个包含混阶特征的矩阵。最后,使用支持向量机对降维后的图像特征进行分类,并进行精度评价。在公开的四个图像数据集上将所提方法与七个对比算法进行对比实验,实验结果表明,所提方法能够对无标签图像进行特征提取,实现图像分类学习,减少分类时间,提高图像的分类精度。     

基于神经网络的LncRNA与蛋白质互作关系预测算法

论文提出一种基于注意力机制(Attention)的融合神经网络预测方法预测LncRNA与蛋白质的相互作用,命名为PIPAFNN.通过栈式自编码器和融合神经网络(CNN)-长短期记忆网络(LSTM)分别对LncRNA和蛋白质的序列进行特征提取,在模型学习过程中使用注意向量,使得训练出的模型能够关注不同样本中对预测方法具有...     

基于深度学习的复杂网络实时Sybil攻击检测算法

针对复杂网络中Sybil攻击检测速度较慢的问题,提出一种基于深度学习的复杂网络实时Sybil攻击检测方案。从网络中采集数据,提取合适的特征;通过深度学习技术预测网络中的攻击行为。基于多层核极限学习机的深度学习技术包括无监督表示学习与监督特征分类两个阶段。通过低秩逼近法计算近似的经验核映射,代替原极限学习机随机生成的隐层。将经验核映射-自动编码的栈式自编码器作为表示学习,对极限学习机的时间效率与存储成本实现了显著的提高。基于实际社交数据的实验结果表明,该方案有效地降低了Sybil攻击的检测时间,并且保持了较好的检测效果。     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。