深度信念网络研究进展

深度信念网络（Deep Belief Networks,DBN）作为深度学习（Deep Learning,DL）中的重要模型,目前已被成功应用于人脸识别、手写字体识别、医学图像分析处理等诸多领域。从深度信念网络出发,主要做了四个方面的工作：第一,从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两个方面阐述了深度信念网络的基本原理;第二,从网络结构和学习算法两个方面总结了深度信念网络的研究进展：在网络结构方面,从网络深度、RBM结构和DBN级联三个角度进行归纳;在学习算法方面,从基本算法、优化算法和融合方法三个方面进行梳理;第三,对深度信念网络在医学图像分析领域中的应用进行了总结;第四,总结了目前DBN存在的问题。     

深度学习在故障诊断与预测中的应用

近年来,深度学习以其在特征提取与模式识别方面独特优势与潜力被广泛应用于众多领域,已取得显著进展,其在复杂工业系统故障诊断与预测中的研究属于新兴领域。对近年来深度学习及其在各领域发展的优秀综述文献以及主流的开源仿真工具平台进行了整理,同时介绍了五种典型的深度学习模型,包括自动编码器（Auto-Encoder,AE）、 深度置信网络（Deep Belief Networks,DBN）、 卷积神经网络（Convolutional Neural Networks,CNN）、 循环神经网络（Recurrent Neural Network,RNN）、生成对抗网络（Generative Adversarial Network,GAN）;从研究背景、实现流程及研究动态等三个方面就深度学习在故障诊断与预测中的应用研究进行了归纳总结,对近年来这一领域发表的相关论文进行了系统的综述;从研究实际出发探讨了深度学习在故障诊断与预测领域应用中存在的问题、挑战及解决方法,并对未来值得继续研究的方向进行了展望。     

浅析深度信念网络模型

深度信念网络(DeepBeliefNetwork,DBN)是深度学习模型之一,是实现人工智能的重要模型。它是由多个受限玻尔兹曼机(RBM)堆加而成。一般在模型的最后一层加入分类器模型进行分类。目前已在生物特征识别、语音识别、机器故障诊断、疾病诊断等诸多领域得到广泛应用。鉴于深度信念网络模型的优点及其强大的自主学习能力,主要做了四个方面的工作:第一,阐述了深度学习的背景以及深度信念网络的来源,第二,详细介绍了深度信念网络的基本原理和模型框架,第三,对受限玻尔兹曼机的学习过程等进行了介绍,第四,总结了深度信念网络在疾病预测领域的研究与应用。     

基于建模的深度学习

深度学习是通过对人脑神经系统结构及功能的模拟.本文结合建模的思想,首先对深度学习进行了概述,并且研究了深度置信网络DBN模型.以及探讨了深度学习的应用及在建模方面的前景和挑战.深度学习可以对数据间潜在的特征因素进行提取分析.算法的不断更迭和完善,使深度学习对数据的处理更加快速准确,适应多项领域.     

城市物流效率分析自适应DBN算法研究

深入研究了城市物流效率分析的研究现状,结合深度学习相关理论,针对具体问题构建三隐层连续型深度信念网络（DBN）,对网络知识集进行了定义,提出了自适应DBN算法,分析了算法的收敛性。利用Iris数据集和Wine数据集验证了网络及算法的模式分类能力,分类精度高于双隐层深度信念网络与深度误差反向传播网络。根据新丝绸之路经济带沿线城市物流特点,以物流效率为评估目标,选取4个维度的13项指标建立评价指标体系,以20个核心节点城市为研究对象,利用自适应DBN算法和社会网络分析法（SNA）进行聚类分析,结果表明自适应DBN算法相对更为合理有效。研究结果为确定新丝绸之路经济带沿线城市物流发展策略、促进国内物流业未来的协作与发展奠定了研究基础。     

基于DBN模型的遥感图像分类

遥感图像分类是地理信息系统(geographic information system,GIS)的关键技术,对城市规划与管理起到十分重要的作用.近年来,深度学习成为机器学习领域的一个新兴研究方向.深度学习采用模拟人脑多层结构的方式,对数据从低层到高层渐进地进行特征提取,从而发掘数据在时间与空间上的规律,进而提高分类的准确性.深度信念网络(deep belief network,DBN)是一种得到广泛研究与应用的深度学习模型,它结合了无监督学习和有监督学习的优点,对高维数据具有较好的分类能力.提出一种基于DBN模型的遥感图像分类方法,并利用RADARSAT-2卫星6d的极化合成孔径雷达(synthetic aperture radar,SAR)图像进行了验证.实验表明,与支持向量机(SVM)及传统的神经网络(NN)方法相比,基于DBN模型的方法可以取得更好的分类效果.     

基于改进的深度置信网络的电离层F2层临界频率预测

随着深度学习理论的日趋成熟,针对各种场合的实际应用逐渐成为研究的焦点。本文提出一种基于深度置信网络（Deep Belief Network,DBN）对本区域未来24h的电离层临界频率foF2进行预测的方法。首先,对选取的数据集进行处理,生成用于训练和测试的数据集,其次改进DBN网络基本单元的结构,以适应对连续型数据特征的提取与学习,再通过试验的方式确定DBN网络基本结构,最后利用训练数据集对改进后的网络进行训练,实现对 foF2值的预测。与实测值相比较,改进的DBN网络具有极佳的预测准确性,与浅层结构BP网络和SVM网络相比,改进的DBN网络不但克服了浅层结构所固有的问题,而且也表现出更加优异的对于连续型数据的预测性能,尤其是当预测值受到高维复杂因素影响时改进的DBN模型依旧能表现出很好的预测性能。     

深度信念网络研究现状与展望

深度信念网络(Deep belief network, DBN)是一种基于深度学习的生成模型, 克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题, 近几年来已成为深度学习领域的研究热点之一.基于分阶段学习的思想, 人们设计了不同结构和学习算法的深度信念网络模型.本文在回顾总结深度信念网络的研究现状基础上, 给出了其发展趋势.首先, 给出深度信念网络的基本模型结构以及其标准的学习框架, 并分析了深度信念网络与其他深度结构的关系与区别; 其次, 回顾总结深度信念网络研究现状, 基于标准模型分析不同深度信念网络结构的性能; 第三, 给出深度信念网络的不同无监督预训练和有监督调优算法, 并分析其性能; 最后, 给出深度信念网络今后的发展趋势以及未来值得研究的方向.     

基于DBN的入侵检测分类模型构建和优化方法

在深度信念网络(Deep Belief Network,DBN)应用于图像、视频等领域中,研究者们普遍通过实践经验设置DBN基本网络结构—DBN深度及每层神经元的个数.将DBN模型作为入侵检测分类模型,提出了DBN模型中基本网络结构的适应度标准,利用该标准提出了一种用于寻找DBN优化网络结构的改进粒子群优化算法.算法首先利用鱼群思想优化粒子群优化算法搜索初始优化网络结构,然后将初始优化网络结构作为利用滑动窗口优化粒子群算法的初始值,继续寻优直到找到全局优化网络结构.将优化算法构造的DBN模型作为入侵检测分类模型进行实验,实验结果表明,相较其它优化算法,方法显著提高了入侵检测分类准确率,明显降低了入侵检测误报率和检测时间,是一种高效且可行的入侵检测分类模型构建和优化方法.     

融合深度置信网络与与核极限学习机算法的核磁共振测井储层渗透率预测方法

由于低孔低渗储层孔隙结构较为复杂,现有核磁共振（NMR）测井渗透率模型对于低孔低渗储层预测精度不高。为此,提出一种融合深度置信网络（DBN）算法与核极限学习机（KELM）算法的渗透率预测方法。该方法首先对DBN模型进行预训练,然后将KELM模型作为预测器放置在训练好DBN模型后,利用训练数据进行有监督的训练,最终形成深度置信-核极限学习机（DBKELMN）模型。考虑到该模型需充分利用反映孔隙结构的横向弛豫时间谱信息,将离散化后的核磁共振测井横向弛豫时间谱作为输入,渗透率作为输出,确定NMR测井横向弛豫时间谱与渗透率的函数关系,并基于该函数关系对储层渗透率进行预测。实例应用表明,融合DBN算法与KELM算法的渗透率预测方法是有效的,预测样本的平均绝对误差（MAE）较斯伦贝谢道尔研究中心（SDR）模型降低了0.34。融合DBN算法与KELM算法的渗透率预测方法可提高低孔渗储层渗透率预测精度,可应用于油气田勘探开发。     

基于DBN深度学习的期货市场价格预测建模与决策

深度学习通过学习深层非线性网络结构即可实现复杂函数的逼近,可以从大量无标注样本集中学习数据集的本质特征。而深度信念网络(DBN)是由多层随机隐变量组成的贝叶斯概率生成模型,可以作为深度神经网络的预训练环节,为该网络提供初始权重。基于该模型的一个高效学习算法不仅解决了模型训练速度慢的问题,还能产生非常好的参数初始值,极大地提升了模型的建模能力。金融市场是一个多变量非线性系统,通过运用DBN模型进行分析预测可以很好地解决其他预测方法初始权重难以确定的问题。文中以原油期货市场价格预测为例,说明了运用DBN模型进行预测和决策的可行性及有效性。     

一类基于非线性PCA和深度置信网络的混合分类器及其在PM2.5浓度预测和影响因素诊断中的应用

传统的深度置信网络（Deep brief networks,DBN）在建立高维数据分类模型时,往往存在网络负荷大,运算复杂度高等问题.本文首先基于非线性PCA（NPCA）对高维样本数据进行降维,然后以提取到的非线性特征作为DBN的网络输入,构建了一类含非线性特征提取预处理机制的DBN分类器.并从信息熵理论的角度出发,证明了所提改进DBN分类器在网络结构和算法复杂度方面的优势.通过一个PM2.5浓度预测与影响因素诊断实例,验证了所提改进DBN在一类分类和影响因素诊断问题中的应用,并与传统的分类器进行对比,显示了所提方法在建模精度及收敛速度上的优势.     

基于深度置信网络的高分辨率雷达距离像识别

为提高雷达目标识别准确率,提出了一种基于深度置信网络（DBN）的高分辨率雷达距离像（HRRP）识别方法。首先利用受限玻尔兹曼机（RBM）对HRRP数据进行逐层无监督训练,根据对比散度（CD）算法更新网络参数,通过误差重构设计DBN深度;而后利用反向传播（BP）机制对DBN模型参数进行有监督的微调;最后基于该模型实现了HRRP的分类与识别。实验结果表明,与传统神经网络相比,基于深度置信网络的识别准确率及噪声鲁棒性显著提高,识别准确率可提高8.5%。     

基于深度信念网络的列车故障音频诊断方法

铁路在交通运输行业有着举足轻重的地位，一旦列车发生故障将会导致严重的生命财产损失。由于列车发生故障的概率相对较低，因此难以捕获列车的故障样本。针对上述问题，提出了一种无监督学习的列车故障识别方法，通过检测列车音频信号来识别列车故障。该方法基于深度信念网络(DBN)，利用小波包分解提取检测信号的特征向量并将其作为DBN的输入，待网络充分训练后，由训练好的DBN识别当前列车的运行状况。现场监测实验结果表明，该方法能够在无监督的条件下有效识别列车故障，保障了列车的运行安全。     

基于压缩感知的社团结构深度学习方法

传统社团结构发现算法复杂度高,且只适合处理小规模低维度的社会网络数据,而无法处理大规模高维度实际网络数据。为此,提出一种基于压缩感知的社团结构深度学习方法。通过随机测量矩阵对社会网络数据进行特征降维,并使用深度信度网(DBN)对降维后的特征样本集进行无监督学习,利用带类标的小样本集进行有监督调优。仿真结果表明,随机测量方法对高维稀疏特征具有较好的降维效果,DBN对大规模数据集具有较好的处理性能,该方法适合对大规模高维度实际社会网络数据进行高效处理。     

A deep belief network to predict the hot deformation behavior of a Ni-based superalloy

The hot deformation behavior of a Ni-based superalloy is studied by hot compressive experiments. The true stress is found to be highly affected by the deformation parameters, including strain rate and deformation temperature. The true stress dramatically decreases with decreasing strain rate or increasing deformation temperature. A deep belief network (DBN) model is developed for predicting true stress of the studied superalloy based on the experimental data. The structure of the developed DBN model is optimized layer by layer. The high accuracy indicates that the developed DBN model is able to effectively characterize the hot deformation behavior of the studied Ni-based superalloy. Moreover, the developed DBN model also has an excellent interpolation ability.

     

基于深度置信网络风电机组变桨系统的故障诊断

针对风电机组变桨系统常见故障,提出一种基于深度置信网络(DBN)的故障诊断方法。设计出基于DBN的变桨系统故障诊断框架;通过堆叠多层受限玻尔兹曼机(RBM),对比重构数据与原始输入数据差异,研究了DBN故障特征自提取能力;将堆叠RBM提取的故障特征输入到顶层分类器中进行训练,得到故障诊断模型;最后采用风场真实故障数据集进行了验证测试。实验结果表明,采用该方法进行风电机组变桨系统故障诊断相比其他方法具有更高的准确率。