深度信念网络研究现状与展望

深度信念网络(Deep belief network, DBN)是一种基于深度学习的生成模型, 克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题, 近几年来已成为深度学习领域的研究热点之一.基于分阶段学习的思想, 人们设计了不同结构和学习算法的深度信念网络模型.本文在回顾总结深度信念网络的研究现状基础上, 给出了其发展趋势.首先, 给出深度信念网络的基本模型结构以及其标准的学习框架, 并分析了深度信念网络与其他深度结构的关系与区别; 其次, 回顾总结深度信念网络研究现状, 基于标准模型分析不同深度信念网络结构的性能; 第三, 给出深度信念网络的不同无监督预训练和有监督调优算法, 并分析其性能; 最后, 给出深度信念网络今后的发展趋势以及未来值得研究的方向.     

基于DBN的入侵检测分类模型构建和优化方法

在深度信念网络(Deep Belief Network,DBN)应用于图像、视频等领域中,研究者们普遍通过实践经验设置DBN基本网络结构—DBN深度及每层神经元的个数.将DBN模型作为入侵检测分类模型,提出了DBN模型中基本网络结构的适应度标准,利用该标准提出了一种用于寻找DBN优化网络结构的改进粒子群优化算法.算法首先利用鱼群思想优化粒子群优化算法搜索初始优化网络结构,然后将初始优化网络结构作为利用滑动窗口优化粒子群算法的初始值,继续寻优直到找到全局优化网络结构.将优化算法构造的DBN模型作为入侵检测分类模型进行实验,实验结果表明,相较其它优化算法,方法显著提高了入侵检测分类准确率,明显降低了入侵检测误报率和检测时间,是一种高效且可行的入侵检测分类模型构建和优化方法.     

浅析深度信念网络模型

深度信念网络(DeepBeliefNetwork,DBN)是深度学习模型之一,是实现人工智能的重要模型。它是由多个受限玻尔兹曼机(RBM)堆加而成。一般在模型的最后一层加入分类器模型进行分类。目前已在生物特征识别、语音识别、机器故障诊断、疾病诊断等诸多领域得到广泛应用。鉴于深度信念网络模型的优点及其强大的自主学习能力,主要做了四个方面的工作:第一,阐述了深度学习的背景以及深度信念网络的来源,第二,详细介绍了深度信念网络的基本原理和模型框架,第三,对受限玻尔兹曼机的学习过程等进行了介绍,第四,总结了深度信念网络在疾病预测领域的研究与应用。     

一种基于胶质细胞链的改进深度信念网络模型

深度信念网络(Deep belief network, DBN) 是一种从无标签数据学习特征的多层结构模型. 在同一层单元间缺少连接, 导致数据中的深度关联特征难以提取. 受到人脑中胶质神经细胞机制的启示, 提出一种基于胶质细胞链的改进 DBN 模型及其学习算法, 以提取更多数据信息. 在标准图像分类数据集上的实验结果表明, 与其他几种模型相比, 本文提出的改进 DBN 模型可以提取更为优秀的图像特征, 提高分类准确率.     

城市物流效率分析自适应DBN算法研究

深入研究了城市物流效率分析的研究现状,结合深度学习相关理论,针对具体问题构建三隐层连续型深度信念网络（DBN）,对网络知识集进行了定义,提出了自适应DBN算法,分析了算法的收敛性。利用Iris数据集和Wine数据集验证了网络及算法的模式分类能力,分类精度高于双隐层深度信念网络与深度误差反向传播网络。根据新丝绸之路经济带沿线城市物流特点,以物流效率为评估目标,选取4个维度的13项指标建立评价指标体系,以20个核心节点城市为研究对象,利用自适应DBN算法和社会网络分析法（SNA）进行聚类分析,结果表明自适应DBN算法相对更为合理有效。研究结果为确定新丝绸之路经济带沿线城市物流发展策略、促进国内物流业未来的协作与发展奠定了研究基础。     

深度置信网络模型及应用研究综述

介绍深度置信网络（DBN）理论基础的发展,对比分析深层结构DBN与浅层网络结构的差异,最后引用多篇文献分析研究DBN在文字检测、人脸及表情识别领域和遥感图像领域的应用效果。全面介绍了深度学习模型DBN,深入分析DBN的构建与实际应用,为研究人员提供改进DBN的思路,以期在未来将其运用到更宽广的新兴领域中。     

基于自适应学习率的深度信念网设计与应用

针对深度信念网（Deep belief network，DBN）预训练耗时长的问题，提出了一种基于自适应学习率的DBN（Adaptive learning rate DBN，ALRDBN）.ALRDBN将自适应学习率引入到对比差度（Contrastive divergence，CD）算法中，通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法，通过网络性能分析给出学习率变化系数的范围.最后，通过一系列的实验对所设计的ALRDBN进行测试，仿真实验结果表明，ALRDBN的收敛速度得到了提高且预测精度也有所改善.     

深度学习在故障诊断与预测中的应用

近年来,深度学习以其在特征提取与模式识别方面独特优势与潜力被广泛应用于众多领域,已取得显著进展,其在复杂工业系统故障诊断与预测中的研究属于新兴领域。对近年来深度学习及其在各领域发展的优秀综述文献以及主流的开源仿真工具平台进行了整理,同时介绍了五种典型的深度学习模型,包括自动编码器（Auto-Encoder,AE）、 深度置信网络（Deep Belief Networks,DBN）、 卷积神经网络（Convolutional Neural Networks,CNN）、 循环神经网络（Recurrent Neural Network,RNN）、生成对抗网络（Generative Adversarial Network,GAN）;从研究背景、实现流程及研究动态等三个方面就深度学习在故障诊断与预测中的应用研究进行了归纳总结,对近年来这一领域发表的相关论文进行了系统的综述;从研究实际出发探讨了深度学习在故障诊断与预测领域应用中存在的问题、挑战及解决方法,并对未来值得继续研究的方向进行了展望。     

结合深度信念网络与支持向量机的地表分类算法

由于支持向量机(Support Vector Machine,SVM)在高维度、非线性等情况下仍具有极高精确性故而被广泛应用于地形识别领域研究。在复杂的地形环境以及数据的不平衡等环境下,SVM可能会因为缺少较强的鲁棒性导致分类结果并不理想。论文以提高复杂地形环境下分类算法精确度为目的,在研究了深度信念网络(Deep Belief Network,DBN)[1]与支持向量机(Support Vector Machine,SVM)的基本理论并进行有效结合后应用于地形识别领域。算法大致为将地形图片通过初始构建的深度信念网络结构对训练集进行训练进而优化重构网络结构,并通过测试集验证网络结构的有效性。在OUTEX数据集上的实验结果表明该算法对比地形分类算法中的SVM、GEPSVM等算法有更高的分类精确性。     

单幅图像超分辨重建的深度学习方法综述

图像超分辨重建（Super-Resolution,SR）是指利用信号处理和机器学习等方法,从单幅或者多幅低分辨率图像（Low Resolution,LR）中重建对应的高分辨率图像（High Resolution,HR）的技术。由于多幅LR图像之间亚像素位移的不可预知性,单幅图像超分辨重建（Single Image Super-Resolution,SISR）逐渐成为超分辨研究的主要方向。近年来,深度学习方法得到迅速发展,并广泛应用到图像处理领域。因此,针对单幅图像超分辨重建所使用的深度学习相关算法和网络模型进行系统的总结。介绍图像超分辨问题的设置和评价指标;讨论和比较单幅图像超分辨重建的深度学习算法,主要从网络结构设计、损失函数和上采样方式三方面进行论述;介绍常用的标准数据集,并选用基于不同网络模型的几种典型算法进行实验对比分析;展望图像超分辨技术未来的研究趋势和发展方向。     

基于DBN深度学习的期货市场价格预测建模与决策

深度学习通过学习深层非线性网络结构即可实现复杂函数的逼近,可以从大量无标注样本集中学习数据集的本质特征。而深度信念网络(DBN)是由多层随机隐变量组成的贝叶斯概率生成模型,可以作为深度神经网络的预训练环节,为该网络提供初始权重。基于该模型的一个高效学习算法不仅解决了模型训练速度慢的问题,还能产生非常好的参数初始值,极大地提升了模型的建模能力。金融市场是一个多变量非线性系统,通过运用DBN模型进行分析预测可以很好地解决其他预测方法初始权重难以确定的问题。文中以原油期货市场价格预测为例,说明了运用DBN模型进行预测和决策的可行性及有效性。     

基于深度置信网络的高分辨率雷达距离像识别

为提高雷达目标识别准确率,提出了一种基于深度置信网络（DBN）的高分辨率雷达距离像（HRRP）识别方法。首先利用受限玻尔兹曼机（RBM）对HRRP数据进行逐层无监督训练,根据对比散度（CD）算法更新网络参数,通过误差重构设计DBN深度;而后利用反向传播（BP）机制对DBN模型参数进行有监督的微调;最后基于该模型实现了HRRP的分类与识别。实验结果表明,与传统神经网络相比,基于深度置信网络的识别准确率及噪声鲁棒性显著提高,识别准确率可提高8.5%。     

深度学习的研究进展与发展

深度学习是基于数据表示的一类更广的机器学习方法,它的出现不仅推动了机器学习的发展,而且促进了人工智能的革新。对深度学习的几种典型模型进行研究与对比。首先介绍受限玻尔兹曼机、深度置信网络、自编码器等无监督学习模型,对其结构、原理和优缺点进行了详细探讨。讨论卷积神经网络、循环神经网络和深度堆叠网络等监督学习模型,分别从模型架构和工作原理来评价与分析。对深度学习的典型模型进行对比分析,将深度置信网络和卷积神经网络应用在手写体数字识别任务中,结果证实深度学习比传统的神经网络具有更好的识别性能。最后探讨深度学习未来的发展与挑战。     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。     

深度学习在图像识别中的应用研究综述

深度学习作为图像识别领域重要的技术手段，有着广阔的应用前景，开展图像识别技术研究对推动计算机视觉及人工智能的发展具有重要的理论价值和现实意义，文中对深度学习在图像识别中的应用给予综述。介绍了深度学习的由来，具体分析了深度信念网络、卷积神经网络、循环神经网络、生成式对抗网络以及胶囊网络等深度学习模型，对各个深度学习模型的改进型模型逐一对比分析。总结近年来深度学习在人脸识别、医学图像识别、遥感图像分类等图像识别应用领域取得的研究成果并探讨了已有研究值得商榷之处，对深度学习在图像识别领域中的发展趋势进行探讨，指出有效使用迁移学习技术识别小样本数据，使用非监督与半监督学习对图像进行识别，如何对视频图像进行有效识别以及强化模型的理论性等是该领域研究的进一步方向。     

Human emotion recognition using deep belief network architecture

Recently, deep learning methodologies have become popular to analyse physiological signals in multiple modalities via hierarchical architectures for human emotion recognition. In most of the state-of-the-arts of human emotion recognition, deep learning for emotion classification was used. However, deep learning is mostly effective for deep feature extraction. Therefore, in this research, we applied unsupervised deep belief network (DBN) for depth level feature extraction from fused observations of Electro-Dermal Activity (EDA), Photoplethysmogram (PPG) and Zygomaticus Electromyography (zEMG) sensors signals. Afterwards, the DBN produced features are combined with statistical features of EDA, PPG and zEMG to prepare a feature-fusion vector. The prepared feature vector is then used to classify five basic emotions namely Happy, Relaxed, Disgust, Sad and Neutral. As the emotion classes are not linearly separable from the feature-fusion vector, the Fine Gaussian Support Vector Machine (FGSVM) is used with radial basis function kernel for non-linear classification of human emotions. Our experiments on a public multimodal physiological signal dataset show that the DBN, and FGSVM based model significantly increases the accuracy of emotion recognition rate as compared to the existing state-of-the-art emotion classification techniques.     

Effective sparsity control in deep belief networks using normal regularization term

Nowadays the use of deep network architectures has become widespread in machine learning. Deep belief networks (DBNs) have deep network architectures to create a powerful generative model using training data. Deep belief networks can be used in classification and feature learning. A DBN can be learned unsupervised, and then the learned features are suitable for a simple classifier (like a linear classifier) with a few labeled data. In addition, according to researches, by using sparsity in DBNs we can learn useful low-level feature representations for unlabeled data. In sparse representation, we have the property that learned features can be interpreted, i.e., correspond to meaningful aspects of the input, and capture factors of variation in the data. Different methods are proposed to build sparse DBNs. In this paper, we proposed a new method that has different behavior according to deviation of the activation of the hidden units from a (low) fixed value. In addition, our proposed regularization term has a variance parameter that can control the force degree of sparseness. According to the results, our new method achieves the best recognition accuracy on the test sets in different datasets with different applications (image, speech and text) and we can achieve incredible results when using a different number of training samples, especially when we have a few samples for training.