基于复合优化的深度玻尔兹曼机的路牌文字图像识别算法

为提高自然场景中路牌文字图像的识别率,提出一种复合优化的深度玻尔兹曼机文字识别算法。算法以提高目标概率分布的逼近程度为目的,采用两种抽样初始化方法:灰度初始化抽样与二值初始化抽样,构造受限玻尔兹曼机,并由两种初始化方法的受限玻尔兹曼机交叠构成深度玻尔兹曼机。文中提出复合共轭梯度法改进深度玻尔兹曼机的微调算法。实验结果表明,使用文中获取的路牌文字数据,所提算法能够对路牌文字实现较理想的识别效果。与原深度玻尔兹曼机相比,识别率取得有效提高。     

浅析深度信念网络模型

深度信念网络(DeepBeliefNetwork,DBN)是深度学习模型之一,是实现人工智能的重要模型。它是由多个受限玻尔兹曼机(RBM)堆加而成。一般在模型的最后一层加入分类器模型进行分类。目前已在生物特征识别、语音识别、机器故障诊断、疾病诊断等诸多领域得到广泛应用。鉴于深度信念网络模型的优点及其强大的自主学习能力,主要做了四个方面的工作:第一,阐述了深度学习的背景以及深度信念网络的来源,第二,详细介绍了深度信念网络的基本原理和模型框架,第三,对受限玻尔兹曼机的学习过程等进行了介绍,第四,总结了深度信念网络在疾病预测领域的研究与应用。     

融合生成模型和判别模型的双层RBM运动捕获数据语义识别算法

对人体运动捕获数据底层特征和高层语义之间常常存在语义鸿沟的问题,结合深度学习思想,提出一种融合受限玻尔兹曼机生成模型和判别模型的运动捕获数据语义识别算法.该算法采用双层受限玻尔兹曼机,分别对运动捕获数据进行判别性特征提取(特征提取层)和风格识别(语义判别层),首先考虑到自回归模型对时序信息具有出色的表达能力,构建一种基于单通道三元因子交互的条件限制玻尔兹曼机生成模型,用于提取运动捕捉数据的时空特征信息;然后将提取出的特征与对应的风格标签相耦合,作为语义判别层中受限玻尔兹曼机判别模型的当前帧数据层输入,进行单帧风格识别的训练;最后在获得各帧参数的基础上,在模型顶部加入投票空间实现对运动捕捉序列的风格语义的有效识别.实验结果表明,文中算法具有良好的鲁棒性和可扩展性,能够满足多样化运动序列识别的需求,便于数据的有效重用.     

基于云计算的受限玻尔兹曼机推荐算法研究

数据的指数级增长及算法本身的复杂性使受限玻尔兹曼机面临着计算效率的问题。在详细分析受限玻尔兹曼机的基础上,将受限玻尔兹曼机与Hadoop平台的并行计算架构相结合,提出基于云平台的受限玻尔兹曼机推荐算法。该算法通过复制机制解决数据相关性问题,并将传统的受限玻尔兹曼机过程分解为若干个Hadoop任务的循环,实现并行计算。实验结果表明,与在传统平台上的实现相比,基于Hadoop并行架构的受限玻尔兹曼机推荐算法在大体量数据集的条件下可大幅提高推荐计算效率。     

玻尔兹曼机研究进展

深度学习是机器学习中的新兴研究领域,能够很好地用于解决目标识别、语言理解等复杂问题.玻尔兹曼机作为深度学习的典型代表近年来受到了广泛研究.鉴于玻尔兹曼机的理论意义和实际应用价值,系统综述了玻尔兹曼机的研究进展,首先概述了玻尔兹曼机的相关概念,包括单层反馈网络的结构和拓扑结构分类,然后详细描述了玻尔兹曼机的学习过程和几种典型学习算法,接着对近几年玻尔兹曼机研究的新进展进行了阐述,最后提出了玻尔兹曼机中有待进一步研究解决的问题.     

稀疏受限玻尔兹曼机研究综述

人类的视觉系统采用稀疏编码方式来描述被感知的图像特征,而稀疏表示被认为是图像特征最合理而且有效的表示形式。由于受限玻尔兹曼机具有强大的无监督学习能力,所以它被用于深度学习中。将多个稀疏受限玻尔兹曼机堆叠起来,不仅可以模拟大脑的分层结构,还可以学习到图像更加抽象的特征信息。因此,采用受限玻尔兹曼机获得图像特征的稀疏表示在人工智能领域得到了广泛的关注。首先介绍了受限玻尔兹曼机的基础知识,紧接着阐述了稀疏化的原因,并描述了稀疏受限玻尔兹曼机的优点。然后,文章详细介绍了稀疏受限波尔兹曼机的国内外研究现状。最后总结了目前研究中存在的问题及将来的发展方向。     

基于深度受限玻尔兹曼机的个性化推荐算法

为了提高个性化推荐系统性能,提出了一种基于深度受限玻尔兹曼机的个性化推荐方法.首先通过提取推荐系统的用户和资源特征构建多层受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络,从而形成深度受限玻尔兹曼机个性化推荐模型;其次通过可视和隐藏层的边缘概率分布求解待推荐训练样本的最大似然度;然...     

一种数值属性的深度置信网络分类方法

深度置信网络是个包含多个受限玻尔兹曼机的深层架构。针对深度置信网络分类时由于受限玻尔兹曼机的输入一般是二值向量而造成的信息的丢失从而使分类效果降低的问题,提出了通过在sigmoid单元中增加噪声来将输入缩放到[0,1]区间,使用带有一个高斯隐藏节点的顶层受限玻尔兹曼机实现分类功能的一种数值属性深度置信网络分类方法。深度置信网络和受限玻尔兹曼机可以作为特征提取方法也可以认为是带有训练的初始权值的神经网络。由于连接权值的初始化而不仅仅是神经网络的随机权值,深度置信网络分类应该比原有的传统的神经网络分类拥有更好的性能。在UCI的多个数据集上进行对比验证,实验结果表明深度置信网络分类方法比传统的SVM算法拥有更高的准确性。     

基于k个标记样本的弱监督学习框架

聚类是机器学习领域中的一个研究热点,弱监督学习是半监督学习中一个重要的研究方向,有广泛的应用场景.在对聚类与弱监督学习的研究中,提出了一种基于k个标记样本的弱监督学习框架.该框架首先用聚类及聚类置信度实现了标记样本的扩展.其次,对受限玻尔兹曼机的能量函数进行改进,提出了基于k个标记样本的受限玻尔兹曼机学习模型.最后,完成了对该模型的推理并设计相关算法.为了完成对该框架和模型的检验,选择公开的数据集进行对比实验,实验结果表明,基于k个标记样本的弱监督学习框架实验效果较好.     

深度信念网络研究进展

深度信念网络（Deep Belief Networks,DBN）作为深度学习（Deep Learning,DL）中的重要模型,目前已被成功应用于人脸识别、手写字体识别、医学图像分析处理等诸多领域。从深度信念网络出发,主要做了四个方面的工作：第一,从受限玻尔兹曼机以及深度信念网络的网络结构和学习过程两个方面阐述了深度信念网络的基本原理;第二,从网络结构和学习算法两个方面总结了深度信念网络的研究进展：在网络结构方面,从网络深度、RBM结构和DBN级联三个角度进行归纳;在学习算法方面,从基本算法、优化算法和融合方法三个方面进行梳理;第三,对深度信念网络在医学图像分析领域中的应用进行了总结;第四,总结了目前DBN存在的问题。     

受限玻尔兹曼机研究综述

概率图模型是目前机器学习研究的热点,基于概率图模型构造的生成模型已广泛应用于图像和语音处理等领域.受限玻尔兹曼机（restricted Boltzmann machines,简称RBMs）是一种概率无向图,在建模数据分布方面有重要的研究价值,RBMs既可以结合卷积算子构造深度判别模型,为深度网络提供统计力学的理论支持,也可以结合有向图构建生成模型,提供具有多峰分布的先验信息.主要综述了以RBMs为基础的概率图模型的相关研究.首先介绍了基于RBMs的机器学习模型的基本概念和训练算法,并讨论了基于极大似然估计的各训练算法的联系,比较了各算法的log似然损失;其次,综述了RBMs模型最新的研究进展,包括在目标函数中引入对抗损失和W距离,并构造基于RBMs先验的变分自编码模型（variational autoencoders,简称VAEs）、基于对抗损失的RBMs模型,并讨论了各实值RBMs模型之间的联系和区别;最后,综述了以RBMs为基础的模型在深度学习中的应用,并讨论了神经网络和RBMs模型在研究中存在的问题及未来的研究方向.     

深度学习在农作物图像识别中的应用研究

深度学习在语音识别、视觉识别以及其他领域都引起了很多研究者越来越多的关注。在图像处理领域,采用深度学习方法可以获得较高的识别率。本文以玻尔兹曼机和卷积神经网络作为深度学习的研究模型应用于农业方面,从病虫破坏农作物图像识别的角度,结合上述研究模型,并分别结合不同应用场景对模型进行改进。针对病虫破坏农作物的图像识别采用玻尔兹曼机+动量卷积神经网络结合方法。通过大量实验证明采用上述方法识别正确率达到85%以上,采用优化后的深度学习算法其运行速度较传统算法有一定的提升。     

基于深度玻尔兹曼机的乐器分类问题研究

应用传统浅层模型处理乐器分类任务存在非线性拟合能力较差的问题,使分类准确率得不到有效保证,有必要引入深度学习方法提升复杂任务的非线性建模能力。将深度玻尔兹曼机作为特征提取器提取表达能力更强的数据特征,分别以SVM与Softmax分类器作为深度神经网络的顶层设置形成DBM SVM组合模型与DBM Softmax组合模型,引入平均场理论和动量项因子优化网络训练过程。将上述两组模型及单一SVM分类器在5类乐器音频数据上进行对比实验,两种深度学习组合模型的分类准确率分别达到89.29%和87.5%,与传统浅层分类方法SVM的73.21%的准确率相比优势明显。实验结果表明深度玻尔兹曼机在乐器分类领域的应用颇具前景。     

基于权值不确定性的玻尔兹曼机算法

受限制的玻尔兹曼机（RBM）是一种无向图模型.基于RBM的深度学习模型包括深度置信网（DBN）和深度玻尔兹曼机（DBM）等.在神经网络和RBM的训练过程中,过拟合问题是一个比较常见的问题.针对神经网络的训练,权值随机变量（weight random variables）、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先,改变RBM模型中的训练参数,使用随机变量代替传统的实值变量,构建了基于随机权值的受限的波尔兹曼机（weight uncertainty RBM,简称WRBM）,接下来,在WRBM基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM）,并且通过实验验证了WDBN和WDBM的有效性.最后,为了更好地建模输入图像,引入基于条件高斯分布的RBM模型,构建了基于spike-and-slab RBM（ssRBM）的深度模型,并通过实验验证了模型的有效性.     

深度学习的研究进展与发展

深度学习是基于数据表示的一类更广的机器学习方法,它的出现不仅推动了机器学习的发展,而且促进了人工智能的革新。对深度学习的几种典型模型进行研究与对比。首先介绍受限玻尔兹曼机、深度置信网络、自编码器等无监督学习模型,对其结构、原理和优缺点进行了详细探讨。讨论卷积神经网络、循环神经网络和深度堆叠网络等监督学习模型,分别从模型架构和工作原理来评价与分析。对深度学习的典型模型进行对比分析,将深度置信网络和卷积神经网络应用在手写体数字识别任务中,结果证实深度学习比传统的神经网络具有更好的识别性能。最后探讨深度学习未来的发展与挑战。     

机器学习算法在中医诊疗中的研究综述

机器学习算法包括传统机器学习算法和深度学习算法。传统机器学习算法在中医诊疗领域中的应用研究较多,为探究中医辩证规律提供了参考,也为中医诊疗过程的客观化提供了依据。与此同时,随着其在多个领域不断取得成功,深度学习算法在中医诊疗中的价值越来越多地得到业界的重视。通过对中医诊疗领域中使用到的传统机器学习算法与深度学习算法进行述评,总结了两类算法在中医领域中的研究与应用现状,分析了两类算法的特点以及对中医的应用价值,以期为机器学习算法在中医诊疗领域的进一步研究提供参考。     

面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

关于深度学习的综述与讨论

机器学习是通过计算模型和算法从数据中学习规律的一门学问,在各种需要从复杂数据中挖掘规律的领域中有很多应用,已成为当今广义的人工智能领域最核心的技术之一。近年来,多种深度神经网络在大量机器学习问题上取得了令人瞩目的成果,形成了机器学习领域最亮眼的一个新分支——深度学习,也掀起了机器学习理论、方法和应用研究的一个新高潮。对深度学习代表性方法的核心原理和典型优化算法进行了综述,回顾与讨论了深度学习与以往机器学习方法之间的联系与区别,并对深度学习中一些需要进一步研究的问题进行了初步讨论。     

基于半监督深度信念网络的图像分类算法研究

近年来,深度学习在图像、语音、视频等非结构化数据中获得了成功的应用,已成为机器学习和数据挖掘领域的研究热点。作为一种监督学习模型,成功的深度学习应用往往要求较大的高质量的训练集。基于此,研究了多个受限波尔兹曼机组成的深度信念网络,结合半监督学习的思想,使用较小的训练集提高深度网络模型的分类准确性。分别采用了Knn,SVM和pHash 3种方法来学习非标示数据集,实验结果表明半监督深度信念网络比传统多层受限波尔兹曼机在图像分类准确率方面提高了约3%。     

The use of machine learning and deep learning algorithms in functional magnetic resonance imaging—A systematic review

Functional Magnetic Resonance Imaging (fMRI) is presently one of the most popular techniques for analysing the dynamic states in brain images using various kinds of algorithms. From the last decade, there is an exponential rise in the use of the machine and deep learning algorithms of artificial intelligence for analysing fMRI data. However, it is a big challenge for every researcher to choose a suitable machine or deep learning algorithm for analysing fMRI data due to the availability of a large number of algorithms in the literature. It takes much time for each researcher to know about the various approaches and algorithms which are in use for fMRI data. This paper provides a review in a systematic manner for the present literature of fMRI data that makes use of the machine and deep learning algorithms. The major goals of this review paper are to (a) identify machine learning and deep learning research trends for the implementation of fMRI; (b) identify usage of Machine Learning Algorithms and deep learning in fMRI, and (c) help new researchers based on fMRI to put their new findings appropriately in existing domain of fMRI research. The results of this systematic review identified various fMRI studies and classified them based on fMRI types, mental diseases, use of machine learning and deep learning algorithms. The authors have provided the studies with the best performance of machine learning and deep learning algorithms used in fMRI. The authors believe that this systematic review will help incoming researchers on fMRI in their future works.