递归最小二乘循环神经网络

针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大, 提出一种新的迷你批递归最小二乘优化算法. 所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播, 并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度, 逐层导出RNNs参数的迷你批递归最小二乘解. 相较随机梯度下降算法, 所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵, 其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右. 此外, 本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法. 仿真结果表明, 无论是对序列数据的分类问题还是预测问题, 所提算法的收敛速度要优于现有主流一阶优化算法, 而且在超参数的设置上具有较好的鲁棒性.     

推荐系统综述

随着网络应用的不断发展,网络资源呈指数型增长,信息过载现象日益严重,如何高效获取符合需求的资源成为困扰人们的问题之一。推荐系统能对海量信息进行有效过滤,为用户推荐符合其需求的资源。对推荐系统的研究现状进行详细介绍,包括基于内容的推荐、协同过滤推荐和混合推荐这三种传统推荐方式,并重点分析了基于卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）和图神经网络（GNN）这四种常见的深度学习推荐模型的研究进展;归纳整理了推荐领域常用的数据集,同时分析对比了传统推荐算法和基于深度学习的推荐算法的差异。最后,总结了实际应用中具有代表性的推荐模型,讨论了推荐系统面临的挑战和未来的研究方向。     

深度学习理论综述与研究展望

深度学习是当下热门的机器学习研究方向,在工业上有着重要用途,在学术领域有着重要研究价值。文章介绍了深度学习架构,从随机梯度下降法和Adam算法两个方面分析优化算法,探讨Sigmoid函数和Softmax函数,并论述深度学习研究展望。     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

基于深度学习的个性化网吧游戏推荐

与传统推荐模型相比,深度学习可以更好地理解用户需求、项目特征及用户与项目之间的互动性,从而更有效地发现用户和项目之间的匹配关系。将深度神经网络应用于网吧游戏推荐场景,分析用户的个人偏好,根据时间推移兴趣的变化,对用户历史游戏行为记录进行建模训练,为用户提供个性化Top-N游戏推荐。基于深度神经网络设计训练模型,输入层采用对用户历史行为数据处理后的用户偏好向量,隐藏层运用ReLU激活函数的多层网络,输出层则采用逻辑回归的Softmax结构,最终运用带L2规范项的代价函数评估学习到的模型可靠性。在真实数据集下的实验结果表明,随着隐藏层的增加,该方法能明显降低均方根误差,且能提高召回率。     

基于动态学习率深度神经网络的抗干扰信道编码算法

针对电子战条件下,通信信号易受压制干扰的问题,提出了一种基于动态学习率深度自编码器（dynamic learning rate deep AutoEncoder,DLr-DAE）的信道编码算法来提高系统抗压制干扰性能。首先对输入未编码信号进行预处理,将原始输入信号转换为单热矢量,随后使用训练数据样本集,用非监督学习方法训练深度自编码器,基于随机梯度下降法（SGD）更新网络参数,利用指数衰减函数,在迭代次数和网络损失函数值变化过程中动态微调学习率,减少网络迭代循环次数,避免收敛结果陷入局部最优点,从而获得面向电子战环境的信道编码深度学习网络。仿真结果表明,相比现有深度学习编码算法,该算法在取得同等误码率时,抗噪声压制干扰性能最大可提升0.74 dB。     

批量正则化DBN分类方法研究

针对深度置信网络（DBN）在微调过程中易受训练参数影响的问题,提出一种批量正则化DBN分类方法（BNDBN）。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达;然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理;并将处理后的特征输入到非线性变换激活层中;最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性,有效解决了因网络参数变化而造成的激活函数值分布变化的问题,提高了训练效率。为了检验所提出方法的有效性,选取MNIST手写体数据库和USPS手写数字识别库进行测试,通过与Dropout-DBN、DBN、ANN、SVM、KNN对比,结果表明,提出的方法分类准确率明显提高,具有更强的特征提取能力。     

一种编码约束的医学图像分割方法

深度学习的优势在于其具有深层次的特征提取结构,而随着层数的增加以及激活函数的影响往往会导致其编码能力下降.基于此本文提出了一种基于U-Net和FCN网络进行编码约束的方法,并应用到医学图像分割上.编码约束结构以U-Net和FCN全卷积网络模型架构为主体,对网络最后一层使用Sigmoid激活函数的1×1卷积层进行特征约束...     

深度堆栈自编码网络在船舶重量估算中的应用

传统的船舶重量估算方法多数存在误差大、成本高等问题。为此,提出一种基于深度学习的船舶重量估算算法。利用多层神经网络逐层无监督学习训练初始化参数,通过反向梯度下降的方式微调参数。运用深度堆栈自编码网络挖掘深层次的数据特征,并在ShipWE自建数据库上进行分析。实验结果表明,与传统吃水估算方法相比,该算法具有更强的稳定性和更高的准确性,与BP神经网络算法和径向基函数神经网络算法相比,该算法的精度更高,能有效解决船舶估算可信度低的问题。     

基于神经网络的深度学习方法研究

深度学习作为时下热门的机器学习算法,能够在全局环境下得到较优的解,已经在各领域中获得了大量的应用.深度学习是在神经网络的基础上发展而成,它摒弃了神经网络过拟合和参数难调等问题,通过多层隐藏层对参数进行调优并逐层优化,智能机器人、文本挖掘、推荐系统等,诸多领域已经有着深度学习理论的应用.     

一种量子神经网络模型及改进学习算法

提出一种量子BP网络模型及改进学习算法,该BP网络模型首先基于量子学中一位相移门和两位受控非门的通用性,构造出一种量子神经元,然后由该量子神经元构造隐含层,采用梯度下降法进行学习。输出层采用传统神经元构造,采用基于改进的带动量自适应学习率梯度下降法学习。在UCI两个数据集上采用该模型及算法,实验结果表明该方法比传统的BP网络具有较好的收敛速度和正确率。     

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。     

基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。     

基于深度置信网络的4-CBA软测量建模

PTA工业生产过程中4-CBA的含量是评价其产品质量的重要依据。将深度置信网络和已有的浅层算法相结合,提出基于深度置信网络的4-CBA软测量模型。深度置信网络是一种典型的深度学习算法,该算法在特征学习方面优势显著。根据实验结果,基于深度置信网络的软测量模型能够很好地估计4-CBA含量,和单纯的BP神经网络模型相比,基于深度置信网络的模型预测精度更高。     

Deep learning: an overview and main paradigms

In the present paper, we examine and analyze main paradigms of learning of multilayer neural networks starting with a single layer perceptron and ending with deep neural networks, which are considered regarded as a breakthrough in the field of the intelligent data processing. The baselessness of some ideas about the capacity of multilayer neural networks is shown and transition to deep neural networks is justified. We discuss the principal learning models of deep neural networks based on the restricted Boltzmann machine (RBM), an autoassociative approach and a stochastic gradient method with a Rectified Linear Unit (ReLU) activation function of neural elements.     

随机梯度下降算法研究进展

在机器学习领域中, 梯度下降算法是求解最优化问题最重要、最基础的方法. 随着数据规模的不断扩大, 传统的梯度下降算法已不能有效地解决大规模机器学习问题. 随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度, 以达到降低计算复杂度的目的. 近年来, 随机梯度下降算法已成为机器学习特别是深度学习研究的焦点. 随着对搜索方向和步长的不断探索, 涌现出随机梯度下降算法的众多改进版本, 本文对这些算法的主要研究进展进行了综述. 将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种. 其中, 前三种主要是校正梯度或搜索方向, 第四种对参数变量的不同分量自适应地设计步长. 着重介绍了各种策略下随机梯度下降算法的核心思想、原理, 探讨了不同算法之间的区别与联系. 将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中, 并定量地比较了这些算法的实际性能. 文末总结了本文的主要研究工作, 并展望了随机梯度下降算法的未来发展方向.     

一种基于遗传优化的神经网络水印

提出一种新的遗传算法和神经网络彩色图像水印研究,在检测水印的过程中,利用遗传算法来优化BP神经网络的权值矩阵与初值,构建出内在的隐含关系,然后利用训练好的BP神经网络来融合提取水印.实验证明该算法保持不可觉察性,并且水印的鲁棒性比BP神经网络的更强.     

基于多层感知机和RBF转换函数的混合神经网络

为了更有效地优化前向神经网络的求解能力，提出了一种新的综合的转换函数，将多层感知机和RBF神经网络更有机地结合起来，以产生灵活的决策边界。在此基础上推导出了相应的学习算法。并通过对实际的模式分类问题的仿真，将文中的方法与带动量项BP算法、CSFN、RBF等算法进行了比较，验证了其有效性。     

Parallel Implementation of the Nonlinear Semi-NMF Based Alternating Optimization Method for Deep Neural Networks

For computing weights of deep neural networks (DNNs), the backpropagation (BP) method has been widely used as a de-facto standard algorithm. Since the BP method is based on a stochastic gradient descent method using derivatives of objective functions, the BP method has some difficulties finding appropriate parameters such as learning rate. As another approach for computing weight matrices, we recently proposed an alternating optimization method using linear and nonlinear semi-nonnegative matrix factorizations (semi-NMFs). In this paper, we propose a parallel implementation of the nonlinear semi-NMF based method. The experimental results show that our nonlinear semi-NMF based method and its parallel implementation have competitive advantages to the conventional DNNs with the BP method.     

深度学习在农作物图像识别中的应用研究

深度学习在语音识别、视觉识别以及其他领域都引起了很多研究者越来越多的关注。在图像处理领域,采用深度学习方法可以获得较高的识别率。本文以玻尔兹曼机和卷积神经网络作为深度学习的研究模型应用于农业方面,从病虫破坏农作物图像识别的角度,结合上述研究模型,并分别结合不同应用场景对模型进行改进。针对病虫破坏农作物的图像识别采用玻尔兹曼机+动量卷积神经网络结合方法。通过大量实验证明采用上述方法识别正确率达到85%以上,采用优化后的深度学习算法其运行速度较传统算法有一定的提升。