深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络（Convolutional Neural Network,CNN）模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。     

引入动态调节学习率的SAE轴承故障诊断研究

为提高轴承故障分类收敛速度和分类精度,提出一种动态调节学习率的堆叠自编码网络（SAE）。初始时刻给予一个较大的学习率,迭代过程中利用当前重构误差动态调节学习率的大小,根据重构误差梯度的正负值给出两种不同的学习率减小策略,使学习率大小更符合网络当前的运行状态,最后通过不同的有标签数据量进行反向微调,验证故障分类识别的准确率。实验结果表明：相比固定学习率,该动态调节学习率SAE网络预训练收敛时间减少17.70%,重构误差下降22.92%,故障分类准确率得到提高,且能在保持分类准确率的前提下,减少有标签样本量。     

基于学习率自增强的图像识别深度学习算法

在深度学习模型中,为了进一步提高网络的收敛速度和识别精度,提出一种学习率自增强的图像识别算法.当距离极值点比较远时,以大于1的常数进行学习率自增强,加快网络向极值点附近逼近的速度.随着模型接近收敛,根据代价函数的变化情况调整学习率,学习率的变化和代价函数的变化情况成反比.在MNIST数据集和CIFAR-10数据集上进行实验.实验结果表明,结合该算法的深度学习模型在进行图像识别时,能有效地提高识别的准确率和收敛速度,并具有较好的表现能力.     

基于监督学习深度自编码器的图像重构

针对数字图像受损信息的重构问题,提出一种将经典无监督学习自编码器(Auto-Encoder,AE)用于监督学习的新方法,并对深度模型结构与训练策略进行了研究。通过设计多组监督学习单层AE模型,提出了逐组“递进学习”和“关联编码”的学习策略,构建了一个新的基于监督学习的深度AE模型结构;对于新模型结构,采用多对一(一个输入样本的多种形式对应一个输出)的训练方法代替经典AE中一对一(一个输入样本对应一个输出)的训练方法。将该模型的结构和训练策略用于部分数据受损或遮挡的图像中进行数据重构测试,提高了模型对受损数据特征编码的表达能力和重构能力。实验结果表明,提出的新方法对于受损及遮挡样本的图像具有良好的重构效果和适应性。     

基于深度强化学习的自动驾驶策略学习方法

自动驾驶是人工智能研究的重要应用领域,文章提出了一种基于深度强化学习的自动驾驶策略模型学习方法.首先采用在线交互式学习方法对深度网络模型进行训练,并基于专业司机的经验数据对模型进行预训练,进而结合经验池回放技术提高模型训练收敛速度,通过对状态空间进行聚类再采样,提高其独立同分布特性以及策略模型的泛化能力.通过与神经网络拟和Q-迭代算法的比较,所提方法的训练时间可缩短90％以上,稳定性能提高超过30％.以复杂度略高于训练集的测试道路长度为基准,与经验过滤的Q-学习算法相比,采用聚类再采样的方法可以使策略模型的平均行驶距离提高70％以上.     

深度神经网络学习率策略研究进展

学习率(learning rate, LR)是深度神经网络(deep neural networks, DNNs)能够进行有效训练的重要超参数.然而,学习率的调整在DNNs训练过程中仍存在诸多困难与挑战,即使以恒定的学习率选择为目标,为训练DNNs选择一个最优的恒定初始学习率也非易事.动态学习率涉及到训练过程的不同阶段,需对学习率进行多步调整以达到高精确度和快速收敛的目的:调整过程中学习率过小可能会导致模型收敛缓慢或陷入局部最优值;而学习率过大则会阻碍收敛,造成震荡发散.对此,综述了近年来基于深度学习算法的学习率研究进展,并对分段衰减学习率、平滑衰减学习率、循环学习率、具有热启动的学习率4种类型的学习率簇在几个常见数据集上的性能表现进行测试分析和对比研究,包括收敛速度、鲁棒性和均值方差等.最后总结全文,并对该领域仍存在的问题以及未来的研究趋势进行展望.     

基于权值变化的BP神经网络自适应学习率改进研究

针对传统神经网络的学习率由人为经验性设定,存在学习率设置过大或过小,容易导致无法收敛或收敛速度慢的问题,本文提出基于权值变化的自适应学习率改进方法,改善传统神经网络学习率受人为经验因素影响的弊端,提高误差精度,并结合正态分布模型与梯度上升法,提高收敛速度.本文以BP神经网络为例,对比固定学习率的神经网络,应用经典XOR问题仿真验证,结果表明本文的改进神经网络具有更快的收敛速度和更小的误差.     

输入增益未知非参数不确定系统的准最优学习控制

为解决一类非参数不确定系统在任意初态且输入增益未知情形下的轨迹跟踪问题, 提出准最优误差跟踪学习控制方法.该方法综合准最优控制和迭代学习控制两种技术设计控制器, 在构造期望误差轨迹的基础上, 根据控制Lyapunov函数及Sontag公式给出标称系统的优化控制, 以鲁棒方法和学习方法相结合的策略处理非参数不确定性.闭环系统经过足够次迭代运行后, 经由实现系统误差对期望误差轨迹在整个作业区间上的精确跟踪, 获得系统状态对参考信号在预设的部分作业区间上的精确跟踪.仿真结果表明所设计学习系统在收敛速度方面快于非优化设计.     

迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1）对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2）从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络（deep convolution neural network,DCNN）模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3）阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局限性及适用场景;4）给出迁移学习在医学图像分类应用中存在的问题并展望未来研究方向。     

不完备证据条件下的Bayesian网络参数学习

在Bayesian网络推理中,对节点做参数学习是必不可少的.但在学习过程中,常常会出现证据丢失,导致参数收敛速度减慢,同时影响参数学习的精确度,甚至给参数收敛带来困难.针对这样的问题,本文提出一种证据丢失参数模型,并推导出包含学习率的EM更新算法.收敛性能的理论分析和仿真试验结果两方面均表明,新算法与传统处理算法相比,在不降低参数估计精度的前提下,具有更快的收敛速度,为保证不完备证据条件下可信高效的Bayes-ian网络参数学习提供了一条可行的解决途径.     

迭代学习控制的最优学习律和简化学习律的频域研究

为了在线性时不变MIMO系统中得到迭代学习控制的最优学习律和便于工程实现的简化学习律,在频域上对其进行了相关研究。以系统的传递函数矩阵为基础,依据Parseval定理,将时域误差关联为频域误差,再利用Jordan标准形矩阵等矩阵性质,得到了学习律的通适收敛条件。通过分析该条件,得出了收敛速度最快的一次迭代就能完成的最优学习律。由于高阶导数不利于消除噪音,因此文中还讨论了导数的降阶,给出了简化学习律算法。仿真结果表明,最优学习律和简化学习律是有效的。     

雷达目标检测深层自编码器自适应优化算法

研究了现阶段雷达低小慢目标探测技术的难点与方法。分析了深层自编码器基本模型与算法，通过引入自适应学习理论，提出了基于Rumelhart函数的深层自编码器自适应算法（RDAAA），并证明了算法的收敛性。优化算法避免了网络训练过程中出现惩罚过度的现象，克服了学习速率过高导致网络振荡发散，或学习速率过小降低网络收敛速度等缺陷。利用两种数据集对RDAAA、基于交叉熵函数的深层自编码器学习算法（CDAA）与误差反向传播算法（BPA）进行模式识别能力分析，结果表明在确定限定误差与选取最佳学习速率的情况下，RDAAA相对于CDAA与BPA收敛速度最快，正确识别率更高。围绕雷达目标检测与深度学习理论，分析了低小慢目标特性，将目标检测问题转化为模式分类问题，利用上述三种算法进行目标检测仿真实验，结果表明RDAAA与CDAA的性能明显优于BPA，且RDAAA的检测率更高，特别是处于低信噪比阶段，仍可保持较高的发现概率。     

不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

基于多任务学习的人脸属性识别方法

针对传统深度卷积神经网络模型复杂、识别速度慢的问题,提出一种基于多任务学习的人脸属性识别方法。通过轻量化残差模块构建基础网络,根据属性类之间的关联关系设计共享分支网络,以大幅减少网络参数和计算开销。以多任务学习的方式联合优化各分支网络与基础网络的参数,利用关联属性间的共同特征实现人脸属性识别。采用带权重的交叉熵作为损失函数监督训练网络模型,改善正负样本数不均衡问题。在公开数据集CelebA上的实验结果表明,该方法的识别错误率低至8.45%,空间开销仅2.7 MB,在CPU上每幅图预测时间低至15ms,方便部署在资源有限的移动或便携式设备上,具有实际应用价值。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

A novel method for aeroengine performance model reconstruction based on CDAE model

Aeroengine is a complex multi-module system. Due to the limitation of sensor cost and sensor installation conditions, it is usually impossible to install a large number of sensors to measure the physical parameters of the aeroengine modules to establish the accurate module characteristic models to achieve the purpose of module performance evaluation. To address this issue, the high-dimensional physical field reconstruction strategy base on limited measurement data is developed, which is of great significance to the modeling of module characteristics. A reconstruction framework of a high-dimensional physical field based on limited measurement data is built. The mapping relationship between limited measurement data and high-dimensional physical field data is established, and the relevant learning strategies based on the deep learning network are designed. To verify the effectiveness of the proposed method, the simulation dataset generated by the multi-component closed-loop simulation system and the aeroengine service dataset are used for experimental verification, and the mean and variance of mean square error are used as evaluation indexes. Experimental results show that the proposed method can obtain high-dimensional physical field distribution based on limited measurement data.     

FREPD: A Robust Federated Learning Framework on Variational Autoencoder

Federated learning is an ideal solution to the limitation of not preserving the users’ privacy information in edge computing. In federated learning, the cloud aggregates local model updates from the devices to generate a global model. To protect devices’ privacy, the cloud is designed to have no visibility into how these updates are generated, making detecting and defending malicious model updates a challenging task. Unlike existing works that struggle to tolerate adversarial attacks, the paper manages to exclude malicious updates from the global model’s aggregation. This paper focuses on Byzantine attack and backdoor attack in the federated learning setting. We propose a federated learning framework, which we call Federated Reconstruction Error Probability Distribution (FREPD). FREPD uses a VAE model to compute updates’ reconstruction errors. Updates with higher reconstruction errors than the average reconstruction error are deemed as malicious updates and removed. Meanwhile, we apply the Kolmogorov-Smirnov test to choose a proper probability distribution function and tune its parameters to fit the distribution of reconstruction errors from observed benign updates. We then use the distribution function to estimate the probability that an unseen reconstruction error belongs to the benign reconstruction error distribution. Based on the probability, we classify the model updates as benign or malicious. Only benign updates are used to aggregate the global model. FREPD is tested with extensive experiments on independent and identically distributed (IID) and non-IID federated benchmarks, showing a competitive performance over existing aggregation methods under Byzantine attack and backdoor attack.