深度学习优化器进展综述

优化器是提高深度学习模型性能的关键因素,通过最小化损失函数使得模型的参数和真实参数接近从而提高模型的性能。随着GPT等大语言模型成为自然语言处理领域研究焦点,以梯度下降优化器为核心的传统优化器对大模型的优化效果甚微。因此自适应矩估计类优化器应运而生,其在提高模型泛化能力等方面显著优于传统优化器。以梯度下降、自适应梯度和自适应矩估计三类优化器为主线,分析其原理及优劣。将优化器应用到Transformer架构中,选取法-英翻译任务作为评估基准,通过实验深入探讨优化器在特定任务上的效果差异。实验结果表明,自适应矩估计类优化器在机器翻译任务上有效提高模型的性能。同时,展望优化器的发展方向并给出在具体任务上的应用场景。     

深度学习在分组密码差分区分器上的研究应用

差分分析在分组密码分析领域是一种重要的研究方法, 针对分组密码的差分分析的重点在于找到一个轮数或者概率更大的差分区分器. 首先描述了通过深度学习技术构造差分区分器时所需要的数据集的构造方法, 并且分别基于卷积神经网络(convolutional neural networks, CNN)和残差神经网络(residual...     

深度神经网络学习率策略研究进展

学习率(learning rate, LR)是深度神经网络(deep neural networks, DNNs)能够进行有效训练的重要超参数.然而,学习率的调整在DNNs训练过程中仍存在诸多困难与挑战,即使以恒定的学习率选择为目标,为训练DNNs选择一个最优的恒定初始学习率也非易事.动态学习率涉及到训练过程的不同阶段,需对学习率进行多步调整以达到高精确度和快速收敛的目的:调整过程中学习率过小可能会导致模型收敛缓慢或陷入局部最优值;而学习率过大则会阻碍收敛,造成震荡发散.对此,综述了近年来基于深度学习算法的学习率研究进展,并对分段衰减学习率、平滑衰减学习率、循环学习率、具有热启动的学习率4种类型的学习率簇在几个常见数据集上的性能表现进行测试分析和对比研究,包括收敛速度、鲁棒性和均值方差等.最后总结全文,并对该领域仍存在的问题以及未来的研究趋势进行展望.     

面向模拟数据的分布式深度学习训练优化方法

深度学习技术的迅猛发展推动了对大规模数据集高效训练的需求,然而传统的深度学习训练策略在应对此挑战时显得效率不足。针对此问题,文章深入研究传统并行计算策略与基于数据并行的分布式深度学习训练策略,并提出一种基于异构计算资源的集群资源调度优化方法。实验证明,新方法相较于传统并行方法,在训练时间和计算资源利用率方面均表现出显著优势,能够为大规模深度学习任务的高效训练提供有力支持。     

深度学习优化算法研究

深度学习是机器学习领域热门的研究方向,深度学习中的训练和优化算法也受到了较高的关注和研究,已成为人工智能发展的重要推动力。基于卷积神经网络的基本结构,介绍了网络训练中激活函数和网络结构的选择、超参数的设置和优化算法,分析了各算法的优劣,并以Cifar-10数据集为训练样本进行了验证。实验结果表明,合适的训练方式和优化算法能够有效提高网络的准确性和收敛性。最后,在实际输电线图像识别中对最优算法进行了应用并取得了良好的效果。     

深度学习模型GoogleNet-PNN对肝硬化的识别

针对传统机器学习人工提取特征耗时耗力,并且提取高质量特征存在一定困难等问题,将基于深度学习的方法,首次结合卷积神经网络和概率神经网络,提出了一种新的模型GoogleNet-PNN,其自动学习特征,避免了手动提取特征的繁琐性,而且结合了PNN训练容易、收敛速度快等特点,在肝病分类的实验中取得了较好的效果;并使用了迁移学习的方法,通过在自然图像集的预训练,然后应用到医学图像,避免了因样本不足而出现的过拟合问题,实验结果最终表明识别准确率要优于其他方法,达到了98%的客观识别率。     

基于深度学习模型的遥感图像分割方法

利用遥感图像快速准确地检测地物信息是当前的研究热点。针对遥感图像地表物的传统人工目视解译分割方法效率低下和现有基于深度学习的遥感图像分割算法在复杂场景下准确率不高、背景噪声多的问题，提出一种基于改进的U-net架构与全连接条件随机场的图像分割算法。首先，融合VGG16和U-net构建新的网络模型，以有效提取具有高背景复杂度的遥感图像特征；然后，通过选取适当的激活函数和卷积方式，在提高图像分割准确率的同时显著降低模型预测时间；最后，在保证分割精度的基础上，使用全连接条件随机场进一步优化分割结果，以获得更加细致的分割边缘。在ISPRS提供的标准数据集Potsdam上进行的仿真测试表明，相较于U-net，所提算法的准确率、召回率和均交并比（MIoU）分别提升了15.06个百分点、29.11个百分点和0.3662，平均绝对误差（MAE）降低了0.02892。实验结果验证了该算法具备有效性和鲁棒性，是一种有效的遥感图像地表物提取算法。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

深度学习中的权重初始化方法研究

深度神经网络训练的实质是初始化权重不断调整的过程,整个训练过程存在耗费时间长、需要数据量大等问题。大量预训练网络由经过训练的权重数据组成,若能发现预训练网络权重分布规律,利用这些规律来初始化未训练网络,势必会减少网络训练时间。通过对AlexNet、ResNet18网络在ImageNet数据集上的预训练模型权重进行概率分布分析,发现该权重分布具备单侧幂律分布的特征,进而使用双对数拟合的方式进一步验证权重的单侧分布服从截断幂律分布的性质。基于该分布规律,结合防止过拟合的正则化思想提出一种标准化对称幂律分布（NSPL）的初始化方法,并基于AlexNet和ResNet32网络,与He初始化的正态分布、均匀分布两种方法在CIFAR10数据集上进行实验对比,结果表明,NSPL方法收敛速度优于正态分布、均匀分布两种初始化方法,且在ResNet32上取得了更高的精确度。     

基于场景模型与深度学习的云计算攻击检测

为了实时精准检测各类云计算攻击,保障云计算平台运行的安全性,本文提出了基于场景模型与深度学习的云计算攻击检测方法.构建包含云计算攻击报警信息的云计算攻击场景模型,结合卷积神经网络与改进递归神经网络创建包含输入层、卷积层、递归层、全连接层及输出层的深度学习网络模型,对云计算攻击场景模型内数据实施分组、特征提取、格式转换及...     

基于深度学习的胃癌病理图像分类方法

针对深度卷积神经网络能够有效提取图像深层特征的能力,选择在图像分类工作中表现优异的GoogLeNet和AlexNet模型对胃癌病理图像进行诊断。针对医学病理图像的特点,对GoogLeNet模型进行了优化,在保证诊断准确率的前提下降低了计算成本。在此基础上,提出模型融合的思想,通过综合不同结构和不同深度的网络模型,来学习更多的图像特征,以获取更有效的胃癌病理信息。实验结果表明, 相比原始模型 ,多种结构的融合模型在胃癌病理图像的诊断上取得了更好的效果。     

深度学习研究进展

深度学习(Deep Learning)是一个近几年备受关注的研究领域,在机器学习中起着重要的作用.如果说浅层学习是机器学习的一次浪潮,那么深度学习作为机器学习的一个新领域,将掀起机器学习的又一次浪潮.深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据.首先介绍了深度学习的由来,分析了浅层学习存在的弊端;其次列举了深度学习的经典方法,主要以监督学习和无监督学习来展开介绍;然后对深度学习的最新研究进展及其应用进行了综述;最后总结了深度学习发展所面临的问题.     

基于深度学习的物流货柜自动识别模型研究

为提升物流货柜自动识别的准确率和检测速率,该文提出了一种基于深度卷积神经网络的改进算法。该算法将DenseNet卷积神经网络融入SSD检测算法中,利用DenseNet的Block模块,提高梯度信息传播能力,使得检测模型具有更高的识别准确率和收敛速度。实验结果表明,该改进型算法的平均识别准确率为71.3%,检测速率为每秒42帧,相比YOLO和SSD算法,其平均检测准确率和检测速率均得到明显提升。     

基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

优化三元组损失的深度距离度量学习方法

针对基于三元组损失的单一深度距离度量在多样化数据集环境下适应性差,且容易造成过拟合的问题,提出了一种优化三元组损失的深度距离度量学习方法。首先,对经过神经网络映射的三元组训练样本的相对距离进行阈值化处理,并使用线性分段函数作为相对距离的评价函数;然后,将评价函数作为一个弱分类器加入到Boosting算法中生成一个强分类器;最后,采用交替优化的方法来学习弱分类器和神经网络的参数。通过在图像检索任务中对各种深度距离度量学习方法进行评估,可以看到所提方法在CUB-200-2011、Cars-196和SOP数据集上的Recall@1值比之前最好的成绩分别提高了4.2、3.2和0.6。实验结果表明,所提方法的性能优于对比方法,同时在一定程度上避免了过拟合。     

融合上下文信息的深度推荐模型

目前,在基于文档信息的推荐任务中,传统基于文档的混合推荐算法仍依赖于浅层的线性模型,当评分数据变得庞大且复杂时,其推荐性能往往不太理想。针对此问题,提出一种深度融合模型(DeepFM),该模型能够在完全捕获文本信息的同时也能很好地处理复杂且稀疏的评分数据。DeepFM由两个并行的神经网络组成,其中一路神经网络使用多层感知器提取评分矩阵的行向量信息从而获得用户的潜在特征向量,另一路则使用MLP和卷积神经网络(CNN)共同建模从而提取额外有关项目的文本信息得到项目潜在特征向量。最后,通过构建融合层将用户特征向量和项目特征向量进行融合得出预测评分。实验结果表明,DeepFM在MovieLens数据集和亚马逊数据集上的性能优于主流的推荐模型。     

基于深度强化学习的组合优化研究进展

组合优化问题广泛存在于国防、交通、工业、生活等各个领域, 几十年来, 传统运筹优化方法是解决组合优化问题的主要手段, 但随着实际应用中问题规模的不断扩大、求解实时性的要求越来越高, 传统运筹优化算法面临着很大的计算压力, 很难实现组合优化问题的在线求解. 近年来随着深度学习技术的迅猛发展, 深度强化学习在围棋、机器人等领域的瞩目成果显示了其强大的学习能力与序贯决策能力. 鉴于此, 近年来涌现出了多个利用深度强化学习方法解决组合优化问题的新方法, 具有求解速度快、模型泛化能力强的优势, 为组合优化问题的求解提供了一种全新的思路. 因此本文总结回顾近些年利用深度强化学习方法解决组合优化问题的相关理论方法与应用研究, 对其基本原理、相关方法、应用研究进行总结和综述, 并指出未来该方向亟待解决的若干问题.     

深度学习编译器模型训练负载均衡优化方法

对于计算密集型的人工智能（AI）训练应用，其计算图网络结构更加复杂，数据加载、计算图的任务划分以及任务调度的负载均衡性都会成为影响计算性能的关键因素。为了使深度学习编译器中模型训练应用的任务调度达到负载均衡的状态，提出了三种计算图负载均衡优化方法：第一，通过自动建立数据加载与模型训练的高效流水实现中央处理器和后端计算设备的负载均衡，提高了系统整体能效；第二，通过计算图的分层优化技术，实现计算图在后端设备执行调度时的负载均衡；最后，通过自动建立层间的高效流水提高后端设备的资源利用率。实验结果表明，计算图负载均衡优化方法实现了训练任务到底层硬件设备自动映射过程中系统的负载均衡，与Tensorflow、nGraph等传统的深度学习框架和编译器相比，在不同模型训练中通过任务调度负载均衡优化技术分别获得了2%～10%的性能提升，同时能够使系统整体的能耗降低10%以上。     

TensorFlow平台下基于深度学习的数字识别

TensorFlow是谷歌开源的机器学习及深度学习框架,具有高度的灵活性,可以运行在多种平台上,如CPU、GPU以及移动设备,支持当前流行的深度学习模型。卷积神经网络具有多个处理层,能对图像的特征进行逐层抽象,相比于传统的图像识别方法具有良好的效果,对输入图像的旋转、扭曲、变形具有良好的鲁棒性,并且不用对图像进行预处理,简化了图像识别的步骤。在TensorFlow平台上,搭建了一个卷积神经网络模型,利用MNIST数据集对模型进行训练及测试,最终测试能达到99%的识别率。