基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。     

遗传-牛顿算法在公交智能调度中的应用

针对公交公司需要解决的典型问题公交车辆的优化调度,提出了一种遗传算法与牛顿算法相结合的智能优化算法;并用该混合算法对调度模型进行优化;首先在兼顾公交公司与乘客双方利益的情况下,建立了以发车间隔时间为决策变量的公交车优化调度模型,再利用遗传算法对决策变量进行优化,然后用牛顿法对其优化的结果进行深一步的搜索,使其优化结果精度提高;仿真结果表明,该混合算法比标准的遗传算法更有效地提高公交车辆运营效率并降低其费用成本.     

基于隐式随机梯度下降的恶意代码分类算法

针对目前基于深度学习的恶意代码分类算法易出现灾难性遗忘导致分类准确率不高、收敛过慢的问题，提出基于隐式随机梯度下降的恶意代码分类算法。与现有算法不同，该算法构造内外循环网络结构来协同学习最优网络模型以提高恶意代码分类准确率。在内循环优化阶段，通过优化带有偏好正则项的损失函数迫使内循环网络沿外循环网络方向更新权重从而避免内循环网络遗忘过去学到的知识。在外循环优化阶段，通过求解近似外循环网络梯度并利用隐式随机梯度下降优化外循环网络权重，使得外循环网络能够更快更稳定地收敛。在三个恶意代码数据集上的实验结果表明，该算法有效避免了灾难性遗忘，使用较少训练轮数取得了最高的分类准确率，显著提升了恶意代码分类的稳定性和鲁棒性。     

基于大数据和深度学习的全社会月用电总量预测

为解决经典方法预测全社会用电总量预测数值精度较低、模型结构参数过于复杂等技术难题,本文提出将电力大数据和人工智能领域深度学习算法相结合的研究方法。采用计算机建立具有阶层结构的深度神经网络,根据仿生学原理引入线性整流函数解决梯度消失及神经网络收敛速度减慢问题,采用梯度下降来进行优化模型,同时通过引入指数衰减法由神经网络模型自动设定学习率以提高模型预测精度并降低迭代次数。从数量场的梯度原理并结合泰勒公式,推导出梯度下降法背后数学原理。为解决过拟合问题引入早停算法以提高模型训练速度及泛化能力。最后深度学习算法预测数值与经典线性回归算法预测数值相比较,深度学习算法在对全社会月用电总量的预测精准度、稳定性指标上明显优于线性回归算法,深度神经网络模型对未来全社会电力需求的预测数值具有高度的可信性。     

面向无人机集群路径规划的智能优化算法综述

在电–气–热互联系统(EGHS)的联合优化愈受关注的背景下, 提出一种电–气–热互联系统分布式优化调度 框架. 首先, 以系统供能成本最小建立同时考虑气网及热网动态特性的日前调度模型. 其次, 针对电–气–热互联系 统含电、气、热3个子系统在分布式运算属三区(3-Block)优化问题因而难以利用常规分布式算法得到收敛解的问题, 提出基于交替方向乘子法(ADMM)的改进算法, 即强制平等的ADMM算法. 所提算法框架为内外层协调凸分布框 架, 外层为罚凸凹算法(PCCP), 内层为ADMM–FE算法. 此算法框架中, 外层优化利用罚凸凹过程将非凸气流方程 凸化为逐次迭代的二阶锥约束, 内层ADMM–FE算法求解外层凸化后的模型以得到收敛解. 最后, 通过算例仿真分 析对比了所提算法与传统ADMM算法及集中式优化算法的计算结果, 所得结果验证了所提模型以及优化算法框架 的有效性.     

基于近端梯度的快速字典学习方法的研究

基于稀疏表示的图像处理技术近年来成为研究热点,多种字典学习算法如K-SVD,OLM(Online dictionary learning Method)等予以提出;这类算法使用重叠的图像块来构建字典进行稀疏表示,产生了大量稀疏系数,致使计算过缓,且不能确保收敛。针对此问题开展研究,提出了基于近端梯度的快速字典学习算法;该算法结合了多凸优化求解,采用近端梯度算法求解字典学习过程中涉及的优化问题,有效地降低了每次迭代的复杂度,减少了迭代开销,同时能够确保收敛。合成数据上的实验表明,相较于其它经典算法,该算法进行字典学习速度更快,所耗时间较短,获得的字典更好;且在图像稀疏去噪的应用中,该算法的去噪效果表现优异。     

一种新的优化机制:Rain

在机器学习领域,传统模型的损失函数为凸函数,故具有全局最优解,通过传统的梯度下降算法可以求得最优解.但在深度学习领域,由于模型函数的隐式表达及同层神经元的可交换性,其损失函数为非凸函数,传统的梯度下降算法无法求得最优解,即使是较为先进的SGDM,Adam,Adagrad,RMSprop等优化算法也无法逃脱局部最优解的局限性,在收敛速度上虽然已经有很大的提升,但仍不能满足现实需求.现有的一系列优化算法都是针对已有优化算法的缺陷或局限性进行改进,优化效果有些许提升,但对于不同数据集的表现不一致.文中提出一种新的优化机制Rain,该机制结合深度神经网络中的Dropout机制,并融入到优化算法上得以实现.该机制并不是原有优化算法的改进版,而是独立于所有优化算法的第三方机制,但可以和所有优化算法搭配使用,从而提高其对于数据集的适应性.该机制旨在对模型在训练集上的表现进行优化,测试集上的泛化问题并不作为该机制的关注点.文中利用Deep Crossing和FM两个模型搭配5种优化算法,分别在Frappe和MovieLens两个数据集上进行实验,结果表明,加入Rain机制的模型在训练集上的损失函数值明显减小,且收敛速度加快,但其在测试集上的表现与原模型相差无几,即泛化性较差.     

图像修补的优化变换方法

采用整体变分(TV)模型修补图像,提出一种图像修补的优化变换方法.引入一个辅助变量,利用优化变换,将TV模型中单变量函数的优化问题转化为等效双变量函数的优化问题,并利用交替迭代最小化算法和Chambolle's投影算法求解模型.实验结果表明,与采用梯度下降法的TV模型算法相比,该方法的图像修补效率和修补效果较优.     

基于Adam-BNDNN的网络入侵检测模型

针对传统入侵检测算法检测精度低、误报率高等问题,提出了一种融合批量规范化和深度神经网络的网络入侵检测模型。该模型首先在深度神经网络隐藏层添加批量规范化层,优化隐藏层的输出结果,然后采用Adam自适应梯度下降优化算法对BNDNN参数进行自动优化,提高模型检测能力。并使用NSL-KDD数据集进行仿真实验,结果表明该模型的检测效果优于SNN、KNN、DNN等检测方法;整体检测率可达99.41%,整体误报率为0.59%,证明了模型的可行性。     

基于深度元学习的小样本图像分类研究综述

深度元学习是解决小样本分类问题的流行范式。对近年来基于深度元学习的小样本图像分类算法进行了详细综述。从问题的描述出发对基于深度元学习的小样本图像分类算法进行概括,并介绍了常用小样本图像分类数据集及评价准则;分别从基于模型的深度元学习方法、基于优化的深度元学习方法以及基于度量的深度元学习方法三个方面对其中的典型模型以及最新研究进展进行详细阐述。最后,给出了现有算法在常用公开数据集上的性能表现,总结了该课题中的研究热点,并讨论了未来的研究方向。     

基于多孔卷积神经网络的图像深度估计模型

针对在传统机器学习方法下单幅图像深度估计效果差、深度值获取不准确的问题，提出了一种基于多孔卷积神经网络（ACNN）的深度估计模型。首先，利用卷积神经网络（CNN）逐层提取原始图像的特征图；其次，利用多孔卷积结构，将原始图像中的空间信息与提取到的底层图像特征相互融合，得到初始深度图；最后，将初始深度图送入条件随机场（CRF），联合图像的像素空间位置、灰度及其梯度信息对所得深度图进行优化处理，得到最终深度图。在客观数据集上完成了模型可用性验证及误差估计，实验结果表明，该算法获得了更低的误差值和更高的准确率，均方根误差（RMSE）比基于机器学习的算法平均降低了30.86%，而准确率比基于深度学习的算法提高了14.5%，所提算法在误差数据和视觉效果方面都有较大提升，表明该模型能够在图像深度估计中获得更好的效果。     

随机ADD算法的不确定网络优化研究

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢.加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率.但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证.基于此,提出了一种随机形式的ADD算法来解决该网络优化问题.理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值.实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级.     

TensorFlow中深度前馈网络优化研究及其轴承故障诊断应用

目前在复杂系统的故障诊断中,故障特征与故障类型之间存在较强的非线性关系,且数据量较大,信号处理复杂,诊断效率不高,而深度学习在特征提取与模式识别方面显示出巨大潜力。针对此问题提出基于深度前馈网络的故障诊断模型,将其应用于复杂的轴承故障诊断。该方法直接将原始信号作为模型的输入特征量,然后利用谷歌开源深度学习框架TensorFlow建模,通过相关参数设置、梯度算法优化、正则化处理对网络进行优化设计。构建上万的9种轴承故障类型样本,确保样本多样性,提高网络鲁棒性,最终优化后的模型诊断准确率为98.96%。将该方法与多种传统的机器学习诊断方法进行比较,结果表明该方法能更有效地进行轴承故障诊断,验证了模型的合理性和优越性。     

面向RGBD图像的标记分水岭分割

目的 针对分水岭分割算法中存在的过分割现象及现有基于RGB图像分割方法的局限,提出了一种基于RGB图像和深度图像(RGBD)的标记分水岭分割算法。方法 本文使用物体表面几何信息来辅助进行图像分割,定义了一种深度梯度算子和一种法向量梯度算子来衡量物体表面几何信息的变化。通过生成深度梯度图像和法向量梯度图像,与彩色梯度图像进行融合,实现标记图像的提取。在此基础上,使用极小值标定技术对彩色梯度图像进行修正,然后使用分水岭算法进行图像分割。结果 在纽约大学提供的NYU2数据集上进行实验,本文算法有效抑制了过分割现象,将分割区域从上千个降至数十个,且获得了与人工标定的分割结果更接近的分割效果,分割的准确率也比只使用彩色图像进行分割提高了10%以上。结论 本文算法普遍适用于RGBD图像的分割问题,该算法加入了物体表面几何信息的使用,提高了分割的准确率,且对颜色纹理相似的区域获得了较好的分割结果。     

改进交替方向乘子法求解冷水机组负荷分配群智能优化问题

群智能控制系统中的多台冷水机组负荷优化分配问题是一个多块优化问题,传统分布式方法难以获得其收敛解.文中将交替方向乘子法(ADMM)引入冷水机组负荷分配群智能优化问题中,并通过一种有效的高斯罚函数(GPF)更新策略改进了交替方向乘子法收敛特性.同时,建立了一种基于ADMM–GPF–GBS双层分布式计算框架的冷水机组负荷优化分配模型,该模型仅利用相邻节点间的局部信息传递,即可求解得出最优运行策略.最后,通过两个典型算例对比分析了所提优化方法的有效性,并在实际硬件系统中进一步对该算法进行应用与验证.结果表明,所提算法适用于群智能控制系统下的多台冷水机组系统,且具有比传统分布式算法更好的寻优能力和收敛性,可以取得显著的节能效果.     

图像修复TV模型的快速算法研究

关于图像修复的全变分（ TV）模型的求解有很多方法。在图像修复的全变分（ TV）模型中,文中针对含有非光滑项的凸优化问题提出了一种基于交替方向乘子法（ ADMM）的快速求解算法。 ADMM方法对迭代公式中具体的子问题求解过程一般采用Gauss-Seidel方法,文中通过分析TV修复模型的性质,对ADMM算法进行了相应的改进,使得具体的数值求解可以用快速傅里叶变换方法,并证明了该算法的收敛性。实验结果表明,文中所提出的新算法与采用Gauss-Seidel迭代的方法相比较,不但修复效果更好,而且修复速度更快。     

二阶变分图像恢复模型的重启动快速ADMM方法

目的 基于二阶导数的图像恢复变分模型可以同时保持图像边缘与光滑特征,但其规则项的非线性、非光滑性,甚至非凸性制约着其快速算法的设计。针对总拉普拉斯(total Laplacian,TL)与欧拉弹性能(Euler’s elastica,EE)两种图像恢复变分模型,在设计快速交替方向乘子法(fast alternating direction methods of multipliers,fast ADMM)的基础上引入重启动策略,以有效消除解的振荡,从而大幅提高该类模型计算效率,并为其他相近模型的快速算法设计提供借鉴。方法 基于原始ADMM方法设计反映能量泛函变化的残差公式,在设计的快速ADMM方法中根据残差的变化重新设置快速算法的相关参数,以避免计算过程中的能量振荡,达到算法加速目的。结果 通过大量实验发现,采用原始ADMM、快速ADMM和重启动快速ADMM算法恢复图像的峰值信噪比(peak signal-to-noise ratio,PSNR)基本一致,但计算效率有不同程度的提高。与原始ADMM算法相比,在消除高斯白噪声和椒盐噪声中,对TL模型,其快速ADMM算法分别提高6%50%和13%240%;重启动快速ADMM算法提高100%433%和100%466%;对EE模型,其快速ADMM算法分别提高14%54%和10%83%;重启动快速ADMM算法分别提高100%900%和66%800%。此外,对于不同的惩罚参数组合,相同模型的快速ADMM算法的计算效率基本相同。结论 对于两种典型的二阶变分图像恢复模型,本文提出的快速重启动ADMM算法比原始ADMM算法及快速ADMM算法在计算效率方面有较大提高,计算效率对不同惩罚参数组合具有鲁棒性。本文设计的算法对于含其他形式二阶导数规则项的变分图像分析模型的重启动快速算法的设计可提供有益借鉴。     

基于交叠组合稀疏高阶全变分的图像复原

针对传统全变分进行扩展,提出了一种高阶全变分结合交叠组合稀疏的新算法,将像素级别梯度信息推广为高阶交叠组合稀疏梯度信息,更好地抑制了因全变分产生的阶梯效应并保存了图像边缘等细节信息。为了解决提出的图像复原新算法的优化问题,采用交替方向乘子算法（ADMM）来交替求解优化问题。将提出的新算法与其他几种相关算法相比,并用峰值信噪比（PSNR）和结构相似性（SSIM）两个评价指标来评价图像复原后的质量,从而论证了新算法的优越性。     

基于随机方差减小方法的DDPG算法

针对深度确定性策略梯度算法（DDPG）收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法（SVR-DDPG）。该算法通过利用随机方差减小梯度技术（SVRG）提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。     

改进的迭代收缩阈值算法及其在量子状态估计中的应用

本文将含有稀疏干扰的量子状态估计问题, 转化为考虑量子状态的约束条件下, 分别求解密度矩阵的核范 数, 以及稀疏干扰l1范数的两个子问题的优化问题. 针对迭代收缩阈值算法(ISTA)所存在的收敛速度慢的问题, 通 过在两个子问题的迭代估计中, 引入一个加速算子, 对当前值与前一次值之差进行进一步的补偿, 来提高算法的迭 代速度(FISTA). 并将FISTA算法应用于求解含有稀疏干扰的量子状态估计中. 针对5个量子位的状态估计的仿真实 验, 将FISTA分别与ISTA、交替方向乘子法(ADMM)、不动点方程的ADMM算法(FP–ADMM), 以及非精确的ADMM 算法(I–ADMM)4种优化算法进行性能对比. 实验结果表明, FISTA算法具有更加优越的收敛速度, 并且能够得到更 小的量子状态估计误差.