基于改进深度强化学习的动态移动机器人协同计算卸载

移动边缘计算是解决机器人大计算量任务需求的一种方法。传统算法基于智能算法或凸优化方法,迭代时间长。深度强化学习通过一次前向传递即可求解,但只针对固定数量机器人进行求解。通过对深度强化学习分析研究,在深度强化学习神经网络中输入层前进行输入规整,在输出层后添加卷积层,使得网络能够自适应满足动态移动机器人数量的卸载需求。最后通过仿真实验验证,与自适应遗传算法和强化学习进行对比,验证了所提出算法的有效性及可行性。     

移动边缘计算中基于深度强化学习的计算卸载调度方法

针对移动边缘计算中具有依赖关系的任务的卸载决策问题,提出一种基于深度强化学习的任务卸载调度方法,以最小化应用程序的执行时间。任务调度的过程被描述为一个马尔可夫决策过程,其调度策略由所提出的序列到序列深度神经网络表示,并通过近端策略优化(proximal policy optimization)方法进行训练。仿真实验表明,所提出的算法具有良好的收敛能力,并且在不同环境下的表现均优于所对比的六个基线算法,证明了该方法的有效性和可靠性。     

移动边缘计算中基于深度强化学习的任务卸载研究进展

移动边缘计算是近年出现的一种新型网络计算模式,它允许将具有较强计算能力和存储性能的服务器节点放置在更加靠近移动设备的网络边缘(如基站附近),让移动设备可以近距离地卸载任务到边缘设备进行处理,从而解决了传统网络由于移动设备的计算和存储能力弱且能量较有限,从而不得不耗费大量时间、能量且不安全地将任务卸载到远方的云平台进行处...     

基于深度强化学习的双层无人机边缘卸载策略

移动边缘计算(mobile edge computing, MEC)已逐渐成为有效缓解数据过载问题的手段, 而在高人流密集的场景中, 固定在基站上的边缘服务器可能会因网络过载而无法提供有效的服务. 考虑到时延敏感型的通信需求, 双层无人机(unmanned aerial vehicle, UAV)的高机动性和易部署性成为任务计算卸载的理想选择, 其中配备计算资源的顶层无人机(top-UAV, T-UAV)可以为抓拍现场画面的底层UAV (bottom-UAV, B-UAV)提供卸载服务. B-UAV搭载拍摄装置, 可以选择本地计算或将部分任务卸载给T-UAV进行计算. 文中构建了双层UAV辅助的MEC系统模型, 并提出了一种DDPG-CPER (deep deterministic policy gradient offloading algorithm based on composite prioritized experience replay)新型计算卸载算法. 该算法综合考虑了决策变量的连续性以及在T-UAV资源调度和机动性等约束条件下优化了任务执行时延, 提高了处理效率和响应速度, 以保证现场观众对比赛的实时观看体验. 仿真实验结果表明, 所提算法表现出了比DDPG等基线算法更快的收敛速度, 能够显著降低处理延迟.     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

面向移动边缘计算基于强化学习的计算卸载算法

针对移动边缘计算(Mobile Edge Computing,MEC)的计算卸载决策的问题,基于强化学习方法提出了一个在多用户的MEC 系统中的计算卸载决策算法(Offloading Decision algorithm based on Reinforcement Learning,ODRL).ODRL算法根据任务模...     

基于深度强化学习的多用户边缘计算任务卸载调度与资源分配算法

移动边缘计算(Mobile Edge Computing,MEC)把计算和存储等资源部署在网络边缘以满足某些对延迟要求苛刻的应用.用户设备可以通过无线网络将计算任务整体或者部分卸载到边缘服务器执行从而降低延迟和本地耗能,进而获得良好的用户体验.现有传统优化算法在MEC卸载决策和资源分配方面是可行的,但传统优化算法并不很...     

基于深度强化学习的移动边缘计算任务卸载研究

在移动边缘计算中,本地设备可以将任务卸载到靠近网络边缘的服务器上进行数据存储和计算处理,以此降低业务服务的延迟和功耗,因此任务卸载决策具有很大的研究价值.首先构建了大规模异构移动边缘计算中具有多服务节点和移动任务内部具有多依赖关系的卸载模型;随后结合移动边缘计算的实际应用场景,提出利用改进的深度强化学习算法优化任务卸载策略;最后通过综合比较任务卸载策略的能耗、成本、负载均衡、延迟、网络使用量和平均执行时间等指标,分析了各卸载策略的优缺点.仿真实验结果表明,基于长短期记忆(long short-term memory, LSTM)网络和事后经验回放(hindsight experience replay, HER)改进的HERDRQN算法在能耗、费用、负载均衡和延迟上都有很好的效果.另外利用各算法策略对一定数量的应用进行卸载,通过比较异构设备在不同CPU利用率下的数量分布来验证卸载策略与各评价指标之间的关系,以此证明HERDRQN算法生成的策略在解决任务卸载问题中的科学性和有效性.     

基于深度强化学习的边云协同任务卸载策略

为降低应用程序执行的时延和能耗,针对移动边缘计算环境,提出一种边云协同场景下基于深度强化学习的任务卸载策略。通过建立边云协同架构下的网络模型、通信模型及计算模型,以最小化时延和能耗为系统目标,设计基于深度强化学习的DQN卸载策略,将每个用户产生的任务独立高效地放置在本地、服务器或者云端进行计算,并将计算结果与其它方法进行比较。实验结果表明,相较其它基线算法,该方法能更有效减少任务执行的开销,得到更优的卸载策略。     

基于改进深度强化学习的边缘计算服务卸载算法

在边缘计算（EC）网络中,针对边缘节点计算资源和存储空间有限的问题,提出一种基于改进深度强化学习（DRL）的边缘计算服务卸载（ECSO）算法,以降低节点处理时延和提高服务性能。具体来说,将边缘节点服务卸载问题转化为资源受限的马尔可夫决策过程（MDP）,利用DRL算法解决边缘节点的请求状态转移概率难以精确预测的问题;考虑到边缘节点执行缓存服务的状态动作空间过大,定义新的动作行为替代原有动作,并依据提出的动作筛选算法得到最优动作集合,以改进计算动作行为奖励值的过程,进而大幅度降低动作空间大小,提高算法训练的效率以及收益。仿真实验结果表明,对比原深度Q网络（DQN）算法、邻近策略优化（PPO）算法以及传统的最流行（MP）算法,ECSO算法的总奖励值分别提升了7.0%、12.7%和65.6%,边缘节点服务卸载时延分别降低了13.0%、18.8%和66.4%,验证了算法的有效性,说明ECSO能有效提升边缘计算服务的卸载性能。     

多智能体边缘计算任务卸载

边缘计算技术的发展为计算密集型业务提供了一种全新的选择,低能耗、低时延、实时处理等词语不断被提及,任务卸载引起了众多学者的注意.任务在本地执行还是卸载到服务器上执行,以及卸载到哪一台服务器上执行成为必须要解决的问题.在多智能体环境中提出一种新的目标函数,并构建数学模型;建立马尔可夫决策过程,定义动作、状态空间以及奖励函...     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

减少核心网拥塞的边缘计算资源分配和卸载决策

随着移动互联网和物联网的发展,越来越多的智能终端设备投入到实际使用当中,大量计算密集型和时间敏感型应用被广泛应用,如AR/VR、智能家居、车联网等.因此,网络中的数据流量激增,使得核心网络面临的压力逐渐增大,对网络时延的控制也越来越难,此时云边协同的计算范式作为一种解决方案被提出.针对云边之间的核心网流量控制问题,文中...     

基于双层Stackelberg博弈的MEC计算卸载方案

多接入边缘计算(multi-access edge computing, MEC)中的计算卸载问题已经成为当前研究的热点之一.目前的计算卸载方案仅考虑云、边、端结构中的计算卸载问题,而未考虑到其公、私有云的属性.提出了一种新的计算卸载方案,所提方案考虑了边缘计算中公有云与私有云之间的关系,将公有云作为了私有云资源的补充,可以缓解由于私有云资源局限性带来的算力不足问题;并通过建立双层Stackelberg博弈来解决计算卸载问题.对公有云、私有云以及用户的策略和收益进行了分析,求出了各参与人的最优策略,证明了双层博弈的纳什均衡解的存在性及唯一性.仿真结果和分析也验证了基于双层Stackelberg博弈的计算卸载方案的可行性,且相较基于单层Stackelberg博弈的卸载方案更高效,更适合可扩展的边缘计算的环境.     

边缘计算中的计算卸载综述

边缘计算可以有效解决传统云计算中传输时延大、用户数据安全性不够高、传输带宽压力大以及终端移动设备计算能力受限、能耗大等问题.计算卸载是边缘计算中的关键技术,针对当前计算卸载技术的研究现状和存在的不足,本文围绕计算卸载,首先介绍边缘计算的体系架构以及部分应用和分析4种主要的影响因素以及相应具体的条件;其次针对3种决策目标分析了算法策略及对应变量在算法中的作用;最后总结目前在计算卸载中存在的不足.     

边缘计算中协作计算卸载与动态任务调度

在边缘计算场景中,通过将部分待执行任务卸载到边缘服务器执行能够达到降低移动设备的负载、提升移动应用性能和减少设备开销的目的.对于时延敏感任务,只有在截止期限内完成才具有实际意义.但是边缘服务器的资源往往有限,当同时接收来自多个设备的数据传输及处理任务时,可能造成任务长时间的排队等待,导致部分任务因超时而执行失败,因此无法兼顾多个设备的性能目标.鉴于此,在计算卸载的基础上优化边缘服务器端的任务调度顺序.一方面,将时延感知的任务调度建模为一个长期优化问题,并使用基于组合多臂赌博机的在线学习方法动态调整服务器的调度顺序.另一方面,由于不同的任务执行顺序会改变任务卸载性能提升程度,因而影响任务卸载决策的有效性.为了增加卸载策略的鲁棒性,采用了带有扰动回报的深度Q学习方法决定任务执行位置.仿真算例证明了该策略可在平衡多个用户目标的同时减少系统的整体开销.     

移动边缘计算环境中的计算卸载技术研究综述

计算卸载技术作为移动边缘计算(Mobile Edge Computing,MEC)的关键技术,通过合理的卸载决策能有效解决终端设备计算能力弱、时延长和能耗高等问题.介绍了MEC的概念、参考架构、部署方案和典型应用场景;分别从卸载决策的目标、粗粒度、细粒度的卸载方式及MEC与端对端(Device-to-Device,D2...     

移动边缘计算环境下服务工作流的计算卸载

移动边缘计算（MEC）将计算和存储资源移动到移动网络的边缘，使其能够在满足严格的延迟要求的同时在移动设备处运行要求高处理的应用。它考虑了移动计算卸载问题，其中可以调用工作流中的多个移动服务来满足其复杂需求，并决定是否卸载工作流的服务，同时考虑了组件服务之间的依赖关系，并旨在优化执行移动服务的执行时间和能耗。针对上述问题运用了基于遗传算法（GA）的卸载方法，经过设计和实施后，部分修改传统遗传算法，以满足对所述问题的特殊需求。仿真实验表明，GA算法的实验效果都优于算法Local Execution和RANDOM得到的实验结果。     

面向车联网的多智能体强化学习边云协同卸载

车联网边缘计算是实现车联网系统低时延和高可靠性的关键技术,但现有方法普遍存在场景趋同和系统建模局限的问题,同时包含复杂的训练过程并面临维灾风险.通过结合云计算技术,提出一种基于多智能体强化学习的边云协同卸载方案.依据随机几何理论计算卸载节点覆盖概率,对车辆节点与卸载对象进行预配对.利用线性Q函数分解方法反映每个智能体多...