无人机辅助移动边缘计算中的任务卸载算法

无人机（UAV）灵活机动、易于部署，可以辅助移动边缘计算（MEC）帮助无线系统提高覆盖范围和通信质量，但UAV辅助MEC系统研究中存在计算延迟需求和资源管理等挑战。针对UAV为地面多个终端设备提供辅助计算服务的时延问题，提出一种基于双延迟深度确定性策略梯度（TD3）的时延最小化任务卸载算法（TD3-TOADM）。首先，将优化问题建模为在能量约束下的最小化最大计算时延的问题；其次，通过TD3-TOADM联合优化终端设备调度、UAV轨迹和任务卸载比来最小化最大计算时延。仿真实验分析结果表明，与分别基于演员-评论家（AC）、深度Q网络（DQN）以及深度确定性策略梯度（DDPG）的任务卸载算法相比，TD3-TOADM得到的计算时延减小了8.2%以上。可见TD3-TOADM能获得低时延的最优卸载策略，具有较好的收敛性和鲁棒性。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算（MEC）服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本。此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度。考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度（DDPG）的算法来联合优化服务缓存位置、计算卸载决策和资源分配,从而提高用户对服务的体验质量,最大化用户使用计算资源所节约的成本。仿真结果表明,该算法在提高用户体验质量和节约成本方面较使用无缓存策略、随机选择策略和无缓存随机选择策略的算法性能更优。     

协同移动边缘计算分层资源配置机制

针对车联网（IoV）中存在大量的车辆卸载任务计算需求,而本地端边缘服务器运算能力有限的问题,提出一种移动边缘计算分层协同资源配置机制（HRAM）。所提算法以多层式的架构合理分配与有效利用移动边缘计算（MEC）服务器的运算资源,减少不同MEC服务器之间的数据多跳转发时延,并优化卸载任务请求时延。首先构建IoV边缘计算系统模型、通信模型、决策模型和计算模型;然后利用层次分析法（AHP）进行多因素综合考虑以确定卸载任务迁移的目标服务器;最后提出动态权值的任务路由策略,调用整体网络的通信能力以缩短卸载任务的请求时延。仿真实验结果表明,HRAM算法相较于任务卸载单层式资源分配（RATAOS）算法和任务卸载多层式资源分配（RATOM）算法,分别降低了40.16%和19.01%的卸载任务请求时延;且所提算法在满足卸载任务最大可容忍时延的前提下,能够满足更多卸载任务的计算需求。     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算（MEC）服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法。在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN。实验结果表明,在不同目标函数中,Based DQN算法的优化效果优于全部本地卸载算法、随机卸载与分配算法、最小完成时间算法和多平台卸载智能资源分配算法,且在新目标函数下优势更为突出,验证了所提优化方法的有效性。     

基于边缘计算的新型任务卸载与资源分配策略

针对移动边缘计算（MEC）中密集型任务卸载时，系统开销较大和延时抖动明显的问题，提出一种新型资源分配策略。首先在系统时延约束下，分析了系统任务执行开销与终端设备的资源分配机制；其次建立了基于计算卸载和任务分配的联合凸优化目标；最后采用拉格朗日乘子法进行迭代更新得到最优解。仿真结果表明，所提任务卸载与资源分配方案在保证用户服务质量的同时降低了任务执行开销，并有效提升了MEC系统性能。     

A-DDPG：多用户边缘计算系统的卸载研究

为了降低多边缘服务器多用户系统中用户的总成本,结合深度确定性策略梯度（deep deterministic policy gradient,DDPG）、长短期记忆网络（LSTM）和注意力机制,提出了一种基于DDPG的深度强化学习卸载算法（A-DDPG）。该算法采用二进制卸载策略,并且将任务的延迟敏感性和服务器负载的有限性以及任务迁移考虑在内,自适应地卸载任务,以最大限度减少由延迟敏感型任务超时造成的总损失。考虑时延和能耗两个指标并设定了不同的权重值,解决因用户类型不同带来的不公平问题,制定了任务卸载问题以最小化所有任务完成时延和能量消耗的总成本,以目标服务器的选择和数据卸载量为学习目标。实验结果表明,A-DDPG算法具有良好的稳定性和收敛性,与DDPG算法和双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient,TD3）算法相比,A-DDPG算法的用户总成本分别降低了27%和26.66%,平均达到最优任务失败率的时间分别提前了57.14%和40%,其在奖励、总成本和任务失败率方面取得了较好的效果。     

车联网中自适应联合计算卸载资源分配算法

为降低车联网(C-V2 X)中计算任务的时延与能耗,提出一种自适应的联合计算卸载资源分配算法.考虑多因素,多平台(本地计算、云计算、移动边缘计算(MEC)、空闲车辆计算)卸载,将计算卸载决策和资源分配建模为多约束优化问题.在粒子群算法基础上,提出粒子矩阵编码方式,联合优化车辆卸载决策、各平台任务卸载比例、MEC资源分配.提出粒子修正算法,结合罚函数法,解决多约束优化问题.仿真结果表明,与其它算法相比,该算法能在满足最大容忍时延的同时,最小化系统总成本.     

基于QMix的车辆云计算资源动态分配方法

城市交通智能化和通信技术的进步会产生大量基于车辆的应用,但目前车辆有限的计算资源无法满足车辆应用的计算需求与延迟性约束。车辆云（VC）可以高效地调度资源,从而显著降低任务请求的延迟与传输成本。针对VC环境下任务卸载与计算资源分配问题,提出一个考虑异质车辆和异质任务的计计资源分配算法。对到达的任务构建M/M/1队列模型与计算模型,并定义一个效用函数以最大化系统整体效用。针对环境中车辆地理分布的高度动态系统变化,提出基于双时间尺度的二次资源分配机制（SRA）,使用两个不同时间尺度的资源分配决策动作,对其分别构建部分可观测马尔可夫决策过程。两个决策动作通过执行各自的策略获得的奖励进行连接,将问题建模为两层计算资源分配问题。在此基础上提出基于二次资源分配机制的多智能体算法SRA-QMix求解最优策略。仿真结果表明,与深度确定性策略梯度算法对比,该算法的整体效用值和任务完成率分别提高了70%、6%,对于QMix和MADDPG算法分别应用SRA后的任务完成率分别提高了13%与15%,可适用于动态的计算资源分配环境。     

移动边缘计算中基于Lyapunov的任务卸载与资源分配算法

移动边缘计算（MEC）通过将计算和存储资源部署在无线网络边缘,使得用户终端可将计算任务卸载到边缘服务器进行处理,从而缓解终端设备资源受限与高性能任务处理需求之间的冲突。但随着任务卸载规模的不断增加,执行任务所产生的功耗急剧上升,严重影响了MEC系统的收益。建立任务队列动态调度模型,以队列上溢概率为约束构建最大化系统平均收益的资源优化模型。考虑到资源优化问题为不同时隙下的耦合问题,运用Lyapunov优化理论设计一种基于单时隙的资源分配算法,将优化问题转化为用户本地计算资源分配、功率和带宽资源分配以及MEC服务器计算资源分配3个子问题并分别进行求解。仿真结果表明,该算法在满足用户QoS需求的同时能够有效提高MEC系统的时间平均收益。     

基于深度Q学习的电力物联网任务卸载研究

随着现代化城市与工业生产中电力需求的不断提高,电力物联网（Power Internet of Things, PIoT）作为一种能够显著提高电力系统效率的解决方案受到了广泛关注。为有效解决接入问题,现有的电力设备往往已配备内置轻量级人工智能的5G模组。然而,受制于模组有限的计算能力和通信能力,设备产生的海量数据难以实时处理和分析。基于该问题,本文主要研究电力物联网系统中的任务卸载问题,通过联合优化卸载决策和边缘服务器的计算资源分配,从而降低时延与能耗的加权和。此外本文提出一种基于深度强化学习的任务卸载算法,首先任务在边缘服务器的处理过程建模为队列,其次基于凸优化理论对本地计算资源分配进行优化,最后采用深度Q学习算法优化任务卸载决策。实验结果表明,本文提出的方法能够有效降低系统时延与能耗的加权和。     

基于深度强化学习的双层无人机边缘卸载策略

移动边缘计算(mobile edge computing, MEC)已逐渐成为有效缓解数据过载问题的手段, 而在高人流密集的场景中, 固定在基站上的边缘服务器可能会因网络过载而无法提供有效的服务. 考虑到时延敏感型的通信需求, 双层无人机(unmanned aerial vehicle, UAV)的高机动性和易部署性成为任务计算卸载的理想选择, 其中配备计算资源的顶层无人机(top-UAV, T-UAV)可以为抓拍现场画面的底层UAV (bottom-UAV, B-UAV)提供卸载服务. B-UAV搭载拍摄装置, 可以选择本地计算或将部分任务卸载给T-UAV进行计算. 文中构建了双层UAV辅助的MEC系统模型, 并提出了一种DDPG-CPER (deep deterministic policy gradient offloading algorithm based on composite prioritized experience replay)新型计算卸载算法. 该算法综合考虑了决策变量的连续性以及在T-UAV资源调度和机动性等约束条件下优化了任务执行时延, 提高了处理效率和响应速度, 以保证现场观众对比赛的实时观看体验. 仿真实验结果表明, 所提算法表现出了比DDPG等基线算法更快的收敛速度, 能够显著降低处理延迟.     

考虑任务依赖的卫星边缘计算资源分配与卸载决策算法

针对高低轨卫星网络协同边缘计算的卸载决策问题,提出了一种考虑任务依赖的联合计算资源、无线资源分配与任务调度的卫星网络边缘计算卸载决策算法。首先,将任务卸载问题建模为最小化任务延迟和能量消耗的联合优化问题;然后,将能源消耗和时延引入子任务优先级定义中,基于动态优先级进行启发式卸载策略搜索。该算法保证了子任务之间的依赖性并同时考虑了无线资源分配。仿真结果表明,与已有研究相比,该算法能缩短高低轨卫星协同计算的任务执行延迟,且能够降低低轨卫星功耗。     

基于SAC的多服务移动边缘计算中任务卸载和资源配置算法

多服务移动边缘计算网络环境中的不同服务的缓存要求、受欢迎程度、计算要求以及从用户传输到边缘服务器的数据量是随时间变化的。如何在资源有限的边缘服务器中调整总服务类型的缓存子集,并确定任务卸载目的地和资源分配决策,以获得最佳的系统整体性能是一个具有挑战性的问题。为了解决这一难题,首先将优化问题转换为马尔可夫决策过程,然后提出了一种基于软演员—评论家（soft actor-critic,SAC）的深度强化学习算法来同时确定服务缓存和任务卸载的离散决策以及上下带宽和计算资源的连续分配决策。算法采用了将多个连续动作输出转换为离散的动作选择的有效技巧,以应对连续—离散混合行动空间所带来的关键设计挑战,提高算法决策的准确性。此外,算法集成了一个高效的奖励函数,增加辅助奖励项来提高资源利用率。广泛的数值结果表明,与其他基线算法相比,提出的算法在有地减少任务的长期平均完成延迟的同时也具有良好的稳定性。     

面向5G车联网场景的移动任务动态卸载策略研究

由于车辆自身的高速移动性和资源有限性等特征,使得采用传统通信和计算手段的车联网场景无法满足用户日益增长的数据计算需求和体验质量需求。采用5G和边缘计算技术构建的新型车联网架构可以满足以上需求,但由于网络结构的变化,需设计适合新场景下的车辆任务通信和计算策略。针对5G车联网场景下的移动车辆任务动态卸载问题进行研究,提出了对应的动态任务分配策略和卸载调度低时延算法。车辆会根据提出的策略和算法将未完成的计算任务卸载到相应的 MEC 服务器或车辆上,并且计算结果将通过边缘服务器之间的联合通信或直接从被选择接受卸载任务的附近空闲车辆上直接返回给车主。仿真结果表明,所提出的策略和算法在优化卸载延迟方面具有良好的性能,并提高了用户体验质量。     

移动边缘计算不确定性任务持续卸载及资源分配方法

移动边缘计算场景中任务的不确定性增加了任务卸载及资源分配的复杂性和难度.鉴于此,提出一种移动边缘计算不确定性任务持续卸载及资源分配方法.首先,构建一种移动边缘计算不确定性任务持续卸载模型,通过基于持续时间片划分的任务多批次处理技术应对任务的不确定性,并设计多设备计算资源协同机制提升对计算密集型任务的承载能力.其次,提出一种基于负载均衡的自适应策略选择算法,避免计算资源过度分配导致信道拥堵进而产生额外能耗.最后,基于泊松分布实现了对不确定任务场景模型的仿真,大量实验结果表明时间片长度减小能够降低系统总能耗.此外,所提算法能够更有效地实现任务卸载及资源分配,相较于对比算法,最大可降低能耗11.8%.