基于异步奖励深度确定性策略梯度的边缘计算多任务资源联合优化

移动边缘计算（MEC）系统中,因本地计算能力和电池能量不足,终端设备可以决定是否将延迟敏感性任务卸载到边缘节点中执行。针对卸载过程中用户任务随机产生且系统资源动态变化问题,提出了一种基于异步奖励的深度确定性策略梯度（asynchronous reward deep deterministic policy gradient,ARDDPG）算法。不同于传统独立任务资源分配采用顺序等待执行的策略,该算法在任务产生的时隙即可执行资源分配,不必等待上一个任务执行完毕,以异步模式获取任务计算奖励。ARDDPG算法在时延约束下联合优化了任务卸载决策、动态带宽分配和计算资源分配,并通过深度确定性策略梯度训练神经网络来探索最佳优化性能。仿真结果表明,与随机策略、基线策略和DQN算法相比,ARDDPG算法在不同时延约束和任务生成率下有效降低了任务丢弃率和系统的时延和能耗。     

A-DDPG：多用户边缘计算系统的卸载研究

为了降低多边缘服务器多用户系统中用户的总成本,结合深度确定性策略梯度（deep deterministic policy gradient,DDPG）、长短期记忆网络（LSTM）和注意力机制,提出了一种基于DDPG的深度强化学习卸载算法（A-DDPG）。该算法采用二进制卸载策略,并且将任务的延迟敏感性和服务器负载的有限性以及任务迁移考虑在内,自适应地卸载任务,以最大限度减少由延迟敏感型任务超时造成的总损失。考虑时延和能耗两个指标并设定了不同的权重值,解决因用户类型不同带来的不公平问题,制定了任务卸载问题以最小化所有任务完成时延和能量消耗的总成本,以目标服务器的选择和数据卸载量为学习目标。实验结果表明,A-DDPG算法具有良好的稳定性和收敛性,与DDPG算法和双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient,TD3）算法相比,A-DDPG算法的用户总成本分别降低了27%和26.66%,平均达到最优任务失败率的时间分别提前了57.14%和40%,其在奖励、总成本和任务失败率方面取得了较好的效果。     

边缘环境下计算密集型应用的卸载技术研究

移动边缘计算（Mobile Edge Computing,MEC）中的计算卸载技术通过将终端设备的计算任务卸载到网络边缘处,以解决云计算中心时延长、能耗大和负载高等问题。介绍了MEC的概念、目前主流的MEC网络架构和部署方案。从卸载决策方面对MEC环境下计算密集型应用的卸载技术进行了详细研究,从最小化时延、最小化能耗、权衡时延和能耗及最大化收益为优化目标的4种计算卸载方案进行了分析和对比,并总结出各自的关键研究点。通过分析5G环境下MEC卸载技术的发展趋势,介绍了支持5G的IIoT-MEC网络部署架构,在此基础上分析了基于深度强化学习的轻量级任务卸载策略和基于D2D协作的MEC卸载策略。总结和归纳了目前MEC中计算卸载技术所面临的卸载决策、干扰管理、移动性管理等方面的核心挑战。     

移动边缘计算中基于粒子群优化的计算卸载策略

计算卸载作为移动边缘计算（MEC）中降低时延与能耗的手段之一,通过合理的卸载决策能够降低工业成本。针对工业生产线中部署MEC服务器后时延变长和能耗增高的问题,提出了一种基于粒子群优化（PSO）算法的计算卸载策略PSAO。首先,将实际问题建模为时延模型与能耗模型。由于是针对时延敏感型的应用,因此将模型转化为在能耗约束条件下的最小化时延问题,使用惩罚函数来平衡时延与能耗。其次,根据PSO算法优化后得到计算卸载决策向量,通过集中控制的方式使每一个计算任务合理分配到对应的MEC服务器。最后,通过仿真实验,对比分析了本地卸载策略、MEC基准卸载策略、基于人工鱼群算法（AFSA）的卸载策略以及PSAO的时延数据,PSAO的平均总时延远远低于其他三种卸载策略,PSAO比原来系统总代价降低了20%。实验结果表明,PSAO策略能够降低MEC中的时延,均衡MEC服务器的负载。     

协同移动边缘计算分层资源配置机制

针对车联网（IoV）中存在大量的车辆卸载任务计算需求,而本地端边缘服务器运算能力有限的问题,提出一种移动边缘计算分层协同资源配置机制（HRAM）。所提算法以多层式的架构合理分配与有效利用移动边缘计算（MEC）服务器的运算资源,减少不同MEC服务器之间的数据多跳转发时延,并优化卸载任务请求时延。首先构建IoV边缘计算系统模型、通信模型、决策模型和计算模型;然后利用层次分析法（AHP）进行多因素综合考虑以确定卸载任务迁移的目标服务器;最后提出动态权值的任务路由策略,调用整体网络的通信能力以缩短卸载任务的请求时延。仿真实验结果表明,HRAM算法相较于任务卸载单层式资源分配（RATAOS）算法和任务卸载多层式资源分配（RATOM）算法,分别降低了40.16%和19.01%的卸载任务请求时延;且所提算法在满足卸载任务最大可容忍时延的前提下,能够满足更多卸载任务的计算需求。     

基于DQN的无人驾驶任务卸载策略

无人驾驶汽车由于其有限的电池寿命和计算能力,难以在保证续航的前提下满足一些时延敏感任务或密集任务的处理需求。为解决该问题,在移动边缘计算（mobile edge computing,MEC）的背景下,提出了一种基于深度Q网络（deep Q-network,DQN）的无人驾驶任务卸载策略。首先,定义了一个基于任务优先级的车—边—云协同任务卸载模型,其需要通过联合优化车辆计算能力与任务卸载策略以获取系统最小延迟和能耗。由于该问题是个混合整数非线性规划问题,所以分两步对其进行求解—通过数学推导得出了最优车辆计算能力的解析解,之后在其数值固定条件下,基于DQN算法获得了任务最佳卸载策略。最后,综合SUMO、PyTorch和Python等工具建立了仿真模型,比较了DQN算法和其他三种算法在任务负载、MEC服务器计算能力以及能耗权重系数变化情况下的性能,实验结果验证了所提策略的可行性和优越性。     

基于DDPG的边缘计算任务卸载和服务缓存算法

当计算任务被转移到移动边缘计算（MEC）服务器上时,通过服务缓存能够降低获取和初始化服务应用程序的实时时延和带宽成本。此外,体验质量是驱动卸载决策的关键因素,有效利用有限的计算资源能够提升用户满意度。考虑一个边缘服务器帮助移动用户执行一系列计算任务的场景,建立混合整数非线性规划问题,提出一种基于深度确定性策略梯度（DDPG）的算法来联合优化服务缓存位置、计算卸载决策和资源分配,从而提高用户对服务的体验质量,最大化用户使用计算资源所节约的成本。仿真结果表明,该算法在提高用户体验质量和节约成本方面较使用无缓存策略、随机选择策略和无缓存随机选择策略的算法性能更优。     

基于稳定匹配的多用户任务卸载策略

随着许多计算密集型应用的出现,移动设备因其有限的计算能力无法满足用户时延、能耗等需求。移动边缘计算（MEC）通过无线信道将用户的任务计算卸载到MEC服务器,从而显著减少任务响应时延和能耗。针对多用户任务卸载问题,提出了基于稳定匹配的多用户任务卸载策略（MUTOSA）,在保证用户的时延要求下达到能耗最小化。首先,在综合考虑时延与能耗的基础上,对独立任务场景下的多用户任务卸载问题进行建模;然后,基于博弈论的稳定匹配中的延迟接收思想,提出了一种调整策略;最后,通过不断迭代,解决了多用户任务卸载问题。实验结果表明,该策略相较于基准策略和启发式策略能够满足更多用户的时延要求,平均提高约10%的用户满意度,并能减少约50%的用户设备总能耗。所提策略在保证用户时延要求的同时有效地减少了能耗,可以有效地提高用户对于时延敏感型应用的体验。     

车联网中自适应联合计算卸载资源分配算法

为降低车联网(C-V2 X)中计算任务的时延与能耗,提出一种自适应的联合计算卸载资源分配算法.考虑多因素,多平台(本地计算、云计算、移动边缘计算(MEC)、空闲车辆计算)卸载,将计算卸载决策和资源分配建模为多约束优化问题.在粒子群算法基础上,提出粒子矩阵编码方式,联合优化车辆卸载决策、各平台任务卸载比例、MEC资源分配.提出粒子修正算法,结合罚函数法,解决多约束优化问题.仿真结果表明,与其它算法相比,该算法能在满足最大容忍时延的同时,最小化系统总成本.     

改进TD3算法在四旋翼无人机避障中的应用

为了提高无人机（Unmanned Aerial Vehicle,UAV）系统的智能避障性能,提出了一种基于双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient,TD3）的改进算法（Improved Twin Delayed Deep Deterministic Policy Gradient,I-TD3）。该算法通过设置两个经验缓存池分离成功飞行经验和失败飞行经验,并根据两个经验缓存池的不同使用目的分别结合优先经验回放（Prioritized Experience Replay）方法和经验回放（Experience Replay）方法,提高有效经验的采样效率,缓解因无效经验过高导致的训练效率低问题。改进奖励函数,解决因奖励设置不合理导致的训练效果差问题。在AirSim平台上实现仿真实验,结果表明在四旋翼无人机的避障问题上,I-TD3算法的避障效果优于TD3算法和深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法。     

去蜂窝大规模MIMO辅助的移动边缘计算系统计算任务卸载与分配策略

面向B5G和6G的新兴网络架构和技术服务需求,将去蜂窝大规模多输入多输出（cell-free massive MIMO,CF-mMIMO）赋能于移动边缘计算（MEC）,有助于处理分布式物联网中的计算密集型和延迟敏感型任务。针对CF-mMIMO辅助的MEC系统,在能量限制下意在最大限度地减少完成不同任务类型的计算任务的延迟。为解决以上目标,设计了一种基于本地设备（user equipment,UE）、多接入点（access point,AP）和中心处理器的云-边-端协作的任务卸载策略。具体地,首先根据每个UE和AP服务的不同数据类型,利用凸优化和图匹配方法交替迭代,进行卸载关联和任务比例的优化;然后在回传链路的限制下,提出一种改进的二进制鲸鱼优化算法,将未分配终端和关联接入点任务进一步卸载至处理高效的云端。所提算法相较于蚁群优化算法、混合灰狼优化算法等其他的元启发式效果更优,在离散的卸载优化问题上表现较好,可以为分布式网络提供良好的卸载优化策略并大幅度降低整体网络的平均时延。     

基于边缘计算的新型任务卸载与资源分配策略

针对移动边缘计算（MEC）中密集型任务卸载时，系统开销较大和延时抖动明显的问题，提出一种新型资源分配策略。首先在系统时延约束下，分析了系统任务执行开销与终端设备的资源分配机制；其次建立了基于计算卸载和任务分配的联合凸优化目标；最后采用拉格朗日乘子法进行迭代更新得到最优解。仿真结果表明，所提任务卸载与资源分配方案在保证用户服务质量的同时降低了任务执行开销，并有效提升了MEC系统性能。     

无人机辅助的移动边缘计算中的任务分配策略

在使用无人机（UAV）作为计算卸载的数据收集器对用户设备（UE）提供移动边缘计算（MEC）服务的场景下,设计了一种通过UAV实现高效的UE覆盖的无线通信策略。首先,在给定UE分布的条件下,对于UAV的飞行轨迹和通信策略,使用了连续凸逼近（SCA）的优化方法来得出一种可以使全局能量最小化的近似最优解;此外,对于UE大范围分布或任务量较大的场景,提出了一种自适应聚类算法,以将地面的UE划分成尽量少的聚类,并保证每个聚类中全部UE的卸载数据都可以在一次飞行中全部完成收集;最后,将每个聚类中UE的计算卸载数据收集任务分配给一次飞行,从而达到减少单个UAV完成任务所需的派遣次数或多UAV执行任务所需的UAV派遣数量的目的。仿真结果表明,所提方法可以生成相比K-Means算法更少的聚类数量且能快速收敛,适用于UE大范围分布下UAV辅助的计算卸载场景。     

计算资源受限的移动边缘计算服务器收益优化策略

移动边缘计算（MEC）服务器通过向用户提供计算资源获得收益。对MEC服务器而言,如何在计算资源受限的情况下提高自身收益至关重要,为此提出一种通过优化计算任务执行次序提高MEC服务器收益的策略。首先,将MEC服务器收益最大化问题建模为以任务执行次序为优化变量的优化问题;然后提出了一种基于分支定界法的算法求解任务执行次序。仿真结果表明,采用所提算法获得的MEC服务器平均收益分别比大任务优先（LTF）算法、低延迟任务优先（LLTF）算法和先到先服务（FCFS）算法提高了11%、14%和21%。在保证卸载用户服务质量（QoS）同时,所提策略可以显著提高服务器的收益。     

无线网络中具有MEC的多UAV飞行轨迹优化

搭载有移动边缘计算（MEC）设备的无人机（UAV）群可辅助无线网络，因此，考虑一个UAV集群的系统模型，其中UAVs从基地出发通过无线信息传输（WIT）系统为用户提供通信服务，完成任务之后UAVs返回基地。针对该系统，着重探讨UAV巡航轨迹与通信延迟的关系，以及UAV的最佳巡航速度。将UAV集群通信延迟的优化分为任务节点的分组、访问排序和飞行轨迹的转折点求解共3个子问题，构建相关的数学建模。提出一种基于模因算法（MA）框架的元启发式算法，通过大量的仿真实验验证了所提算法的优越性。     

基于深度强化学习的云边协同DNN推理

现有基于云边协同的深度神经网络（DNN）推理仅涉及边缘设备同构情况下的静态划分策略,未考虑网络传输速率、边缘设备资源、云服务器负载等变化对DNN推理计算最佳划分点的影响,以及异构边缘设备集群间DNN推理任务的最佳卸载策略。针对以上问题,提出基于深度强化学习的自适应DNN推理计算划分和任务卸载算法。以最小化DNN推理时延为优化目标,建立自适应DNN推理计算划分和任务卸载的数学模型。通过定义状态、动作空间和奖励,将DNN推理计算划分和任务卸载组合优化问题转换为马尔可夫决策过程下的最优策略问题。利用深度强化学习方法,从经验池中学习动态环境下边缘设备与云服务器间DNN推理计算划分和异构边缘集群间任务卸载的近似最优策略。实验结果表明,与经典DNN推理算法相比,该算法在异构动态环境下的DNN推理时延约平均降低了28.83%,能更好地满足DNN推理的低时延需求。     

基于深度强化学习的任务卸载和资源分配优化

移动边缘计算(MEC)可以在网络边缘为用户提供就近的存储和计算服务,从而为移动用户带来低能耗、低时延的优势。该文针对基于超密集网络(UDN)的多用户多MEC场景,从用户侧出发,以最小化用户计算总开销为目的,解决用户在卸载过程中的卸载决策和上传传输功率优化以及MEC计算资源分配问题。具体而言,考虑到该问题是一个具有NP-hard性质的MINLP问题,该文将该问题分解为两个子问题并通过两个阶段的方式进行求解。首先在第一个阶段设计了一种基于深度强化学习(DQN)的任务卸载决策来解决任务卸载子问题,然后在第二个阶段分别使用KKT条件以及黄金分割算法解决MEC计算资源分配和上行传输功率的优化问题。仿真结果表明,所提方案在保证用户时延约束的前提下,有效降低了用户的计算开销,提升了系统性能。     

基于深度强化学习的双层无人机边缘卸载策略

移动边缘计算(mobile edge computing, MEC)已逐渐成为有效缓解数据过载问题的手段, 而在高人流密集的场景中, 固定在基站上的边缘服务器可能会因网络过载而无法提供有效的服务. 考虑到时延敏感型的通信需求, 双层无人机(unmanned aerial vehicle, UAV)的高机动性和易部署性成为任务计算卸载的理想选择, 其中配备计算资源的顶层无人机(top-UAV, T-UAV)可以为抓拍现场画面的底层UAV (bottom-UAV, B-UAV)提供卸载服务. B-UAV搭载拍摄装置, 可以选择本地计算或将部分任务卸载给T-UAV进行计算. 文中构建了双层UAV辅助的MEC系统模型, 并提出了一种DDPG-CPER (deep deterministic policy gradient offloading algorithm based on composite prioritized experience replay)新型计算卸载算法. 该算法综合考虑了决策变量的连续性以及在T-UAV资源调度和机动性等约束条件下优化了任务执行时延, 提高了处理效率和响应速度, 以保证现场观众对比赛的实时观看体验. 仿真实验结果表明, 所提算法表现出了比DDPG等基线算法更快的收敛速度, 能够显著降低处理延迟.     

车联网中基于麻雀搜索算法的计算卸载策略

针对车联网场景下的边缘计算系统中MEC服务器负载不均衡，紧急任务无法得到优先处理的问题，提出一种基于麻雀搜索算法的计算卸载策略(COSSA)。以最小化VEC系统的任务计算时延和MEC资源服务费为目标建立数学模型，利用层次分析法根据任务的属性为每个需要卸载任务分配优先级，运用麻雀搜索算法根据目标函数找出最优的卸载决策，实现服务器负载均衡。实验结果表明，与Random、ALP和OMP策略相比，COSSA策略可以有效地降低系统开销、均衡MEC服务器负载。     

基于终端直通通信的多用户计算卸载资源优化决策

随着计算密集和时延敏感类应用的激增,移动边缘计算（MEC）被提出应用在网络边缘为用户提供计算服务。针对基站（BS）端边缘服务器计算资源有限以及网络边缘用户远距离计算卸载的时延较长等问题,提出了基于终端直通（D2D）通信的多用户计算卸载资源优化决策,将D2D融入MEC网络使用户以D2D方式直接卸载任务到相邻用户处执行,从而能够进一步降低卸载时延和能耗。首先,以最小化包括时延和能耗的系统计算总开销为优化目标,建模多用户计算卸载和多用户计算资源分配的联合优化问题;然后,将求解该问题看作是一个D2D配对过程,并提出基于稳定匹配的低复杂度的多用户计算卸载资源优化决策算法;最后,迭代求解D2D卸载的优化分配决策。通过理论证明分析了所提算法的稳定性、最优性和复杂度等特性。仿真结果表明,所提算法相较于随机匹配算法能够有效降低10%~33%的系统计算总开销,并且其性能非常接近最优的穷举搜索算法。可见,所提基于D2D卸载的决策有利于改善时延和能耗开销性能。