无人机任务卸载与充电协同优化

在野外恶劣环境应用中，可以使用具有灵活性和便捷性的无人机（UAV），通过无线数据传输辅助携带用户任务到边缘服务器。然而，UAV飞行平台难以提供长时间的任务卸载服务，大大限制了其应用前景。本文研究了在移动边缘计算环境中，如何有效整合UAV的任务卸载和充电调度。首先，构建了一个新的应用模型，该模型协同处理UAV的任务卸载调度和自身充电需求，并在UAV辅助任务卸载应用场景中加入了若干个无线充电平台。其次，考虑了用户任务的价值和UAV的充电需求，以在时延敏感和能量约束的条件下优化UAV辅助用户设备进行任务卸载的收益。最后，采用深度强化学习算法，对深度Q网络（DQN）进行调优后形成Fixed DQN算法，以有效处理模型中的大规模状态动作搜索空间问题。本文以UAV仅作为任务载体并考虑其自主充电需求为前提，通过在一个半径为3000 m、含有11个节点的区域验证Fixed DQN算法的可行性；并在不同用户节点数量、充电节点数量及服务时间条件下，通过与蚁群算法、遗传算法和DQN算法的对比实验评估其性能。实验结果表明：本文提出的Fixed DQN算法在所有测试条件下均显著优于蚁群算法、遗传算法和DQN算法，特别是在节点数量增加和服务时间延长的情景中；此外，Fixed DQN算法相对于DQN算法的性能提升突显了深度强化学习在参数调优方面的有效性。研究结果证实了Fixed DQN算法在解决UAV任务卸载和充电调度问题中的高效性和调参策略的重要性。     

MEC网络中基于强化学习的任务卸载和资源分配

针对基于移动边缘计算（mobile edge computing, MEC）的双层蜂窝网络中由于移动设备的任务迁移而产生额外开销的问题,在移动感知下通过联合任务卸载和资源分配来减少任务迁移概率,进而最大化用户总收益。首先,提出了最大化用户总收益的最优化问题;其次,在考虑时变的计算任务和资源分配下,将最优化问题描述为一个马尔科夫决策过程(Markov decision process, MDP),同时,提出了一个新颖的采用基于Q-学习的强化学习算法（reinforcement learning-based algorithm with Q-learning method, RLAQM）进行求解;最后,仿真验证了所提出的算法与其他算法相比能明显提高用户总收益。     

MEC计算卸载与资源分配联合智能优化方案

移动边缘计算(MEC)中的分布式基站部署、有限的服务器资源和动态变化的终端用户使得计算卸载方案的设计极具挑战。鉴于深度强化学习在处理动态复杂问题方面的优势,设计了最优的计算卸载和资源分配策略,目的是最小化系统能耗。首先考虑了云边端协同的网络框架;然后将联合计算卸载和资源分配问题定义为一个马尔可夫决策过程,提出一种基于多智能体深度确定性策略梯度的学习算法,以最小化系统能耗。仿真结果表明,该算法在降低系统能耗方面的表现明显优于深度确定性策略梯度算法和全部卸载策略。     

异构网络中任务卸载与资源分配联合优化算法

在有限的网络边缘资源约束下,考虑到业务的多样性和网络接入的异构性对任务卸载和计算资源分配的影响,在本地和服务器共同处理任务的背景下,提出了一种异构网络场景下结合李雅普诺夫优化理论和搜索树算法对任务卸载和计算资源分配的联合优化方法,分析了卸载收益与延迟之间的折中关系,优化了任务卸载与计算资源分配。同时,为了对搜索树进行快速分支定界,设计了一种卸载优先级准则。最后,通过仿真实验验证了所提算法的有效性和合理性。     

车辆边缘计算中基于深度学习的任务判别卸载

车辆边缘计算（VEC）将移动边缘计算（MEC）与车联网（IoV）技术相结合,将车载任务下沉至网络边缘,以此解决车辆终端计算能力有限问题。为了克服任务数量骤增的车载任务调度难题并提供一个低时延服务环境,首先依据所选的5大特征参数的动态关联变化准则,使用改进型层次分析法（AHP）将车载任务划分为3类主要任务,基于3种卸载决策进行资源分配联合建模;随后,利用调度算法和罚函数来消除建模的约束条件,所获的代价值为之后的深度学习算法提供输入;最后,提出一种基于深度学习的分布式卸载网络算法来有效降低VEC系统的能耗与时延。仿真实验结果表明,所提卸载方案相较传统深度学习卸载方案具有更好环境适应性与稳定性,并降低了任务平均处理时延与能耗。     

基于深度强化学习的边云协同串行任务卸载算法

在移动边缘计算任务卸载问题中,传统卸载算法仅考虑移动设备和边缘服务器计算资源,在资源利用、系统效能上存在一定的局限性.该文基于RainbowDQN算法,考虑了延迟、能耗成本和服务质量保证等因素,提出了一种边缘云协同串行任务卸载算法(ECWS-RDQN).该算法通过对串行任务的权重分配,实现了网络边缘和云端协同的串行任务...     

基于SMDP模型的车路协同任务智能卸载算法

在车路协同系统中,车辆的高机动性会使边缘节点难以控制计算时延。对此,提出了基于半马尔可夫过程的任务卸载策略,定义了道路服务节点的优先级队列、状态空间、行为空间、系统收益和转移概率,用于构建任务等待队列模型。通过在服务节点覆盖范围内增加车载任务的完成率提高了整个系统的收益。此外,使用贝尔曼方程进行迭代,使系统的状态空间达到最优。仿真实验结果表明,所提的任务卸载策略可有效提高车路协同系统的整体收益。     

移动边缘计算场景下基于免疫优化的任务卸载

移动边缘计算通过将计算资源和存储资源下沉到移动网络的边缘,可以减少移动终端的任务计算时延和能耗,从而有效满足移动互联网、物联网高速发展所需的高回传带宽、低时延的要求.计算卸载作为移动边缘计算的一个主要优势,它通过将繁重的计算任务迁移到边缘服务器来提高移动服务能力.针对移动边缘计算场景下移动终端应用的低时延和低能耗的卸载...     

确定性网络跨域传输架构与DRL流量调度算法

针对时间敏感网络的跨域传输问题,提出了确定性跨域传输架构和基于深度强化学习(DRL)的调度算法。确定性跨域传输是一种融合循环队列转发与确定性网际互连协议的广域确定性组网架构,通过定义跨域周期映射函数,建立基于时隙的确定性传输通道,保障有界的传输时延;基于DRL的时隙路径联合在线调度算法,定义DRL状态、动作和奖励,以收益和最大化为目标对不同收益的业务流进行调度。实验结果表明,所提跨域传输架构和调度算法可以保障端到端的确定性传输,显著提高了流量调度收益值,以保障重要流量的传输。     

改进深度强化学习算法的计算卸载策略

为了降低移动边缘计算(Mobile Edge Computing,MEC)系统的成本、提高计算效率,提出了一种改进深度强化学习算法的计算卸载策略.在任务卸载执行的时延中引入排队时延的计算,利用优先经验重放(Prioritized Experi-ence Replay,PER)方法对历史经验赋予优先级,优先采样高优先级的...     

基于交替方向乘子法与深度强化学习算法的资源分配

为了研究在有限信道状态信息下,密集型网络的资源分配问题,提出了交替方向乘子法结合深度强化学习算法的模型驱动学习框架。该框架区别于数据驱动框架,能够根据具体问题进行一对一建模。针对资源分配的问题建模内容包括：将基站选择、功率和子载波分配用交替方向乘子法进行交替优化;用深度强化学习算法优化权重,求解目标函数,提高算法性能;框架利用有效信道状态信息而非多余信息,降低了通信开销;加强对最低用户服务质量要求参数的约束,可以在保证用户的体验下最大化小区频谱效率。仿真结果表明,该模型驱动学习框架在较少的迭代次数下即可收敛。     

基于强化学习的云计算资源调度策略研究

提出了一种基于强化学习的云计算虚拟机资源调度问题的解决方案和策略。构建了虚拟机的动态负载调度模型,将虚拟机资源调度问题描述为马尔可夫决策过程。根据虚拟机系统调度模型构建状态空间和虚拟机数量增减空间,并设计了动作的奖励函数。采用Q值强化学习机制,实现了虚拟机资源调度策略。在云平台的虚拟机模型中,对按需增减虚拟机数量和虚拟机动态迁移两种场景下的学习调度策略进行了仿真,验证了该方法的有效性。     

缓存辅助边缘计算的卸载决策与资源优化

提出一种缓存辅助边缘计算的卸载决策制定与资源优化方案,以进一步降低移动边缘计算（MEC）系统中终端设备的能量消耗.首先,建立该优化问题为最小化用户在任务执行时最坏情况下的能耗值,并将这一混合整数规划问题转化为非凸的二次约束二次规划（QCQP）模型,使用半定松弛及随机概率映射方法获得缓存辅助下的预选卸载集合;其次,分别采用拉格朗日对偶分解法和二分法求得性能约束下的最优传输功率及边缘计算资源分配,从而通过对比该集合中的设备能耗得到理想的卸载决策集合与资源分配方案.实验数值结果表明,所提方案能够有效降低用户能量消耗,提升边缘计算系统的服务性能.     

基于DRL的6G多租户网络切片智能资源分配算法

未来第6代移动通信系统（6G）网络服务支持虚实结合、实时交互,亟需快速匹配多租户个性化服务需求,对此,提出了一种两层递阶的网络切片智能管理方案,上层部署全局资源管理器,下层部署面向不同租户的本地资源管理器.首先,考虑不同租户多类型切片请求的差异性,基于端到端切片的实时状态描述建立服务质量评估模型.结合服务质量反馈,利用深度强化学习（DRL）算法,优化上层全局资源分配和下层局部资源调整,提升不同域多维资源的使用效益,并使能租户资源定制化.仿真结果表明,所提方案能够在优化资源供应商长期收益的同时,保障服务质量.     

基于强化学习的集装箱码头卡车调度策略研究

研究同时服务于装船和卸船作业的集卡全场调度策略,调度优化目标包括减少岸桥等待集卡的时间以及减少集卡的空载行程。提出了基于Q学习算法的集卡调度强化学习模型,对其系统状态、动作策略、报酬函数进行分析,并结合小脑模型关节控制器(CMAC)神经网络对Q函数进行泛化和逼近。仿真结果表明,与其他集卡调度策略相比,Q学习算法的优化效果比较明显,其在保证岸桥连续作业的同时,还能有效减少集卡的空载行程。     

基于模糊聚类的云计算集群资源调度算法

针对现有的云计算集群资源调度算法具有的负载不均衡和在线动态适应能力不强的缺点,提出了一种基于模糊聚类的云计算动态集群资源调度算法。首先,构建了云计算环境下的资源调度模型。然后采用模糊聚类对云计算集群资源进行聚类,根据节点与所有聚类中心的距离判断是否需要增减聚类数量。当新任务到来时,自动计算其到各个聚类中心的距离,将具有最小聚类距离的聚类中心分配给该任务。在Cloudsim环境下进行仿真试验,结果表明该方法能有效地实现云计算集群资源的动态调度,且较其它方法相比,具有反应实时和负载均衡的优点,是一种适合云计算环境的可行任务调度方法。     

基于权值的Hadoop调度算法改进与实现

针对当前Hadoop集群自带的任务级调度分配方法在实际处理作业时存在资源分配不均的问题,提出了一种基于权值的任务调度分配算法。该算法结合节点当前的负载状态、节点物理性能和任务优先级等作为依据,通过权值排序当前的作业队列并将空闲资源优先分配给权值高的任务,从而实现运行过程中作业任务的自适应动态调度。实验结果表明,改进算法相比原来的FIFO算法有30％的性能提升。