面向车联网的多智能体强化学习边云协同卸载

车联网边缘计算是实现车联网系统低时延和高可靠性的关键技术,但现有方法普遍存在场景趋同和系统建模局限的问题,同时包含复杂的训练过程并面临维灾风险。通过结合云计算技术,提出一种基于多智能体强化学习的边云协同卸载方案。依据随机几何理论计算卸载节点覆盖概率,对车辆节点与卸载对象进行预配对。利用线性Q函数分解方法反映每个智能体多效用因子与任务决策间的映射关系,通过云端协同机制将智能体决策记录作为经验上传到云端,并在云端将训练更完备的神经网络反馈到边缘节点。仿真结果表明,该方案在功耗和延时方面性能优于单一固定边缘的计算策略,且算法复杂度较低,能够有效提升边云协同卸载能力,实现低时延、高可靠的任务卸载。     

基于SAC强化学习的车联网频谱资源动态分配

针对车联网频谱资源稀缺问题,提出一种基于柔性致动-评价（SAC）强化学习算法的多智能体频谱资源动态分配方案。以最大化信道总容量与载荷成功交付率为目标,建立车辆-车辆（V2V）链路频谱资源分配模型。将每条V2V链路作为单个智能体,构建多智能体马尔科夫决策过程模型。利用SAC强化学习算法设计神经网络,通过最大化熵与累计奖励和以训练智能体,使得V2V链路经过不断学习优化频谱资源分配。仿真结果表明,与基于深度Q网络和深度确定性策略梯度的频谱资源分配方案相比,该方案可以更高效地完成车联网链路之间的频谱共享任务,且信道传输速率和载荷成功交付率更高。     

无人机辅助的双层深度强化学习任务卸载算法

为了解决无人机轨迹优化、用户功率分配和任务卸载策略问题,提出了一种双层深度强化学习任务卸载算法。上层采用多智能体深度强化学习来优化无人机的轨迹,并动态分配用户的传输功率以提高网络传输速率;下层采用多个并行的深度神经网络来求解最优卸载决策以最小化网络的时延和能耗。仿真结果表明,该算法使得无人机能够跟踪用户的移动,显著降低系统的时延和能耗,能够给用户提供更优质的任务卸载服务。     

车载边缘计算中基于深度强化学习的协同计算卸载方案

车载边缘计算(Vehicular Edge Computing,VEC)是一种可实现车联网低时延和高可靠性的关键技术,用户将计算任务卸载到移动边缘计算(Mobile Edge Computing,MEC)服务器上,不仅可以解决车载终端计算能力不足的问题,而且可以减少能耗,降低车联网通信服务的时延。然而,高速公路场景下车辆移动性与边缘服务器静态部署的矛盾给计算卸载的可靠性带来了挑战。针对高速公路环境的特点,研究了临近车辆提供计算服务的可能性。通过联合MEC服务器和车辆的计算资源,设计并实现了一个基于深度强化学习的协同计算卸载方案,以实现在满足任务时延约束的前提下最小化所有任务时延的目标。仿真实验结果表明,相比于没有车辆协同的方案,所提方案可以有效降低时延和计算卸载失败率。     

车联网中基于DDQN的边云协作任务卸载机制

面对车载终端数据计算量的爆炸式增长,计算卸载是缓解车辆资源不足的有效手段。相比于单独研究云计算或边缘计算,让两者相互协作可以实现优势互补,提高系统的整体服务质量。在车联网中,制定适应环境动态性的卸载决策存在较大困难,其中任务的紧急程度也是一个不容忽视的因素。构建一个基于软件定义网络的边云协作任务卸载架构,并设计任务优先级的度量标准,将动态环境中的任务卸载决策问题建模为马尔可夫决策过程,从而最大化由时延和成本构成的任务平均效用。为了求解任务卸载决策,提出基于双深度Q网络的任务卸载决策算法以及基于优先级的资源分配方案,并设计一种卸载比例计算方法,以保障卸载的任务量能够在通信时间内上传完成的同时最小化任务处理时延。实验结果表明,相比于全部本地、全部卸载和平均分配资源3种固定的卸载算法,该算法时延和效用性能提高了2倍以上,在车辆数目适中的情况下,任务的完成比例可以稳定保持在100%。     

时间和能量敏感的端——边—云车路协同系统资源调度优化方法

随着信息技术的不断发展,智能交通系统逐渐成为未来交通的发展方向.然而,智能交通系统中时间敏感型和计算密集型应用的日益增多,给资源有限的车辆终端带来了严峻挑战.端—边—云层次性计算架构是应对该挑战的有效手段.在基于端—边—云架构的车路协同系统中,车辆用户可以将时间敏感型任务卸载到附近的路边单元执行以保证应用的实时性,而将计算密集型任务卸载到云以满足其算力需求.但是,任务卸载也会导致额外的传输时延和能量开销.此外,任务在传输过程也可能遭受错误而导致可靠性降低.因此,为保障端—边—云车路协同系统中车辆的用户体验,提出一种基于多智能体强化学习的资源调度方案.该方案通过充分利用端—边—云架构的特点并采用集中训练—分散执行的框架来构建深度神经网络,以制定任务卸载和车路计算资源分配的最优决策,最终实现可靠性约束下的系统时延和能耗优化.为验证所提方案的有效性,实验通过效用值来体现算法在时延和能耗2方面的优化.实验结果表明,与现有算法相比,所提方案在满足可靠性约束的前提下,效用值可以提高到221.9%.     

具有隐私保护的车联网边缘计算任务卸载资源分配策略

针对车联网任务卸载的资源最优化问题，以无线供能移动边缘计算(WP-MEC)系统为基础，提出一种关于计算时间分配、能耗、本地计算能力和任务卸载的联合优化方案。在该系统中，将“收集然后传输”协议应用于车辆的能量采集和消耗阶段，确保车辆可以持续工作。为求解该最优化问题，提出一种基于模拟退火算法的系统能量效率最大化算法。实验结果表明，所提策略的平均电池电量比全卸载模式、仅本地计算模式提高了40%以上，有效降低了系统时延，验证了所提策略的有效性和高效性。     

基于软件定义网络和移动边缘计算的车联网高效任务卸载方案

随着车联网(IoV)中车辆和智能应用数目的增加使计算密集型任务激增,传统架构难以满足用户需求。为解决车联网计算资源不足且分配不均匀、应用时延需求无法满足、任务能耗成本较高的问题,结合移动边缘计算(MEC)和软件定义网络(SDN),设计了一种从宏基站到MEC服务器到车辆的车联网架构中的高效任务卸载方案,并提出一种改进的低复杂度非支配排序遗传算法,优化任务卸载成本和MEC服务器的负载均衡率。实验仿真结果表明,相比于随机卸载,NO-MEC卸载,NO-I卸载,传统NSGA、NSGA-Ⅱ卸载,GA卸载,Q-learning卸载,DQN卸载方案,所提方案有着更低的卸载成本,更优的负载均衡率,得到近似最高的系统效用,能够给车联网中的车辆用户带来更优质的网络服务。     

基于强化学习的车联网隐私保护和资源优化策略

车联网使人们的生活更加智能便捷,但是数据隐私问题和车辆有限的本地资源状况严重阻遏了其未来发展。为了解决上述问题,提出了基于联邦学习和强化学习的车联网隐私保护和资源优化策略。系统中的隐私保护模块通过全局模型下发和上传的方式代替传统的原始数据交互,解决了传统算法的数据和隐私泄露问题;资源优化模块通过建立强化学习决策模块对系统资源进行评估,选择具有最长远效益的决策,优化有限的系统资源。仿真结果表明：本文中提出的基于强化学习选择算法相较于联邦学习交互算法,系统总能耗降低77%以上;相较于传统算法,基于强化学习选择算法传输数据量降低了98.49%。     

基于深度强化学习的车辆边缘计算任务卸载方法

车辆边缘计算允许车辆将计算任务卸载到边缘服务器,从而满足车辆爆炸式增长的计算资源需求。但是如何进行卸载决策与计算资源分配仍然是亟待解决的关键问题。并且,运动车辆在连续时间内进行任务卸载很少被提及,尤其对车辆任务到达随机性考虑不足。针对上述问题,建立动态车辆边缘计算模型,描述为7状态2动作空间的Markov决策过程,并建立一个分布式深度强化学习模型来解决问题。另外,针对离散—连续混合决策问题导致的效果欠佳,将输入层与一阶决策网络嵌套,提出一种分阶决策的深度强化学习算法。仿真结果表明,所提算法相较于对比算法,在能耗上保持了较低水平,并且在任务完成率、时延和奖励方面都具备明显优势,这为车辆边缘计算中的卸载决策与计算资源分配问题提供了一种有效的解决方案。     

基于深度强化学习的多配送中心车辆路径规划

多配送中心车辆路径规划(multi-depot vehicle routing problem, MDVRP)是现阶段供应链应用较为广泛的问题模型,现有算法多采用启发式方法,其求解速度慢且无法保证解的质量,因此研究快速且有效的求解算法具有重要的学术意义和应用价值.以最小化总车辆路径距离为目标,提出一种基于多智能体深度强化学习的求解模型.首先,定义多配送中心车辆路径问题的多智能体强化学习形式,包括状态、动作、回报以及状态转移函数,使模型能够利用多智能体强化学习训练;然后通过对MDVRP的节点邻居及遮掩机制的定义,基于注意力机制设计由多个智能体网络构成的策略网络模型,并利用策略梯度算法进行训练以获得能够快速求解的模型;接着,利用2-opt局部搜索策略和采样搜索策略改进解的质量;最后,通过对不同规模问题仿真实验以及与其他算法进行对比,验证所提出的多智能体深度强化学习模型及其与搜索策略的结合能够快速获得高质量的解.     

多智能体深度强化学习及其可扩展性与可迁移性研究综述

得益于深度学习强大的特征表达能力和强化学习有效的策略学习能力,深度强化学习在一系列复杂序贯决策问题中取得了令人瞩目的成就.伴随着深度强化学习在诸多单智能体任务中的成功应用,其在多智能体系统中的研究方兴未艾.近年来,多智能体深度强化学习在人工智能领域备受关注,可扩展与可迁移性已成为其中的核心研究点之一.鉴于此,首先阐释深度强化学习的发展脉络和典型算法,介绍多智能体深度强化学习的3种学习范式,分析两类多智能体强化学习的典型算法,即分解值函数方法和中心化值函数方法;然后归纳注意力机制、图神经网络等6类具有可扩展性的多智能体深度强化学习模型,梳理迁移学习和课程学习在多智能体深度强化学习可迁移性方向的研究进展;最后讨论多智能体深度强化学习的应用前景与研究方向,为未来多智能体深度强化学习的进一步发展提供可借鉴的参考.     

基于多微云协作的计算任务卸载

针对多微云计算模式下计算任务卸载过程复杂、任务响应时间长的问题,构建面向多微云协作的计算任务卸载模型,并提出加权自适应惯性权重的粒子群优化（WAIW-PSO）算法,快速求解最优卸载策略。首先,对移动终端-微云-远程云的任务执行过程进行建模;其次,考虑多用户对计算资源的竞争,构建基于多微云协作的任务卸载模型;最后,针对求解最佳任务卸载策略复杂度过高的情况,提出WAIW-PSO算法求解卸载问题。仿真实验结果表明,与标准粒子群优化（PSO）算法以及基于高斯函数递减惯性权重的粒子群优化（GDIWPSO）算法相比,WAIW-PSO算法可以根据进化代数和个体适应度综合调整惯性权重,寻优能力较强,求解最优卸载策略的时间最短;在不同设备数、任务数等情况下选择不同任务卸载策略进行对比实验的结果表明,基于WAIW-PSO算法的卸载策略可以明显缩短任务总完成时间。     

车联网中深度强化学习辅助的RAN切片和任务卸载联合优化

车联网特点包括多种业务并存、车辆高速移动、车流在时域和空域分布不匀等,使得任务卸载和资源分配面临许多挑战性问题.本文提出一种深度强化学习辅助的无线接入网(Radio Access Network, RAN)切片和任务卸载联合优化方法,目的是最大化车联网任务完成数量.设计一种多时间尺度、多维资源切片框架,为不同类型任务的卸载提供差异化服务质量(Quality-of-Service, QoS)保障.在该框架下,任务完成数量最大化问题被建模为一个带约束的长时累积优化问题.该问题被解耦为大时间尺度上的RAN切片子问题与小时间尺度上的任务调度子问题.每当一个新切片窗口到来,控制器通过一种最优化方法为切片分配频谱和计算资源.切片窗口内各个时隙的工作流调度由一种基于深度强化学习的任务调度算法决定.该算法综合考虑车速、行驶方向、基站资源等因素,可以根据网络态势变化动态地在不同基站之间分配任务,实现全网资源的高效利用.仿真结果表明,所提方案在任务完成率、环境适应性等方面优于现有典型的基准方法.     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算（MEC）服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法。在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN。实验结果表明,在不同目标函数中,Based DQN算法的优化效果优于全部本地卸载算法、随机卸载与分配算法、最小完成时间算法和多平台卸载智能资源分配算法,且在新目标函数下优势更为突出,验证了所提优化方法的有效性。     

基于联邦学习的车联网多维资源动态分配算法

考虑到车联网系统中多维资源消耗会随时间波动的特性和用户对高效计算服务以及数据隐私安全的需求,提出了一种基于联邦学习的车联网多维资源分配方法。一方面,综合考虑计算、缓存和带宽资源分配,保证计算任务的完成率,避免多维资源的冗余分配,基于该目标设计了一种深度学习算法,通过边缘服务器收集的数据预测各项资源的消耗量,以此为依据分配多维资源;另一方面,考虑到用户的数据隐私安全需求造成的数据孤岛问题,采用联邦学习架构以获得泛化性较好的神经网络模型。该算法能随时间调整多维资源的分配量,满足随时间变动的资源需求,保证车联网系统中计算任务的高效完成。实验结果表明该算法具有收敛速度快、模型泛化性好等特点,能以较少的通信轮数完成联邦学习的聚合。     

基于改进深度强化学习的动态移动机器人协同计算卸载

移动边缘计算是解决机器人大计算量任务需求的一种方法。传统算法基于智能算法或凸优化方法,迭代时间长。深度强化学习通过一次前向传递即可求解,但只针对固定数量机器人进行求解。通过对深度强化学习分析研究,在深度强化学习神经网络中输入层前进行输入规整,在输出层后添加卷积层,使得网络能够自适应满足动态移动机器人数量的卸载需求。最后通过仿真实验验证,与自适应遗传算法和强化学习进行对比,验证了所提出算法的有效性及可行性。     

多智能体深度强化学习的若干关键科学问题

强化学习作为一种用于解决无模型序列决策问题的方法已经有数十年的历史, 但强化学习方法在处理高维变量问题时常常会面临巨大挑战. 近年来, 深度学习迅猛发展, 使得强化学习方法为复杂高维的多智能体系统提供优化的决策策略、在充满挑战的环境中高效执行目标任务成为可能. 本文综述了强化学习和深度强化学习方法的原理, 提出学习系统的闭环控制框架, 分析了多智能体深度强化学习中存在的若干重要问题和解决方法, 包括多智能体强化学习的算法结构、环境非静态和部分可观性等问题, 对所调查方法的优缺点和相关应用进行分析和讨论. 最后提供多智能体深度强化学习未来的研究方向, 为开发更强大、更易应用的多智能体强化学习控制系统提供一些思路.     

基于加权值函数分解的多智能体分层强化学习技能发现方法

针对目前大多数多智能体强化学习算法在智能体数量增多以及环境动态不稳定的情况下导致的维度爆炸和奖励稀疏的问题，提出了一种基于加权值函数分解的多智能体分层强化学习技能发现算法。首先，该算法将集中训练分散执行的架构与分层强化学习相结合，在上层采用加权值函数分解的方法解决智能体在训练过程中容易忽略最优策略而选择次优策略的问题；其次，在下层采用独立Q学习算法使其能够在多智能体环境中分散式地处理高维复杂的任务；最后，在底层独立Q学习的基础上引入技能发现策略，使智能体之间相互学习互补的技能。分别在简易团队运动和星际争霸Ⅱ两个仿真实验平台上对该算法与多智能体强化学习算法和分层强化学习算法进行对比，实验表明，该算法在奖励回报以及双方对抗胜率等性能指标上都有所提高，提升了整个多智能体系统的决策能力和收敛速度，验证了算法的可行性。     

面向车联网的联邦学习模型定制框架及算法改进

针对车联网联邦学习服务难以满足用户训练个性化模型的需求,提出一种创新性的车联网联邦学习模型定制化服务框架。该框架采用了一种融合设备贡献度和数据集相似性的联邦学习聚合算法,实现了个性化联邦学习。该算法通过不同权重分配方式和相似性计算,使得不同用户可以根据自己的需求和数据特征,选择合适的模型训练方案。该框架还提出了一种双重抽样验证方法,解决了模型性能和可信度问题;此外,利用智能合约支持数据协作,保障了数据的安全性。实验结果表明,提出算法在大多数实验场景中表现出较高的准确率,该框架可以显著提高车联网服务的个性化水平,同时保证模型的准确性和可靠性。