基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法。首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延。其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略。仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率。

     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

基于深度信念网络资源需求预测的虚拟网络功能动态迁移算法

针对5G网络场景下缺乏对资源需求的有效预测而导致的虚拟网络功能(VNF)实时性迁移问题,该文提出一种基于深度信念网络资源需求预测的VNF动态迁移算法。该算法首先建立综合带宽开销和迁移代价的系统总开销模型,然后设计基于在线学习的深度信念网络预测算法预测未来时刻的资源需求情况,在此基础上采用自适应学习率并引入多任务学习模式优化预测模型,最后根据预测结果以及对网络拓扑和资源的感知,以尽可能地减少系统开销为目标,通过基于择优选择的贪婪算法将VNF迁移到满足资源阈值约束的底层节点上,并提出基于禁忌搜索的迁移机制进一步优化迁移策略。仿真表明,该预测模型能够获得很好的预测效果,自适应学习率加快了训练网络的收敛速度,与迁移算法结合在一起的方式有效地降低了迁移过程中的系统开销和服务级别协议(SLA)违例次数,提高了网络服务的性能。     

一种基于联邦学习资源需求预测的虚拟网络功能迁移算法

针对网络切片场景下时变网络流量引起的虚拟网络功能(VNF)迁移问题,该文提出一种基于联邦学习的双向门控循环单元(FedBi-GRU)资源需求预测的VNF迁移算法。该算法首先建立系统能耗和负载均衡的VNF迁移模型,然后提出一种基于分布式联邦学习框架协作训练预测模型,并在此框架的基础上设计基于在线训练的双向门控循环单元(Bi-GRU)算法预测VNF的资源需求。基于资源预测结果,联合系统能耗优化和负载均衡,提出一种分布式近端策略优化(DPPO)的迁移算法提前制定VNF迁移策略。仿真结果表明,两种算法的结合有效地降低了网络系统能耗并保证负载均衡。     

基于强化学习的5G网络切片虚拟网络功能迁移算法

针对5G网络切片架构下业务请求动态性引起的虚拟网络功能(VNF)迁移优化问题,该文首先建立基于受限马尔可夫决策过程(CMDP)的随机优化模型以实现多类型服务功能链(SFC)的动态部署,该模型以最小化通用服务器平均运行能耗为目标,同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束。其次,为了克服优化模型中难以准确掌握系统状态转移概率及状态空间过大的问题,该文提出了一种基于强化学习框架的VNF智能迁移学习算法,该算法通过卷积神经网络(CNN)来近似行为值函数,从而在每个离散的时隙内根据当前系统状态为每个网络切片制定合适的VNF迁移策略及CPU资源分配方案。仿真结果表明,所提算法在有效地满足各切片QoS需求的同时,降低了基础设施的平均能耗。

     

基于5G接入网络的多优先级虚拟网络功能迁移开销与网络能耗联合优化算法

针对5G接入网络中虚拟网络功能(VNF)部署完成后,其资源需求发生动态变化,导致网络中物理机(PM)资源利用率过高或过低这一问题,该文首先将网络中PM的资源使用情况划分5个不同分区,提出一种多优先级VNF迁移请求队列调度模型。其次基于该模型,对VNF迁移开销的最小化及网络能耗的最小化建立联合优化模型。最后提出一种基于5G接入网络的多优先级VNF迁移开销与网络能耗联合优化算法对其进行求解。仿真结果表明,该算法在有效实现VNF迁移开销与网络能耗折中的同时,提高了PM资源利用率,保证了PM性能并均衡各PM负载。     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。     

MEC中基于改进遗传模拟退火算法的虚拟网络功能部署策略

为了有效改善多集群共存的移动边缘网络中业务流端到端服务时延,提出了一种基于改进遗传模拟退火算法的虚拟网络功能部署策略。通过开放Jackson排队网络对移动业务流的时延进行最优化建模,在证明其NP性的基础上提出了将遗传算法与模拟退火算法相结合的求解策略,该策略通过对服务节点的提前映射机制避免了可能带来的网络拥塞,并通过个体的约束性判断和纠正遗传的方法避免了局部最优的出现。在不同的服务请求量、服务节点规模、集群数量及虚拟网络功能之间的逻辑连接关系等参数下的对比实验表明,该策略能提供更低时延的端到端服务,使时延敏感类移动业务获得更好体验。     

基于深度动态贝叶斯网络的服务功能链故障诊断算法

针对5G端到端网络切片场景下底层物理节点出现故障会导致运行在其上的多条服务功能链出现性能异常的问题,该文提出一种基于深度动态贝叶斯网络(DDBN)的服务功能链故障诊断算法。首先根据网络虚拟化环境下故障的多层传播关系,构建故障与症状的依赖图模型,并采用在物理节点监测其上多个虚拟网络功能相关性能数据的方式收集症状。其次,考虑到基于软件定义网络(SDN)和网络功能虚拟化(NFV)的架构下网络症状观测数据的多样性以及物理节点和虚拟网络功能的空间相关性,引入深度信念网络对观测数据特征进行提取,使用加入动量项的自适应学习率算法对模型进行微调以加快收敛速度。最后,利用故障传播的时间相关性,引入动态贝叶斯网络对故障根源进行实时诊断。仿真结果表明,该算法能够有效地诊断故障根源且具有良好的诊断准确度。     

基于改进DDPG算法的中短期光伏发电功率预测

针对传统仿生智能算法处理异构光伏发电功率预测精确建模问题时存在的线路多阻抗参数约束下方差波动、线损分析易陷入局部极值等不足,提出了一种基于改进深度确定性策略梯度(DDPG)的中短期光伏发电功率预测模型。首先,通过引入多智能体机制,视发电系统涉及到的发电过程参数为独立活性的智能体,构建出具有社会属性的面向发电过程参数信息共享的全局最优协同控制体系。然后,通过改进的DDPG算法实现蓄电池储能功率自主精确调节和发电网输出功率的自动最优预测。最后,基于Tensorflow开源框架在Gym torcs环境下进行模型效能仿真并以某示范性异构光伏发电网为效能评价载体,对模型进行了工程应用合理性验证。     

基于拍卖多智能体深度确定性策略梯度的多无人车分散策略研究

多无人车(multi-UGV)分散在军事作战任务中应用非常广泛,现有方法较为复杂,规划时间较长,且适用性不强。针对此问题,该文提出一种基于拍卖多智能体深度确定性策略梯度(AU-MADDPG)算法的多无人车分散策略。在单无人车模型的基础上,建立基于深度强化学习的多无人车分散模型。对MADDPG结构进行优化,采用拍卖算法计算总路径最短时各无人车所对应的分散点,降低分散点分配的随机性,结合MADDPG算法规划路径,提高训练效率及运行效率;优化奖励函数,考虑训练过程中及结束两个阶段,全面考虑约束,将多约束问题转化为奖励函数设计问题,实现奖励函数最大化。仿真结果表明：与传统MADDPG算法相比,所提算法在训练时间上缩短了3.96%,路径总长度减少14.50%,解决分散问题时更为有效,可作为此类问题的通用解决方案。     

基于集成深度神经网络流量预测的动态网络切片迁移算法

针对5G网络切片(NS)场景下由于缺乏提前对物理网络资源进行感知而导致切片迁移滞后的问题,该文提出一种基于集成深度神经网络流量预测的动态切片调整和迁移算法(DSAM)。首先建立了基于计算、内存、带宽资源配置的网络总惩罚模型;其次,提出基于集成深度神经网络的流量预测算法预测未来网络流量情况,并根据流量类型的不同将其转换成对未来时刻物理网络的资源占用及切片的资源需求感知;最后,根据感知结果,以尽可能大地降低运营商惩罚为目标,通过动态切片调整和迁移策略将虚拟网络功能(VNF)和虚拟链路迁移到满足资源限制的物理节点和链路上。仿真结果表明,所提算法有效提高了切片迁移的效率和网络资源利用率。