基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法.首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延.其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略.仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率.     

基于深度确定性策略梯度的虚拟网络功能迁移优化算法

针对NFV/SDN架构下,服务功能链(SFC)的资源需求动态变化引起的虚拟网络功能(VNF)迁移优化问题,该文提出一种基于深度强化学习的VNF迁移优化算法。首先,在底层CPU、带宽资源和SFC端到端时延约束下,建立基于马尔可夫决策过程(MDP)的随机优化模型,该模型通过迁移VNF来联合优化网络能耗和SFC端到端时延。其次,由于状态空间和动作空间是连续值集合,提出一种基于深度确定性策略梯度(DDPG)的VNF智能迁移算法,从而得到近似最优的VNF迁移策略。仿真结果表明,该算法可以实现网络能耗和SFC端到端时延的折中,并提高物理网络的资源利用率。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。     

基于强化学习的5G网络切片虚拟网络功能迁移算法

针对5G网络切片架构下业务请求动态性引起的虚拟网络功能(VNF)迁移优化问题,该文首先建立基于受限马尔可夫决策过程(CMDP)的随机优化模型以实现多类型服务功能链(SFC)的动态部署,该模型以最小化通用服务器平均运行能耗为目标,同时受限于各切片平均时延约束以及平均缓存、带宽资源消耗约束。其次,为了克服优化模型中难以准确掌握系统状态转移概率及状态空间过大的问题,该文提出了一种基于强化学习框架的VNF智能迁移学习算法,该算法通过卷积神经网络(CNN)来近似行为值函数,从而在每个离散的时隙内根据当前系统状态为每个网络切片制定合适的VNF迁移策略及CPU资源分配方案。仿真结果表明,所提算法在有效地满足各切片QoS需求的同时,降低了基础设施的平均能耗。     

基于重叠网络结构的服务功能链时空优化编排策略

网络功能虚拟化(NFV)的引入大幅降低了互联网业务的运营成本。针对现有的服务功能链(SFC)编排方法无法在优化底层资源的同时保证业务时延性能的问题,该文提出一种基于重叠网络结构的SFC时空优化编排策略。在将计算、网络资源与细粒度时延约束纳入考虑的基础上,该策略通过建立重叠网络模型实现了计算与网络资源的分离,将构建SFC所需的资源开销与相关时延共同抽象化为重叠网络链路权重,从而使SFC编排问题转化为易于求解的最短路径问题。对于需要批量处理的SFC集合设计了基于重叠网络的模拟退火迭代优化编排算法(ONSA)。通过对比实验证明了该策略下编排方案的平均端到端时延、链路资源占用率与运营开销相对其他方案分别降低29.5%, 12.4%与15.2%,请求接受率提高22.3%,虚拟网络功能(VNF)负载均衡性能得到显著提升。     

面向时延与可靠性优化的服务功能链部署方法

针对5G网络高可靠性、低时延的服务需求,该文提出一种面向时延与可靠性优化的服务功能链(SFC)部署(DROSD)方法。在不预留冗余资源的情况下,首先通过功能互斥约束来确定SFC中相邻虚拟网络功能(VNF)是否可聚合;其次通过功能性约束、资源约束选择可聚合物理节点集合,实现负载均衡,提高SFC可靠性;然后通过跳数约束进行优化,进一步筛选可聚合物理节点集合以降低SFC的端到端时延;最后通过节点可用资源、节点度以及与原节点跳数指标进行降序排列,取最大值物理节点部署VNF。SFC的路由选择,采用K-最短路径算法。仿真实验表明,该文所提算法提高了请求接受率、长期平均收益开销比,增强了SFC可靠性,降低了端到端时延,减小了平均带宽开销。     

移动边缘网络中基于用户移动的服务功能链迁移策略

移动边缘计算(Mobile Edge Computing,MEC)通过在网络边缘部署服务器,提供计算和存储资源,可为用户提供超低时延和高带宽业务。网络功能虚拟化(Network Function Virtualization,NFV)与MEC技术相结合,可在MEC服务器上提供服务功能链(Service Function Chain,SFC),提升用户的业务体验。为了保证移动用户的服务质量,需要在用户跨基站移动时将SFC迁移到合适的边缘服务器上。主要以最小化用户服务的端到端时延和运行成本为目标,提出了MEC网络中具有资源容量约束的SFC迁移策略,以实现移动用户业务的无缝迁移。仿真结果表明,与现有方案相比,该策略具有更好的有效性和高效性。     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法.首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程.然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP).最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解.仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求.     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法。首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程。然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP)。最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解。仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求。     

基于最长有效功能序列的服务功能链部署算法

服务功能链的服务性能取决于功能的部署位置和数据传输路径的选择。针对资源有限的网络中的服务功能链部署问题,该文设计了一种基于最长有效功能序列(LEFS)的服务功能链部署算法,以功能复用和带宽需求联合优化为目标,在控制路径长度的同时根据LEFS逐步搜索中继节点,直至满足服务请求。仿真结果表明,该算法能够均衡网络资源,同时优化网络的功能部署率和带宽利用率,与其他算法相比,网络资源利用率降低了10%,可以支持更多的服务请求,且算法计算复杂度低,可以实现对服务请求的快速响应。     

5G网络切片场景中基于预测的虚拟网络功能动态部署算法

针对无线虚拟化网络在时间域上业务请求的动态变化和信息反馈时延导致虚拟资源分配的不合理,该文提出一种基于长短时记忆(LSTM)网络的流量感知算法,该算法通过服务功能链(SFC)的历史队列信息来预测未来负载状态。基于预测的结果,联合考虑虚拟网络功能(VNF)的调度问题和相应的计算资源分配问题,提出一种基于最大最小蚁群算法(MMACA)的虚拟网络功能动态部署方法,在满足未来队列不溢出的最低资源需求的前提下,采用按需分配的方式最大化计算资源利用率。仿真结果表明,该文提出的基于LSTM神经网络预测模型能够获得很好的预测效果,实现了网络的在线监测;基于MMACA的VNF部署方法有效降低了比特丢失率的同时也降低了整体VNF调度产生的平均端到端时延。     

基于迁移深度强化学习的低轨卫星跳波束资源分配方案

针对低轨(LEO)卫星场景下,传统资源分配方案容易造成特定小区资源分配无法满足需求的问题,该文提出一种基于迁移深度强化学习(TDRL)的低轨卫星跳波束资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态,以最小化卫星上数据包平均时延为目标,建立支持跳波束技术的低轨卫星资源分配优化模型。其次,针对低轨卫星网络的动态多变性,该文考虑动态随机变化的通信资源和通信需求,采用深度Q网络(DQN)算法利用神经网络作为非线性近似函数。进一步,为实现并加速深度强化学习(DRL)算法在其他目标任务中的收敛过程,该文引入迁移学习(TL)概念,利用源卫星学习的调度任务快速寻找目标卫星的波束调度和功率分配策略。仿真结果表明,该文所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延,并有效提高系统的吞吐量和资源利用效率。