基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络(NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法.首先,建立了马尔科夫决策过程(MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束.其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略.最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题.仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延.     

基于改进深度强化学习的虚拟网络功能部署优化算法

针对网络功能虚拟化/软件定义网络 (NFV/SDN)架构下,网络服务请求动态到达引起的服务功能链(SFC)部署优化问题,该文提出一种基于改进深度强化学习的虚拟网络功能(VNF)部署优化算法。首先,建立了马尔科夫决策过程 (MDP)的随机优化模型,完成SFC的在线部署以及资源的动态分配,该模型联合优化SFC部署成本和时延成本,同时受限于SFC的时延以及物理资源约束。其次,在VNF部署和资源分配的过程中,存在状态和动作空间过大,以及状态转移概率未知等问题,该文提出了一种基于深度强化学习的VNF智能部署算法,从而得到近似最优的VNF部署策略和资源分配策略。最后,针对深度强化学习代理通过ε贪婪策略进行动作探索和利用,造成算法收敛速度慢等问题,提出了一种基于值函数差异的动作探索和利用方法,并进一步采用双重经验回放池,解决经验样本利用率低的问题。仿真结果表示,该算法能够加快神经网络收敛速度,并且可以同时优化SFC部署成本和SFC端到端时延。     

运营商网络中基于深度强化学习的服务功能链迁移机制

为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。     

基于深度Q网络的在线服务功能链部署方法

针对5G网络资源状态动态变化和网络模型高维度下服务功能链部署的复杂性问题,该文提出一种基于深度Q网络的在线服务功能链部署方法(DeePSCD)。首先,为描述网络资源动态变化的特征,将服务功能链部署建模成马尔可夫决策过程,然后,针对系统资源模型的高维度问题采用深度Q网络的方法进行在线服务功能链部署策略求解。该方法可以有效描述网络资源状态的动态变化,特别是深度Q网络能有效克服求解复杂度,优化服务功能链的部署开销。仿真结果表明,所提方法在满足服务时延约束条件下降低了服务功能链的部署开销,提高了运营商网络的服务请求接受率。     

基于深度Q网络的在线服务功能链部署方法

针对5G网络资源状态动态变化和网络模型高维度下服务功能链部署的复杂性问题,该文提出一种基于深度Q网络的在线服务功能链部署方法(DeePSCD).首先,为描述网络资源动态变化的特征,将服务功能链部署建模成马尔可夫决策过程,然后,针对系统资源模型的高维度问题采用深度Q网络的方法进行在线服务功能链部署策略求解.该方法可以有效描述网络资源状态的动态变化,特别是深度Q网络能有效克服求解复杂度,优化服务功能链的部署开销.仿真结果表明,所提方法在满足服务时延约束条件下降低了服务功能链的部署开销,提高了运营商网络的服务请求接受率.     

基于多智能体柔性演员-评论家学习的服务功能链部署算法

针对网络功能虚拟化(NFV)架构下业务请求动态变化引起的服务功能链(SFC)部署优化问题,该文提出一种基于多智能体柔性演员-评论家(MASAC)学习的SFC部署优化算法。首先,建立资源负载惩罚、SFC部署成本和时延成本最小化的模型,同时受限于SFC端到端时延和网络资源预留阈值约束。其次,将随机优化问题转化为马尔可夫决策过程(MDP),实现SFC动态部署和资源的均衡调度,还进一步提出基于业务分工的多决策者编排方案。最后,在分布式多智能体系统中采用柔性演员-评论家(SAC)算法以增强探索能力,并引入了中央注意力机制和优势函数,能够动态和有选择性地关注获取更大部署回报的信息。仿真结果表明,所提算法可以实现负载惩罚、时延和部署成本的优化,并随业务请求量的增加能更好地扩展。     

基于知识图谱的服务功能链在线部署算法

沉浸式云XR、全息通信等新型网络业务的出现对网络服务质量提出了更高的要求。为保证网络服务的可获得性,在实施虚拟网络功能部署时,必须根据网络功能的属性以及之间的依赖关系,将网络服务的时延、可靠性等控制在一定的服务质量等级内。然而邻接矩阵、边表等传统的网络表征形式无法涵盖这些关键网络信息,造成算法在输入阶段的信息缺失,进而导致计算结果的偏差。因此,为了准确提取用户需求,反映网络资源的动态变化,采用知识图谱对网络及其业务进行表征,提出了一种基于知识图谱的服务功能链在线部署算法。所提算法对网络业务请求与底层网络分别进行知识提取,构建或更新相应的知识图谱,分解出它们的关系集合,并基于此设计了一种基于编辑距离的关系对齐方法,指导复杂依赖关系下的服务功能链在线部署。实验表明,所提算法使复杂网络环境下的服务功能链部署请求接收率提高了10%～15%,网络平均能耗降低了约13%,且复杂度低,时效性较强。     

面向时延与可靠性优化的服务功能链部署方法

针对5G网络高可靠性、低时延的服务需求,该文提出一种面向时延与可靠性优化的服务功能链(SFC)部署(DROSD)方法。在不预留冗余资源的情况下,首先通过功能互斥约束来确定SFC中相邻虚拟网络功能(VNF)是否可聚合;其次通过功能性约束、资源约束选择可聚合物理节点集合,实现负载均衡,提高SFC可靠性;然后通过跳数约束进行优化,进一步筛选可聚合物理节点集合以降低SFC的端到端时延;最后通过节点可用资源、节点度以及与原节点跳数指标进行降序排列,取最大值物理节点部署VNF。SFC的路由选择,采用K-最短路径算法。仿真实验表明,该文所提算法提高了请求接受率、长期平均收益开销比,增强了SFC可靠性,降低了端到端时延,减小了平均带宽开销。     

基于深度动态贝叶斯网络的服务功能链故障诊断算法

针对5G端到端网络切片场景下底层物理节点出现故障会导致运行在其上的多条服务功能链出现性能异常的问题,该文提出一种基于深度动态贝叶斯网络(DDBN)的服务功能链故障诊断算法。首先根据网络虚拟化环境下故障的多层传播关系,构建故障与症状的依赖图模型,并采用在物理节点监测其上多个虚拟网络功能相关性能数据的方式收集症状。其次,考虑到基于软件定义网络(SDN)和网络功能虚拟化(NFV)的架构下网络症状观测数据的多样性以及物理节点和虚拟网络功能的空间相关性,引入深度信念网络对观测数据特征进行提取,使用加入动量项的自适应学习率算法对模型进行微调以加快收敛速度。最后,利用故障传播的时间相关性,引入动态贝叶斯网络对故障根源进行实时诊断。仿真结果表明,该算法能够有效地诊断故障根源且具有良好的诊断准确度。     

基于改进灰狼优化算法的服务功能链映射算法

随着工业互联网、车联网、元宇宙等新型互联网应用的兴起,网络的低时延、可靠性、安全性、确定性等方面的需求正面临严峻挑战。采用网络功能虚拟化技术在虚拟网络部署过程中,存在服务功能链映射效率低与部署资源开销大等问题,联合考虑节点激活成本、实例化开销,以最小化平均部署网络成本为优化目标建立了整数线性规划模型,提出基于改进灰狼优化算法的服务功能链映射(improved grey wolf optimization based service function chain mapping,IMGWO-SFCM)算法。该算法在标准灰狼优化算法基础上添加了基于无环K最短路径(K shortest path,KSP)问题算法的映射方案搜索、映射方案编码以及基于反向学习与非线性收敛改进三大策略,较好地平衡了其全局搜索及局部搜索能力,实现服务功能链映射方案的快速确定。仿真结果显示,该算法在保证更高的服务功能链请求接受率下,相较于对比算法降低了11.86%的平均部署网络成本。     

基于迁移演员-评论家学习的服务功能链部署算法

针对5G网络切片环境下由于业务请求的随机性和未知性导致的资源分配不合理从而引起的系统高时延问题,该文提出了一种基于迁移演员-评论家(A-C)学习的服务功能链(SFC)部署算法(TACA)。首先,该算法建立基于虚拟网络功能放置、计算资源、链路带宽资源和前传网络资源联合分配的端到端时延最小化模型,并将其转化为离散时间马尔可夫决策过程(MDP)。而后,在该MDP中采用A-C学习算法与环境进行不断交互动态调整SFC部署策略,优化端到端时延。进一步,为了实现并加速该A-C算法在其他相似目标任务中(如业务请求到达率普遍更高)的收敛过程,采用迁移A-C学习算法实现利用源任务学习的SFC部署知识快速寻找目标任务中的部署策略。仿真结果表明,该文所提算法能够减小且稳定SFC业务数据包的队列积压,优化系统端到端时延,并提高资源利用率。     

基于自然梯度Actor-Critic强化学习的卫星边缘网络服务功能链部署方法

鉴于低轨卫星网络的高动态性和空间环境的复杂性,如何提供在线的快速服务功能链(SFC)部署方法,成为低轨卫星边缘网络中亟待解决的问题。综合考虑节点和链路容量等约束以及服务迁移等切换代价,针对部署多接入边缘计算(MEC)服务器的低轨卫星网络,该文提出一种基于自然梯度参与者-评价者(Actor-Critic)强化学习架构的SFC在线部署方法。首先,针对低轨卫星网络的环境高动态性, 对实时容量约束和迁移代价进行建模;其次,引入马尔可夫决策过程(MDP),综合考虑服务迁移和卫星坐标等因素,描述低轨卫星网络的状态转移过程;最后,提出一种基于自然梯度的在线SFC部署强化学习方法,不同于标准梯度,自然梯度法进行模型层面的更新,以避免神经网络的训练陷入局部最优解。仿真结果表明,该文方法可逼近全局最优解,并在端到端时延性能上优于基于标准梯度的强化学习部署方法。     

基于最长有效功能序列的服务功能链部署算法

服务功能链的服务性能取决于功能的部署位置和数据传输路径的选择。针对资源有限的网络中的服务功能链部署问题,该文设计了一种基于最长有效功能序列(LEFS)的服务功能链部署算法,以功能复用和带宽需求联合优化为目标,在控制路径长度的同时根据LEFS逐步搜索中继节点,直至满足服务请求。仿真结果表明,该算法能够均衡网络资源,同时优化网络的功能部署率和带宽利用率,与其他算法相比,网络资源利用率降低了10%,可以支持更多的服务请求,且算法计算复杂度低,可以实现对服务请求的快速响应。

     

基于随机学习的接入网服务功能链部署算法

针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题,读文提出一种基于部分观察马尔可夫决策过程(POMDP)部分感知拓扑的接入网服务功能链(SFC)部署方案。该方案考虑在5G接入网C-RAN架构下,通过心跳包观测机制感知底层物理网络拓扑变化,由于存在观测误差无法获得全部真实的拓扑情况,因此采用基于POMDP的部分感知和随机学习而自适应动态调整接入网切片的SFC的部署,优化SFC在接入网侧的时延。为了解决维度灾问题,采用基于点的混合启发式值迭代算法求解。仿真结果表明,该模型可以优化部署接入网侧的SFC,并提高接入网吞吐量和资源利用率。

     

基于联合备份的服务功能链可靠性保障的部署方法

在网络功能虚拟化(NFV)环境中,针对服务功能链(SFC)部署时的可靠性问题,该文提出对备份虚拟网络功能选择、备份实例放置和服务功能链部署的联合优化方法。首先,定义一个单位开销可靠性提高值的虚拟网络功能衡量标准,改进备份虚拟网络功能选择方法;其次,采用联合备份的方式调整相邻备份实例之间的放置策略,以降低带宽资源开销;最后,将整个服务功能链可靠性保障的部署问题构建成整数线性规划模型,并提出一种基于最短路径的启发式算法,克服整数线性规划求解的复杂性。仿真结果表明,该方法在优先满足网络服务可靠性需求的同时,优化资源配置,提高了请求接受率。