基于迁移深度强化学习的低轨卫星跳波束资源分配方案

针对低轨(LEO)卫星场景下,传统资源分配方案容易造成特定小区资源分配无法满足需求的问题,该文提出一种基于迁移深度强化学习(TDRL)的低轨卫星跳波束资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态,以最小化卫星上数据包平均时延为目标,建立支持跳波束技术的低轨卫星资源分配优化模型。其次,针对低轨卫星网络的动态多变性,该文考虑动态随机变化的通信资源和通信需求,采用深度Q网络(DQN)算法利用神经网络作为非线性近似函数。进一步,为实现并加速深度强化学习(DRL)算法在其他目标任务中的收敛过程,该文引入迁移学习(TL)概念,利用源卫星学习的调度任务快速寻找目标卫星的波束调度和功率分配策略。仿真结果表明,该文所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延,并有效提高系统的吞吐量和资源利用效率。     

H-CRAN网络下联合拥塞控制和资源分配的网络切片动态资源调度策略

针对异构云无线接入网络(H-CRAN)网络下基于网络切片的在线无线资源动态优化问题,该文通过综合考虑业务接入控制、拥塞控制、资源分配和复用,建立一个以最大化网络平均和吞吐量为目标,受限于基站(BS)发射功率、系统稳定性、不同切片的服务质量(QoS)需求和资源分配等约束的随机优化模型,并进而提出了一种联合拥塞控制和资源分配的网络切片动态资源调度算法。该算法会在每个资源调度时隙内动态地为性能需求各异的网络切片中的用户分配资源。仿真结果表明,该文算法能在满足各切片用户QoS需求和维持网络稳定的基础上,提升网络整体吞吐量,并且还可通过调整控制参量的取值实现时延和吞吐量间的动态平衡。     

基于深度强化学习的反向散射网络资源分配机制

为了提升反向散射网络中物联网设备的平均吞吐量,提出了一种资源分配机制,构建了用户配对和时隙分配联合优化资源分配模型。由于该模型直接利用深度强化学习(Deep Reinforcement Learning,DRL )算法求解导致动作空间维度较高且神经网络复杂,故将其分解为两层子问题以降低动作空间维度：首先,基于深度强化学习算法,利用历史信道信息推断当前的信道信息以进行最优的用户配对;然后,在用户固定配对的情况下,基于凸优化算法,以最大化物联网设备总吞吐量为目标进行最优的时隙分配。仿真结果表明,与其他资源分配方法相比,所提资源分配方法能有效提升系统吞吐量,且有较好的信道适应性和收敛性。     

基于改进遗传算法的C-RAN网络动态无线资源分配

针对云无线网络(Cloud Radio Access Network,C-RAN)中传统静态资源分配效率低下以及动态无线资源分配中资源种类单一的问题,提出了一种基于用户服务质量(Qulity of Service,QoS)约束的动态无线资源分配方案,对无线资源从无线射频单元(Remote Radio Head,RRH)选择、子载波分配和RRH功率分配三个维度进行研究.首先,根据传统的C-RAN系统传输模型和QoS约束在时变业务环境下建立了以发射功率为变量,以吞吐量最大为优化目标的优化问题;然后,基于改进的遗传算法,将原优化方案转变为通过优化RRH选择、子载波分配和RRH功率分配来达到提高系统吞吐量的目的;最后,将改进的遗传算法与其他智能算法在种群规模变化下进行了时间复杂度对比.实验结果表明,所提算法具有较低时间复杂度,所提资源分配方案下的平均吞吐量增益为17％.     

基于非合作博弈的OFDMA无线多跳中继网络上行链路资源分配算法

研究了基于OFDMA多址技术的无线多跳中继网络上行链路资源分配问题。首先,在最大发射功率等约束条件下,建立了多小区OFDMA无线多跳中继网络上行链路的资源分配优化模型。将非合作博弈论和定价机制引入后,该优化问题可转化为在每个子信道上独立地进行功率分配。基于非合作博弈的功率分配模型中的纳什均衡点的存在性和唯一性得到了证明,并给出了具体的分布式求解算法。仿真结果表明,所提算法能在大幅减少系统总发射功率的情况下,有效地提升系统吞吐量,达到较高的能效比。     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法。首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程。然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP)。最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解。仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求。     

虚拟化云无线接入网络下基于在线学习的网络切片虚拟资源分配算法

针对现有研究中缺乏云无线接入网络(C-RAN)场景下对网络切片高效的动态资源分配方案的问题,该文提出一种虚拟化C-RAN网络下的网络切片虚拟资源分配算法。首先基于受限马尔可夫决策过程(CMDP)理论建立了一个虚拟化C-RAN场景下的随机优化模型,该模型以最大化平均切片和速率为目标,同时受限于各切片平均时延约束以及网络平均回传链路带宽消耗约束。其次,为了克服CMDP优化问题中难以准确掌握系统状态转移概率的问题,引入决策后状态(PDS)的概念,将其作为一种“中间状态”描述系统在已知动态发生后,但在未知动态发生前所处的状态,其包含了所有与系统状态转移有关的已知信息。最后,提出一种基于在线学习的网络切片虚拟资源分配算法,其在每个离散的资源调度时隙内会根据当前系统状态为每个网络切片分配合适的资源块数量以及缓存资源。仿真结果表明,该算法能有效地满足各切片的服务质量(QoS)需求,降低网络回传链路带宽消耗的压力并同时提升系统吞吐量。     

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法.首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程.然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP).最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解.仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求.     

时分波分无源光网络与云无线接入网联合架构中负载平衡的用户关联与资源分配策略

在时分波分无源光网络(TWDM-PON)与云无线接入网(C-RAN)的联合架构中,由于无线域的负载不均衡问题,限制了网络整体的传输效率。为了充分利用TWDM-PON与C-RAN联合架构的网络资源,并保证用户的服务质量(QoS),该文提出一种负载平衡的用户关联与资源分配算法(LBUARA)。首先根据不同用户的服务质量需求以及分布式无线射频头端(RRH)的负载对用户的影响,构建用户收益函数。进而,在保证用户服务质量的前提下,根据网络状态建立随机博弈模型,并基于多智能体Q学习提出负载均衡的用户关联和资源分配算法,从而获得最优的用户关联与资源分配方案。仿真结果表明,所提的用户关联和资源分配策略能够实现网络的负载均衡,保证用户的服务质量,并提高网络吞吐量。     

时分波分无源光网络与云无线接入网联合架构中负载平衡的用户关联与资源分配策略

在时分波分无源光网络(TWDM-PON)与云无线接入网(C-RAN)的联合架构中,由于无线域的负载不均衡问题,限制了网络整体的传输效率.为了充分利用TWDM-PON与C-RAN联合架构的网络资源,并保证用户的服务质量(QoS),该文提出一种负载平衡的用户关联与资源分配算法(LBUARA).首先根据不同用户的服务质量需求以及分布式无线射频头端(RRH)的负载对用户的影响,构建用户收益函数.进而,在保证用户服务质量的前提下,根据网络状态建立随机博弈模型,并基于多智能体Q学习提出负载均衡的用户关联和资源分配算法,从而获得最优的用户关联与资源分配方案.仿真结果表明,所提的用户关联和资源分配策略能够实现网络的负载均衡,保证用户的服务质量,并提高网络吞吐量.     

A Novel Immune Optimization Algorithm for Fairness Resource Allocation in Cognitive Wireless Network

Cognitive wireless network (CWN) is a novel concept for improving the utilization of scarce wireless spectrum resources. Dynamic resource allocation is an important task in such systems. In this paper, a novel resource allocation algorithm for multi-user OFDM-based CWN is presented. It is formulated into a constraint problem, and an optimization algorithm based on novel immune clonal is proposed. The proposed algorithm fully takes into account the maximum tolerable interferences of primary user and the proportional fairness for secondary user. The suitable operators for solving the problem are designed, such as clonal, mutation, Baldwin learning, selection and so on. The simulation results show that the proposed algorithm achieves high system throughput with proportional fairness among the secondary users.     

异构云无线接入网下基于功率域NOMA的能效优化算法

针对异构云无线接入网络的频谱效率和能效问题,该文提出一种基于功率域-非正交多址接入(PD-NOMA)的能效优化算法。首先,该算法以队列稳定和前传链路容量为约束,联合优化用户关联、功率分配和资源块分配,并建立网络能效和用户公平的联合优化模型;其次,由于系统的状态空间和动作空间都是高维且具有连续性,研究问题为连续域的NP-hard问题,进而引入置信域策略优化(TRPO)算法,高效地解决连续域问题;最后,针对TRPO算法的标准解法产生的计算量较为庞大,采用近端策略优化(PPO)算法进行优化求解,PPO算法既保证了TRPO算法的可靠性,又有效地降低TRPO的计算复杂度。仿真结果表明,该文所提算法在保证用户公平性约束下,进一步提高了网络能效性能。     

Cross‐Layer Resource Allocation in Multi‐interface Multi‐channel Wireless Multi‐hop Networks

In this paper, an analytical framework is proposed for the optimization of network performance through joint congestion control, channel allocation, rate allocation, power control, scheduling, and routing with the consideration of fairness in multi‐channel wireless multi‐hop networks. More specifically, the framework models the network by a generalized network utility maximization (NUM) problem under an elastic link data rate and power constraints. Using the dual decomposition technique, the NUM problem is decomposed into four subproblems — flow control; next‐hop routing; rate allocation and scheduling; power control; and channel allocation — and finally solved by a low‐complexity distributed method. Simulation results show that the proposed distributed algorithm significantly improves the network throughput and energy efficiency compared with previous algorithms.     

基于无线感知辅助的车联网下行无线资源分配方法

在车联网（vehicle-to-everything，V2X）中，感知与安全类数据的高速下发与共享对道路交通安全至关重要。然而，车辆高速移动所引起的通信链路不稳定，会导致现有的基于车辆位置信息上报的通信资源分配方法不再高效。为此，提出了一种基于通信节点无线感知辅助的车联网下行无线资源分配方法。首先，构建了通信与感知资源正交下的通信模式选择与无线资源分配联合优化问题；之后，为解决这一问题提出了基于Delaunay三角划分的分簇通信模式选择与基于改进图着色的资源分配策略，以实现下行吞吐量的提升；最后，仿真分析了无线感知估计误差、车辆数量对算法性能的影响。仿真结果表明，与传统方法相比，所提算法在相同感知带宽资源占比下可获得更好的下行通信性能增益，并能够承受更大的感知误差对性能的影响，同时，所提算法的计算复杂度较低，可节省网络算力资源。     

基于非正交多址接入的网络切片联合用户关联和功率分配算法

为了满足网络切片多样化需求,实现无线虚拟资源的动态分配,该文提出在C-RAN架构中基于非正交多址接入的联合用户关联和功率资源分配算法。首先,该算法考虑在不完美信道条件下,以切片和用户最小速率需求及时延QoS要求、系统中断概率、前传容量为约束,建立在C-RAN场景中最大化长时平均网络切片总吞吐量的联合用户关联和功率分配模型。其次,将概率混合优化问题转换为非概率优化问题,并利用Lyapunov优化理论设计一种基于当前时隙的联合用户调度和功率分配的算法。最后采用贪婪算法求得用户关联问题次优解;基于用户关联的策略,将功率分配的问题利用连续凸逼近方法将其转换为凸优化问题并采用拉格朗日对偶分解方法获得功率分配策略。仿真结果表明,该算法能满足各网络切片和用户需求的同时有效提升系统时间平均切片总吞吐量。     

Throughput Analysis and Optimization Based on Mobility Analysis and Markov Process for Heterogeneous Wireless Networks

One of the hot issues in heterogeneous wireless networks (HWNs) is radio resource utilization. The objective of this paper is to solve this problem. By considering the diversity of radio access technologies (RATs) in HWNs, the differences between them should be studied and exploited, e.g., coverage radius of each network, service arrival rate of each region, data transmission rate. The paper proposes a novel method for HWNs throughput analysis and optimization on the basis of these differences. Users engaging in calls in overlapping regions need to conduct network selection. To enhance the throughput of HWNs, users in these regions should be reasonably allocated to each network. Hence, the users’ proportion accessing each network is an important factor in the HWNs utilization. The mean total throughput of HWNs can be formulated by the Markov Model, which is determined by the distribution of service arrival rate and the analysis of handoff rate. Users’ mobility, furthermore, is important in network analysis because of its effect upon the handoff rate, which is one of the parameters to decide the throughput of HWNs. The service access proportion should be optimized to maximize the throughput of HWNs. By considering the convexity of the objective function, the subgradient method is employed in the solution of the optimization problem. Meanwhile, quadratic programming is used to reduce the computational complexity. Finally, a throughput optimization algorithm is proposed for HWNs on the basis of the architecture of common radio resource management, which can jointly manage diverse RATs. Then the validity of the proposed algorithm is illustrated through the simulation results, from which the paper simultaneously draw some important conclusions.