基于迁移深度强化学习的低轨卫星跳波束资源分配方案

针对低轨(LEO)卫星场景下,传统资源分配方案容易造成特定小区资源分配无法满足需求的问题,该文提出一种基于迁移深度强化学习(TDRL)的低轨卫星跳波束资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态,以最小化卫星上数据包平均时延为目标,建立支持跳波束技术的低轨卫星资源分配优化模型。其次,针对低轨卫星网络的动态多变性,该文考虑动态随机变化的通信资源和通信需求,采用深度Q网络(DQN)算法利用神经网络作为非线性近似函数。进一步,为实现并加速深度强化学习(DRL)算法在其他目标任务中的收敛过程,该文引入迁移学习(TL)概念,利用源卫星学习的调度任务快速寻找目标卫星的波束调度和功率分配策略。仿真结果表明,该文所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延,并有效提高系统的吞吐量和资源利用效率。     

基于深度强化学习的毫米波通信资源分配方法

针对5G毫米波通信系统资源管理难度大的问题，提出一种基于深度强化学习的毫米波通信系统资源优化分配方法。建立了符合实际应用场景的5G毫米波通信系统模型，模型考虑了移动通信基站、蜂窝用户终端与设备-设备用户终端，同时包含网络服务质量的多个关键因素。以最大下行速率与误码率为约束条件，以最大化系统总吞吐量为目标，利用深度强化学习技术寻找系统的资源分配措施。仿真实验结果表明，该方法通过资源优化分配措施改善了毫米波通信系统的总吞吐量。     

基于多智能体深度强化学习的D2D通信资源联合分配方法

设备对设备(D2D)通信作为一种短距离通信技术,能够极大地减轻蜂窝基站的负载压力和提高频谱利用率。然而将D2D直接部署在授权频段或者免授权频段必然导致与现有用户的严重干扰。当前联合部署在授权和免授权频段的D2D通信的资源分配通常被建模为混合整数非线性约束的组合优化问题,传统优化方法难以解决。针对这个挑战性问题,该文提出一种基于多智能体深度强化学习的D2D通信资源联合分配方法。在该算法中,将蜂窝网络中的每个D2D发射端作为智能体,智能体能够通过深度强化学习方法智能地选择接入免授权信道或者最优的授权信道并发射功率。通过选择使用免授权信道的D2D对(基于“先听后说”机制)向蜂窝基站的信息反馈,蜂窝基站能够在非协作的情况下获得WiFi网络吞吐量信息,使得算法能够在异构环境中执行并能够确保WiFi用户的QoS。与多智能体深度Q网络(MADQN)、多智能体Q学习(MAQL)和随机算法相比,所提算法在保证WiFi用户和蜂窝用户的QoS的情况下能够获得最大的吞吐量。     

基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。     

基于goodput优化的OFDMA系统资源分配算法

资源分配是OFDMA系统资源调度中的一个重要研究问题。针对OFDMA下行链路信道知识获取的现实误差问题,提出了一种基于实际吞吐量优化的资源分配算法。重点研究了功率和数据率在用户之间的分配问题,以往的很多分配算法通常是假设下行链路发射端具有理想信道信息,这与实际状况不符,同时根据部分信道信息得到的速率分配不被真实的信道支持,会造成传输的中断事件。算法考虑了信道估计的误差问题,将实际吞吐量goodput作为分配算法优化的依据。仿真结果表明,该算法获得了较好的多用户分集增益和实际吞吐量性能。     

基于非正交多址接入的网络切片联合用户关联和功率分配算法

为了满足网络切片多样化需求,实现无线虚拟资源的动态分配,该文提出在C-RAN架构中基于非正交多址接入的联合用户关联和功率资源分配算法。首先,该算法考虑在不完美信道条件下,以切片和用户最小速率需求及时延QoS要求、系统中断概率、前传容量为约束,建立在C-RAN场景中最大化长时平均网络切片总吞吐量的联合用户关联和功率分配模型。其次,将概率混合优化问题转换为非概率优化问题,并利用Lyapunov优化理论设计一种基于当前时隙的联合用户调度和功率分配的算法。最后采用贪婪算法求得用户关联问题次优解;基于用户关联的策略,将功率分配的问题利用连续凸逼近方法将其转换为凸优化问题并采用拉格朗日对偶分解方法获得功率分配策略。仿真结果表明,该算法能满足各网络切片和用户需求的同时有效提升系统时间平均切片总吞吐量。     

基于K-臂赌博机的多无人机空地网络动态资源分配方法

针对配置大规模MIMO的多无人机空地网络中的动态资源分配问题,从最大化系统吞吐量的角度出发,该文提出一种基于K-臂赌博机的强化学习算法联合优化多个无人机的用户选择与功率分配策略。首先根据地理位置对用户进行分簇,利用簇中心节点规划无人机飞行路径;其次在不考虑无人机之间端到端通信的情况下,将多无人机资源分配问题转化为相互独立的多个智能体强化学习问题;最后提出分幕式多智能体多状态K-臂赌博机算法来实现用户选择与功率分配的联合优化。通过将无人机每个时刻的位置索引定义为状态空间,从而使得无人机可动态适配自身位置及信道的动态变化。仿真结果表明,所提方案可根据环境状态变化自主智能调整资源分配策略,相比于已有方案能有效提升系统总吞吐量。     

基于强化学习的认知车联网资源分配方案

与传统的认知物联网不同，认知车联网（Cognitive Internet of Vehicles,CIoV）的特点是车辆具有高移动性，这就导致了信道状态信息（Channel State Information,CSI）的快速变化，因此难以获得完美的CSI。在这一背景下，研究了CIoV的联合信道分配和功率控制的资源分配问题，旨在最大限度地提高所有车辆用户的总吞吐量。此外，提出了一种混合深度强化学习算法，以解决离散的信道分配和连续的功率控制。仿真实验表明，与其他未考虑未知CSI的方案相比，所提方案有效地提高了CIoV的总吞吐量。     

多载波多用户下行NOMA系统的资源分配算法

非正交多址接入技术作为5G的候选技术之一受到了广泛关注。研究了以系统吞吐量优化为目标的多载波多用户NOMA系统下行链路的资源分配问题。在该问题的求解中,为了提高系统的吞吐量,子载波间采用线性注水算法,叠加用户间采用分数阶功率分配算法。同时,考虑了远近用户数目不等场景下能够调度更多的用户,在NOMA传输方案设计中引入时分的概念,将整个时间段t分为两个时隙,在不同时隙内实现不同远近用户分组的动态配对方案,从而在保证用户公平性的基础上,充分利用子信道资源,实现系统吞吐量的优化。仿真结果表明,对比于传统NOMA和OFDMA,提出的方法可以在相同的发射功率情况下传输更多的比特数。     

太赫兹无线个域网公平高效的MAC层优化机制

针对太赫兹无线个域网双信道媒体访问控制(Medium Access Control, MAC)协议中存在的信道资源分配公平性差、数据帧重传效率低和控制开销较高的问题,提出了一种公平高效的MAC层优化机制。新机制采用基于历史时隙申请信息的信道资源分配策略优化时隙分配公平性,根据信道质量自适应选择数据帧重传机制,控制节点从申请时隙的节点发送的控制帧中的“duration”字段提取时隙申请信息,省略时隙申请帧的发送,从而降低数据帧排队时延和控制开销,提高吞吐量。仿真结果表明,与TAB-MAC和MDP-MAC协议的机制相比,所提机制的数据帧平均排队时延降低了15%,吞吐量提高了5%。     

中继增强的无线蜂窝多小区系统的联合调度与功率控制算法

针对采用全局频率复用的中继增强的无线蜂窝多小区系统,该文考虑多种通信模式并存的混合场景,提出了一种干扰感知的联合资源分配策略。以最大化系统总吞吐量为目标,同时考虑小区间干扰对中继节点与移动站点的影响,以及基站与中继节点各自的发射功率约束。为了降低计算复杂度,针对用户与中继节点配对问题提出了一种基于小区间干扰的调度算法;针对功率控制问题分别提出了一种基于符号规划的最优功率分配算法和一种次优的最小能耗功率分配算法。仿真结果表明,该文所提算法逼近最优资源分配,在系统吞吐量与能量效率等性能方面具有显著优势。     

H-CRAN网络下联合拥塞控制和资源分配的网络切片动态资源调度策略

针对异构云无线接入网络(H-CRAN)网络下基于网络切片的在线无线资源动态优化问题,该文通过综合考虑业务接入控制、拥塞控制、资源分配和复用,建立一个以最大化网络平均和吞吐量为目标,受限于基站(BS)发射功率、系统稳定性、不同切片的服务质量(QoS)需求和资源分配等约束的随机优化模型,并进而提出了一种联合拥塞控制和资源分配的网络切片动态资源调度算法。该算法会在每个资源调度时隙内动态地为性能需求各异的网络切片中的用户分配资源。仿真结果表明,该文算法能在满足各切片用户QoS需求和维持网络稳定的基础上,提升网络整体吞吐量,并且还可通过调整控制参量的取值实现时延和吞吐量间的动态平衡。     

认知型飞蜂窝网络中的子信道分配与功率控制

为了解决宏蜂窝与飞蜂窝构成的两层异构网络上行干扰与资源分配问题,提出了一种在认知型飞蜂窝的双层异构网中结合子信道分配和功率控制进行资源分配的框架。通过对异构网中跨层干扰问题进行分析与建模,将求解最优子信道分配矩阵和用户发射功率矩阵作为干扰管理问题的解决方法。模型中认知型飞蜂窝网络子信道和飞蜂窝网络用户构成非合作博弈,双方利用效用函数最优值进行匹配,构成初始信道分配矩阵;再由接入控制器根据接入条件从初始信道分配矩阵中筛选用户,并优化接入用户的发射功率矩阵,得到最优子信道分配矩阵和功率矩阵。仿真结果表明,优化框架提高了双层异构网络中飞蜂窝网络用户的吞吐量和接入率,降低了异构网中跨层干扰。     

Resource allocation and dynamic power control for D2D communication underlaying uplink multi-cell networks

Underlaying device-to-device (D2D) communication is suggested as a promising technology for the next generation cellular networks (5G), where users in close proximity can transmit directly to one another bypassing the base station. However, when D2D communications underlay cellular networks, the potential gain from resource sharing is highly determined by how the interference is managed. In order to mitigate the resource reuse interference between D2D user equipment and cellular user equipment in a multi-cell environment, we propose a resource allocation scheme and dynamic power control for D2D communication underlaying uplink cellular network. Specifically, by introducing the fractional frequency reuse (FFR) principle into the multi-cell architecture, we divide the cellular network into inner region and outer region. Combined with resource partition method, we then formulate the optimization problem so as to maximize the total throughput. However, due to the coupled relationship between resource allocation and power control scheme, the optimization problem is NP-hard and combinational. In order to minimize the interference caused by D2D spectrum reuse, we solve the overall throughput optimization problem by dividing the original problem into two sub-problems. We first propose a heuristic resource pairing algorithm based on overall interference minimization. Then with reference to uplink fractional power control (FPC), a dynamic power control method is proposed. By introducing the interference constraint, we use a lower bound of throughput as a cost function and solve the optimal power allocation problem based on dual Lagrangian decomposition method. Simulation results demonstrate that the proposed algorithm achieves efficient performance compared with existing methods.     

适用于宽带网络波形的基于定价策略的时隙选择

针对宽带网络波形（Wideband Networking Waveform，WNW）的多信道二维时频资源，以减小网络资源浪费为优化目标，提出了一种基于定价策略的时隙选择方法（Pricing Strategy Based Slot Selection，PSSS）。该方法通过接纳控制保障资源分配的公平性，采用对偶优化建模与椭圆搜索法实现最优的时隙选择。理论分析证明该方法能够在多项式级别时间复杂度内搜索到时隙选择的最优解。仿真结果表明，提出的PSSS算法通过较低资源浪费获得了较低的容量冗余度，能够有效地解决WNW多信道网络的时隙选择问题。     

一种改进的多用户OFDM系统跨层分配优化算法

提出了一种多用户正交频分复用系统的跨层资源分配模型,结合了物理层中信道状态和媒体接入控制层中用户的队列信息,能更好地满足用户的服务质量要求。改进的混合优化算法结合了遗传算法与禁忌搜索算法的优点,并且对遗传算法的交叉因子进行改进,提高了全局搜索能力,能够更好地收敛于全局最优值,这样能更好地解决跨层资源分配问题。仿真结果表明,在此模型下利用改进的混合算法能有效地提高系统吞吐量,减小用户的平均时延,提高服务质量。