聚类多Agent强化学习认知无线电资源分配

针对认知无线电多用户的信道和功率资源分配问题,提出一种基于用户聚类和可变学习速率的多Agent强化学习方法. 首先使用分层处理分离信道选择与功率控制,采用快速最优搜索结合用户数均衡调节实现信道分配;其次,使用随机博弈框架对多用户功率控制问题进行建模,通过K均值用户聚类减少博弈参与用户数量和降低单个用户的环境复杂度,并使用可变Q学习速率和策略学习速率的方法进一步促进多Agent强化学习的收敛. 仿真结果表明,该方法能使多个用户的功率状态和总收益有效收敛,并且使整体性能达到次优.     

暗通道约束和交替方向乘子法优化的湍流图像盲复原

为提高湍流退化图像的复原效果,针对盲复原算法在最大后验概率框架下,使用梯度分布先验信息约束容易求得模糊平凡解的问题,提出了一种暗通道约束和交替方向乘子法优化的湍流图像盲复原算法。基于多尺度的思想,在每一层尺度上,对图像施加暗通道先验约束,对点扩散函数施加非负性约束和能量约束。对采用坐标下降法交替迭代估计当前尺度下的模糊核和图像,当达到最大尺度时,得到最终估计的模糊核。结合总变分模型,采用交替方向乘子法优化实现图像细节快速恢复。实验结果表明,新算法使用的先验信息约束,有利于得到清晰解,在总变分模型下能收敛到全局最优解,可以有效抑制图像复原过程中产生的伪迹,恢复出更好的目标图像细节。     

基于对称交替方向乘子法的单列车最优运行控制

作为高铁系统研究的重点问题之一,列车运行控制在降低列车运行能耗以及提升铁路运营效率等方面具有重要的意义。针对单列车在多个站点间的运行控制问题,提出一种基于对称交替方向乘子法的单列车最优运行控制方案。以旅客乘坐舒适度、列车运行能耗以及列车准点到站作为优化目标,将列车运行动力学方程、站点发车时间、列车运行速度和列车牵引力限制等作为约束条件,构建了列车最优运行控制模型。在对称交替方向乘子法的框架下,将原最优控制问题转化成为2个独立的子问题,并引入交替求解的机制,获得原问题的最优解。数值仿真表明对称交替方向乘子法相比交替方向乘子法能够在较少迭代步数内求解获得列车的最优控制序列,验证了算法的有效性。     

无线Mesh网络功率控制与信道分配联合优化

针对无线Mesh网络网关节点和网络链路承载的负载不均问题,择优选择网关节点,并设计链路权重,构建以网络加权吞吐量为优化目标的资源分配模型.在构建的资源分配模型下,提出一种基于Q学习和差分进化的联合功率控制与信道分配算法（QDJPCA）.该算法通过获取功率控制的反馈结果,采用基于多重变异和自适应交叉因子的差分进化算法进行信道分配;针对每次迭代产生的信道分配结果,采用基于状态聚类和状态修正的Q学习算法实现功率控制.NS-3仿真结果表明,QDJPCA能够有效求解所提资源分配模型,在优先保证网关负载均衡和高负载链路吞吐量性能的基础上提升网络整体性能.     

多信道认知无线电频谱感知时间和门限联合分配

为提高多信道认知无线电的吞吐量,提出采用交替方向优化联合分配次用户的频谱感知时间和子信道感知门限.基于"先听后传"的次用户帧结构,建立了感知时间和门限的优化分配模型.该模型在保证满足主用户通信需求和子信道频谱感知性能的前提下,最大化次用户各子信道的吞吐量总和.联合优化算法通过交替优化感知时间和门限能够获得模型的最优解.仿真结果表明:存在最优的感知时间和门限最大化次用户的吞吐量,并且相比之前的方案,联合分配能够提高次用户的吞吐量.     

基于空间加权协同稀疏的高光谱解混算法研究

针对传统稀疏解混算法因空间信息利用不足带来的丰度图像空间分布连续性差的问题,本文提出了一种基于空间加权协同稀疏的解混方法.该方法利用协同稀疏正则项刻画丰度系数的行稀疏性;同时,在协同稀疏框架下,引入空间加权因子挖掘高光谱图像邻域像元间的空间相关性.本模型采用交替方向乘子法求解,通过交替迭代,对空间权重和丰度系数进行优化.模拟和真实高光谱数据实验结果表明本文方法能够比现有同类方法获得更精确的解混结果.     

具有能量获取基站的相邻多蜂窝小区的能量与频谱分配研究

研究在基站具有能量获取功能的条件下,相邻多蜂窝小区下行链路的能量与频谱的协作分配,主要考虑用户效用和相邻多蜂窝小区基站收益的联合最大化.在该问题中,用户对小区的选择是资源分配过程中的关键步骤.其中,它的最优方法是穷搜索,但计算复杂度过高.本文提出一种优化用户小区选择的次优方法——信道增益比选择法,解决用户快速选择小区的问题.当用户选择小区后,本文用广义的Stackelberg博弈建模来解决每个蜂窝小区的能量与频谱分配问题.同时基于信道增益比选择法提出两种基准方法——最大信道增益选择法和最短距离选择法.仿真结果表明,信道增益比选择法相对于最大信道增益选择法和最短距离选择法具有更好的用户公平性和基站收益.     

面向链接的资源分配与QoS保障联合跨层算法

为了在无线蜂窝网络中向各物理链路上具有不同速率以及延时要求的多条数据链接提供最优化的资源分配以及服务质量(QoS)保障,设计了一种面向链接的资源分配与QoS保障联合算法.基于跨层设计思想,将目标建模为接入控制、速率分配以及资源分配3个子问题.来自物理层的信道状态信息、来自媒体接入控制（MAC）层的队列状态信息、来自应用层的速率及延时请求信息在系统模型中得到了综合的考虑.子问题可以分别通过贪婪算法及凸规划算法顺序地进行求解,从而得出每条数据链接上最优的资源及功率分配值,而这些结果将通过特定的接口反馈到各个层次模块中去.仿真结果表明,该算法能够解决模型面临的问题,并且比层次式协议栈中的算法更加有效地利用了网络资源     

移动广播融合网络中的资源分配和定价模型

应用博弈论中不完全信息理论来解决资源动态分配和定价问题,对服务提供商和用户之间的交互关系进行建模;通过求解静态博弈贝叶斯均衡问题以获得服务提供商的最佳价格策略和用户对应的对服务带宽购买的最佳选择。基于该模型,提出了基于用户需求强度的动态资源分配和定价管理机制及其算法。仿真表明,该算法相比于静态单一定价资源分配方法在网络效用和资源使用率等方面都得到了较大提高。     

电力物联网中节能的免许可D2D接入算法设计

针对免许可频段的终端到终端（D2D）通信的功耗问题,进行功率和频谱的联合分配,以寻找使系统终端功耗最小的资源分配方式. 在免许可频段为D2D提出信道接入协议,该协议在许可信道的协助下确定D2D终端可使用的免许可信道及对应信道可使用的时隙资源. 建立以最小化系统总功耗为目标的优化问题,考虑D2D用户对的数据速率和对基站（BS）产生的干扰的限制. 该问题被建模为凸优化问题,利用内点法求解. 通过数值仿真,对免许可频段的D2D通信（D2D-U）的工作情况进行验证,证明利用该算法能够得到最优的分配结果.     

基于无线供电的非正交多址接入网络的鲁棒资源分配研究

无线能量传输是解决无线网络中节点设备能量短缺问题的新技术,非正交多址接入是缓解无线网络频谱紧缺难题和满足大规模节点接入需求的新型多址接入技术. 将两者相结合不仅可以缓解节点设备电池能量不足、需要频繁更换电池的问题,还可以提高系统的频谱效率,满足大规模节点接入的需求. 本文考虑基于无线供电的非正交多址接入网络,其中包含一个多天线的能量基站、多个单天线用户和一个单天线信息接收机. 在该网络中,下行链路和上行链路分别表示从能量基站到用户和从用户到信息接收机的物理信道. 在下行链路中,能量基站通过无线能量传输给多个用户提供可靠的能量;在上行链路中,用户使用收集到的能量并基于非正交多址接入技术发送信息给信息接收机. 在系统的下行链路信道状态信息不完美的实际情况下,设计鲁棒资源分配策略,联合设计能量基站的波束赋形向量、用户的发射功率和上下行链路间的时间分配,最大化系统的吞吐量. 仿真结果表明,所提鲁棒设计算法的吞吐量性能明显优于不具有鲁棒性的资源分配算法.     

意图驱动的自智网络资源按需服务

6G自智网络需要实现面向多层用户的网络自动化全场景按需服务,运营商用户亟需一种有效挖掘多层用户意图并实现资源自动化按需分配的方法,为此,提出了一种将用户意图转为策略对网络资源进行管理的全自动化框架。首先,考虑到意图挖掘数据的稀缺性,提出一种利用无标注语料以提高意图实体挖掘能力的方法。其次,综合考虑网络服务质量和用户业务需求,利用深度强化学习算法,对网络资源的划分进行优化和管理,提升用户使用体验的同时使网络负载均衡,资源达到最大化利用。实验结果表明,所提框架能够更准确挖掘用户意图、更精确划分网络资源,从而保障服务质量。     

基于深度强化学习的多小区NOMA能效优化功率分配算法

在下行多小区非正交多址接入系统中,功率分配是决定系统性能的关键因素之一。由于多小区系统间的功率优化问题的非凸性,获得最优功率分配在求解上非常困难。为此提出了一种基于深度强化学习最大化能效的功率分配算法,将深度Q网络作为动作?状态值函数,将系统能效直接设置为奖励函数,优化信道功率分配,使系统能量效率最大化。仿真结果表明,该算法比加权最小均方误差、分式规划、最大功率和随机功率算法等能够获得更高的系统能量效率,在算法计算复杂度、收敛速度和稳定性方面也有较好表现。     

应用深度强化学习的压边力优化控制

为改善板料拉深制造的成品质量,采用深度强化学习的方法进行拉深过程的压边力优化控制. 提出一种基于深度强化学习与有限元仿真集成的压边力控制模型,结合深度神经网络的感知能力与强化学习的决策能力,进行压边力控制策略的学习优化. 基于深度强化学习的压边力优化算法,利用深度神经网络处理巨大的状态空间,避免了系统动力学的拟合,并且使用一种新的网络结构来构建策略网络,将压边力策略划分为全局与局部两部分,提高了压边力策略的控制效果. 将压边力的理论知识用于初始化回放经验池,提高了深度强化学习算法在压边力控制任务中的学习效率. 实验结果表明,与传统深度强化学习算法相比,所提出的压边力控制模型能够更有效地进行压边力控制策略优化,成品在内部应力、成品厚度以及材料利用率3个质量评价指标的综合表现优于传统深度强化学习算法. 将深度强化学习中的策略网络划分为线性部分与非线性部分,并结合理论压边力知识来初始化回放经验,能够提高深度强化学习在压边力优化控制中的控制效果,提高算法的学习效率.     

MEC计算卸载与资源分配联合智能优化方案

移动边缘计算(MEC)中的分布式基站部署、有限的服务器资源和动态变化的终端用户使得计算卸载方案的设计极具挑战。鉴于深度强化学习在处理动态复杂问题方面的优势,设计了最优的计算卸载和资源分配策略,目的是最小化系统能耗。首先考虑了云边端协同的网络框架;然后将联合计算卸载和资源分配问题定义为一个马尔可夫决策过程,提出一种基于多智能体深度确定性策略梯度的学习算法,以最小化系统能耗。仿真结果表明,该算法在降低系统能耗方面的表现明显优于深度确定性策略梯度算法和全部卸载策略。     

存在信道估计误差的MU-MIMO系统自适应资源分配

分析了不相关瑞利平坦衰落信道下,信道估计误差对采用迫零波束赋形(ZFBF)多用户多输入
多输出(MU-MIMO)系统性能的影响. 在发送端天线总功率受限以及目标误比特率（BER）的
约束下,提出一种以系统有效吞吐量最优为目标的自适应资源分配算法. 该算法在调度用户时兼顾用户的信道状态信息和公平性,利用误包率严格近似为高斯随机变量的性质得到传输速率和功率的闭式解. 仿真结果表明,由于考虑了信道估计误差,系统有效吞吐量大大提高;同时保证了用户的服务质量(QoS)和公平性,并具有较低的复杂度.     

Resource Allocation for Uplink CSI Sensing Report in Multi-User WLAN Sensing

Sensing in wireless local area network (WLAN) gains great interests recently. In this paper we focus on the multi-user WLAN sensing problem under the existing 802.11 standards. Multiple stations perform sensing with the access point and transmit channel state information (CSI) report simultaneously on the basis of uplink-orthogonal frequency division multiple access (OFDMA). Considering the transmission resource consumed in CSI report and the padding wastage in OFDMA based CSI report, we optimize the CSI simplification and uplink resource unit (RU) allocation jointly, aiming to balance the sensing accuracy and padding wastage performances in WLAN sensing. We propose the minimize padding maximize efficiency (MPME) algorithm to solve the problem and evaluate the performance of the proposed algorithm through extensive simulations.     

基于DRL的6G多租户网络切片智能资源分配算法

未来第6代移动通信系统（6G）网络服务支持虚实结合、实时交互,亟需快速匹配多租户个性化服务需求,对此,提出了一种两层递阶的网络切片智能管理方案,上层部署全局资源管理器,下层部署面向不同租户的本地资源管理器.首先,考虑不同租户多类型切片请求的差异性,基于端到端切片的实时状态描述建立服务质量评估模型.结合服务质量反馈,利用深度强化学习（DRL）算法,优化上层全局资源分配和下层局部资源调整,提升不同域多维资源的使用效益,并使能租户资源定制化.仿真结果表明,所提方案能够在优化资源供应商长期收益的同时,保障服务质量.     

多波束卫星通信系统波束干扰下的资源分配策略研究

多波束卫星通信系统能够为移动用户提供全球范围的通信服务.然而,由于条件限制,星上资源利用率较低,并且星地距离较远,业务传输过程中存在较大时延.为了提高星上资源的利用率,本文在有波束干扰的多波束卫星通信系统中,针对有严格时延要求的卫星通信业务,提出了一种新的下行链路资源分配算法,增加了业务时延限制和最大干扰功率限制两种约...