基于深度强化学习的工业物联网多用户频谱分配

随着5G时代的来临,工业物联网将迎来蓬勃发展.然而,联网设备数量的不断增加,加剧了有限的频谱资源与大量的通信需求之间的矛盾.针对以上问题,提出了一种基于聚类分组和深度强化学习的合作式动态频谱分配算法,使用户可以获得较低的信息传输中断概率以及较少的多跳转发次数,快速找到信息传输的最优路径.在动态频谱分配中,该算法可以有效降低主、次用户信道接入的碰撞概率,提升频谱资源的利用率.对于少部分计算能力有限的用户,通过协调同组次用户的计算能力来完成策略的训练,实现了计算资源的高效利用.经过多次仿真实验验证,所提出的联合算法与现有的方法相比具有更高的信道利用率和更低的用户接入碰撞率.     

认知无线多跳网中结合QoS查找的跨层多信道MAC协议

针对认知无线多跳网中频谱资源具有较大时变性及差异性的问题,设计了一种结合QoS查找的跨层多信道MAC协议。该协议将按需QoS查找与动态频谱分配跨层相结合,仅让参与传输的节点执行频谱分配并按QoS要求获取频谱资源。此外,协议使用频分双工收发机实现了对公共控制信道的不间断监听,并设计了一套支持不同数量收发机节点间混合通信的接入算法。大量仿真结果表明,该协议能有效保证对端到端传输的QoS要求的满足,并显著提高端到端吞吐量及时延。     

恶意干扰下基于斯坦伯格博弈的无人机动态频谱分配

针对恶意干扰场景下无人机群动态频谱分配问题,构建了基于斯坦伯格博弈的动态频谱分配模型,干扰机为斯坦伯格博弈的领导者,无人机群为斯坦伯格博弈的跟随者,设计了不同博弈参与者的效益函数,并证明了该博弈存在稳定的斯坦伯格均衡解。在此基础上设计了一种分层动态频谱分配算法,针对领导者采用Q学习选择干扰信道的场景下,跟随者采用随机学习自动机来确定信道分配策略。仿真结果表明,所提算法能够得到无人机用户的最优信道分配策略,有效提升无人机用户的总吞吐量性能,实现效益最大化。     

多无人机辅助通信中用户匹配与频谱资源联合优化方法

针对多无人机作为空中基站为地面设备提供临时服务的动态频谱分配问题，主要考虑无人机与地面用户匹配、子信道分配和功率分配三个方面。为了保证用户通信的公平性，在考虑频谱复用和共信道干扰的情况下，以最大化地面用户最小传输速率为目标，提出了一种用户匹配与频谱资源联合优化算法来解决上述混合整数非线性优化问题，通过聚类算法优化无人机与地面用户的最佳匹配，通过块坐标下降法迭代优化子信道分配和功率分配。仿真实验分析表明，提出的求解方法可以有效提升用户的传输速率，保证用户通信公平性。     

面向隐蔽侦察任务的无人机中继通信频谱资源优化方法

战场环境下,无人机因其自身辐射被敌侦收而产生安全威胁,并容易对其他通信网络产生干扰。为提高无人机安全执行战场侦察任务时的侦察信息传输速率,提出面向隐蔽侦察任务的无人机中继通信频谱资源优化方法,通过功率控制避免被敌方反侦测,并利用无人机中继增大系统通信速率,通过频谱资源优化达到无有害干扰通信的目的。同时提出了基于块坐标下降法与连续凸近似法相结合的频谱资源联合优化算法,通过对带宽分配、发射功率和无人机轨迹等变量的联合优化获得次优解。仿真结果表明：与基准策略相比,联合优化算法具有更高的信息传输速率。     

紫外光通信协作编队无人机联盟围捕算法

编队无人机对目标无人机进行围捕是多无人机战场作战中重要且典型的任务之一，本文将无线紫外光通信技术与围捕算法结合，提出了一种紫外光通信协作编队无人机联盟围捕算法。该算法借助无线紫外光辅助无人机编队机间数据保密传输和非直视通信，将联盟生成算法与区域最小化策略进行融合，采用动态规划法对最优联盟结构进行求解，使用区域最小化策略对目标无人机实施空中围捕，完成在复杂场景中无人机编队高效围捕多目标任务。对区域最小化策略和本文提出的紫外光协作编队无人机联盟围捕算法进行了仿真对比，实验结果表明：所提出的紫外光协作编队无人机联盟围捕算法在无人机编队围捕多目标过程中平均降低了12.73%的能耗，算法迭代次数平均降低了27.49%，验证了该算法能耗少、围捕效率高的性能。     

信息优先级保护的动态频谱分配算法

为提高海上无人艇编队无线网络频谱利用率,同时满足不同优先级信息的传输需求,提出了一种信息优先级保护的动态频谱分配算法。算法采用完全信息动态博弈模型,引入异步分布式定价（Asynchronous Distributed Pricing,ADP）算法设计效用函数。鉴于传统ADP算法在有较多通信余量时干扰价格定价过高,改进干扰价格定义。为体现优先级对分配的影响,在效用函数中加入信息权重。对效用函数成本部分进一步更改,可在实现高优先级信息优先传输的同时,依据通信速率需求合理分配信道通信容量。经过仿真验证,所提算法在吞吐量和可靠性方面优于基于节点优先级的分配算法。     

无线资源管理的动态信道分配分析

随着移动通信系统规模扩大,移动业务逐步走向多元化,需要在有限的无线资源条件下,最大限度地提高无线资源利用率,动态信道分配(DCA)是其核心技术之一,优秀的DCA算法可以充分体现系统资源分配的灵活性和高的频谱利用率.大量的动态信道分配算法和策略被提出来,尽量使得容量极大化和干扰极小化.文章提出了其中的一些关键算法,归纳对比这些算法的优缺点,为方便无线资源管理做出更好的算法选择.     

混合频谱共享方式下多用户动态频谱分配算法

为解决混合overlay/underlay频谱共享方式下多用户动态频谱分配问题,构建了混合频谱共享方式下动态频谱分配模型,提出了基于Q学习的多用户动态频谱分配算法. 该算法在不对主用户产生有害干扰的前提下,以最大化次用户总吞吐量为目标,构建了与次用户相对应的虚拟次用户作为智能体. 通过与环境交互学习,进行信道和共享方式初选;频谱分配系统根据冲突情况和各智能体的学习结果调整信道分配策略直至次用户间无冲突. 仿真结果表明,该算法在无信道检测和信道先验知识的条件下,能根据前一时隙信道状态和次用户传输速率需求,实现动态信道分配和频谱共享方式确定,避免次用户间冲突,减少主次用户间冲突,有效提升次用户总吞吐量.     

基于认知无线电的动态信道分配算法

动态信道分配技术是TD-SCDMA系统的关键技术之一,通过实施动态信道分配方案可以提高频谱利用率、系统容量和提升通信质量。结合现有的可移动边界分配策略,提出了一种基于认知无线电的动态信道分配算法。系统实时感知周围频谱环境,分析并利用空闲频道资源,实现信道的动态分配;最后进行了系统仿真,仿真结果表明改进后系统性能得到一定的提升。     

面向多模异构任务的无人机集群自主协同优化

针对无人机集群同时遂行多个异构模式、异构价值、异构需求任务时的自主协同优化问题,构建了集群遂行多模异构任务协同优化模型,提出了一种基于重叠式联盟博弈的分布式协作算法。通过综合考虑任务模式、任务价值、任务需求,以及集群中不同无人机成员的资源情况,基于不同任务类型下联盟内任务成功率和效能计算,优化无人机任务选择和资源分配并实现算法收敛和系统稳定,以及优化的分布式多机协同。仿真结果表明,所提方法能有效提高系统效用和任务成功率,并能在不同环境下实现面向异构任务目标的高效协同。     

基于K-臂赌博机的多无人机空地网络动态资源分配方法

针对配置大规模MIMO的多无人机空地网络中的动态资源分配问题,从最大化系统吞吐量的角度出发,该文提出一种基于K-臂赌博机的强化学习算法联合优化多个无人机的用户选择与功率分配策略。首先根据地理位置对用户进行分簇,利用簇中心节点规划无人机飞行路径;其次在不考虑无人机之间端到端通信的情况下,将多无人机资源分配问题转化为相互独立的多个智能体强化学习问题;最后提出分幕式多智能体多状态K-臂赌博机算法来实现用户选择与功率分配的联合优化。通过将无人机每个时刻的位置索引定义为状态空间,从而使得无人机可动态适配自身位置及信道的动态变化。仿真结果表明,所提方案可根据环境状态变化自主智能调整资源分配策略,相比于已有方案能有效提升系统总吞吐量。     

云雾混合网络下基于多智能体架构的资源分配及卸载决策研究

针对D2D辅助的云雾混合架构下资源分配及任务卸载决策优化问题,该文提出一种基于多智能体架构深度强化学习的资源分配及卸载决策算法。首先,该算法考虑激励约束、能量约束以及网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量(QoE)的随机优化模型,并进一步将其转化为MDP问题。其次,该算法将原MDP问题进行因式分解,并建立马尔可夫博弈模型。然后,基于行动者-评判家(AC)算法提出一种集中式训练、分布式执行机制。在集中式训练过程中,多智能体通过协作获取全局信息,实现资源分配及任务卸载决策策略优化,在训练过程结束后,各智能体独立地根据当前系统状态及策略进行资源分配及任务卸载。最后,仿真结果表明,该算法可以有效提升用户QoE,并降低了时延及能耗。     

Spectrum resource allocation method of maximizing transmission rate in cognitive heterogeneous wireless networks

Aiming at the problem that it is difficult to allocate spectrum resources to secondary users efficiently in cognitive heterogeneous wireless networks with heterogeneous spectrum attributes,dynamic channel conditions and diverse service requirements,a spectrum resource allocation strategy with maximum transmission rate was proposed.Firstly,the strategy aimed at maximizing the total transmission rate,and constrained the limited spectrum resources and user service requirements to construct a non-linear multi-constrained spectrum resource allocation 0-1 planning model.Then a polynomial time complexity simplification method was designed.According to idle spectrum information,channel conditions,business requirements and allocation decision history information,and the benefit matrix was constructed and modified to achieve constraint simplification,and the execution efficiency was improved by improving the coefficient matrix transformation strategy of the traditional Hungarian algorithm.Finally,the performance of the method was compared and analyzed by experiments.Experimental results show that the proposed method has higher transmission rate and execution efficiency.     

基于GRU和LSTM组合模型的车联网信道分配方法

针对车联网中高通信需求和高移动性造成的车对车链路(Vehicle to Vehicle, V2V)间的信道冲突及网络效用低下的问题,提出了一种基于并联门控循环单元(Gated Recurrent Unit, GRU)和长短期记忆网络(Long Short-Term Memory, LSTM)的组合模型的车联网信道分配算法。算法以降低V2V链路信道碰撞率和空闲率为目标,将信道分配问题建模为分布式深度强化学习问题,使每条V2V链路作为单个智能体,并通过最大化每回合平均奖励的方式进行集中训练、分布式执行。在训练过程中借助GRU训练周期短和LSTM拟合精度高的组合优势去拟合深度双重Q学习中Q函数,使V2V链路能快速地学习优化信道分配策略,合理地复用车对基础设施(Vehicle to Infrastructure, V2I)链路的信道资源,实现网络效用最大化。仿真结果表明,与单纯使用GRU或者LSTM网络模型的分配算法相比,该算法在收敛速度方面加快了5个训练回合,V2V链路间的信道碰撞率和空闲率降低了约27%,平均成功率提升了约10%。