基于竞争双深度Q网络的频谱感知和接入

认知用户通过频谱感知和接入过程识别频谱状态并占用空闲频谱,可有效利用频谱资源。针对频谱感知中存在感知错误和频谱接入中存在用户碰撞的问题,首先建立多用户多信道模型,设计频谱感知和频谱接入过程;然后通过结合双深度Q网络和竞争Q网络,设计竞争双深度Q网络,解决过估计问题的同时优化网络结构;最后通过智能体与所设计模型中状态、观测、回报和策略的交互,完成使用竞争双深度Q网络解决频谱感知和接入问题的一体化研究。仿真结果表明,相比于已有深度强化学习方法,使用竞争双深度Q网络得到的数值结果更稳定且感知正确率和信道利用率都提高了4%。     

基于深度学习的卫星通信抗干扰方法

卫星通信作为当前地面通信网络的补充通信,可以为用户提供随时随地的便携通信服务,针对卫星日趋严重的通信网络干扰,本文提出了一种基于深度学习与干扰感知相结合的人工智能技术实现对卫星通信干扰的自主感知。通过对干扰信号的自主感知和分析,提升通信网络的抗干扰能力。     

基于竞争双深度Q网络的动态频谱接入

针对多信道动态频谱接入问题,建立了存在感知错误与接入碰撞的复杂信道场景,提出了一种结合双深度Q网络和竞争Q网络的竞争双深度Q网络学习框架。双深度Q网络将动作的选择和评估分别用不同值函数实现,解决了值函数的过估计问题,而竞争Q网络解决了神经网络结构优化问题。该方案保证每个次要用户根据感知和回报结果做出频谱接入决策。仿真结果表明,在同时存在感知错误和次要用户冲突的多信道情况下,竞争双深度Q网络相比于同类方法具有较好的损失预测模型,其回报更稳定且提高了4%。     

一种车载服务的快速深度Q学习网络边云迁移策略

智能网联交通系统中车载用户的高速移动,不可避免地造成了数据在边缘服务器之间频繁迁移,产生了额外的通信回传时延,对边缘服务器的实时计算服务带来了巨大的挑战。为此,该文提出一种基于车辆运动轨迹的快速深度Q学习网络(DQN-TP)边云迁移策略,实现数据迁移的离线评估和在线决策。车载决策神经网络实时获取接入的边缘服务器网络状态和通信回传时延,根据车辆的运动轨迹进行虚拟机或任务迁移的决策,同时将实时的决策信息和获取的边缘服务器网络状态信息发送到云端的经验回放池中;评估神经网络在云端读取经验回放池中的相关信息进行网络参数的优化训练,定时更新车载决策神经网络的权值,实现在线决策的优化。最后仿真验证了所提算法与虚拟机迁移算法和任务迁移算法相比能有效地降低时延。     

基于改进深度Q学习的网络选择算法

在引入休眠机制的超密集异构无线网络中,针对网络动态性增强,导致切换性能下降的问题,该文提出一种基于改进深度Q学习的网络选择算法。首先,根据网络的动态性分析,构建深度Q学习选网模型;其次,将深度Q学习选网模型中线下训练模块的训练样本与权值,通过迁移学习,将其迁移到线上决策模块中;最后,利用迁移的训练样本及权值加速训练神经网络,得到最佳选网策略。实验结果表明,该文算法显著改善了因休眠机制导致的高动态性网络切换性能下降问题,同时降低了传统深度Q学习算法在线上选网过程中的时间复杂度。     

基于深度Q网络的在线服务功能链部署方法

针对5G网络资源状态动态变化和网络模型高维度下服务功能链部署的复杂性问题,该文提出一种基于深度Q网络的在线服务功能链部署方法(DeePSCD).首先,为描述网络资源动态变化的特征,将服务功能链部署建模成马尔可夫决策过程,然后,针对系统资源模型的高维度问题采用深度Q网络的方法进行在线服务功能链部署策略求解.该方法可以有效描述网络资源状态的动态变化,特别是深度Q网络能有效克服求解复杂度,优化服务功能链的部署开销.仿真结果表明,所提方法在满足服务时延约束条件下降低了服务功能链的部署开销,提高了运营商网络的服务请求接受率.     

基于深度Q网络的在线服务功能链部署方法

针对5G网络资源状态动态变化和网络模型高维度下服务功能链部署的复杂性问题,该文提出一种基于深度Q网络的在线服务功能链部署方法(DeePSCD)。首先,为描述网络资源动态变化的特征,将服务功能链部署建模成马尔可夫决策过程,然后,针对系统资源模型的高维度问题采用深度Q网络的方法进行在线服务功能链部署策略求解。该方法可以有效描述网络资源状态的动态变化,特别是深度Q网络能有效克服求解复杂度,优化服务功能链的部署开销。仿真结果表明,所提方法在满足服务时延约束条件下降低了服务功能链的部署开销,提高了运营商网络的服务请求接受率。     

基于深度强化学习的多AMR路径规划算法研究

针对箱式仓储环境下的多自主移动机器人(AMR)调度问题,传统动态路径规划算法(TDP)有解算可行路径效率低、系统实时性较差的缺点。针对这一问题,文中以时间最优为目标建立强化学习算法(RL)模型,用于提高多AMR同时调度的路径规划求解速度。此外,结合深度学习(DL)算法的优点,采用深度强化学习算法(DRL)有效缩短高维度、复杂工况下RL算法模型训练的收敛时间。仿真对比了TDP、RL和DRL三种算法模型,验证了DRL方法的有效性。     

基于Q学习的自主Agent模型

为了实现Agent灵活、自主的运行，Agent必须具有很强的学习能力。在BDI模型基础上，引入Q学习方法调整Agent的动作策略。提出了基于Q学习的自主Agent模型，给出了模型的结构及形式化描述。分析了Agent的学习过程。以方格世界的搜索问题为例，验证了模型的正确性和有效性。     

深度学习支持下的无线异构网络中继决策分析

在无线异构网络中,中继节点的智能化决策直接影响网络的频谱效率、能量效率以及服务质量。针对无线异构网络的中继决策问题,文章提出一种基于深度Q网络的强化学习方法,概述了无线异构网络的组成及中继节点的作用,介绍了深度Q网络算法的优势及网络结构,定义了无线网络环境的状态空间、动作空间和奖励函数,构建了端到端的深度Q网络决策模型,最后通过仿真实验验证了文章所提方法的有效性。     

融合多属性决策和深度Q值网络的反导火力分配方法

针对中大规模武器-目标分配(WTA)决策空间复杂度高、求解效率低的问题,该文提出一种基于多属性决策和深度Q网络(DQN)的WTA优化方法。建立基于层次分析法(AHP)的导弹威胁评估模型,引入熵值法表征目标属性差异,提升威胁评估客观性。根据最大毁伤概率准则,建立基于DQN的WTA分段决策模型,引入经验池均匀采样策略,确保各类目标分配经验的等概率抽取;设计综合局部和全局收益的奖励函数,兼顾DQN火力分配模型的训练效率和决策准确性。仿真结果表明,相较于传统启发式方法,该方法具备在线快速求解大规模WTA问题的优势,且对于WTA场景要素变化具有较好的鲁棒性。     

基于深度学习的多波束卫星通信系统中动态波束调度技术研究

针对多波束技术为卫星通信系统带来更大用户容量,提升覆盖能力的同时,也面临波束控制难度高、资源浪费的问题。本文简要阐述了多波束天线的工作原理与波束调度方法,并基于深度学习分析了动态波束调度技术,在未考虑延时优化的前提下,利用线性规划得到适用稳态实践平均值的波束调度技术,希望提升一般波束调度方案适应环境动态变化的能力。     

基于深度前馈网络的深度学习模型在XOR函数中的应用

文章首先介绍了前馈网络的基本原理。然后通过一个XOR小例子讨论部署一个前馈网络所需的每个设计决策。最后去面对那些只出现在前馈网络中的设计决策。     

基于深度强化学习的智能网络安全防护策略研究

深度强化学习作为统计学习常见算法,将其应用于智能网络安全防护设计环节将取得显著效果,以此规避智能网络安全风险。文章简要分析智能网络安全常见问题,根据对问题的分析研究,总结智能网络安全防护优化设计具体目标,经由设计网络状态集合、细化网络动作集合、规范设计回报函数、强化数据分析功能等设计步骤的落实,智能网络将充分发挥安全服务作用,由此维护网络安全。本文提出了可行性措施,期待提升网络安全防护的有效性。     

基于深度强化学习的网络切片资源管理算法

随着第五代通信技术(5G)的发展,各种应用场景不断涌现,而网络切片可以在通用的物理网络上构建多个逻辑独立的虚拟网络来满足移动通信网络多样化的业务需求。为了提高移动通信网络根据各切片业务量实现资源按需分配的能力,本文提出了一种基于深度强化学习的网络切片资源管理算法,该算法使用两个长短期记忆网络对无法实时到达的统计数据进行预测,并提取用户移动性导致的业务数据量动态特征,进而结合优势动作评论算法做出与切片业务需求相匹配的带宽分配决策。实验结果表明,相较于现有方法,该算法可以在保证用户时延和速率要求的同时,将频谱效率提高约7.7%。     

面向物联网的深度Q网络无人机路径规划

随着无人机技术的广泛应用,基于无人机辅助数据收集的物联网架构扩展了物联网的应用范围,尤其适用于军事战场、灾害救援等极端场景。针对上述场景,该文提出一种基于深度Q网络(Deep Q-Network, DQN)框架的无人机飞行路径规划算法。该算法以无人机飞行周期内收集信息的平均信息年龄(Age of Information, AoI)为优化目标,来保证无人机收集数据的时效性。仿真结果表明,所提算法可以有效降低无人机单个飞行周期内收集数据的平均AoI。与随机算法、基于最大AoI的贪心算法、最短路径算法以及基于AoI的路径规划算法(AoI-based Trajectory Planning, ATP)相比,平均AoI分别降低了约81%, 67%, 56%和39%。该研究实现了无人机辅助物联网系统中,数据的高效、低时延采集。     

语义通信中基于深度双Q网络的多维资源联合分配算法

5G技术的不断发展,带来了网络中数据量的爆发式升高与越来越多的涉及图像视频的语义理解任务,无疑对通信、计算和缓存资源造成了极大的压力。为更好地满足视频语义理解任务的资源需求,缓解资源紧缺现象,研究了语义通信中基于深度双Q网络的多维资源联合分配算法。首先,基于车联网场景,改进了现有的联合资源分配算法,引入缓存资源构建了新的面向语义的多维资源联合分配模型;其次,针对其动态时变的特性,搭建了深度双Q网络求解最优资源分配策略;最后,仿真验证了所提多维资源联合分配算法的性能优势。     

星地融合网络中基于深度强化学习的多业务缓存策略

星地融合网络承载的通信服务呈现出多类型业务并发、业务需求差异化、数据流量聚集、大量重复请求等鲜明特征。针对多样化重复请求业务并发时链路负载过大、用户体验质量(Quality of Experience,QoE)难以保障的问题,提出一种基于深度强化学习(Deep Reinforcement Learning,DRL)的多业务缓存(Caching for Multi-Type Services,CMTS)策略。通过对星地融合网络中获取请求内容时延与三类典型业务时间效用函数分析建模,建立以最大化系统和效用为目标的优化问题,并提出一种基于多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)的MADDPG-CMTS算法,综合考虑业务效用差异化特征、用户请求、星地缓存、网络拓扑等多种因素确定缓存更新决策。仿真结果表明,所提算法与最受欢迎内容(Most Popular Content,MPC)策略、随机替换(Random Replacement,RR)策略等传统缓存更新策略相比,系统总效用可提升约47%。     

基于优先记忆库结合竞争深度Q网络的动态功率控制

针对认知无线电多用户的动态功率控制策略问题,提出了一种基于优先记忆库(Prioritized Experience Replay,PER)结合竞争深度Q网络（Dueling Deep Q Network,Dueling DQN）的功率控制方法。在不知道主用户的控制策略及发射功率情况下,次用户以下垫式接入到主用户信道进行传输任务。微基站收集到的接收信号强度信息作为环境状态信息输入到竞争深度Q网络中,经过训练和学习后,得到次用户的动态功率控制策略。实验结果表明,次用户经过深度强化学习后能够找到最优的功率控制策略,并且在环境参数发生变化时也能快速调整自身的行为和控制策略,提高了频谱利用率和网络能效。