异构蜂窝网络中联合功率控制的终端直通通信资源分配

针对异构蜂窝网络中终端直通（D2D）用户和小蜂窝用户复用宏蜂窝用户资源产生的干扰问题,提出一种联合功率控制的资源分配方案。首先,在满足用户信号干扰噪声比（SINR）和发射功率约束条件的前提下,根据系统干扰模型推导出每个D2D用户和小蜂窝用户复用宏蜂窝用户信道资源时的最优发射功率;其次,将用户的信道选择规划成用户和信道之间的双边匹配问题,采用延迟接受（Gale-Shapley）算法得到一个稳定的匹配解;最后,以所得的匹配解为初始条件,通过交换搜索算法进一步优化分配方案。仿真结果表明,该方案的系统总容量和能量效率分别是最优解的93.62%和92.14%,与随机资源分配方案、无功率控制和交换搜索的分配方案,以及有功率控制无交换搜索的分配方案相比,系统容量平均增幅分别为48.29%、15.97%和4.8%,系统能量效率平均增幅分别为62.72%、44.48%和4.45%。该方案能够达到近似最优的系统总容量,有效提高频率利用率和能量效率。     

D2D通信增强的蜂窝网络中基于DDPG的资源分配

针对终端直通(D2D)通信增强的蜂窝网络中存在的同频干扰,通过联合调控信道分配和功率控制最大化D2D链路和速率,并同时满足功率约束和蜂窝链路的服务质量(QoS)需求。为有效求解上述资源分配所对应的混合整数非凸规划问题,将原问题转化为马尔可夫决策过程,并提出一种基于深度确定性策略梯度(DDPG)算法的机制。通过离线训练,直接构建了从信道状态信息到最佳资源分配策略的映射关系,而且无需求解任何优化问题,因此可通过在线方式部署。仿真结果表明,相较于遍历搜索机制,所提机制在仅损失9.726%性能的情况下将运算时间降低了4个数量级(99.51%)。     

D2D异构网络资源分配算法

为解决基于能量收集的D2D(设备到设备)异构网络的资源分配问题,提升D2D链路的平均能量效率,提出一种高效的资源分配方法。基于系统模型分析,提出非凸的混合整数非线性约束优化问题;将非凸优化问题等效转化为凸优化问题,运用Karush-Kuhn-Tucker条件进行最优求解;提出一种结合能量收集时隙分配、资源块和功率分配的迭代算法,通过仿真分析验证所提方法的有效性。实验结果表明,所提方法能够在保证能量收集约束和蜂窝用户设备服务质量的情况下,最大限度地提高所有D2D链路的平均能量效率,与其它几种方法相比,所提方法在不同的网络参数设置下均能实现更高的能量效率。     

基于深度双Q网络的多用户蜂窝网络功率分配算法研究

针对现有蜂窝网络功率分配算法存在泛化能力弱、效率低等问题进行了研究,提出基于深度双Q网络(deep double Q network,DDQN)的功率分配算法。采用双神经网络结构,解决强化学习过程中易出现的维度灾难及值函数过估计问题;对状态信息进行设计并输入神经网络,输出智能体的动作行为,并设计奖赏函数反馈给神经网络,使智能体可以有效地自主学习,多次迭代得到最优的功率分配策略。仿真结果表明,所提的模型可获得的平均速率为1.89,平均运行时间为0.0013 s,在不同用户密度及小区数量下均可达到最高的平均速率,验证了算法的有效性,为蜂窝网络资源分配问题提供了新的思路。     

基于强化学习的异构超密度网络资源分配算法

为了保证下行链路用户服务质量(Quality of Service, QoS),提升异构超密度网络的频谱利用率(Spectrum Efficient, SE)和能源效率(Energy-Efficient, EE),提出了一种基于多智能体强化学习(Deep Reinforcement Learning, DRL)的频谱和功率联合分配算法。首先,以频谱利用率和能源效率为优化目标,用户服务质量为约束,得到资源分配优化函数。然后定义多智能体用户状态空间,奖励以及动作空间,通过较小的通信开销获得状态空间信息,得到一维状态空间数据,减少网络的输入数据量,用户利用自身的信道状态信息(Channel State Information, CSI)而不依赖全局信道状态信息,再根据状态空间信息得到频谱和功率分配策略。最后,通过训练深度神经网络找到最佳的资源分配策略。仿真结果表明,该算法可以实现较快的收敛速度,对比贪婪算法以及其他强化学习方法,能源效率均提升20%以上,频谱利用率分别提升27%和11%。     

基于DQN的超密集网络能效资源管理

小基站的密集随机部署会产生严重干扰和较高能耗问题,为降低网络干扰、保证用户网络服务质量（QoS）并提高网络能效,构建一种基于深度强化学习（DRL）的资源分配和功率控制联合优化框架。综合考虑超密集异构网络中的同层干扰和跨层干扰,提出对频谱与功率资源联合控制能效以及用户QoS的联合优化问题。针对该联合优化问题的NP-Hard特性,提出基于DRL框架的资源分配和功率控制联合优化算法,并定义联合频谱和功率分配的状态、动作以及回报函数。利用强化学习、在线学习和深度神经网络线下训练对网络资源进行控制,从而找到最佳资源和功率控制策略。仿真结果表明,与枚举算法、Q-学习算法和两阶段算法相比,该算法可在保证用户QoS的同时有效提升网络能效。     

设备直通中基于组合拍卖的联合资源分配机制

设备直通D2D(Device-to-Device Communication)通信是5G系统中的关键技术,通过复用传统蜂窝通信的频谱资源,能够大幅度提升系统频谱利用率,但却给传统蜂窝用户带来了同频干扰。针对上述问题,提出一种联合功率控制和信道分配的资源分配机制来最大化D2D链路的总吞吐量,并保证蜂窝链路的服务质量需求。该方案分为两步:底层功率控制考虑给定信道组合下的最大吞吐量,首先证明原问题属于凸优化,继而利用Karush-Kuhn-Tucker条件分析得到最优解;基于功率优化的结果,上层的信道分配等价于整数线性规划问题,一般意义下属于NP-hard难题,因此提出基于组合拍卖的分配机制来实现性能与复杂度之间的折中。最后,通过仿真验证了所提资源分配机制的有效性,并展示了联合无线资源分配的优势。     

一种联合QoS约束及波束形成准则的蜂窝网络高效协作传输技术

针对由于通信干扰严重导致的蜂窝网络数据传输效率不高、能耗较大的问题,提出一种联合QoS约束及波束形成准则的蜂窝网络高效协作传输技术。该技术采用了由宏蜂窝、飞蜂窝组成的蜂窝网络系统模型,分析了网络通信过程中的信号干扰及功率情况。基于QoS约束的高效协作传输算法,采用QoS约束把数据传输的能量效率问题优化成波束成形和功率分配问题,并将Qos约束考虑进波束形成准则,从而改善网络的干扰状态,提高能量效率。实验仿真结果的对比情况表明,该技术可以提高蜂窝网络进行数据传输的能量效率,并减少通信干扰。     

雾无线接入网中基于神经网络的资源分配方案

考虑雾无线接入网（Fog Radio Access Network,F-RAN）中的性能优化问题,提出一种基于深度神经网络（Deep Neural Network,DNN）的资源分配方案。该方案旨在通过资源分配策略来最大化经济频谱效率（Economical Spectral Efficiency,ESE）。为解决传统资源分配方案需要大量计算的问题,该方案借助神经网络模型,将ESE作为损失函数,使用更少的计算量来确定用户的波束赋形,从而实现实时处理。仿真结果表明,相比于基于传统凸优化功率分配方案或者是基于监督学习的CNN方法,所提出的方案的光谱效率（Spectral Efficiency,SE）和ESE的最大增益分别可以达到5%和20%。此外,该方案在执行时间上与CNN方案接近,明显优于传统算法。     

基于能效的D2D通信系统的干扰协调与资源优化

针对传统蜂窝用户与D2D通信用户之间的同频干扰问题,本文提出基于能效的D2D通信干扰协调与资源优化方案。该方案采用功率控制与资源分配分步进行的方式进行处理,首先是对于单个D2D用户的功率控制,在蜂窝用户最小速率以及D2D用户和蜂窝用户最大功率的限制条件下,通过优化D2D用户和蜂窝用户的功率使得D2D用户的能效最大,在此阶段,采用基于参数法的Dinkelbach算法来进行用户的功率分配;最后借助Kuhn-Munkres (KM)算法为D2D用户分配蜂窝频谱资源,以使得D2D用户的总能效最大。仿真结果表明,相比于其他方案,在保证蜂窝用户正常通信时,该方案能够进一步提高系统内D2D用户的能量效率,使能效优化效果更明显。     

认知Ad hoc网络的频谱接入跨层设计方案*

为提高分布式认知Ad hoc网络的频谱感知精准性和能量有效性,提出了一种基于能量效率的频谱接入跨层设计方案。首先通过基于感知因子的完全二分图分解法对网络进行分簇,进而在簇内联合优化次用户的发射功率和接入概率,最终得到最优信道接入和功率分配方案。仿真结果表明,与传统算法相比该方案可通过合理分簇提高分布式认知网络的感知精度,在保证感知性能的条件下使系统能量效率得到有效提升。     

基于长短期记忆神经网络的容器云队列在线任务动态分配

针对现有容器云在线任务分配方法分配合理性和资源均衡度较差、任务处理效率较低的问题,提出一种基于长短期记忆神经网络的容器云队列在线任务动态分配方法。描述容器云队列在线任务模型;以节点互补度、资源利用率以及能耗组成任务分配多目标函数;在约束条件下利用长短期记忆神经网络求解任务分配最优方案,完成容器云队列在线任务动态分配。实验结果表明,本文分配方案的分配合理性达到0.925,资源均衡度达到10.255,最长队列长度为10,最大能耗值为5000 W,分配合理性、资源均衡度、任务处理效率均得到改善,分配方案更加合理。     

Elastic neural network method for multi-target tracking task allocation in wireless sensor network

Aiming at the task allocation of collaborative technique in wireless sensor network, a method for optimized task allocation based on elastic neural network is proposed under the background of multi-sensor tracking. First a model of multi-coalition tracking multi-target is designed. Then disjoint fully connected subgraphs of neurons are constructed to solve the problem of optimized task allocation in tracking multi-target and the increment of system energy consumption when dynamic coalitions compete and conflict for the resource of sensor nodes. Compared with the conventional method, simulation results show that the energy consumption of the tracking system is reduced significantly and the tracking accuracy is improved greatly, demonstrating the effectiveness of elastic neural network in handling the optimized task allocation problem of multi-sensor tracking multi-target.     

一种深度强化学习的C-RAN动态资源分配方法

移动边缘计算(MEC)技术已成为云无线接入网(C-RAN)提供近距离服务的一个很有前途的例子,从而减少了服务延迟,节约了能源消耗.本文考虑一个多用户MEC系统,解决了计算卸载策略和资源分配策略问题.我们将延迟总成本和能耗作为优化目标,在一个动态的环境中获得一个最优的策略.提出了一个基于深度强化学习的优化框架来解决资源分配问题,利用深度神经网络(DNN)对批评者的价值函数进行估计,从当前状态直接提取信息,不需要获取准确的信道状态.从而降低了优化目标的状态空间复杂度.参与者使用另一个DNN来表示参数随机策略,并在批评者的帮助下改进策略.仿真结果表明,与其它方案相比,该方案显著降低了总功耗.     

认知无线电中能效优化的子载波匹配策略

针对协作认知无线电系统中的能量效率问题,提出一种以最大化能量效率为目标的资源联合分配算法。在满足服务质量要求和功率约束的情况下,首先通过一种能量效率优先的启发式方案对子载波进行匹配,再引入基于拉格朗日对偶算法对其中的功率分配问题进行非线性优化,从而最大限度地提高整个系统的能量效率。仿真实验结果表明,所提算法的能量效率得到显著提升,验证了所提方案的有效性。     

基于深度Q学习的电力物联网任务卸载研究

随着现代化城市与工业生产中电力需求的不断提高,电力物联网（Power Internet of Things, PIoT）作为一种能够显著提高电力系统效率的解决方案受到了广泛关注。为有效解决接入问题,现有的电力设备往往已配备内置轻量级人工智能的5G模组。然而,受制于模组有限的计算能力和通信能力,设备产生的海量数据难以实时处理和分析。基于该问题,本文主要研究电力物联网系统中的任务卸载问题,通过联合优化卸载决策和边缘服务器的计算资源分配,从而降低时延与能耗的加权和。此外本文提出一种基于深度强化学习的任务卸载算法,首先任务在边缘服务器的处理过程建模为队列,其次基于凸优化理论对本地计算资源分配进行优化,最后采用深度Q学习算法优化任务卸载决策。实验结果表明,本文提出的方法能够有效降低系统时延与能耗的加权和。     

基于SAC强化学习的车联网频谱资源动态分配

针对车联网频谱资源稀缺问题,提出一种基于柔性致动-评价（SAC）强化学习算法的多智能体频谱资源动态分配方案。以最大化信道总容量与载荷成功交付率为目标,建立车辆-车辆（V2V）链路频谱资源分配模型。将每条V2V链路作为单个智能体,构建多智能体马尔科夫决策过程模型。利用SAC强化学习算法设计神经网络,通过最大化熵与累计奖励和以训练智能体,使得V2V链路经过不断学习优化频谱资源分配。仿真结果表明,与基于深度Q网络和深度确定性策略梯度的频谱资源分配方案相比,该方案可以更高效地完成车联网链路之间的频谱共享任务,且信道传输速率和载荷成功交付率更高。