超密集网络中基于小区分簇的资源分配

针对超密集网络中毫微微小区(Femtocell)之间同层干扰以及毫微微小区与宏小区(Macrocell)之间跨层干扰问题,提出了一种基于小区动态分簇的资源分配算法。该算法分为两步:第一步首先采用了基于速率公平性的子信道分配算法为宏用户分配子信道,接着利用注水算法分配功率;第二步首先根据毫微微小区之间的干扰权值大小,利用遗传模拟退火算法为FAPs分簇,其次利用启发式信道分配算法为FUEs分配子信道,采用KKT条件为用户分配功率。仿真表明,该算法能够有效抑制这两种干扰,满足用户速率需求,提升网络频谱效率。     

超密集网络中基于干扰协调的资源分配算法

超密集网络中,严重的小区间干扰制约了终端用户的数据速率,针对该问题,该文提出一种基于干扰协调的资源分配方案。该方案分为两个模块：第一模块基于毫微微接入点(Femtocell Access Points, FAPs)间的干扰程度,将干扰强的FAPs分到同一簇内,同簇内的FAPs共享频带资源,通过FAPs间的协作使不同簇之间实现频谱的复用;第二模块基于最大功率和最低速率的公平性准则进行最优功率分配,动态分配资源。仿真结果表明,该算法在超密集网络场景下能够有效控制FAPs间的干扰,最大化系统吞吐量。     

密集小蜂窝网络中基于负载均衡的能效方案

针对密集小蜂窝网络中断概率高、负载不均衡的问题,提出了一种基于负载均衡的能效方案。在保证用户中断概率、最小速率等约束条件下通过联合优化负载均衡和基站开关模式,最大化网络能效,优化问题是一个非凸的NP-hard问题,求得最优解是相当复杂的,因此把原最优问题分解成两个次优化子问题：首先,负载均衡方案在给定的基站开关模式下给出最优负载均衡策略;其次,在满足用户最小速率约束条件下设计最优基站开关模式。实验结果表明,当用户数少于180时所提方案中断概率为零,而传统的最大信干噪比（Max-SINR）算法中断概率达到11%,在网络能效方面,所提方案均高于基站任意关闭（Ran-off）算法和基站不关闭（No-off）算法。所提方案能够提高网络能效且保证负载均衡。     

基于多尺度密集连接网络的图像超分辨算法

图像超分辨率旨在通过软件技术从低分辨率图像中获得高分辨率图像.受深层神经网络对非线性关系强大表示启发,提出一种基于多尺度密集连接网络的图像超分辨算法.利用多尺度和密集连接思想设计了两个并行子网络提取图像特征,一个子网络中引人多尺度卷积层以提取低分辨图像的多种特征,另一个子网络则利用密集连接模块加深网络结构尽可能提取丰富的纹理特征,同时还可以避免模型训练过程中梯度消失的问题.最后对两个子网络提取的特征求残差并对其行重构得到高分辨率图像.仿真结果表明,提出的算法无论在客观评价还是视觉效果上均优于其它同类超分辨算法.     

超密集网络中子信道和功率分配研究

超密集网络中,严重的小区间干扰制约了终端用户的数据速率,针对该问题,提出一种基于簇优先级的资源分配方案。该方案分为3个步骤:首先,采用基于图论的染色算法为毫微微接入点(Femtocell Access Points,FAPs)分簇;然后,以簇内每个毫微微用户(Femtocell User Equipments,FUEs)的待发送数据量、排队等待时延以及受干扰强度等作为优先级,计算每个簇的优先级,高优先级的簇可最先获得信道增益好的子信道;最后,利用卡罗需-库恩-塔克(Karush-Kuhn-Tucker,KKT)条件和注水算法为FUEs分配功率。仿真实验表明该方案能够有效地减小Femtocell间的干扰,并能够极大地满足用户的需求,同时提升系统的吞吐量和频谱效率。     

基于强化学习的异构超密度网络资源分配算法

为了保证下行链路用户服务质量(Quality of Service, QoS),提升异构超密度网络的频谱利用率(Spectrum Efficient, SE)和能源效率(Energy-Efficient, EE),提出了一种基于多智能体强化学习(Deep Reinforcement Learning, DRL)的频谱和功率联合分配算法。首先,以频谱利用率和能源效率为优化目标,用户服务质量为约束,得到资源分配优化函数。然后定义多智能体用户状态空间,奖励以及动作空间,通过较小的通信开销获得状态空间信息,得到一维状态空间数据,减少网络的输入数据量,用户利用自身的信道状态信息(Channel State Information, CSI)而不依赖全局信道状态信息,再根据状态空间信息得到频谱和功率分配策略。最后,通过训练深度神经网络找到最佳的资源分配策略。仿真结果表明,该算法可以实现较快的收敛速度,对比贪婪算法以及其他强化学习方法,能源效率均提升20%以上,频谱利用率分别提升27%和11%。     

用于图像超分辨的密集跳跃注意连接网络

为解决现有基于深度学习的超分辨算法模型没有充分利用各个层次的特征信息导致重建精度不高、参数量大的问题,提出了一个内外双重密集连接结构——密集跳跃注意连接网络。内层结构中,对原始密集级联结构进行改进,提出了通道可分密集级联块;外层结构采用密集残差连接结合注意力机制将由密集块提取的特征进行融合,从而达到更少卷积层、更高精度的效果。在多个基准数据集上测试,提出的网络较其他网络层数体量相近的算法精度更高、参数量更少。     

基于深度强化学习算法的蜂窝网络功率控制

为了更加有效地利用频谱资源,提高频谱效率,在蜂窝网络中提出了频谱效率最大化问题,建立了最大发射功率约束下的功率控制模型。同时,为了解决信道状态信息不完美和迭代时间过长的问题,采用深度Q学习（Deep Q-Network,DQN）算法进行功率控制。另外,使用Python仿真,将基于DQN的算法与加权最小均方误差（Weighted Minimum Mean Square Error,WMMSE）算法和分数规划（Fractional Programming,FP）算法相对比,结果表明提出的基于DQN的算法在归一化性能和累计分布概率上接近最优,可以得到更高的频谱效率。     

超密集网络中基于多基站博弈均衡的分布式无线资源管理算法

移动边缘计算和超密集网络技术在扩大移动设备计算能力和增加网络容量方面有明显的优势.然而,在两者融合的场景下,如何有效降低基站之间的同信道干扰,减少任务传输的时延和能耗是一个重要研究课题.本文设计了一个基于多基站博弈均衡的分布式无线资源管理算法.将小基站之间的无线资源管理问题转化为博弈问题,提出一种基于奖励驱动的策略选择算法.基站通过迭代不断更新其策略的选择概率,最终优化子信道分配和发射功率的调控.仿真结果表明,我们的算法在提高信道利用率和降低任务处理的时延和能耗方面具有优势.     

解码转发单向多中继网络的能效与谱效权衡

为优化解码转发(DF)单向多中继网络的能量效率(EE)与频谱效率(SE),提出一种中继选择与功率分配联合优化方法.在DF单向多中继传输网络中,选择能够使EE最大的中继节点作为最佳中继并进行最优功率分配,给出最优功率分配下EE和SE的表达式,以提高SE为目标求出最优功率分配因子,将其代入EE的计算表达式后,将节点总功率作...     

基于强化学习的综合能源系统管理综述

为了满足日益增长的能源需求并减少对环境的破坏, 节能成为全球经济和社会发展的一项长远战略方针, 加强能源管理能够提高能源利用效率、促进节能减排. 然而, 可再生能源和柔性负载的接入使得综合能源系统(Integrated energy system, IES)发展成为具有高度不确定性的复杂动态系统, 给现代化能源管理带来巨大的挑战. 强化学习(Reinforcement learning, RL)作为一种典型的交互试错型学习方法, 适用于求解具有不确定性的复杂动态系统优化问题, 因此在综合能源系统管理问题中得到广泛关注. 本文从模型和算法的层面系统地回顾了利用强化学习求解综合能源系统管理问题的现有研究成果, 并从多时间尺度特性、可解释性、迁移性和信息安全性4个方面提出展望.     

C-V2X通信中资源分配与功率控制联合优化

在C-V2X通信中,Mode 4资源分配方式使用基于感知的半持续调度（SB-SPS）算法进行资源分配,但该算法以最大功率传输安全消息,在高密度交通流状态下会导致系统的可靠性下降。为对SB-SPS算法进行优化,提出一种基于深度强化学习的联合资源分配与功率控制算法。车辆在感知到信道后,为安全消息选择干扰最小的子信道,并根据信道状态自适应调整传输功率,通过与环境交互学习的方式求解最优的子信道选择方案和功率控制方案。仿真结果表明,与SB-SPS优化算法相比,该算法在高密度公路场景下分组接收率提高5%,有效提升了车间通信的可靠性。     

Double Deep Q-Network Method for Energy Efficiency and Throughput in a UAV-Assisted Terrestrial Network

Increasing the coverage and capacity of cellular networks by deploying additional base stations is one of the fundamental objectives of fifth-generation (5G) networks. However, it leads to performance degradation and huge spectral consumption due to the massive densification of connected devices and simultaneous access demand. To meet these access conditions and improve Quality of Service, resource allocation (RA) should be carefully optimized. Traditionally, RA problems are nonconvex optimizations, which are performed using heuristic methods, such as genetic algorithm, particle swarm optimization, and simulated annealing. However, the application of these approaches remains computationally expensive and unattractive for dense cellular networks. Therefore, artificial intelligence algorithms are used to improve traditional RA mechanisms. Deep learning is a promising tool for addressing resource management problems in wireless communication. In this study, we investigate a double deep Q-network-based RA framework that maximizes energy efficiency (EE) and total network throughput in unmanned aerial vehicle (UAV)-assisted terrestrial networks. Specifically, the system is studied under the constraints of interference. However, the optimization problem is formulated as a mixed integer nonlinear program. Within this framework, we evaluated the effect of height and the number of UAVs on EE and throughput. Then, in accordance with the experimental results, we compare the proposed algorithm with several artificial intelligence methods. Simulation results indicate that the proposed approach can increase EE with a considerable throughput.     

QoS驱动的电力通信网效用最大化资源分配机制

智能电网业务的多样性和对QoS的不同需求,是电力通信网资源分配时急需解决的问题.网络虚拟化是网络转型的关键技术,在保障业务QoS和提高资源利用率方面具有非常大的优势.本文基于网络虚拟化技术,对QoS驱动的电力通信网资源分配问题进行了形式化的描述,提出了基于三方博弈的两阶段资源分配模型.基于此模型,提出一种QoS驱动的电力通信网效用最大化的资源分配机制.通过对提出的资源分配机制的分配策略性能分析,证明了本文提出的资源分配机制满足占优策略激励兼容特性,并且可以实现系统利润最大化的目标.通过仿真实验,验证了本文提出的机制能够实现电力通信网的效用最大化,提高了电力通信网的资源利用率.     

基于能量效率的OFDMA系统资源分配

研究了OFDMA(正交频分多址)系统优化能量效率的资源分配方法,提出了一种基于能量效率的速率比例公平资源分配算法。首先在各子载波等功率的假设条件下为各个用户进行子载波分配,然后求得满足速率比例公平条件下的各用户注水线间的函数关系,再将用户和系统速率要求作为约束条件,采用二分法对函数求解,得到近似最优能量效率下的用户注水线,最后根据用户注水线进行功率分配。仿真结果表明,与其他方案相比,该算法在保持用户速率比例公平性的同时能有效提高系统的能量效率,且复杂度较低。     

MEC中卸载决策与资源分配的深度强化学习方法

在移动边缘计算(MEC)服务器计算资源有限且计算任务具有时延约束的情况下,为缩短任务完成时间并降低终端能耗,提出针对卸载决策与资源分配的联合优化方法.在多用户多服务器MEC环境下设计一种新的目标函数以构建数学模型,结合深度强化学习理论提出改进的Nature Deep Q-learning算法Based DQN.实验结果...     

Parallel Reinforcement Learning-Based Energy Efficiency Improvement for a Cyber-Physical System

As a complex and critical cyber-physical system (CPS), the hybrid electric powertrain is significant to mitigate air pollution and improve fuel economy. Energy management strategy (EMS) is playing a key role to improve the energy efficiency of this CPS. This paper presents a novel bidirectional long short-term memory (LSTM) network based parallel reinforcement learning (PRL) approach to construct EMS for a hybrid tracked vehicle (HTV). This method contains two levels. The high-level establishes a parallel system first, which includes a real powertrain system and an artificial system. Then, the synthesized data from this parallel system is trained by a bidirectional LSTM network. The lower-level determines the optimal EMS using the trained action state function in the model-free reinforcement learning (RL) framework. PRL is a fully data-driven and learning-enabled approach that does not depend on any prediction and predefined rules. Finally, real vehicle testing is implemented and relevant experiment data is collected and calibrated. Experimental results validate that the proposed EMS can achieve considerable energy efficiency improvement by comparing with the conventional RL approach and deep RL.