基于深度强化学习的大规模敏捷软件项目调度

为解决大规模敏捷软件项目调度问题,首先,将其分解为故事选择、故事分配和任务分配3个强耦合子问题,并引入用户故事的新增与删除、每个冲刺阶段中员工工作时长的变化等动态事件,考虑团队开发速度、任务时长和技能等约束,以最大化项目所完成用户故事总价值为目标建立大规模敏捷软件项目调度数学模型;其次,根据问题特征设计了马尔可夫决策过程,采用10个状态特征描述每个冲刺阶段开始时的敏捷调度环境,12个复合调度规则作为智能体的候选动作,并按照调度模型的目标函数定义奖励;最后,提出一种基于复合调度规则的优先经验回放双重深度Q网络算法来求解所建模型,引入双重深度Q网络(DDQN)策略和优先经验回放策略,避免深度Q网络的过估计问题,并提高经验回放池中轨迹信息的利用效率。为了验证所提算法的有效性,在6个大规模敏捷软件项目调度算例中进行了实验,分析了所提算法的收敛性。根据算法性能测度,与已有代表性算法DQN、双重深度Q网络以及仅使用单一复合调度规则的方法进行对比。结果表明：所提算法在6个不同算例中均获得了最高的平均累计奖励值。     

密集网络下基于Self-Backhaul感知的用户接入负载均衡算法

针对密集异构网络自回程场景中带宽分配不合理引起的负载不均衡问题,提出一种基于self-backhaul感知的用户接入负载均衡方案.首先根据密集异构网络下各个小基站接入与回程资源的负载状态提出一种用户接入负载均衡策略;其次利用Q-Learning算法对各个小基站带内无线接入与回程带宽分配进行学习,用户在不同带宽分配因子下,根据用户接入负载均衡策略进行重新接入,得到不同接入情况下的系统效用,进而得到最优带宽分配策略,保证负载均衡性的同时实现系统效用最大化.仿真结果表明,该方案在密集异构网络自回程场景中提高了网络负载均衡性,同时提升了用户速率体验.     

基于灰色关联分析的多网络接入系统模型

针对传统网络选择算法无法满足服务质量的不足,提出了一种基于灰色关联分析的多网络接入算法.设计了多网络接入系统模型,确定了吞吐量、接入代价、接入损耗以及负载均衡等网络参数并构建了多网络接入的参数矩阵,结合权重向量,运用灰色关联分析算法确定最佳网络.对该算法进行了实验仿真,并与单网络及传统TOPSIS算法进行对比分析,其结果表明,该多网络接入算法可以明显提升网络性能,为用户提供满意的服务质量.     

基于层次分析法和熵理论的网络选择算法

为了平衡网络之间的负载,针对不同的用户策略和业务类型在QoS需求上的差异,本文提出一种基于业务类型和用户策略的主观属性和网络客观属性协同决策的动态无线异构网络选择算法.利用层次分析法对用户策略和四类业务类型进行了参数相对重要性分析,确定各个属性的主观权重;将熵权引入多属性方案中,确定各个属性的客观权重以消除主观随意性;最后根据接近理想方案的序数偏好方法对候选网络进行加权排序.仿真结果验证了该算法的正确性和有效性,同时实现了异构网络间的负载均衡.     

无人机任务卸载与充电协同优化

在野外恶劣环境应用中，可以使用具有灵活性和便捷性的无人机（UAV），通过无线数据传输辅助携带用户任务到边缘服务器。然而，UAV飞行平台难以提供长时间的任务卸载服务，大大限制了其应用前景。本文研究了在移动边缘计算环境中，如何有效整合UAV的任务卸载和充电调度。首先，构建了一个新的应用模型，该模型协同处理UAV的任务卸载调度和自身充电需求，并在UAV辅助任务卸载应用场景中加入了若干个无线充电平台。其次，考虑了用户任务的价值和UAV的充电需求，以在时延敏感和能量约束的条件下优化UAV辅助用户设备进行任务卸载的收益。最后，采用深度强化学习算法，对深度Q网络（DQN）进行调优后形成Fixed DQN算法，以有效处理模型中的大规模状态动作搜索空间问题。本文以UAV仅作为任务载体并考虑其自主充电需求为前提，通过在一个半径为3000 m、含有11个节点的区域验证Fixed DQN算法的可行性；并在不同用户节点数量、充电节点数量及服务时间条件下，通过与蚁群算法、遗传算法和DQN算法的对比实验评估其性能。实验结果表明：本文提出的Fixed DQN算法在所有测试条件下均显著优于蚁群算法、遗传算法和DQN算法，特别是在节点数量增加和服务时间延长的情景中；此外，Fixed DQN算法相对于DQN算法的性能提升突显了深度强化学习在参数调优方面的有效性。研究结果证实了Fixed DQN算法在解决UAV任务卸载和充电调度问题中的高效性和调参策略的重要性。     

超密集网络中非合作博弈的功率分配算法

为了抑制超密集网络中小小区基站的密集化部署带来的干扰,并提高系统的吞吐量,本文研究了频谱共享超密集网络中的功率分配策略.首先,针对非凸的系统和速率最大化问题,采用非合作博弈模型将其转化为每个用户效益函数最大化的凸子问题,并通过设计一种动态定价使得非合作博弈模型的纳什均衡点（NE）是原优化问题的驻点.其次,为了保证宏小区用户的服务质量（QoS）,模型中引入了干扰功率约束条件来抑制宏小区受到的干扰.最后,在此非合作博弈论框架下,设计了一种迭代式的基于全局信息的功率分配算法.每次迭代通过求解KKT条件获得每个用户的最优发射功率,通过理论推导证明了迭代算法可收敛到博弈模型的NE.此外,为了减少迭代算法的信令开销、提高资源利用率,还提出了一种基于局部信息的功率分配算法.仿真结果表明,所提出的基于全局信息的功率分配算法比对比方法具有更好的传输性能,所提出的基于局部信息的功率分配算法在保证较好的传输性能的前提下有效地减少了信令开销.     

基于多智体强化学习的接入网络切片动态切换

网络切片技术将广泛应用于以5G为代表的下一代移动通信网络中,为网络中多样化的业务提供按需的网络服务。在基于切片的移动通信网络中,用户往往需要根据不断变化的网络状态,进行接入切片的动态切换,以获得更好的网络传输和服务性能。考虑到存在多个用户的网络中,某一用户的接入选择将对接入切片的可用传输资源产生影响,从而影响其他用户的接入和切换决策。因此,该文将基于网络切片的移动通信网络中多用户的接入切换建模为一个多人随机博弈问题,采用多智体强化学习的方法对该问题进行求解,并设计了一种基于分布式多智体强化学习算法的多用户接入切片动态切换机制。在此基础上,通过仿真实验验证了该切换算法性能。     

SCMA网络中基于能量效率最大化的分层多播资源分配算法

稀疏码多址接入技术可以高效的提升频谱效率,因此被作为5G网络的候选接入技术之一。首先研究稀疏码多址接入网络中的分层多播策略,在该策略下使得网络容量不再受限于多播组中最差用户的信道质量。在满足多播组服务质量需求的同时,公式了网络能量效率最大化的最优化问题,该最优化问题由码本分配与功率分配联合解决。为了减少解决最优化问题的计算复杂度,提出分离码本分配与功率分配的快速次优化算法。最后,仿真结果显示提出的分层多播的快速次优化算法在基于稀疏码多址接入网络中的网络能量效率方面要优于采用传统多播策略的稀疏码多址接入网络,和基于正交频分多址网络。并且,提出的快速次优化算法在稀疏码多址接入网络中的多播系统功效要优于正交频分复用网络中的多播系统功效。     

超密集网络中宏微协作的干扰最小化资源分配

超密集网络能够最大化频谱利用率,但不可避免地带来严重的小区间干扰。为解决该问题,提出一种能够适应超密集网络动态负载场景宏微协作的干扰最小化资源分配算法。首先通过宏微协作交换小区子带干扰信息;然后为高功率用户分配邻区子带干扰较小的资源来降低小区间干扰。当小区业务部分加载时,算法还通过为高功率用户分配更多的带宽资源来降低它们的功率谱密度,从而进一步降低小区间干扰。仿真结果表明,新算法在业务量动态变化的超密集网络中能够有效地降低网络的干扰水平并提升网络的能效比。     

一种基于博弈论的无线网状网络信道分配算法

为了解决无线Mesh网络中的信道分配问题,提出了一种基于博弈论的信道分配方法。该算法将网络中每一个节点模型实义为一个参与者,每个参与者的策略为信道的分配方案,收益函数的目标为最大化网络信噪比。参与者通过相互博弈来优化收益函数以最大化网络信噪比。针对节点的QoS提出了算法的改进方案。基于NS2的仿真结果表明:2种算法在收敛性、吞吐量和信道接入时延方面都有较好的性能。     

基于平均场博弈的超密集网络边缘缓存和删除分配研究

超密集网络设备数目庞大导致缓存分配算法复杂度极高,频繁地缓存和删除同样的内容导致的系统不稳定,为此,提出了基于平均场博弈（MFG）的分布式缓存分配算法和基于李雅普诺夫漂移加惩罚（DPP）方法的分布式删除分配算法.MFG方法使缓存分配算法的复杂度与基站数目无关.DPP方法将具有时间相关性的删除分配问题解耦成为每个时刻的问题,并求解得到了兼顾系统稳定性和网络开销优化的删除分配策略.仿真结果表明,MFG方法能够使网络最优控制策略快速收敛,并且在超密集场景下得到明显低于基本缓存分配方法的网络开销;李雅普诺夫DPP方法能够实现兼顾网络开销优化的网络缓存和删除稳定性.     

一个新颖的异构无线网络接入选择算法

针对目前已有的异构无线网络接入选择算法缺乏考虑用户之间的竞争性,引入非合作博弈理论对接入选择进行研究.首先考虑了无线网络资源分配方式对用户实际获得数据速率的影响,建立实际数据速率计算公式;然后利用非合作博弈理论描述用户之间自我优化的竞争行为,建立接入选择模型并使用纳什均衡来预测用户的接入选择结果;最后建立适应度函数并利用离散量子粒子群算法求解纳什均衡.通过与遗传算进行比较,得出离散量子粒子群算法具有更好的收敛速度.通过对在不同网络状态下的接入选择结果进行分析,得出本文所提的算法能够适应网络的动态变化,同时该结果也能够合理地解释用户之间以自我优化为目的的竞争行为.     

Edge offloading strategy for the multi-base station game in ultra-dense networks

Mobile edge computing provides powerful computing capabilities for the wireless network to enrich the user experience.However,in the current mobile edge computing network,the problems of small coverage density and hotspot overload of the central node should be skillfully overcome.The combination of the ultra-dense network and mobile edge computing can provide a feasible solution for addressing the above problems.A distributed edge computing architecture for ultra-dense networks is designed,and a multi-base station game offloading algorithm is proposed to minimize the system overhead.In the proposed algorithm,the lagrange multiplier method is used to solve the problem of computing resource allocation,and then the matching game theory is exploited to obtain the optimal offloading strategy,so that the mutual benefits of both users and mobile edge computing servers are maximized.Simulation results show that compared with the random and greedy offloading algorithms,the proposed algorithm achieves a significant reduction in the system overhead,with the average overhead saving being up to 28.66%.     

云环境下基于用户偏好的粒子群优化算法的Web服务选择

针对当前Web服务的海量增加．而现有的服务选择算法低效以及粒子群算法在复杂的组合优化类问题上的不足,该算法分析用户对于Web服务的一些软性偏好,提出了一种在云环境下基于用户偏好的粒子群改进算法的Web服务选择．该算法通过对粒子分群映射、相似分群并行化简,同时利用模糊约束来表达用户的偏好,最终使得用户能够根据偏好从中进行选择．实验表明,该算法能有效减少执行过程@Web服务选择导致的时间开销,并提高服务选择的性能．     

深度学习辅助上行免调度NOMA多用户检测方法

针对上行免调度非正交多址接入（NOMA）场景中多用户检测的问题,通过结合传输数据的符号特征,提出基于深度神经网络（DNN）的联合活跃用户检测和数据检测框架. 考虑更一般化的实际场景,即用户在每个时隙中随机活跃. 将DNN求解结果作为改进的正交匹配追踪(OMP)算法先验输入,修正提升活跃用户检测和数据检测性能. 仿真结果表明,提出的多用户检测方案比传统的贪婪追踪及动态压缩感知（DCS）多用户检测算法具有更好的用户活跃性及数据检测性能.     

超密集网络中混合接入方式下基于分组的资源分配

针对混合接入方式下的超密集异构网络中存在的干扰及频谱资源分配问题,提出了一种基于分组的资源分配方案.根据Small cell间的干扰采用模拟退火算法对Small cell进行分组;运用基于最小信干噪比最大化的信道分配方案对分组后的网络进行信道分配.给出了混合接入方式下用户的资源使用方式.仿真结果表明,该方案可以有效地抑制干扰,提高系统性能.     

Multi-criteria user selection scheme for learning-based multiuser MIMO cognitive radio networks

For multiuser multiple-input-multiple-output (MIMO) cognitive radio (CR) networks a four-stage transmiision structure is proposed. In learning stage, the learning-based algorithm with low overhead and high flexibility is exploited to estimate the channel state information (CSI) between primary (PR) terminals and CR terminals. By using channel training in the second stage of CR frame, the channels between CR terminals can be achieved. In the third stage, a multi-criteria user selection scheme is proposed to choose the best user set for service. In data transmission stage, the total capacity maximization problem is solved with the interference constraint of PR terminals. Finally, simulation results show that the multi-criteria user selection scheme, which has the ability of changing the weights of criterions, is more flexible than the other three traditional schemes and achieves a tradeoff between user fairness and system performance.