基于多估计器平均值的深度确定性策略梯度算法

为了解决强化学习行动者-评论家框架下双延迟深度确定性策略梯度算法的低估计问题,提出了一种基于多估计器平均值的深度确定性策略梯度(DDP G-MME)算法.基于多估计器平均值的确定性策略梯度算法包含一个行动者和k(k>3)个评论家,该算法首先计算2个评论家输出值的最小值和剩余(k-2)个评论家输出值的平均值,再取两者的平...     

一种面向边缘计算节点能量优化的QoS约束路由算法

在满足节点间端到端时延、可靠性服务要求的基础上,为了解决现有多路径路由协议能耗较高的问题,提出一种面向边缘计算节点能量优化的多服务质量（QoS）约束路由算法（MQEN）.考虑端到端延迟、可靠性、能量消耗的QoS约束条件,采用边缘计算、机器学习相关技术,构建多约束最优路径传感器网络模型,引入能量感知节点唤醒策略、学习自动机奖惩机制.该算法结合边缘计算,预处理节点的原始数据,加快有效数据的传输、处理.采用自动机与环境交互的方式加快算法收敛.使用控制节点休眠激活状态的方法优化网络能量消耗,延长网络生命周期.实验结果证明,MQEN算法可降低网络能量消耗,并且能满足多QoS约束对端到端延迟、可靠性服务的要求.     

基于启发式强化学习的AGV路径规划

针对传统算法、智能算法与强化学习算法在自动引导小车(automated guided vehicle,AGV)路径规划中收敛速度慢、学习效率低的问题,提出一种启发式强化学习算法,并针对传统Q(λ)算法,设计启发式奖励函数和启发式动作选择策略,以此强化智能体对优质行为的探索,提高算法学习效率.通过仿真对比实验,验证了基于改进Q(λ)启发式强化学习算法在探索次数、规划时间、路径长度与路径转角上都具有一定的优势.     

一种基于分组交换的低时延路由算法

针对现有延迟可容忍网络路由算法在SV分组发送和数据分组交换过程中存在的冗余问题,提出了一种基于分组交换的延迟可容忍网络路由算法——PEA(Packet exchange algorithm)。PEA算法通过调整数据分组发送顺序及SV分组发送方式,加快了数据分组交换,降低了分组端到端时延。仿真结果表明,在相同消息传输成功率的条件下,PEA算法比Epi-demic算法具有更低的端到端时延。     

无线传感器网络中基于机会策略的蚁群路由协议

针对无线传感器网络节点能量受限的局限性,以设计高能效路由协议为目标,提出了一种基于机会策略的蚁群分簇路由协议.在分簇算法中引入能量估计的概念,优化网络分簇;融合能量等级及路由跳数,改进蚁群多跳路由的信息素更新规则,设计机会路由策略,降低额外网络控制开销.仿真实验结果表明,基于机会策略的蚁群路由协议能够提高网络使用效率,均衡节点能量消耗,从而延长网络的生命周期.     

基于马尔科夫决策的容迟网络路由算法

由于容迟容断网络面临的应用环境极为特殊,传统网络的路由协议无法适用于容迟容断网络.为了提高容迟容断网络的传输效率,同时减小网络延迟和网络开销,提出了基于马尔科夫决策的容迟容断网络路由算法.该算法具有学习功能,能够解决复杂的容迟容断网络环境中的高延迟和频繁割裂问题.仿真结果表明,基于马尔科夫决策的容迟容断网络在同等网络条件下,性能优于Epidem ic、PROPHET等同类路由算法.     

源表示法ILP在波带交换网络中的运用

针对波带交换网络优化问题中为得到最优解所需计算量过大的问题，分别提出多颗粒度光交叉连接网络及同目的地捆绑波带交换网络下的基于源表示法的整数线性规划（ILP）模型。研究采用NSFNET网络拓扑对2个源表示法模型和现有文献中的链路表示法模型的约束条件数和变量数进行了计算对比。结果表明基于源表示法的模型由于只考虑源节点的资源占用情况使得计算复杂度得到极大地降低，从而可以计算优化问题的最优解，并用以评估其他为降低计算量而调低优化目标的算法（如启发式算法）的效率。     

组合动作空间深度强化学习的人群疏散引导方法

人群疏散引导系统可在建筑物内发生灾害时有效保护生命安全,减少人员财产损失。针对现有人群疏散引导系统需要人工设计模型和输入参数,工作量大且容易造成误差的问题,本文提出了基于深度强化学习的端到端智能疏散引导方法,设计了基于社会力模型的强化学习智能体仿真交互环境。使智能体可以仅以场景图像为输入,通过与仿真环境的交互和试错自主学习场景模型,探索路径规划策略,直接输出动态引导标志信息,指引人群有效疏散。针对强化学习深度Q网络(DQN)算法在人群疏散问题中因为动作空间维度较高,导致神经网络复杂度指数增长的"维度灾难"现象,本文提出了将Q网络输出层按动作维度分组的组合动作空间DQN算法,显著降低了网络结构复杂度,提高了系统在多个引导标志复杂场景中的实用性。在不同场景的仿真实验表明本文方法在逃生时间指标上优于静态引导方法,达到人工构造模型方法的相同水平。说明本文方法可以有效引导人群,提高疏散效率,同时降低人工构造模型的工作量并减小人为误差。     

一种编码感知路由低时延数据传输算法

当前的编码感知路由算法在数据包编码时采用基于机会的网络编码策略,不会推迟数据包的转发来等待未来的编码机会,这样会降低网络编码对时延的贡献.为克服以上问题,提出了一种基于缓存管理的编码感知路由低时延数据传输算法.在编码节点,该算法采用基于队列长度的数据包决策策略来替代现有编码感知路由算法中的基于机会的网络编码策略.该算法在数据传输阶段之前引入了网络时延训练阶段,使编码节点获得了基于队列长度策略的最优阈值.仿真结果表明,在网络拥塞的情况下,此算法比传统的基于机会的网络编码策略具有更低的数据包传递时延和数据包丢失率,并且具有更高的吞吐量.     

算力网络中的确定性调度与路由联合智能优化方案

将算力网络技术和时间敏感网络技术融合在一起，可以实现网络中高效率、确定性转发。但在一体化决策算力网络中的资源调度和路由规划以及时间敏感网络中的门控排布时会出现决策变量过多、计算复杂度过高、优化性能不足等问题。对此，可以利用基于深度强化学习方法的改进RBDQN算法优化门控，并采用贪婪算法协助路由路径规划。以平均时延、能量损耗和用户满意度为多优化指标建立效用函数。RBDQN算法与遗传算法相比，其收敛速度可提升数十倍；与传统深度强化学习方法相比，RBDQN算法在相同指标下效用函数的指标提升超过10%,收敛时间下降约50%。     

基于鱼群优化的车载自组织网络路由算法

该文提出了一种基于鱼群优化且适用于城市道路环境的车载自组织网络路由算法。针对车载自组织网络中车辆的高速移动导致网络状态和拓扑频繁变化的特点,利用鱼群优化模型辅助搜索,及时为车辆找到新的最优中继节点,以保障网络中消息传输的性能。该文提出的鱼群路由优化算法(fish?swarm?routing, FSR) ,具有收敛速度快、效率高等优点。实验结果表明,相较于已有的车载自组织网络路由算法,该算法具有更低的传输时延和更高的传输成功率。     

基于时延和能耗的Ad hoc网络路由选择算法

为了减少网络能量消耗,优化网络性能,在网络节点MAC层发射功率可控条件下,提出了一种基于平均分组时延与分组能量消耗乘积最小的路由路径选择算法.该算法根据链路平均分组时延和分组能量消耗情况来进行路由路径选择.仿真表明,该算法可以动态调整网络路由路径,使所选路径的平均分组时延与分组能量消耗乘积达到最小,从而达到减少网络能量消耗及降低网络分组时延目的.     

一种运行轨迹驱动的移动自组织网络路由算法

在移动自组织网络(MANETs)中常见路由算法的基础上,如单副本路由和泛洪路由,提出了一种基于轨迹相似度的单副本路由算法.针对单副本路由和泛洪路由中存在的问题,如单副本路由中的大传输延迟、泛洪路由中的过量网络资源消耗及由此导致的数据丢失,提出了基于历史轨迹记录相似度的多副本路由算法.通过仿真实验,对所提算法在转发成功率、转发延时及转发次数等性能参数方面进行了评估.实验结果表明,与现有的路由算法相比,所提出的算法具有更好的性能表现,达到了预期的设计目标.     

基于密度聚类的容迟网络路由协议

为了克服现有容迟网络消息冗余副本过多,数据传输时延较大的问题,对基于历史预测的Prophet路由协议进行优化,提出基于密度聚类的路由协议,采用聚类分析理论和生灭过程理论,准确构建和维护密度聚类簇,使网络中的消息副本得到实时控制.在此基础上,提出基于Q学习的随机线性网络编码策略,采用增强学习领域中的值函数估计法,通过中间节点高效获得线性独立的编码包,以提高网络编码效益.仿真实验结果表明,相比Epidemic和Prophet路由算法,该算法可以获得较高的消息投递率;在有足够缓存的情况下,数据传输时延得到了很好的控制,对容迟网络具有较强的动态适应性.     

认知无线电最短传输时延路由算法

针对传统路由协议在认知网络中存在的缺陷,提出了一种基于最短传输时延的路由算法(SDCR)．SDCR综合考虑认知网络特性,通过计算给定数据包的链路传输时延,并将此传输时延作为链路的边权值,利用经典的迪克斯屈拉算法找出传输时延最短的路由．仿真分析表明,SDCR具有比传统路由协议更短的端到端时延．     

一种嵌套移动网络中的路由优化机制

针对嵌套移动网络中的乒乓路由和数据包多层隧道封装问题,将区域管理和移动自组织网络多跳转发的路由思想结合起来,提出了一种新的移动网络路由优化机制.该机制通过构建新的网络优化模型,实现域内自主路由和数据最短路径转发;通过更新接入点的路由信息,保持原有的转交地址CoA不交,减小了域内切换的时延.性能分析表明,该机制减少了数据传输的封装次数和隧道长度,具有较小的传输和切换时延.     

Video multipath transmission mechanism with load balancing in the FiWi network

Aiming at the differentiated needs of users and the problem of video service interruption caused by the local overload of the converged network,a load-balanced video transmission mechanism is proposed.First,the split multipath routing protocol is improved to obtain the path selection model according to the front-end structural characteristics of the optical fiber wireless access network;second,we calculate the path differential delay and the video transmission delay on wireless side,and set their threshold as the quality of the experience constraint.Finally,while considering the quality of user experience,a particle swarm optimization algorithm with a multi-stage penalty function is used for video distribution.Simulation results show that the proposed mechanism is better than the throughput-aware load-sensing algorithms,enhances delay-control load distribution algorithms and delay-energy-quality aware multipath algorithms,and that it can effectively balance the network load and alleviate network congestion while avoiding user loss.     

基于深度强化学习的超密集网络中多用户上行功率控制方法

针对超密集网络中由于用户数量多、相互距离近,通信过程中彼此之间干扰大,导致频谱利用率不高的问题,建立了通过优化控制发射功率同时提升系统信息容量和满足服务质量的用户数量的优化问题. 由于该问题非凸且功率控制为离散变量,将其建模为马尔科夫决策过程. 在此基础上,提出了基于深度强化学习的功率控制算法,并设计了相应的动作空间、状态空间及奖励函数. 仿真结果表明,所提算法与最大发射功率策略和随机发射功率策略相比,分别提高了至少15.9%的信息容量和至少10.7%的用户服务质量满足率. 与不考虑用户服务质量满足率提升的算法相比,所提算法通过适当降低信息容量,提升了用户服务质量满足率.     

OCIGM:面向DTN路由的优化控制信息生成方法

在延迟容忍网络(DTN)中,现有路由算法大多仅考虑网络的局部资源状况进行中继节点的选择,无法使全局网络性能达到最优或次优.对此,提出面向DTN路由的优化控制信息生成方法(OCIGM).该方法能评估不确定的全局网络状态,进而生成对DTN路由的优化控制信息.移动终端根据优化控制信息通过限制消息的副本数调整路由策略.仿真结果表明,喷雾等待路由算法在OCIGM优化控制信息生成方法的作用下,其网络开销、消息丢包率有所降低,消息转发成功率有所提高.