基于强化学习算法的网络拥塞控制

论文将强化学习算法应用于网络的拥塞控制中,该网络拥塞控制器可以调节源端发送数据的速率,使网络中可能发生拥塞的节点的缓冲区队列长度逼近给定值,从而避免了拥塞的发生,保证了网络的稳定运行。仿真实验验证了算法的有效性。     

基于Smith预估的模糊PID主动队列管理算法研究

为解决网络拥塞控制系统中由于网络大时滞对主动队列管理算法产生不利影响的问题,提出了一种基于Smith预估的模糊PID主动队列管理算法.该算法将Smith预估控制与模糊控制相结合,利用Smith预估器补偿网络时滞,同时运用模糊控制在一定程度上克服了传统Smith预估器对模型结构与参数的精确性过于敏感、鲁棒性差的缺点,使主动队列管理算法控制性能有明显提高.仿真实验结果表明,该算法在大时滞的网络环境下能很好地将路由器队列长度收敛于期望值,并能适应突发流和非弹性业务流的干扰,适用于动态变化的网络环境.     

基于队列长度和速率的拥塞控制神经网络方法

文中研究了网络拥塞控制问题。PID控制器是实现网络拥塞控制非常有效的方法,能够实现对网络的主动队列管理。文中根据队列长度和变化速率,利用神经网络实现传统的比例微分积分器（PID）功能,从而提出了基于队列长度和速率的拥塞控制神经网络方法（RSPID）。该方法利用神经网络的加权动量梯度学习算法,自动调节控制参数,克服了传统PID控制方法由于控制器参数固定带来的适应性和稳定性问题。仿真结果表明,RSPID算法的鲁棒性和队列长度性能要优于PID算法。     

基于Smith的自适应模糊网络拥塞控制算法

针对网络拥塞控制系统中因网络时滞对主动队列管理算法产生的不利影响, 提出了一种基于Smith预估的自适应模糊主动队列管理算法。该算法将Smith预估控制与自适应模糊控制相结合, 利用Smith预估器补偿网络时滞, 同时运用模糊控制在一定程度上克服了传统Smith预估器对模型结构与参数的精确性过于敏感、鲁棒性差等缺点。仿真结果表明, 该方法可以使队列长度快速收敛到设定值, 同时维持较小的队列振荡, 尤其是在网络条件变化的情况下, 该算法优于传统PI控制、模糊控制和传统的滑模控制。     

一种ATM网络拥塞控制算法的仿真研究

该文讨论了一种基于随机控制理论的ATM网络拥塞控制算法,将该算法应用于带宽变化状态下ABR的拥塞控制问题研究。仿真结果表明：对于带宽变化的情况,该算法对交换机处排队长度有很好的控制效果,并且有很高的带宽资源利用率,同时能在各VCS间实现速率的公平分享。同时将该算法和ATM论坛的ERICA 算法进行了仿真和比较,仿真结果证明：采用该算法使得交换机队列长度、源速率、交换机输出能力波动平缓。该算法在控制队列长度及震荡、提高带宽的利用率以及实现速率公平性原则方面优于ERICA 算法。     

基于模糊推理的鲁棒主动队列管理算法

基于常规控制理论的主动队列管理(AQM)算法在复杂动态网络环境下对参数变化比较敏感,难以保证队列稳定性且缺乏鲁棒性。针对上述问题提出基于队列长度和链路速率相对变化率的模糊AQM算法,以队列长度与期望队列长度以及链路速率与链路容量的相对误差量作为网络拥塞指示,采用模糊推理得出中间节点的丢包概率。仿真实验表明,该算法具有良好的队列稳定性和较小的队列延时,对网络的非线性和负载波动等不确定因素具有鲁棒性。     

大时滞网络中的拥塞控制算法

主动队列管理(AQM)通过网络中间节点有目的的分组丢弃实现了较低的排队延时和较高的有效吞吐量,是近年来TCP端到端拥塞控制的一个研究热点.已有的大多数AQM算法在设计过程中都没有充分考虑到大时滞对算法性能的影响.首先通过仿真试验证实了已有的几种典型算法控制的队列在大时滞网络中无一例外地出现了剧烈的振荡,导致瓶颈链路利用率下降和延时抖动加剧.为此,在进行了适当模型拟合处理的基础上,应用控制理论中的内模补偿原理设计了鲁棒的延时补偿主动队列管理(delay compensation-active queue management,简称DC-AQM)算法,克服了大时滞给队列稳定性造成的不利影响.仿真实验结果表明,新算法在大时滞小期望队列长度的网络配置中表现出的综合性能明显优于已有的算法,链路利用率是其他算法的3～4倍.     

一种基于神经元强化学习的网络拥塞控制方法

提出了一种基于神经元强化学习(Neuron-based Reinforcement Learning,NRL)的自适应AQM算法,采用链路速率和队列长度作为拥塞指示,可根据网络环境的变化在线自动调整神经元参数,从而保持良好的队列长度稳定性和对网络负载波动的鲁棒性.该算法结构简单、易于实现,且不依赖对象的模型.仿真结果表明,该算法尤其适合于解决复杂不确定性网络的拥塞控制问题,并具有更好的队列稳定性和鲁棒性.     

复杂网络下具有预测与自我调节能力的拥塞控制算法

现有拥塞控制算法在复杂网络环境下存在丢包率过大的问题。为此,通过研究网络拥塞的控制问题,提出一种具有预测与自我调节能力的拥塞控制算法。采用模糊神经网络的控制器预测网络拥塞,根据缓冲器中的队列长度进行实时预测,在发生拥塞前,通过抑制控制输入端的发送速率,并结合递增参数和递减参数等变量动态调节发送速率。实验结果表明,该算法在不同信噪比下能够保持较好的收敛效果,而且网络丢包率不受网络交换速率的影响,具有较好的稳定性与保真性。     

一种自适应的主动网络拥塞控制机制研究

传统的端到端的拥塞控制机制不适应主动网络,针对主动网络面临的拥塞问题,提出了一种自适应的主动网络拥塞控制解决方案.在中间节点为转发到相邻节点的主动信包建立缓冲队列,以缓冲区中队列长度来表明节点的拥塞程度,通过对前向节点计算单元进行控制来改变当前节点拥塞状况,网络中相关节点通过协作对网络进行拥塞控制.理论分析和模拟试验结果表明,不管网络初始状态如何,该方案均能使各节点迅速达到动态平衡,快速消除主动网络拥塞.     

一种改进的主动队列管理算法

传统的主动队列管理算法（AQM：Active Queue Management）存在响应时间较长等问题,PID（Proportional Integral Differentia1） 主动队列管理算法对此作出了一定改进,然而在时延较大时也不能使队列长度收敛到期望值.本文利用BP神经网络自适应控制的特点,针对无线信道（TCP Westwood）提出了一种基于BP神经网络整定的PID主动队列管理算法.     

自适应卡尔曼滤波的主动队列管理算法

PID控制器通过微分环节加快了控制器的调节速度,但PID的参数是固定的,不能根据动态的网络自调整参数,故不能有效控制队列的稳定性。由于神经元网络有自适应性,提出了一种自适应卡尔曼滤波的主动队列管理算法(adaptive-KF-AQM)。它结合卡尔曼滤波和神经元网络方法,根据队列长度及其变化率来估计下一时刻的队列长度,使队列长度在期望值附近波动。仿真结果表明,该算法在队列稳定性、收敛速度、延时和链路利用率等方面都明显优于传统的PID算法。     

RED队列稳态误差分析

主动队列管理在保证较高吞吐量的同时，通过在交换节点上主动丢弃数据包来控制队列长度，从而实现对端到端的延时和抖动的控制．RED算法是目前应用最为广泛的主动队列管理(AQM)算法．RED算法以平均队列长度作为衡量网络拥塞的指标，其参数设置对算法性能有较大影响．利用现代控制工程理论，将RED算法看做一种单位反馈控制系统，并将期望队列长度作为系统输入，将瞬时队列长度作为输出，对该系统的稳态误差进行了分析．实验结果表明在稳定状态下，RED队列的波动受分组丢弃概率函数的斜率影响．在稳定条件边界附近，系统的稳态误差急剧增加．     

基于Dahlin算法的主动队列管理控制机制研究

主动队列管理 (AQM)是网络中间节点通过一定的分组丢弃策略来达到较低排队时延和较高吞吐量的一种机制。已有多种AQM算法被提出，但绝大多数没有考虑较大的RTT(往返时间)对算法性能的影响。该文针对大RTT的网络环境，实现了一种基于控制理论中Dahlin算法的AQM机制并分析了系统的稳定性和参数选择的准则。仿真实验结果表明，该算法在RTT较大的情况下稳定性、响应速度和鲁棒性都优于随机早期检测(RED)算法和比例－积分(PI)算法。     

基于时滞补偿的网络拥塞控制策略*

中间节点上的主动队列管理策略在保证较高吞吐量的基础上能有效控制队列长度和端到端时延,利用频率域模型降阶拟合方式建立了TCP流量控制中主动队列管理系统的等效模型,应用控制理论中的内模补偿原理设计鲁棒的延时补偿主动队列管理控制算法,克服了大时滞给对队列稳定造成的不利影响.仿真结果表明,该补偿方法在长时滞小期望队列综合性能明显优于已有的RED,REM,PI等算法,链路利用率大大提高.     

一种基于双模控制的主动队列管理新算法

随机指数标记算法(REM)是一种有效的主动队列管理算法,但由于TCP/IP网络流量模型呈现非线性特性,故而其控制效果不佳,存在队列稳定性差,对动态流量响应慢等问题.为了解决上述问题,提出了基于双模控制的主动队列管理算法(Fuzzy-REM).算法采用分段控制策略,在瞬时队列偏差大于阈值时,采用模糊控制,反之采用REM控制,从而将模糊控制的快速响应和REM稳态性能好的优点结合起来.NS2中的仿真实验表明,相对于REM算法,Fuzzy-REM提高了队列稳定性,加快了收敛速度,增强了算法对网络环境变化的适应性.     

一种基于组合型模糊控制的主动队列管理算法

计算机网络具有的复杂性和动态特性使传统控制理论难以进行主动队列管理（Active Queue Management, AQM）算法的设计和分析．本文在模糊集合和模糊系统理论的基础上设计了一个主动队列管理算法CF（Combination Fuzzy control）．其中模糊控制器I根据瞬时队列的长度和变化值计算控制量；模糊控制器II根据系统负载因子计算控制增益．通过选择模糊控制器参数，模糊控制系统与使用PI（Proportional Integral）控制器的系统具有相同的局部稳定性．最后通过仿真对CF、PI和单模糊控制器的性能进行了比较．     

一种模糊自适应虚拟队列管理算法

随着网络流量的剧增,主动队列管理是近来端到端拥塞控制研究中的一个研究热点。为了解决队列拥塞、高效利用队列资源和减少队列抖动等队列管理问题,采用模糊控制模块计算分组丢弃概率,减少了由于"硬判断"所造成的队列抖动问题;同时在算法中引入期望队列长度来显式控制并稳定队列长度,提高了队列资源利用率。最后通过在NS2平台上仿真三种不同的业务流量对该算法进行实验测试,结果表明,算法在一定程度上解决了PI算法队列抖动大和AVQ算法队列资源使用率低的问题,具有一定的可行性和应用价值。