基于云模型的Ad-hoc拥塞跨层控制仿真

针对传统网络拥塞控制方法没有考虑到控制丢包率,导致控制效果不佳的问题,提出基于云模型的移动Ad-hoc网络拥塞跨层控制方法.分析移动Ad-hoc网络的分层结构,构建网络拓扑结构模型.运用该模型分析丢包产生的原因,并加以优化.在此基础上为了提升网络链路的使用率、降低网络拥塞程度,在缓冲队列中采用云模型检测网络拥塞情况,调节网络数据的发送速率,从而实现对网络拥塞的跨层控制.通过仿真分析可知,上述方法的控制效果较理想,丢包率较低,有效解决了传统方法中存在较大丢包率的问题,能够为相关工作提供可靠的参考,具有较高的使用价值.     

基于强化学习的移动传感器网络时延系统控制数学建模

为了提高移动传感器网络时延系统控制能力,提出基于强化学习的移动传感器网络时延系统控制模型,采用高阶近似微分方程构建移动传感器网络时延系统的控制目标函数,结合最大似然估计方法进行移动传感器网络的时延参数估计,采用强化学习方法进行移动传感器网络的收敛性控制和自适应调度,建立传感器网络时延系统控制的多维测度信息配准模型,在强化跟踪学习寻优模式下实现移动传感器网络时延系统的自适应控制。仿真结果表明,采用该方法进行移动传感器网络时延系统控制的自适应性较好,时延参数估计准确度较高,控制过程的鲁棒性较强。     

基于丢包率预测的视频传输纠错算法

为解决视频图像在互联网中进行传输时,其质量易受网络丢包率、时延等因素的影响而显著降低的问题,提出了一种基于丢包率预测的视频传输纠错算法。该算法采用隐马尔可夫模型预测网络丢包率,根据丢包率的大小自适应地选择FEC或ARQ对视频图像进行纠错操作。当预测出的丢包率较高时,为避免FEC算法在丢包率较高时降低带宽利用率,采用选择性ARQ算法恢复丢失的视频数据包,并通过限制其重传次数使视频传输的实时性得到了保证;当预测出的丢包率较低时,则采用优化了RS冗余值的FEC算法进行纠错操作。在OPNET modeler中进行的仿真实验表明,与HARQ算法相比,使用该纠错算法,视频图像的PSNR的平均值提高了1.6 dB,平均时延减少了0.24 s左右。该算法不但降低了视频传输的平均时延和丢包率,而且提高了接收端视频图像的重建质量,具有复杂度低、实现简单的特点。     

Hadoop平台下一种改进蚂蚁算法的QoS路由研究

随着未来云计算的发展,各种云服务的应用将需要更高的网络性能。链路拥塞导致的数据包传输时延或数据包丢弃使得网络无法保障业务的QoS。目前普遍使用的链路状态路由算法不具有拥塞响应机制。本文通过在拥塞节点间发送连接蚂蚁寻找新路由来解决拥塞问题。NS2仿真结果表明,该算法能加快新的路由搜索,满足QoS的需求,并有效控制丢包率,时延等性能。     

无线多跳网络中支持多媒体QoS的中继节点转发队列调度算法研究

随着网络应用的日益广泛,一个通信网络往往需要支持多种业务。文章针对无线多跳网络,中继节点采用FIFO队列转发数据产生的时延累计效应导致的实时性服务不可用问题,提出了按照数据类型和数据包剩余时延对转发队列中数据包重新排序的策略。此策略能够在保持非实时性应用数据包时延可容忍的情况下,有效降低多媒体数据包的平均传输时延和整个系统的丢包率。     

命名数据网络中基于自适应转发的拥塞控制机制

为了提高命名数据网络NDN(Named Data Networking)中视频数据的可靠传输,站在客户端的角度,提出一种基于自适应转发的拥塞控制机制AFCCP(Adaptive Forward Congestion Control Policy)。AFCCF以网络丢包最小化为目标,为接口的选择建立马尔科夫模型,通过前一时间间隔链路的状态,自适应地选择最佳的转发接口,减少兴趣包向拥塞链路的转发,降低网内的丢包数目,实现网络拥塞控制。在此基础上,AFCCF针对视频数据内部属性,考虑解码端特点,在网络发生丢包时,选择性地对数据包丢弃,实现视频内部重要数据的可靠传输。仿真结果表明,AFCCP在较低时延的条件下,实现网络较小的丢包率,增加用户接收数据包的数量,从而改善用户获取数据体验。     

具有随机时延和丢包补偿的NCS的H∞控制

给出一个存在随机时延和数据包丢失的网络控制系统（Networked Control System, NCS）模型，并分析了其渐近稳定的LMI条件．为了降低数据包丢失对系统稳定性的影响，在系统中增加了补偿器，并建立了具有丢包补偿器和随机网络诱导时延的NCS模型．在此模型的基础上，给出了系统渐近稳定和γ次优、最优的充分条件，并且获得了系统最优H∞控制的输出反馈控制律．对同一算例进行Matlab仿真，结果表明具有丢包补偿器的NCS趋于稳定的速度更快．     

网络控制系统的时延相关状态反馈控制器设计

研究了具有时延、丢包和数据包时序错乱的网络控制系统镇定问题.为了有效提高系统的控制性能,本文根据网络控制系统的特点提出一种时延相关状态反馈控制方法,并将闭环网络控制系统建模为离散时间切换模型.在此基础上,通过构造依赖于参数的Lyapunov函数给出了闭环网络控制系统的稳定条件和镇定控制器设计方法.仿真结果和实验结果表明所提方法的有效性和可用性.     

基于网络的运动控制系统预测控制研究

针对一类基于网络的运动控制系统中存在的时延和丢包问题进行研究。对于网络运动控制系统存在数据时延和丢包的情况,建立网络运动控制系统模型。在此模型下,对预测函数控制算法进行分析,设计了预测函数控制产生器和数据延时预测补偿器,并研究相应的补偿策略。仿真分析表明算法的合理性和有效性。     

基于HTCPN和隐马尔科夫的网络控制系统模型分析

针对具有随机时延的网络控制系统(NCSs),研究其建模与系统分析问题.运用层次时间颜色Petri网(HTCPN)对以PLC为控制器的NCSs进行结构保留形式建模,并以新颖的方式将网络丢包和乱序现象与系统模型结合.重点分析系统中传感器-控制器、控制器-执行器随机时延分布情况,建立时延与网络中数据包运行情况间的关系.在此基础上,利用Baum-Welch算法建立两种时延的隐马尔科夫模型(HMM),进一步验证了HTCPN模型与HMM的等效性.     

一种智能多路径路由及子流分配协同算法

传统单一路径的传输机制难以满足当前以智慧城市为代表的新一代应用对时延、丢包率等网络性能的要求,而现有多路径传输机制在路由算法及子流分配等方面不能根据网络实时状态调整且互相缺乏协同。引入强化学习理论并结合软件定义网络,提出多路径路由及子流分配协同算法。基于Q-learning设计多路径路由算法,并从策略协同角度对其进行改进,实现路由与子流分配的相互协同。在此基础上,通过Q-value的回环消除方法保证路由准确性并提高算法收敛速度。实验结果表明,该算法在网络负载动态变化过程中能实时调整最佳的多路径路由及子流分配协同策略,提高了传输成功率。     

基于SDN与NDN的卫星网络多约束路由算法

针对NDN卫星网络内容传输时延高、丢包率高且请求命中率低的问题,提出了一种基于SDN与NDN的卫星网络多约束路由算法,并命名为SNMcRA。基于SDN的集中控制与全局视图,通过建立多约束路由模型,将链路多约束信息与蚁群算法相结合以求解满足时延、带宽、丢包率多约束的代价最小路径,由节点在包转发的过程中动态完成转发表FIB和待定请求表PIT的构建。实验结果表明,该算法与DSP算法相比时延降低了35%,带宽利用率提升了29%,丢包率降低了17%,并且在请求命中率方面也具有显著优势。     

基于深度强化学习的无线自组网拥塞控制性能提升方法

针对现有传统拥塞控制算法难以适应高度动态变化的无线自组网链路环境的问题,提出了一种基于深度强化学习的拥塞控制性能提升方法Enhanced-CC（Enhanced Congestion Control）。通过利用传统拥塞控制算法对拥塞窗口进行初步探测,在此基础上,利用深度强化技术学习链路实时最佳拥塞窗口区间,在传统拥塞控制算法计算的拥塞窗口过大或过小时,对拥塞窗口进行调整,从而使发送速率能够与高度动态变化的链路带宽相匹配,提升传统拥塞控制算法的传输性能。实验结果表明Enhanced-CC能够大幅度提升BBR、CUBIC、Westwood、Reno等传统拥塞控制算法的性能,同时也优于PCC、PCC Vivace等完全基于学习的拥塞控制算法以及Orca、DeepCC等结合深度强化学习与传统拥塞控制算法方案的性能。     

可编程数据平面下基于DDPG的路由优化方法

针对于数据中心网络不均衡的流量分布,和在使用固定功能交换机的软件定义网络中部署强化学习模型时,不能精确感知网络状态导致的路由决策偏差问题,设计了一种在具有可编程数据平面的软件定义网络中,基于深度确定性策略梯度（DDPG）强化学习模型的路由优化方法。通过在可编程数据平面自定义数据包处理逻辑,获取细粒度、高精度的网络状态参数,然后在控制平面使用DDPG模型根据网络状态参数确定多条可选路径的链路权值,并为数据流选择具有最大综合剩余负载能力的路由路径,最后以源路由的方式下发流表。实验结果表明,该方法可以在较高的带宽需求下提高网络吞吐量和链路利用率,降低端到端传输时延和南向通信开销。     

基于深度强化学习的服务功能链多维资源优化

在网络功能虚拟化（Network Function Virtualization,NFV）环境下,保证用户服务功能链（Service Function Chain,SFC）服务质量的同时节约资源消耗,降低运营成本,对运营商来说至关重要。联合考虑SFC部署和无线接入网资源分配,提出一种基于深度强化学习的SFC多维资源联合分配算法。构建一种基于环境感知的SFC资源分配机制,建立用户时延要求、无线速率需求以及资源容量等约束下的SFC部署成本最小化模型。考虑到无线环境的动态变化,将此优化问题转化为一个无模型离散时间马尔科夫决策过程（Markov Decision Process,MDP）模型。由于该MDP状态空间的连续性和动作空间的高维性,采用深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）强化学习算法进行求解,得到最小化部署成本的资源分配策略。仿真结果表明,该算法可在满足性能需求及资源容量等约束的同时,有效降低SFC部署成本和端到端传输时延。     

基于深度强化学习的服务功能链跨域映射算法

在域内部分信息隔离场景下,针对SFC映射对传输时延和资源开销的影响,提出一种基于深度强化学习的服务功能链跨域映射算法.首先提出一个集中式编排架构,在此架构下上层控制器利用全网格聚合技术来构建抽象拓扑,降低域间映射复杂度;其次将SFC请求分割问题建模为马尔可夫决策过程,使得虚拟网络功能均衡地分配到各个域中;最后以域间传输时延以及映射资源开销为奖励函数构建深度强化学习网络,通过训练完成域间映射,如果域内映射失败则采用反馈机制提高SFC请求接受率.仿真结果表明,该算法有效地减小了传输时延和资源开销,同时提高了请求接受率.     

基于改进BBR的数据报拥塞控制协议

数据报拥塞控制协议(Datagram Congestion Control Protocol,DCCP)是提供拥塞控制和不可靠传输特点的实时多媒体基础协议,DCCP中的CCID2算法仍然采用AIMD的控制机制,这种传统的Loss-Base拥塞控制模型已经不适用于目前高BDP的网络环境,容易引起缓冲区膨胀现象,导致网络延迟增加和抖动等问题.与Loss-Base的算法相比,BBR算法可以有效地控制网络延时,最大限度避免网络排队的情况,在丢包率较高的情况下仍可以保持一定的带宽利用率和较低的链路延时,因此适合于DCCP实时流媒体的应用的协议.本文在DCCP中引入了BBR算法并做相应的改进,增加了丢包率检测模型,使用延时与带宽积模型的拥塞控制算法对上述问题进行改进.通过模拟实验证明,本方法在高负载情况下连接的平均延迟相比CCID2降低了20%,在丢包率较高的环境下也能保持良好的吞吐量.     

基于强化学习的SDN路由优化算法

针对SDN控制器中网络路由的优化问题,基于强化学习中的PPO模型设计了一种路由优化算法。该算法可以针对不同的优化目标调整奖励函数来动态更新路由策略,并且不依赖于任何特定的网络状态,具有较强的泛化性能。由于采用了强化学习中策略方法,该算法对路由策略的控制相比各类基于Q-learning的算法更为精细。基于Omnet++仿真软件通过实验评估了该算法的性能,相比传统最短路径路由算法,路由优化算法在Sprint结构网络上的平均延迟和端到端最大延迟分别降低了29.3%和17.4%,吞吐率提高了31.77%,实验结果说明了基于PPO的SDN路由控制算法不仅具有良好的收敛性,而且相比静态最短路径路由算法与基于Q-learning的QAR路由算法具有更好的性能和稳定性。     

智能反射面辅助的无线传感网络充电策略研究

在无线可充电传感网的研究中面临诸多挑战,如无线功率传输中易衰弱、充电规划复杂度高、内存数据易溢出导致丢包。为此,引入智能反射面（IRS）并基于强化学习设计一种无线传感网能量传输和数据收集方案IRS_MDP。首先,该方案建立反射相位偏移优化问题,计算出以任一传感器节点为充电目标节点时IRS的最优相移值,实现最大化目标节点处所接收的功率。其次,根据上述结果并结合传感器实时状态,基于强化学习设计关于充电和数据传输过程的优化充电策略实现丢包率降低。仿真结果表明,该方案相较其他方案可以更好地提升网络吞吐量和降低数据丢包率。     

基于强化学习的移动边缘计算任务卸载方法

最佳卸载策略直接影响移动计算任务卸载的时延与能耗,因此提出基于强化学习方法的移动边缘计算任务卸载方法。首先对移动设备的计算任务卸载形式展开具体分析,并基于分析结果获取计算任务卸载能量消耗、发射功率、传输速率等相关参数值,以此建立移动边缘计算任务卸载模型。最后基于建立的卸载模型结合Q-Learning算法对计算任务实施强化学习,找出计算任务的最佳卸载策略,从而实现移动边缘计算任务的实时卸载。实验结果表明,使用强化学习方法开展移动边缘计算任务卸载时,卸载能耗低、时延小。