基于深度强化学习的微服务多维动态防御策略研究

针对云原生中安全防御策略在动态请求流量下难以兼顾服务质量的问题,提出基于深度强化学习的微服务多维动态防御策略,简称D2RA策略,在流量动态变化时给出兼顾安全防御和服务质量的动态配置方案。首先,基于微服务多副本部署和微服务调用链的特点,建立微服务系统状态图来刻画微服务的请求流量、系统配置与安全性、服务质量、资源开销之间的关系;其次,设计D2RA框架并提出基于深度Q网络的动态策略优化算法,为微服务提供动态请求流量下最优系统配置快速更新方案。仿真实验结果表明,D2RA在动态请求流量下可有效进行资源分配,相对于对比方法在防御有效性和服务质量方面分别取得19.07%和42.31%的优化。     

运营商IT系统云原生部署方案研究

云原生技术栈统一的标准化交付能力大幅提升了云端效能。云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中构建和运行可弹性扩展的应用,将重构IT运维和开发模式。云原生和微服务是软件架构的发展趋势。运营商IT系统正积极探索云原生应用,以期避免软件厂商的绑架、支持软件系统的全网统一部署、助推业务应用的创新。结合运营商IT系统上云的需求,给出了运营商IT系统云原生的目标架构、演进路径和部署要点。     

基于云推理模型的深度强化学习探索策略研究

强化学习通过与环境的交互学得任务的决策策略,具有自学习与在线学习的特点。但交互试错的机制也往往导致了算法的运行效率较低、收敛速度较慢。知识包含了人类经验和对事物的认知规律,利用知识引导智能体(agent)的学习,是解决上述问题的一种有效方法。该文尝试将定性规则知识引入到强化学习中,通过云推理模型对定性规则进行表示,将其作为探索策略引导智能体的动作选择,以减少智能体在状态-动作空间探索的盲目性。该文选用OpenAI Gym作为测试环境,通过在自定义的CartPole-v2中的实验,验证了提出的基于云推理模型探索策略的有效性,可以提高强化学习的学习效率,加快收敛速度。     

基于云原生的仿真平台的设计与实现

随着仿真需求的增加,仿真系统的规模和复杂性也在日益扩大。为了建立一种动态可重组、分布式和可重用性的建模仿真系统,文中提出了一种基于云原生的建模仿真平台,对其技术内涵、体系特点及系统结构进行了论述。研究表明,“云原生”平台具有按需共享、协同仿真、容错运行等特点,可满足仿真规模动态扩大的要求。该平台综合运用深度学习、云原生等技术,实现了仿真资源虚拟化,并按需满足用户的仿真需求,实现了多用户协同操作。     

移动目标防御技术研究

移动目标防御(MTD)技术是近年来出现的网络安全领域的革命性技术,现已取得了一定的研究进展,反映了未来网络防御技术的发展趋势。该技术通过不断变化的网络配置增加攻击者的攻击难度及攻击成本,减小与防御者之间的不对称性,有效地保护网络安全,将从本质上彻底改变网络安全防御模式。在分析目前的计算机网络防御方法的基础上,对MTD技术的概念及系统组成和最新研究进展进行了论述。     

基于Kubernetes的融合云原生基础设施方案与关键技术

随着云原生技术在IT域和CT域的广泛应用,云原生基础设施逐渐成为新一代的云计算基础设施。分析了主流云原生基础设施技术体系及其局限性,提出了基于 Kubernetes 的轻量级融合云原生基础设施及其管理方案,探讨了融合云原生基础设施的关键技术和应用场景。     

面向云原生的5G核心网云化架构和演进策略

云原生技术在云计算领域的应用日益广泛,并加速推动企业上云进程.伴随着5G商用,运营商正在积极推进网络转型,云原生技术将在网络云化建设中发挥引领作用.分析了云原生在5G核心网应用中的关键技术,提出了面向云原生的核心网云化架构和演进策略,并阐述了面临的关键问题.     

云原生加速推动5G应用创新

5G技术的成熟与商用,促使创新型互联网应用如雨后春笋般的涌现,渗透到各行各业,融入人们的生产生活。新型互联网应用带来的高效与便捷,是人们不断追求其功能的完善和服务能力的提升的结果;同时,也导致应用的开发和升级周期缩短、频率加快,给开发和运维工作造成巨大压力。云原生采用敏捷开发、持续交付的技术和理念打造新型生产力,应用在开发和运维的各个环节可以实现降本增效,加速创新应用的落地与普及。     

云原生技术的安全应对策略

云原生作为下一代云计算的技术“内核”、云计算产业的新常态,将大幅提升用云效率和持续性.分析了云原生技术存在着的一系列安全挑战,提出了云原生的安全应对策略.     

基于云原生的统一数据访问层研究与应用

随着运营商业务支撑系统向云原生演进和微服务改造,原先应用各自独立设置数据库连接的方式已无法满足要求.通过构建统一数据访问层,以连接池复用技术对数据库访问进行统一管控,实现了应用与数据库的解耦.通过实验验证,在高并发情况下,数据统一访问层的数据查询效率提升直至连数据库模式的1.3倍.     

基于单通道SAR图像序列特征值分解的动目标检测方法

该文提出了一种基于单通道图像序列间协方差矩阵分解的动目标检测方法。首先给出基于方位频谱划分获取子图像的处理过程,分析了子孔径划分在图像序列间所产生的误差来源,结合二维自适应方法对幅度和相位上存在的误差同时校正,实现了子图像间的配准,构造出类似于多通道的子图像。在此基础上,结合多通道杂波抑制的思想,详细分析了两子孔径间协方差矩阵特征值分解实现目标与杂波分离的原理,并针对在图像域估计采样协方差引起的精度与目标能量损失之间的矛盾,提出了在距离多普勒域的改进处理。最后,经过仿真实验验证了该方法的有效性。     

超宽带穿墙探测雷达的运动目标检测技术

提出了利用低频超宽带(UWB)脉冲信号实现穿墙探测的设想,研究了超宽带穿墙探测雷达(UWB—TWDR)的运动目标回波信号模型,并基于运动目标回波信号的相关性,利用相干叠加原理对多次观测的结果实现运动目标的检测。最后通过具体的穿透混凝土砖块墙壁实测实验验证了上述设想和算法。     

基于单通道SAR多子孔径空频处理的动目标检测算法

该文提出了一种基于单通道多子孔径空频自适应处理的运动目标检测方法：首先给出了基于方位频谱划分获取子孔径的处理过程,构造出类似于多通道的子图像。详细分析了多子孔径空时等效信号的原理,将不同合成中心时刻的子孔径序列所获得的回波信号等效成同一时刻不同空间位置所获得的回波信号,利用时延差异来获取空间信息,建立起后续处理的2维信号模型。在此基础上,结合多通道杂波抑制的思想,提出了采用多子孔径间空频自适应处理实现杂波抑制与运动目标检测的算法。最后,仿真实验验证了该方法的有效性。     

基于深度增强学习的软件定义网络路由优化机制

为优化软件定义网络(SDN)的路由选路,该文将深度增强学习原理引入到软件定义网络的选路过程,提出一种基于深度增强学习的路由优化选路机制,用以削减网络运行时延、提高吞吐量等网络性能,实现连续时间上的黑盒优化,减少网络运维成本。此外,该文通过实验对所提出的路由优化机制进行评估,实验结果表明,路由优化机制具有良好的收敛性与有效性,较传统路由协议可提供更优的路由方案与实现更稳定的性能。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

基于深度强化学习的异构云无线接入网自适应无线资源分配算法

为了满足无线数据流量大幅增长的需求,异构云无线接入网(H-CRAN)的资源优化仍然是亟待解决的重要问题。该文在H-CRAN下行链路场景下,提出一种基于深度强化学习(DRL)的无线资源分配算法。首先,该算法以队列稳定为约束,联合优化拥塞控制、用户关联、子载波分配和功率分配,并建立网络总吞吐量最大化的随机优化模型。其次,考虑到调度问题的复杂性,DRL算法利用神经网络作为非线性近似函数,高效地解决维度灾问题。最后,针对无线网络环境的复杂性和动态多变性,引入迁移学习(TL)算法,利用TL的小样本学习特性,使得DRL算法在少量样本的情况下也能获得最优的资源分配策略。此外,TL通过迁移DRL模型的权重参数,进一步地加快了DRL算法的收敛速度。仿真结果表明,该文所提算法可以有效地增加网络吞吐量,提高网络的稳定性。

     

基于强化学习的无人机基站多播通信系统的飞行路线在线优化

针对无人机(UAV)基站(BS)多播通信系统的通信时延最小化问题,该文提出飞行路线在线优化算法。在该系统中无人机基站向多个地面用户同时发送公共信息,其中每次通信任务中地面用户位置是随机的。为了保证地面用户能够接收完整的公共信息以及考虑到无人机的能量有限性,该文以最小化无人机基站完成通信任务的平均时间为目标。首先将问题转化成一个马尔可夫决策过程(MDP);然后把通信时延引入到动作价值函数中;最后提出使用Q-Learning算法对无人机飞行路线进行学习和在线优化,从而实现平均通信时延最小化。仿真结果显示,与其他基准方案相比,该文所提方案能够有效地为无人机多播通信系统飞行路线实现在线优化,并有效降低通信任务的完成时间。     

广域监视动目标检测模式下动目标点迹仿真及轨迹关联方法研究

由于可以在较短时间内对大范围区域进行动目标监视,广域监视动目标检测(Wide Area Surveillance, WAS-GMTI)模式已经成为机载监视雷达的一种重要工作模式。目前具备WAS-GMTI工作模式的系统较少,实际数据较难获得,严重影响了对WAS-GMTI中相关处理算法的验证。该文提出一种基于电子地图路网信息的WAS-GMTI动目标点迹仿真方法。该方法根据载机和电子地图路网信息直接产生动目标信息,避免了仿真场景回波所需的大量运算,而且产生的动目标信息可以合理地融合到真实地理环境中。此外,联合对同一动目标的多次观测信息,该文还给出了一种动目标的轨迹关联方法。仿真结果验证了该文所提方法的有效性。     

一种基于动目标聚焦的SAR-GMTI方法

由于输入信杂噪比(Signal to Clutter Noise Ratio, SCNR)较低,杂波抑制后超高频(Ultra-High Frequency, UHF)波段合成孔径雷达(Synthetic Aperture Radar, SAR)图像中剩余静止目标杂波导致系统虚警概率较高。该文提出一种动目标筛选方法,能够判断恒虚警概率(Constant False Alarm Rate, CFAR)检测器检测到的目标是否为动目标。提出一种动目原始数据恢复方法,能够从整幅SAR图像中恢复任意孤立点的多普勒相位历史。采用距离多普勒处理对恢复的数据成像,然后采用方位自聚焦处理对所成子图像进行重新聚焦。如果子图像中目标为静止目标,则聚焦前后子图像不变,否则图像被重新聚集。通过检测图像的变化可以排除虚假动目标。仿真及实测数据处理结果说明了该方法的有效性。