基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

面向Docker容器的动态负载算法

为了提高Docker容器服务器集群的抗并发性和缩短平均响应时间,文中设计了一种动态负载容器服务器的算法DLOAD(Dynamic Loading Algorithm).该算法在WRR负载算法的基础上引用了实时权值的概念,弥补了WRR算法在权值给定方面的不足,优化了Docker容器服务器的负载算法.DLOAD算法将记录服务器的资源信息,将容器连接数占比、CPU利用率、内存利用率、网络IO占比、磁盘IO占比和平均响应时间作为算法参数,计算出Docker容器服务器的实时权值,并将实时权值记录到负载服务器的权值表中.负载服务器查询权值表后调用WRR算法,推荐最优的Docker容器服务器ID进行负载.通过仿真实验,从Docker容器服务器的平均响应时间和吞吐量这两个方面对改进前后的算法进行分析和对比,得出改进后的DLOAD算法能够更加高效地缩短服务器的平均响应时间和改善抗并发性,有效提升了容器服务器的性能.     

面向异构容器云的应用迁移方法

为满足基于Docker容器的应用在Kubernetes集群和Docker Swarm集群之间的迁移需求,研究A-Migrator异构容器云应用迁移系统。通过Kubernetes和Docker Swarm的应用编排调度策略,给出两者之间编排信息转换的可行方法,并提出基于镜像预同步的应用迁移技术。实验结果表明,A-Migrator异构容器云应用迁移系统可实现基于Docker容器的应用在2个集群之间的迁移,且引入镜像预同步技术后应用迁移时间平均减少60.33%。     

容器热迁移优化技术研究

容器虚拟化技术由于轻量级的特性逐渐在云计算中崭露头角.容器热迁移是许多云管理能力的基础,其在最短的宕机时间内,将运行中的容器完整地迁移到另一个物理节点上继续运行.性能是容器热迁移研究的重点,但通过对现有容器热迁移系统的详细分析,本文发现其中仍然存在着一些影响性能的问题,包括转储并行度低、预拷贝策略不收敛以及根文件系统与运行状态迁移并行度低等.针对这些问题,本文分别提出和设计了资源感知的并行转储机制、基于后拷贝策略的运行状态迁移和基于多优先级的传输调度并行算法等优化策略和算法,并基于Docker实现了一个高性能容器热迁移系统Dmigrate.实验结果表明Dmigrate相比于目前最新的研究,平均可有效减少17.05%的宕机时间,总迁移时间平均减少24.33%.     

虚拟机实时迁移中自适应阈值机制的研究

虚拟化的数据中心主要采用预拷贝(Pre-copy)算法进行虚拟机实时迁移.当虚拟机中运行负载较高或者网络传输带宽较低时,预拷贝算法固定的停机阈值严重影响实时迁移的性能.针对这个问题,提出一种自适应停机阈值机制,根据之前各拷贝轮中脏页率构成的时间序列,首先利用动态指数平滑法来预测后轮的脏页率,在预测脏页率超过网络传输带宽的情况下,再采用Mann-Kendall检验模型对脏页率变化趋势进行判断,根据判断结果确定停机切换的时机.实验结果证明,采用基于自适应阈值机制的预拷贝算法能在高负载低延迟场景下有效提高实时迁移性能.     

异构容器云间应用迁移模型研究

为解决基于Docker容器的应用跨异构容器云迁移的问题,针对主流的异构容器编排引擎的编排原理进行了研究,同时也研究了主流容器服务提供商之间的异构性,在此基础上提出了基于Docker容器的应用跨异构容器云迁移的三层模型。为提高基于Docker容器的应用跨异构容器云迁移的效率,提出基于镜像预同步的应用迁移技术。实验结果表明,利用三层模型能成功实现应用跨异构容器云的迁移,并且在引入镜像预同步技术前后,同构云异构容器编排引擎之间的应用迁移时间平均减少了60.33%,异构云Kubernetes集群间的应用迁移时间平均减少了43.67%。     

容器热迁移的快速内存同步技术

容器热迁移是云平台负载均衡技术的基础,也是集群故障管理、底层系统维护的重要保障。目前容器热迁移的实现主要基于checkpoint/restore机制,即对正在运行的容器做检查点操作,随后停止容器,传输镜像文件至目的主机后恢复,迁移消耗时间包括检查点时间、传输时间和恢复时间。为了减少容器热迁移的停机时间和减小传输消耗,本文设计并实现一种基于预拷贝（pre-copy）迁移算法的容器热迁移方案,并且采用快速内存同步关键技术,该技术包含3种方法：细粒度脏内存识别、脏内存压缩传输、提前合并增量内存。实验表明,本文所提出的方案及优化技术可以明显减少停机时间和传输开销。     

基于镜像层关联的Docker注册表缓存预取策略

随着容器技术的广泛普及,大型Docker公共注册表使用对象存储服务来解决镜像数量剧增的问题,但这种松耦合的注册表设计导致较高的延迟开销。为了增强注册表性能,提出一种基于镜像层关联的Docker注册表缓存预取策略LCPA,当注册表服务器缓存未命中时,通过分析镜像元数据文件构建镜像的存储结构,由关联度模型对存储结构计算得到相关镜像层集合,并从后端存储中主动式预取回注册表中以提高缓存命中率。经真实工作负载下收集的Docker数据集测试,实验结果表明LCPA策略比LRU、LIRS和GDFS等缓存算法提高12%~29%的平均缓存命中率,拉取镜像的平均延迟节省率提高了21.1%~49.4%。与现有的LPA预取算法相比,拉取镜像的平均缓存命中率提升25.6%。仿真实验表明该策略可以有效地利用缓存空间,大幅提升注册表的缓存命中率,并降低镜像拉取的延迟开销。     

基于带宽预测与自适应压缩的容器迁移方法

随着数字化技术的发展与工业自动化应用范围的扩大，在万物互联环境下边缘设备数量快速增长，这些设备产生的数据量激增，导致网络带宽逐渐成为边缘计算的瓶颈。针对移动边缘服务迁移过程中传输数据量过大以及边缘节点网络环境不稳定等问题，结合带宽预测和数据压缩技术，提出一种面向Docker容器的服务迁移方法。通过预测网络带宽动态调整数据压缩算法的压缩速度以及压缩强度，从而充分利用网络带宽和多核处理器的计算能力，最大限度地减少网络传输的数据量以及服务的停机时间。实验结果表明，该方法对网络环境变化具有较强的适应性，能有效平衡数据传输和压缩计算的时间开销，提高服务迁移性能，相比于容器本地服务迁移、基于Docker基础镜像的服务迁移等方法，迁移时间、传输数据量和停机时间至少减少了23.7%、19.4%和17.6%。     

基于动态调整阈值的虚拟机迁移算法

针对当前数据中心服务器能耗优化和虚拟机迁移时机合理性问题,提出一种基于动态调整阈值（DAT）的虚拟机迁移算法。该算法首先通过统计分析物理机历史负载数据动态地调整虚拟机迁移的阈值门限,然后通过延时触发和预测物理机的负载趋势确定虚拟机迁移时机。最后将该算法应用到实验室搭建的数据中心平台上进行实验验证,结果表明基于DAT的虚拟机迁移算法比静态阈值法关闭的物理机数量更多,云数据中心能耗更低。基于DAT的虚拟机迁移算法能根据物理机的负载变化动态迁移虚拟机,达到提高物理机资源利用率、降低数据中心能耗、提高虚拟机迁移效率的目的。     

Docker动态调度算法的设计与实现

Docker作为容器的实施引擎,能高效部署、执行和管理容器。然而,现有Docker容器资源管理机制基于静态配置,无法根据应用类型特征和资源需求在运行时进行高效的动态资源分配。因此,实验性地分析Docker运行不同负载时的资源使用和性能情况,设计并实现了一种基于运行时的Docker动态调度算法,优先满足实时型应用容器服务要求,同时保证批处理型应用容器的性能。另外,算法根据节点运行现状推荐创建最合适的应用容器,最大化节点的资源利用率。实验表明,动态调度机制不会引入明显的性能开销;当容器间出现资源竞争时,可以将实时型应用容器满足服务要求的时间段延长87.5%,且最多对同时运行的批处理应用容器的性能造成2.9%的开销。算法推荐机制将节点上能够运行的容器实例数增大2.3倍时,对批处理型应用容器只造成最多9.3%的性能损耗。     

基于阈值滑动窗口机制的虚拟机迁移判决算法

数据中心是云计算中数据运算、交换、存储的中心。近年来以虚拟机为粒度的虚拟机放置管理成为云数据中心能耗管理、实现动态可伸缩资源提供的重要支撑技术。在虚拟机放置的动态管理阶段,虚拟机迁移触发机制主要是根据物理主机中资源利用率的变化情况,决定是否需要将虚拟机迁移到其它主机。迁移时机判决准确能够有效地平衡过热点并关掉过冷点。当前的迁移时机缺乏对整个数据中心负载变化行为趋势的反映,也因为静态的阈值设定容易发生频繁的迁移,造成不必要的迁移代价和传输开销。提出了基于阈值滑动窗口机制的虚拟机迁移判决算法(iWnd),其能够根据整个数据中心任务量的多少动态调整高低阈值间窗口的大小,减少了任务量满负荷时期需要迁移虚拟机的数量,从而避免不必要的迁移开销和传输代价,有效地实现节能。在云计算平台Cloudsim上进行了仿真实验。结果表明,提出的iWnd算法在减少虚拟机迁移数量、降低迁移失败率上有良好的效果,同时并未产生过多额外的功耗。     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

Linux服务器下多网口负载均衡算法的研究

网络存储架构需要一个高可靠性和高可用性的后端存储服务器来提供网络存储服务,而单网口配置制约了服务器数据传输性能。目前Linux内核bonding技术已经实现了将多个物理网口聚合为一个单一虚拟网口的方法。但这种不对称的技术在实现接收数据负载均衡时,只是通过ARP协商机制实现静态分配多网口,因此在实际应用中存在性能上的缺陷。鉴于此,在对现有的相关技术和算法进行研究后,提出了另外一种在此基础上改进的算法,即基于适应性负载均衡的动态接收算法,利用netfilter等技术对此算法进行了实现,进行了实际测试验证。新算法能显著提高多网口服务器接收数据时网络传输吞吐率。     

基于SM2和SM4的TEE下任务数据迁移方案北大核心CSCD

可信执行环境(Trusted Execution Environment,TEE)技术常用于保证云服务器上用户关键任务数据的机密性和完整性,考虑云服务器的负载均衡以及服务响应延迟,往往需要对TEE下的用户关键任务数据进行迁移。为了解决TEE下任务数据迁移中如何确认迁移双方身份可信性、保证迁移数据传输安全性和提高迁移速度等问题,文章提出一种高效的TEE下任务数据安全迁移方案。该方案使用软件防护扩展(Software Guard Extension,SGX)远程认证功能对迁移双方进行身份可信性验证,并基于SM2密钥协商算法和SM4分组密码算法保证迁移数据安全传输。安全性分析表明,该方案可以确保迁移双方身份可信性和迁移数据传输安全性;仿真实验结果表明,该迁移方案能够提高TEE下任务数据迁移速度。     

基于DHT的P2P系统负载均衡算法

负载不均衡是影响P2P系统应用服务器性能的关键因素之一,目前研究主要集中在基于flat DHT（Distributed Hashing Table）的P2P系统模型上。将分布式负载均衡算法结合虚拟服务器技术的优势相结合。设置双阈值以解决不必要的节点间通信问题;并在热区迁移中采用隔层负载迁移策略,以期减少不必要的反复的负载迁移。仿真实验结果表明,算法保证负载在各节点上趋于公平并使热区的次数明显减少。     

面向复杂网络存储系统的元胞自动机动力学分析方法

大规模网络存储系统中复杂的数据传输行为隐藏着一定的动力学规律性.针对基于对象的大规模网络存储系统,结合存储对象的智能性和主动性特征,分别在宏观与微观两个层次上提出了用于复杂网络存储动态行为规律分析的存储元胞自动机模型SNCA和OSDCA.在SNCA模型中,对网格拓扑结构的存储网络,结合存储对象的生命周期属性,可在宏观上分析网络存储系统的数据流动规律,确定存储网络拥塞程度,仿真结果揭示数据对象流动和存储网络中的相变具有全局相关性;在OSDCA模型中,综合热点数据的迁移和复制机制,在微观上分析I/O负载动态分布特性和存储热点迁移规律,仿真结果表明对象存储系统中的数据分布具有一定的自组织特性.     

MMOG中的一种动态负载共享算法*

针对MMOG中的服务器超载问题,提出一种动态负载共享算法,使得一个超载的服务器能够方便地将它的一部分负载迁移到没有超载的服务器上.同时在基于预订区域概念的基础上,通过扩大邻居服务器的范围,提出一种客户端迁移方案来减少该算法的开销,从而提高系统的响应速度和性能.     

Xen下虚拟机动态迁移优化策略的研究

尽管预拷贝技术由于其毫秒级的停机时间及对应用影响较小而被广泛使用到各大虚拟化平台的内存数据迁移中,但是当网络处于低带宽高负载的情况下则会导致虚拟机服务的一些性能下降。为了解决以上问题,本文首先将传统的预拷贝机制与马尔科夫模型结合旨在对后轮脏页率进行预测,利用Mann-Kendall检验模型对迁移中脏页率的变化趋势进行判断,据此引入自适应阈值机制确定最优迁移策略,更好地解决虚拟机中网络传输带宽的大小和运行负载的高低对传统预拷贝技术固定停机阈值机制的影响,实验结果显示,改进后的迁移机制可有效地提高虚拟机实时迁移性能。     

一种共享存储视频服务器集群的请求调度策略

在VOD服务器集群中,对用户服务请求的合理调度是提高集群整体性能的关键技术之一.本文针对共享存储结构下的服务器机群,在请求调度算法LoadCache-rep基础上进行改进,提出一种基于视频节目点播集中度的调度策略,该策略通过将相近的点播请求调度至相同服务器上以充分利用服务器的缓存机制,同时兼顾均衡各服务器间的负载.并根据实时负载变化对请求进行迁移以消除VCR操作对负载分布的影响.仿真试验表明,该策略能有效提高视频服务器集群的运行性能.