基于虚拟机执行过程重放的热迁移系统研究

为解决传统的基于检查点和内存预拷贝的系统热迁移在一些特定环境下存在停机时间过长的问题,提出了一种基于虚拟机执行过程迭代重放的备份热迁移方案,并对迁移过程中的开销较大的检查点设置操作进行了优化.与传统迁移方法进行量化比较分析结果表明,该方案缩短了检查点设置的停机时间,传输数据量更少,从而缩短了虚拟机迁移过程总的停机时间,为低速网络带宽的迁移环境提供了更好的解决方案.     

基于内存关联分析的预拷贝迁移优化策略

内存预拷贝迁移在密集型负载下存在内存脏页反复传输的问题,导致迭代轮数较多且大幅降低了内存预拷贝迁移的整体性能。脏页概率预测能够有效减少内存脏页反复传输的现象,然而现有脏页概率预测研究都只关注时间相关性而未考虑内存之间的空间相关性。针对该问题,提出一种基于内存关联分析的预拷贝迁移策略。通过脏页率对脏页下一轮变脏概率进行预测,设计Memory_cor算法计算出脏页的关联规则和关联内存页,避免变脏概率大的内存页及其关联内存页传输。实验结果表明,该策略在总迁移时间和停机时间上优于Xen预拷贝迁移方法。     

改进的内存预拷贝动态迁移算法

由于预拷贝迁移算法的迭代拷贝过程存在重复地拷贝同一个内存页的问题,从而导致拷贝内存页数量的增加和总迁移时间的延长。对脏页拷贝策略进行改进,将修改频繁的脏页在停机拷贝阶段传输,从而有效地缩短总迁移时间。然而该策略的改进又导致停机拷贝阶段的页面增多而引起停机时间延长,于是采用LZO压缩算法将停机阶段待拷贝的页面先压缩再传输,通过降低待传输的数据量来缩短停机时间。在进行虚拟机迁移实验时,与预拷贝迁移算法相比,结果表明该算法在未延长停机时间的同时,缩短了总迁移时间,尤其是在高脏页率环境下,该算法明显表现出更优的迁移性能。     

基于预拷贝的虚拟机动态内存迁移机制改进

针对内存预拷贝过程中迁移时间较长和内存页反复重传的特点,改进传统的内存动态迁移机制,引入马尔科夫预测模型,提出基于脏页概率预测的工作集测定算法.利用脏页的历史操作访问情况预测其下一轮迭代被修改的概率,只传输预测概率较低的页.实验结果表明,该算法缩短了迁移总时间和停机时间,能有效支持虚拟机动态迁移.     

容器热迁移优化技术研究

容器虚拟化技术由于轻量级的特性逐渐在云计算中崭露头角.容器热迁移是许多云管理能力的基础,其在最短的宕机时间内,将运行中的容器完整地迁移到另一个物理节点上继续运行.性能是容器热迁移研究的重点,但通过对现有容器热迁移系统的详细分析,本文发现其中仍然存在着一些影响性能的问题,包括转储并行度低、预拷贝策略不收敛以及根文件系统与运行状态迁移并行度低等.针对这些问题,本文分别提出和设计了资源感知的并行转储机制、基于后拷贝策略的运行状态迁移和基于多优先级的传输调度并行算法等优化策略和算法,并基于Docker实现了一个高性能容器热迁移系统Dmigrate.实验结果表明Dmigrate相比于目前最新的研究,平均可有效减少17.05%的宕机时间,总迁移时间平均减少24.33%.     

基于预传输的虚拟机双机热备可用性研究

针对虚拟机双机热备中传统拷贝技术导致的虚拟机低可用性问题,提出一种基于分段挑选最近未使用(SSNUR)算法的预传输方法。在虚拟机运行阶段预先传输被使用的内存页,减少停机阶段需要拷贝的内存页数量,使用SSNUR算法挑选预传输页面,以降低预传输和停机传输的重复率。实验结果表明,与XEN4.0中典型的虚拟机双机热备系统Remus相比,基于预传输的Remus系统在重负载和长间隔时间状态下停机时间明显减少,最高可达23.37%。     

基于服务活跃度的虚拟机实时迁移方案的研究

虚拟机实时迁移是在保证虚拟机服务正常运行的同时,在不同的物理主机之间迁移,为保证迁移效率和服务正常运行,需降低总迁移时间和停机时间。后拷贝和预拷贝是常用的两种实时迁移方案,后拷贝能降低总迁移时间,预拷贝能降低停机时间。基于服务活跃度的预拷贝优化方案是根据服务活跃度选择合适的停止条件,使得虚拟机在合适的临界点进入停机阶段,这不仅减少了页的迭代次数,也使停机阶段传输更少的页,从而达到同时降低总迁移时间和停机时间的目的。     

基于影子页面和混合日志的MMDB恢复方法

为了提升内存数据库从各种故障中恢复的速度,提出了基于影子页面技术、混合日志策略以及模糊检查点思想的内存数据库恢复方法。在分析内存数据库运行过程中主要的时间消耗点的基础上建立了内存数据库的系统模型,通过分析事务过程和检查点过程,讨论了该恢复策略的执行过程以及优点,讲述了内存数据库在此系统模型和恢复策略下的事务故障和系统故障的恢复过程以及系统的性能分析。     

基于云预存储技术的Docker在线迁移方法

针对基于Docker容器的分布式云计算下出现负载不均衡问题,有必要将较高负载服务器中的Docker容器进程迁移到其他相对空闲的服务器上.而传统的容器迁移算法忽视了容器本身的特征,从而导致在迁移过程中传输效率低下.基于此,利用第三方管理平台和数据预存储阈值机制,提出一种Docker容器动态迁移预存储算法PF-Docker.首先将Docker容器内部进程运行相关文件和流动数据预存至云端存储器,然后通过预存储阈值机制减少流动数据的无效传输,最后在停机传输阶段将流动数据和冗余数据传输给目的服务器.实验表明,该方法在Docker容器迁移中能有效地降低迁移时间,减少数据传输量,提高容器的容错率.     

远程直接内存访问与检查点相结合的容器迁移

随着云服务的应用和普及,云计算集群中容器的数量也日益增多。当集群中某一结点发生故障时,如何将故障结点上的服务迁移到可靠结点上成为维护云计算集群的重要问题。传统的集群容错方法采用备用主机作容错结点,由于受服务运行环境的限制,一台物理主机只能作一类服务的备用主机。为了提高容错备机的利用率,同时降低容错迁移拒绝率和容错迁移延迟,提出一种基于容器容错池的容器迁移机制。利用检查点机制和远程直接内存访问(RDMA)技术,在不影响容器虚拟集群正常工作的前提下,减少任务恢复环境耦合问题对任务迁移造成的影响。在实验室环境下验证了这种迁移机制的可用性和有效性。     

基于哈希算法的脏数据回写磁盘实时调优策略

针对传统数据库缓冲池脏数据回写磁盘策略实时性与安全性差的问题,提出基于Hash算法与先入先出(FIFO)双向链表的数据库缓冲池脏数据回写磁盘实时调优策略。利用基于负载的调优策略创建多个内存FIFO队列链表,通过Hash算法将数据库缓冲区内的脏数据块按最后修改时间随机分配到不同队列负载中,实现FIFO队列链表的负载均衡,并利用全局时序约束将链表队列中的脏数据块分批回写磁盘,以解决传统脏数据回写磁盘策略系统资源消耗大与宕机后数据丢失风险高的问题。实验结果证明,该策略能提高脏数据回写的实时性及安全性,降低数据丢失率。     

MECOM: Live migration of virtual machines by adaptively compressing memory pages

Live migration of virtual machines has been a powerful tool to facilitate system maintenance, load balancing, fault tolerance, and power-saving, especially in clusters or data centers. Although pre-copy is extensively used to migrate memory data of virtual machines, it cannot provide quick migration with low network overhead but leads to large performance degradation of virtual machine services due to the great amount of transferred data during migration. To solve the problem, this paper presents the design and implementation of a novel memory-compression-based VM migration approach (MECOM for short) that uses memory compression to provide fast, stable virtual machine migration, while guaranteeing the virtual machine services to be slightly affected. Based on memory page characteristics, we design an adaptive zero-aware compression algorithm for balancing the performance and the cost of virtual machine migration. Using the proposed scheme pages are rapidly compressed in batches on the source and exactly recovered on the target. Experimental results demonstrate that compared with Xen, our system can significantly reduce downtime, total migration time, and total transferred data by 27.1%, 32%, and 68.8% respectively.     

基于带宽预测与自适应压缩的容器迁移方法

随着数字化技术的发展与工业自动化应用范围的扩大，在万物互联环境下边缘设备数量快速增长，这些设备产生的数据量激增，导致网络带宽逐渐成为边缘计算的瓶颈。针对移动边缘服务迁移过程中传输数据量过大以及边缘节点网络环境不稳定等问题，结合带宽预测和数据压缩技术，提出一种面向Docker容器的服务迁移方法。通过预测网络带宽动态调整数据压缩算法的压缩速度以及压缩强度，从而充分利用网络带宽和多核处理器的计算能力，最大限度地减少网络传输的数据量以及服务的停机时间。实验结果表明，该方法对网络环境变化具有较强的适应性，能有效平衡数据传输和压缩计算的时间开销，提高服务迁移性能，相比于容器本地服务迁移、基于Docker基础镜像的服务迁移等方法，迁移时间、传输数据量和停机时间至少减少了23.7%、19.4%和17.6%。     

High-performance docker integration scheme based on OpenStack

As an emerging technology in cloud computing Docker is becoming increasingly popular due to its high speed high efficiency and portability. The integration of Docker with OpenStack has been a hot topic in research and industrial areas e.g. as an emulation platform for evaluating cyberspace security technologies. This paper introduces a high-performance Docker integration scheme based on OpenStack that implements a container management service called Yun. Yun interacts with OpenStack’s services and manages the lifecycle of the container through the Docker Engine to integrate OpenStack and Docker. Yun improves the container deployment and throughput as well as the system performance by optimizing the message transmission architecture between internal components the underlying network data transmission architecture between containers and the scheduling methods. Based on the Docker Engine API Yun provides users with interfaces for CPU memory and disk resource limits to satisfy precise resource limits. Regarding scheduling Yun introduces a new NUMA-aware and resource-utilization-aware scheduling model to improve the performance of containers under resource competition and to balance the load of computing resources. Simultaneously Yun decouples from OpenStack versions by isolating its own running environment from the running environment of OpenStack to achieve better compatibility. Experiments show that compared to traditional methods Yun not only achieves the integration of OpenStack and Docker but also exhibits high performance in terms of deployment efficiency container throughput and the container’s system while also achieving load balancing.