基于预拷贝的虚拟机动态内存迁移机制改进

针对内存预拷贝过程中迁移时间较长和内存页反复重传的特点,改进传统的内存动态迁移机制,引入马尔科夫预测模型,提出基于脏页概率预测的工作集测定算法.利用脏页的历史操作访问情况预测其下一轮迭代被修改的概率,只传输预测概率较低的页.实验结果表明,该算法缩短了迁移总时间和停机时间,能有效支持虚拟机动态迁移.     

改进的内存预拷贝动态迁移算法

由于预拷贝迁移算法的迭代拷贝过程存在重复地拷贝同一个内存页的问题,从而导致拷贝内存页数量的增加和总迁移时间的延长。对脏页拷贝策略进行改进,将修改频繁的脏页在停机拷贝阶段传输,从而有效地缩短总迁移时间。然而该策略的改进又导致停机拷贝阶段的页面增多而引起停机时间延长,于是采用LZO压缩算法将停机阶段待拷贝的页面先压缩再传输,通过降低待传输的数据量来缩短停机时间。在进行虚拟机迁移实验时,与预拷贝迁移算法相比,结果表明该算法在未延长停机时间的同时,缩短了总迁移时间,尤其是在高脏页率环境下,该算法明显表现出更优的迁移性能。     

一种高效的虚拟机动态内存迁移方法

内存预拷贝是虚拟机动态迁移的主流策略,但是传统内存预拷贝算法是以脏页量为工作集,这对数据修改量小但在内存中分布较广的虚拟机环境来说,总体呈现迭代次数普遍较高、迁移总时间较长和迁移数据量较大的缺点。针对这一问题,提出了基于页内脏数据的预拷贝算法,该算法用以页为单位的脏数据作为工作集,并引入了新的数据结构记录页内脏数据。相比于以脏页为工作集粒度的传统内存预拷贝算法,该算法的工作集不仅能更准确地反映虚拟机的实际迁移环境,而且粒度明显细化,使得工作集小于预先设定的阈值的几率较大,从而可以减少迁移数据冗余,降低迭代次数,缩短迁移时间,降低迁移带宽。实验表明,该算法具有较高的虚拟机动态迁移效率。     

一种基于脏页面延迟拷贝的虚拟机动态内存迁移方法

通过对虚拟机动态内存迁移过程中内存页面状态的分析,针对预拷贝算法中脏页面可能被重传这一特点,提出一种基于脏页面预测的迭代传送方法。该方法基于时间局部性原理,在页面迭代传送前对页面未来的变脏程度进行预测,根据预测结果对页面进行状态分类,并对处于不同状态的页面采取相应的传送策略。实验证明,与Xen采取的动态迁移方法相比,提出的方法减少了近10%的迁移总量。     

虚拟机实时迁移中自适应阈值机制的研究

虚拟化的数据中心主要采用预拷贝(Pre-copy)算法进行虚拟机实时迁移.当虚拟机中运行负载较高或者网络传输带宽较低时,预拷贝算法固定的停机阈值严重影响实时迁移的性能.针对这个问题,提出一种自适应停机阈值机制,根据之前各拷贝轮中脏页率构成的时间序列,首先利用动态指数平滑法来预测后轮的脏页率,在预测脏页率超过网络传输带宽的情况下,再采用Mann-Kendall检验模型对脏页率变化趋势进行判断,根据判断结果确定停机切换的时机.实验结果证明,采用基于自适应阈值机制的预拷贝算法能在高负载低延迟场景下有效提高实时迁移性能.     

Xen下虚拟机动态迁移优化策略的研究

尽管预拷贝技术由于其毫秒级的停机时间及对应用影响较小而被广泛使用到各大虚拟化平台的内存数据迁移中,但是当网络处于低带宽高负载的情况下则会导致虚拟机服务的一些性能下降。为了解决以上问题,本文首先将传统的预拷贝机制与马尔科夫模型结合旨在对后轮脏页率进行预测,利用Mann-Kendall检验模型对迁移中脏页率的变化趋势进行判断,据此引入自适应阈值机制确定最优迁移策略,更好地解决虚拟机中网络传输带宽的大小和运行负载的高低对传统预拷贝技术固定停机阈值机制的影响,实验结果显示,改进后的迁移机制可有效地提高虚拟机实时迁移性能。     

容器热迁移的快速内存同步技术

容器热迁移是云平台负载均衡技术的基础,也是集群故障管理、底层系统维护的重要保障。目前容器热迁移的实现主要基于checkpoint/restore机制,即对正在运行的容器做检查点操作,随后停止容器,传输镜像文件至目的主机后恢复,迁移消耗时间包括检查点时间、传输时间和恢复时间。为了减少容器热迁移的停机时间和减小传输消耗,本文设计并实现一种基于预拷贝（pre-copy）迁移算法的容器热迁移方案,并且采用快速内存同步关键技术,该技术包含3种方法：细粒度脏内存识别、脏内存压缩传输、提前合并增量内存。实验表明,本文所提出的方案及优化技术可以明显减少停机时间和传输开销。     

基于内存迭代拷贝的Xen虚拟机动态迁移机制研究

为减少虚拟机动态迁移时间,Xen采用了Pre-Copy算法来选择合适的时间进行停机拷贝,以保证在低负载或空负载时的虚拟机迁移的优越性能,但在高负载环境下,Pre-Copy算法对内存页的重复迭代严重影响了虚拟机迁移的效率。基于Xen虚拟机内存迭代拷贝算法,提出了一种内存分片迭代拷贝机制,即通过缩短迭代拷贝的终止时间来减少虚拟机动态迁移所花费的时间。实验结果表明,内存分片迭代机制可以有效提升Xen虚拟机动态迁移的性能。     

基于服务活跃度的虚拟机实时迁移方案的研究

虚拟机实时迁移是在保证虚拟机服务正常运行的同时,在不同的物理主机之间迁移,为保证迁移效率和服务正常运行,需降低总迁移时间和停机时间。后拷贝和预拷贝是常用的两种实时迁移方案,后拷贝能降低总迁移时间,预拷贝能降低停机时间。基于服务活跃度的预拷贝优化方案是根据服务活跃度选择合适的停止条件,使得虚拟机在合适的临界点进入停机阶段,这不仅减少了页的迭代次数,也使停机阶段传输更少的页,从而达到同时降低总迁移时间和停机时间的目的。     

虚拟机动态迁移方法

对虚拟机动态迁移方法的研究背景、研究意义以及研究现状进行综述,分别介绍了内存预拷贝迁移、内存后拷贝迁移、内存混合复制迁移和基于日志跟踪重现的迁移方法,对其算法思想、关键技术、实现机制以及性能等进行概括、分析和比较,并针对当前主流的预拷贝迁移的优化策略予以分类阐述。最后,对动态迁移方法有待深入的研究热点和发展趋势进行展望。     

MECOM: Live migration of virtual machines by adaptively compressing memory pages

Live migration of virtual machines has been a powerful tool to facilitate system maintenance, load balancing, fault tolerance, and power-saving, especially in clusters or data centers. Although pre-copy is extensively used to migrate memory data of virtual machines, it cannot provide quick migration with low network overhead but leads to large performance degradation of virtual machine services due to the great amount of transferred data during migration. To solve the problem, this paper presents the design and implementation of a novel memory-compression-based VM migration approach (MECOM for short) that uses memory compression to provide fast, stable virtual machine migration, while guaranteeing the virtual machine services to be slightly affected. Based on memory page characteristics, we design an adaptive zero-aware compression algorithm for balancing the performance and the cost of virtual machine migration. Using the proposed scheme pages are rapidly compressed in batches on the source and exactly recovered on the target. Experimental results demonstrate that compared with Xen, our system can significantly reduce downtime, total migration time, and total transferred data by 27.1%, 32%, and 68.8% respectively.     

基于DRAM牺牲Cache的异构内存页迁移机制

当海量数据请求访问异构内存系统时,异构内存页在动态随机存储器(dynamic random access memory,DRAM)和非易失性存储器(non-volatile memory,NVM)之间进行频繁的往返迁移.然而,应用于传统内存页的迁移策略难以适应内存页"冷""热"度的快速动态变化,这使得从DRAM迁移至N...     

Transparent partial page migration between CPU and GPU

Despite the increasing investment in integrated GPU and next-generation interconnect research,discrete GPU connected by PCIe still account for the dominant position of the market,the management of data communication between CPU and GPU continues to evolve.Initially,the programmer explicitly controls the data transfer between CPU and GPU.To simplify programming and enable systemwide atomic memory operations,GPU vendors have developed a programming model that provides a single,virtual address space for accessing all CPU and GPU memories in the system.The page migration engine in this model automatically migrates pages between CPU and GPU on demand.To meet the needs of high-performance workloads,the page size tends to be larger.Limited by low bandwidth and high latency interconnects compared to GDDR,larger page migration has longer delay,which may reduce the overlap of computation and transmission,waste time to migrate unrequested data,block subsequent requests,and cause serious performance decline.In this paper,we propose partial page migration that only migrates the requested part of a page to reduce the migration unit,shorten the migration latency,and avoid the performance degradation of the full page migration when the page becomes larger.We show that partial page migration is possible to largely hide the performance overheads of full page migration.Compared with programmer controlled data transmission,when the page size is 2MB and the PCIe bandwidth is 16GB/sec,full page migration is 72.72×slower,while our partial page migration achieves 1.29×speedup.When the PCIe bandwidth is changed to 96GB/sec,full page migration is 18.85×slower,while our partial page migration provides 1.37×speedup.Additionally,we examine the performance impact that PCIe bandwidth and migration unit size have on execution time,enabling designers to make informed decisions.     

移动云计算中一种虚拟机迁移的预拷贝传输策略研究

针对移动云计算中虚拟机迁移过程的性能优化问题,提出了一种基于最优停止理论的预拷贝传输策略。该策略通过最优停止理论对寻找最优传输速率的最优停止模型求解,从而获得最优传输速率,由此来减少虚拟机迁移过程中的迁移数据总量和总时间。在仿真实验中,将所提出的传输策略与相关文献的传输策略进行对比,给出不同传输策略的性能结果分析。实验结果表明,所提出的策略具有较少的迁移数据总量和总时间,能有效地提高迁移过程的性能。     

通过部分页迁移实现CPU-GPU高效透明的数据通信

尽管对集成GPU和下一代互连的研究投入日益增加,但由PCI Express连接的独立GPU仍占据市场的主导地位,CPU和GPU之间的数据通信管理仍在不断发展。最初,程序员显式控制CPU和GPU之间的数据传输。为了简化编程,GPU供应商开发了一种编程模型,为“CPU+GPU”异构系统提供单个虚拟地址空间。此模型中的页迁移机制会自动根据需要在CPU和GPU之间迁移页面。为了满足高性能工作负载的需求,页面大小有增大趋势。受低带宽和高延迟互连的限制,较大的页面迁移延迟时间较长,这可能会影响计算和传输的重叠并导致严重的性能下降。提出了部分页迁移机制,它只迁移页面的所需部分,以缩短迁移延迟并避免页面变大时整页迁移的性能下降。实验表明,当页面大小为2 MB且PCI Express带宽为16 GB/s时,部分页迁移可以显著隐藏整页迁移的性能开销,相比于程序员控制数据传输,整页迁移有平均98.62%倍的减速,而部分页迁移可以实现平均1.29倍的加速。此外,我们测试了页面大小对快表缺失率的影响以及迁移单元大小对性能的影响,使设计人员能够基于这些信息做出决策。