基于内存关联分析的预拷贝迁移优化策略

内存预拷贝迁移在密集型负载下存在内存脏页反复传输的问题,导致迭代轮数较多且大幅降低了内存预拷贝迁移的整体性能。脏页概率预测能够有效减少内存脏页反复传输的现象,然而现有脏页概率预测研究都只关注时间相关性而未考虑内存之间的空间相关性。针对该问题,提出一种基于内存关联分析的预拷贝迁移策略。通过脏页率对脏页下一轮变脏概率进行预测,设计Memory_cor算法计算出脏页的关联规则和关联内存页,避免变脏概率大的内存页及其关联内存页传输。实验结果表明,该策略在总迁移时间和停机时间上优于Xen预拷贝迁移方法。     

一种高效的虚拟机动态内存迁移方法

内存预拷贝是虚拟机动态迁移的主流策略,但是传统内存预拷贝算法是以脏页量为工作集,这对数据修改量小但在内存中分布较广的虚拟机环境来说,总体呈现迭代次数普遍较高、迁移总时间较长和迁移数据量较大的缺点。针对这一问题,提出了基于页内脏数据的预拷贝算法,该算法用以页为单位的脏数据作为工作集,并引入了新的数据结构记录页内脏数据。相比于以脏页为工作集粒度的传统内存预拷贝算法,该算法的工作集不仅能更准确地反映虚拟机的实际迁移环境,而且粒度明显细化,使得工作集小于预先设定的阈值的几率较大,从而可以减少迁移数据冗余,降低迭代次数,缩短迁移时间,降低迁移带宽。实验表明,该算法具有较高的虚拟机动态迁移效率。     

面向业务特征的自适应虚拟机迁移带宽分配算法

虚拟机动态迁移是支持绿色云计算环境的重要技术,迭代时间和宕机时间是迁移性能的衡量指标,而虚拟机迁移时使用的网络带宽和业务运行产生的内存脏页是影响迁移性能的重要因素,因此合理分配迁移带宽和减少脏页率能够有效缩短迭代时间和宕机时间.该文提出了一种面向业务特征的自适应虚拟机迁移带宽分配算法,通过对迁移过程中脏页率的分析,预测运行业务的网络带宽使用量,自适应分配虚拟机迁移带宽;引入带宽调整系数,有效处理迁移过程中的业务数据抖动现象,从而确保预测的合理性.这一算法能够在保证迁移性能和系统可靠性的同时,减少迭代时间和宕机时间.实验表明在带宽资源有限的前提下,该方法能够合理利用空闲带宽资源,提高迁移性能,确保业务服务质量.     

面向云计算的虚拟机动态迁移技术研究

以虚拟机动态迁移关键技术的优化作为研究的主要目标,对现有的虚拟机动态迁移框架进行解析,改进动态迁移机制和迁移算法,提出预测概率算法和内存压缩算法。通过实验与比较分析,证明该改进框架和算法在虚拟机动态迁移上减少了数据传输量,缩短宕机时间,提高了虚拟机动态迁移性能。     

改进的内存预拷贝动态迁移算法

由于预拷贝迁移算法的迭代拷贝过程存在重复地拷贝同一个内存页的问题,从而导致拷贝内存页数量的增加和总迁移时间的延长。对脏页拷贝策略进行改进,将修改频繁的脏页在停机拷贝阶段传输,从而有效地缩短总迁移时间。然而该策略的改进又导致停机拷贝阶段的页面增多而引起停机时间延长,于是采用LZO压缩算法将停机阶段待拷贝的页面先压缩再传输,通过降低待传输的数据量来缩短停机时间。在进行虚拟机迁移实验时,与预拷贝迁移算法相比,结果表明该算法在未延长停机时间的同时,缩短了总迁移时间,尤其是在高脏页率环境下,该算法明显表现出更优的迁移性能。     

基于Xen的虚拟机迁移时内存优化算法

为了在云计算环境下进行虚拟机迁移,Xen迁移时采用比较传递页位图和跳过页位图的方式来判断内存页是否重传.针对页位图比较带来多次重传增加网络传送开销的问题,提出基于AR模型的内存优化算法,该算法根据所有记录的内存页修改时间间隔来预测内存页的下次修改时间,当下次修改时间大于某个阈值时进行重传.实验结果表明,基于AR模型的内存优化算法缩短了虚拟机迁移的时间,减少了虚拟机迁移时的网络开销,保证了同台服务器上其它虚拟机的网络带宽应用.     

虚拟机实时迁移中自适应阈值机制的研究

虚拟化的数据中心主要采用预拷贝(Pre-copy)算法进行虚拟机实时迁移.当虚拟机中运行负载较高或者网络传输带宽较低时,预拷贝算法固定的停机阈值严重影响实时迁移的性能.针对这个问题,提出一种自适应停机阈值机制,根据之前各拷贝轮中脏页率构成的时间序列,首先利用动态指数平滑法来预测后轮的脏页率,在预测脏页率超过网络传输带宽的情况下,再采用Mann-Kendall检验模型对脏页率变化趋势进行判断,根据判断结果确定停机切换的时机.实验结果证明,采用基于自适应阈值机制的预拷贝算法能在高负载低延迟场景下有效提高实时迁移性能.     

基于内存迭代拷贝的Xen虚拟机动态迁移机制研究

为减少虚拟机动态迁移时间,Xen采用了Pre-Copy算法来选择合适的时间进行停机拷贝,以保证在低负载或空负载时的虚拟机迁移的优越性能,但在高负载环境下,Pre-Copy算法对内存页的重复迭代严重影响了虚拟机迁移的效率。基于Xen虚拟机内存迭代拷贝算法,提出了一种内存分片迭代拷贝机制,即通过缩短迭代拷贝的终止时间来减少虚拟机动态迁移所花费的时间。实验结果表明,内存分片迭代机制可以有效提升Xen虚拟机动态迁移的性能。     

一种基于脏页面延迟拷贝的虚拟机动态内存迁移方法

通过对虚拟机动态内存迁移过程中内存页面状态的分析,针对预拷贝算法中脏页面可能被重传这一特点,提出一种基于脏页面预测的迭代传送方法。该方法基于时间局部性原理,在页面迭代传送前对页面未来的变脏程度进行预测,根据预测结果对页面进行状态分类,并对处于不同状态的页面采取相应的传送策略。实验证明,与Xen采取的动态迁移方法相比,提出的方法减少了近10%的迁移总量。     

虚拟机动态迁移方法

对虚拟机动态迁移方法的研究背景、研究意义以及研究现状进行综述,分别介绍了内存预拷贝迁移、内存后拷贝迁移、内存混合复制迁移和基于日志跟踪重现的迁移方法,对其算法思想、关键技术、实现机制以及性能等进行概括、分析和比较,并针对当前主流的预拷贝迁移的优化策略予以分类阐述。最后,对动态迁移方法有待深入的研究热点和发展趋势进行展望。     

容器热迁移的快速内存同步技术

容器热迁移是云平台负载均衡技术的基础,也是集群故障管理、底层系统维护的重要保障。目前容器热迁移的实现主要基于checkpoint/restore机制,即对正在运行的容器做检查点操作,随后停止容器,传输镜像文件至目的主机后恢复,迁移消耗时间包括检查点时间、传输时间和恢复时间。为了减少容器热迁移的停机时间和减小传输消耗,本文设计并实现一种基于预拷贝（pre-copy）迁移算法的容器热迁移方案,并且采用快速内存同步关键技术,该技术包含3种方法：细粒度脏内存识别、脏内存压缩传输、提前合并增量内存。实验表明,本文所提出的方案及优化技术可以明显减少停机时间和传输开销。     

MECOM: Live migration of virtual machines by adaptively compressing memory pages

Live migration of virtual machines has been a powerful tool to facilitate system maintenance, load balancing, fault tolerance, and power-saving, especially in clusters or data centers. Although pre-copy is extensively used to migrate memory data of virtual machines, it cannot provide quick migration with low network overhead but leads to large performance degradation of virtual machine services due to the great amount of transferred data during migration. To solve the problem, this paper presents the design and implementation of a novel memory-compression-based VM migration approach (MECOM for short) that uses memory compression to provide fast, stable virtual machine migration, while guaranteeing the virtual machine services to be slightly affected. Based on memory page characteristics, we design an adaptive zero-aware compression algorithm for balancing the performance and the cost of virtual machine migration. Using the proposed scheme pages are rapidly compressed in batches on the source and exactly recovered on the target. Experimental results demonstrate that compared with Xen, our system can significantly reduce downtime, total migration time, and total transferred data by 27.1%, 32%, and 68.8% respectively.     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

基于DRAM牺牲Cache的异构内存页迁移机制

当海量数据请求访问异构内存系统时,异构内存页在动态随机存储器(dynamic random access memory,DRAM)和非易失性存储器(non-volatile memory,NVM)之间进行频繁的往返迁移.然而,应用于传统内存页的迁移策略难以适应内存页"冷""热"度的快速动态变化,这使得从DRAM迁移至N...     

Huge Page Friendly Virtualized Memory Management

With the rapid increase of memory consumption by applications running on cloud data centers,we need more efficient memory management in a virtualized environment.Exploiting huge pages becomes more critical for a virtual machine's performance when it runs large working set size programs.Programs with large working set sizes are more sensitive to memory allocation,which requires us to quickly adjust the virtual machine's memory to accommodate memory phase changes.It would be much more efficient if we could adjust virtual machines'memory at the granularity of huge pages.However,existing virtual machine memory reallocation techniques,such as ballooning,do not support huge pages.In addition,in order to drive effective memory reallocation,we need to predict the actual memory demand of a virtual machine.We find that traditional memory demand estimation methods designed for regular pages cannot be simply ported to a system adopting huge pages.How to adjust the memory of virtual machines timely and effectively according to the periodic change of memory demand is another challenge we face.This paper proposes a dynamic huge page based memory balancing system(HPMBS)for efficient memory management in a virtualized environment.We first rebuild the ballooning mechanism in order to dispatch memory in the granularity of huge pages.We then design and implement a huge page working set size estimation mechanism which can accurately estimate a virtual machine's memory demand in huge pages environments.Combining these two mechanisms,we finally use an algorithm based on dynamic programming to achieve dynamic memory balancing.Experiments show that our system saves memory and improves overall system performance with low overhead.     

基于服务活跃度的虚拟机实时迁移方案的研究

虚拟机实时迁移是在保证虚拟机服务正常运行的同时,在不同的物理主机之间迁移,为保证迁移效率和服务正常运行,需降低总迁移时间和停机时间。后拷贝和预拷贝是常用的两种实时迁移方案,后拷贝能降低总迁移时间,预拷贝能降低停机时间。基于服务活跃度的预拷贝优化方案是根据服务活跃度选择合适的停止条件,使得虚拟机在合适的临界点进入停机阶段,这不仅减少了页的迭代次数,也使停机阶段传输更少的页,从而达到同时降低总迁移时间和停机时间的目的。     

基于ARC的闪存数据库缓冲区算法

闪存是一种纯电子设备,具备体积小、数据读取速度快、能耗低、抗震性强等优点,被用来部分替代机械硬盘从而提升存储系统的性能.但是,现有的缓冲区置换算法都是针对机械硬盘的物理特性进行设计和优化,因此有必要针对闪存的物理特性重新设计缓冲区置换算法.提出一种新的面向闪存数据库的缓冲区替换算法CF-ARC.算法设计了一种新的页替换机制,即在替换干净页或者脏页的时候考虑其访问频度的大小,优先将访问频度少的干净页替换出缓冲区,使得热页继续留在缓冲区提高命中率,从而获得更好的性能,通过对实验结果的对比分析发现CF-ARC在多数情况下具有比其它置换算法更高的性能.