基于自动测试的虚拟机磁盘I/O服务质量评估框架

通过系统虚拟化技术在同一物理主机上的各个虚拟机之间动态地分配物理资源,可以实现物理资源的最大利用率和分配的公平性,达到较高的服务质量.提出了一种基于测试和汇总同一物理主机上各虚拟机之间物理磁盘I/O带宽的分配情况,来评估虚拟机磁盘I/O服务质量的框架.它通过客户端控制各虚拟机执行指定的I/O测试程序,同步收集各虚拟机的虚拟磁盘吞吐量,并加以汇总.实验证明这套框架可以有效地从高效性和公平性两方面评估虚拟化环境中虚拟机磁盘I/O的服务质量.     

基于保护缓存的x86系统仿真优化

为降低x86保护机制的仿真开销,提出了一种基于保护缓存的系统仿真优化方法.分析了x86保护机制的仿真开销来源,确定了与保护相关的具有较大仿真开销的指令和操作;给出了保护缓存的概念和工作机制,通过缓存最近访问过的描述符以及对使用该描述符的指令或操作的保护检查结果,来减少虚拟机内存访问和保护检查操作的次数.基于QEMU对保护缓存机制进行了实现,测试结果表明,引入保护缓存后涉及保护检查的x86指令或操作的仿真效率提升了11％～24.5％,且系统调用、页面故障处理和I/O密集型应用的性能均得到了稳定的提升.     

虚拟机磁盘迁移技术研究与实现

已有基于内存的虚拟机迁移技术要求迁移源机和目标机之间必须共享网络磁盘,迁移性能受网络条件的影响很大,且在不支持"共享网络磁盘"的环境中,无法实现虚拟机迁移.针对上述问题,考虑到虚拟机磁盘作为虚拟机运行所需的持久化状态的封装体,所展现出的如高可用性、高效能、安全稳定等良好特性,提出基于磁盘的虚拟机迁移.通过设计虚拟磁盘驱动系统DiskMig,在实现虚拟机磁盘迁移的同时保证了其在源端和目的端的一致性.设计了"Transfer on Demand with Forward-ahead"(TOD&FA)算法快速同步源端和目的端磁盘文件差异.DiskMig采用自行设计的高效存储结构bitmap,使记录、查询虚拟机磁盘迁移过程中的大量I/O操作时仅需时间复杂度O(1).实验表明,DiskMig所采用的相关方法对虚拟机及其中应用程序运行性能的影响仅为5%左右,有效支持了虚拟机磁盘文件的迁移.     

自适应调整虚拟机权重参数的调度方法

在基于特权服务操作系统的虚拟机架构下客户操作系统需要借助特权服务操作系统来访问真实硬件,目前虚拟机调度算法的优化主要是侧重于I/O密集型虚拟机的研究,而忽视了CPU密集型虚拟机,更忽视了特权服务操作系统的I/O处理能力对虚拟机整体性能的影响.针对这些问题,提出了一种基于Credit算法的自适应调整虚拟机权重参数的优化调度方法,将特权服务操作系统的I/O处理能力作为虚拟机参数调整的一个重要参数,同时兼顾I/O密集型虚拟机和CPU密集型虚拟机对资源的需求.实验结果表明该方法能够及时根据当前的I/O请求数量和特权服务操作系统的处理能力合理调整虚拟机的权重参数,从而大大提高了客户操作系统CPU处理性能和硬件设备的访问性能.     

云计算环境下的虚拟机快速克隆技术

虚拟机克隆技术是指在云计算环境下快速复制出多个虚拟机（VM）并将这些VM分发到多台物理主机上,克隆出来的VM共享相同的初始状态然后独立运行提供服务。虚拟机克隆使得云计算提供商能够快速有效地部署系统资源。给出了一种虚拟机快速克隆方法,利用写时拷贝技术来创建虚拟磁盘和内存状态的快照,然后用按需分配内存技术和多点传送技术来请求和传输这些状态信息。在C3云平台上的实验表明,此方法在不中断源虚拟机中运行服务的情况下,实现了云计算中的快速虚拟机克隆。     

一种虚拟机监控器的时间片动态调整机制

在同一物理主机甚至同一CPU/core上,虚拟化技术使得多个虚拟机能够以公平共享物理资源的方式运行。然而,随着共享同一CPU/core的虚拟机数量的增多,每个虚拟机所经历的物理CPU/core访问延迟也在显著增加,造成异构型应用(运行过程中既有网络I/O需求,也有计算需求)在性能方面的负面影响。为解决上述问题,引入一种应用类型感知的虚拟机管理器时间片动态调整机制。该机制可以根据虚拟机中应用的类型动态调整虚拟机的时间片长度。实验结果表明,与Xen Credit调度机制相比,时间片动态调整机制可使异构型应用(Nginx Web服务器)具有更好的响应能力和吞吐能力。     

虚拟机环境下软件按需部署中的预取机制

针对大规模虚拟机环境下软件的按需部署,提出了一种基于预取的按需软件部署优化机制,能够降低用户端虚拟机的启动延迟以及为用户提供更好的虚拟机本地运行性能.基于用户使用软件的行为特点以及虚拟磁盘映像的细粒度分割,预取机制在后台对服务器端存储的虚拟磁盘映像进行预取,通过一种基于访问频率和优先级的预取目标识别算法AFPTR(access frequency and priority-based prefetch target recognition)和一种预取量动态调节机制,将预取集中在用户使用的少数小尺寸的虚拟磁盘映像上,并在预取过程中对预取量进行动态自适应地调节,以提高虚拟磁盘访问的本地命中率,进而提高用户端虚拟机的运行性能.基于QEMU虚拟机和Linux平台,实现了基于预取的按需软件部署原型系统.实验结果表明,预取机制能够有效地降低虚拟机的启动延迟,并能提高虚拟机的本地运行性能,支持虚拟机环境下按需、快速的软件部署.     

虚拟机缓存划分的设计与实现

阐述了一种基于VMM(virtual machine manager)的虚拟机缓存划分的设计与实现。该方法采用操作系统中的页面着色技术,在虚拟机管理器Xen上进行实现。这种机制对于VMM之上的客户操作系统是完全透明的,便于操作,具有很好的灵活性。经测试表明,提出的缓存划分的方法能够显著地提高同时运行在不同虚拟机上的应用程序的性能。对从SPEC CPU 2006基准测试程序里面挑选出来的并发程序的负载进行测试,结果表明缓存划分最高可以使其性能提升19%。     

Mbalancer:虚拟机内存资源动态预测与调配

在现代数据中心,虚拟化技术在资源管理、服务器整合、提高资源利用率等方面发挥了巨大的作用,已成为云计算架构中关键的抽象层次和重要的支撑性技术。在虚拟化环境中,如果要保证高资源利用率和系统性能,必须有一个高效的内存管理方法,使得虚拟机的物理内存大小能够满足应用程序不断变化的内存需求。因此,如何在单机以及数据中心内进行内存资源的动态调控,就成为了一个关键性问题。实现了一个低开销、高精确度的内存工作集跟踪机制,进而进行相应的本地或者全局的内存调控。采用了多种动态内存调控技术：气球技术能够在单机内有效地为各个虚拟机动态调节内存;远程缓存技术可在物理机之间进行内存调度;虚拟机迁移可将虚拟机负载在多个物理主机间进行均衡。深入分析了以上各种方案的优缺点,并根据内存超载的情况有针对性地设计了相应的调控策略,实验数据表明：所提出的预测式的内存资源管理方法能够对内存资源进行在线监控和动态调配,并有效地提高了数据中心的内存资源利用率,降低了数据中心能耗。     

基于SSD高速缓存的桌面虚拟机交互性能优化方法

针对在桌面虚拟机办公环境下应用软件响应时间过长的问题,提出一种利用固态硬盘高速缓存来改善虚拟机响应时间和交互性的方法。在传统磁盘和内存之间添加固态硬盘高速缓存,将影响系统交互性的磁盘内容保存到固态硬盘高速缓存中。通过利用固态硬盘读速度快、随机寻道时间短的特征,提高虚拟机读磁盘性能,进而缩短应用软件的响应时间并改善系统的交互性。针对桌面虚拟机办公环境下磁盘I/O的特征,设计固态硬盘高速缓存的替换算法和缓存策略。实验显示,固态硬盘高速缓存是缩短虚拟机响应时间、改善虚拟机交互性的一个好方法。     

A disk bandwidth allocation mechanism with priority

Virtualization is a popular technology. Services and applications running on each virtual machine have to compete with each other for limited physical computer or network resources. Each virtual machine has different I/O requirement and special priority. Without proper scheduling resource management, a load surge in a virtual machine may inevitably degrade other’s performance. In addition, each virtual machine may run different kinds of application, which have different disk bandwidth demands and service priorities. When assigning I/O resources, we should deal with each case on demand. In this paper, we propose a dynamic virtual machine disk bandwidth control mechanism in virtualization environment. A Disk Credit Algorithm is introduced to support a fine-gained disk bandwidth allocation mechanism among virtual machines. We can assign disk bandwidth according to each virtual machine’s service priority/weight and its requirement. Related experiments show that the mechanism can improve the VMs’ isolation and guarantee the performance of the specific virtual machine well.     

负载类型相关的Xen虚拟机系统性能模型

针对Xen虚拟机系统执行网络I/O密集型负载时容易耗尽Domain0的CPU资源而过载和执行计算密集型负载时在客户域平均性能与数目之间存在线性规划的问题,提出了两个负载类型相关的性能模型。首先,通过分析Xen虚拟机系统处理网络I/O操作的CPU资源消耗规律,建立了CPU核共享和CPU核隔离两种情况下的客户域网络I/O操作请求次数计算模型;然后,通过分析多个相同客户域并行执行计算密集型负载的平均性能与一个相同客户域执行相同负载的性能表现之间的关系,建立了并行执行计算密集型负载的客户域平均性能分析模型。实验结果表明,两个性能模型能够有效地限制客户域提交的网络I/O操作请求次数以防止Xen虚拟机系统过载,并求解给定资源配置情况下执行计算密集型负载的Xen虚拟机系统客户域伸缩性数目。     

一种虚拟的非易失性层次Cache的设计和实现

为解决磁盘存储中的小写问题,本文研究了一种新的层次Cache结构。这种层次Cache使用虚存页面文件和部分系统RAM组成二级Cache结构,能很好地利用磁盘访问在大／小写以及随机／顺序访问时的巨大性能差异。经过Ntiogen和Mailbench基准测试程序测试表明,这种层次Cache可以提升I／O子系统处理突发密集小写的性能。     

基于云端协同计算架构的边缘端I/O密集型虚拟机资源分配方案

大型制造业生产车间业务流程复杂,传统固定资源配置方式将产生负载不均衡的问题。针对此问题,设计并实现了一种基于云端协同架构的边缘端I/O密集型虚拟机资源的分配算法,通过定义计算节点中每个I/O密集型虚拟机三个维度的信息计算得出I/O密集型虚拟机的优先级,并按最大优先级队列实时统一分配硬件资源。实验结果表明,该算法在应对工业机械设备高响应和高通量的要求上有较为明显的提升,为实际生产起到了优化资源配置的作用。     

基于资源需求分布特征的异构云环境虚拟机放置算法

针对异构云环境中的虚拟机放置（VMP）问题,提出一种基于虚拟机资源需求分布特征的放置算法（RDDFPA）。首先,建立基于CPU资源和内存资源比例系数的虚拟机需求和物理机配置描述方法,并根据该比例系数对所有虚拟机进行排序;其次,通过分析虚拟机需求与物理机配置各自在CPU资源和内存资源比例方面的关系,确定比例分界点,完成虚拟机集合的划分,每个虚拟机子集合的规模反映出对相匹配的不同配置物理机的需求比例;最后,利用启发式算法如首次适应（First Fit）算法完成虚拟机子集合在相匹配配置的物理机子集合上的放置。理论分析和仿真实验结果表明,与采用任意单一配置的物理机总数量相比,所提算法所需物理机的总台数减少了2%~17%。RDDFPA能够根据虚拟机资源需求分布的不同,确定各类配置物理机的数量,高效完成虚拟机的放置,在提高资源利用率的同时,降低了系统能耗。     

An imperialist competitive algorithm for virtual machine placement in cloud computing

Abstract

Cloud computing, the recently emerged revolution in IT industry, is empowered by virtualisation technology. In this paradigm, the user’s applications run over some virtual machines (VMs). The process of selecting proper physical machines to host these virtual machines is called virtual machine placement. It plays an important role on resource utilisation and power efficiency of cloud computing environment. In this paper, we propose an imperialist competitive-based algorithm for the virtual machine placement problem called ICA-VMPLC. The base optimisation algorithm is chosen to be ICA because of its ease in neighbourhood movement, good convergence rate and suitable terminology. The proposed algorithm investigates search space in a unique manner to efficiently obtain optimal placement solution that simultaneously minimises power consumption and total resource wastage. Its final solution performance is compared with several existing methods such as grouping genetic and ant colony-based algorithms as well as bin packing heuristic. The simulation results show that the proposed method is superior to other tested algorithms in terms of power consumption, resource wastage, CPU usage efficiency and memory usage efficiency.     

Min_c: Heterogeneous concentration policy for energy-aware scheduling of jobs with resource contention

In this paper, we address energy-aware online scheduling of jobs with resource contention. We propose an optimization model and present new approach to resource allocation with job concentration taking into account types of applications and heterogeneous workloads that could include CPU-intensive, diskintensive, I/O-intensive, memory-intensive, network-intensive, and other applications. When jobs of one type are allocated to the same resource, they may create a bottleneck and resource contention either in CPU, memory, disk or network. It may result in degradation of the system performance and increasing energy consumption. We focus on energy characteristics of applications, and show that an intelligent allocation strategy can further improve energy consumption compared with traditional approaches. We propose heterogeneous job consolidation algorithms and validate them by conducting a performance evaluation study using the Cloud Sim toolkit under different scenarios and real data. We analyze several scheduling algorithms depending on the type and amount of information they require.     

基于Xen虚拟机的内存资源实时监控与按需调整

在虚拟计算环境中,难以实时地监控与分配内存资源。针对以上问题,基于Xen虚拟计算环境,提出一种能够实时监控Xen虚拟机内存(VMM)使用情况的XMMC方法并进行了实现。所提方法运用Xen虚拟机提供的超级调用,其不仅能实时地监控虚拟机内存使用情况,而且能实时动态按需分配虚拟机内存。实验结果表明,XMMC方法对虚拟机应用程序造成的性能损失很小,低于5%;能够对客户虚拟机的内存资源占用情况进行实时的监测与按需调整,为多虚拟机的管理提供方便。