负载类型相关的Xen虚拟机系统性能模型

针对Xen虚拟机系统执行网络I/O密集型负载时容易耗尽Domain0的CPU资源而过载和执行计算密集型负载时在客户域平均性能与数目之间存在线性规划的问题,提出了两个负载类型相关的性能模型。首先,通过分析Xen虚拟机系统处理网络I/O操作的CPU资源消耗规律,建立了CPU核共享和CPU核隔离两种情况下的客户域网络I/O操作请求次数计算模型;然后,通过分析多个相同客户域并行执行计算密集型负载的平均性能与一个相同客户域执行相同负载的性能表现之间的关系,建立了并行执行计算密集型负载的客户域平均性能分析模型。实验结果表明,两个性能模型能够有效地限制客户域提交的网络I/O操作请求次数以防止Xen虚拟机系统过载,并求解给定资源配置情况下执行计算密集型负载的Xen虚拟机系统客户域伸缩性数目。     

一种动态优先级排序的虚拟机I/O调度算法

I/O任务调度是影响I/O密集型虚拟机性能的重要因素。现有调度方法主要是针对虚拟机整机I/O带宽的优化,较少兼顾各虚拟域与全局性能,也无法满足域间差异化服务的要求。针对现有方法的不足,提出了一种动态优先级排序的虚拟机I/O调度算法DPS。该算法基于多属性决策理论,以离差最大化方法计算I/O任务的优先级评估属性权重,对I/O任务优先级进行综合评估;通过引入任务所在虚拟域价值,体现云计算环境下虚拟域重要性差异。在Xen系统中通过实验评测DPS调度虚拟化网卡的性能,结果表明,DPS能够有效提高指定域与全局的I/O任务截止期保证率、整机I/O带宽,并能为不同虚拟域的I/O应用提供差异化服务。     

对延迟敏感型应用的虚拟机调度算法

针对Credit调度算法不能保证实时性的不足提出两点改进。首先,当有大量I/O任务时对BOOST态虚拟CPU进行负载均衡来缩短系统响应时间。其次,利用动态时间片代替原来的固定时间片去适应虚拟CPU的动态变化。通过检测系统对任务的平均响应时间和周转时间来评估改进前和改进后对I/O任务的响应的影响。实验研究表明,改进之后的Credit调度算法平均响应时间与改进前相比降低了102.3%,可以显著提高I/O延迟敏感型应用的性能。     

一种灵活高效的虚拟CPU调度算法

目前,虚拟化已经广泛应用于数据中心,但主流的虚拟CPU调度策略并没有实现对I/O性能的保障,尤其当延时敏感型负载的虚拟机和计算敏感型负载的虚拟机竞争CPU资源时,其性能显著下降.针对上述问题,本文提出了一种灵活、高效的虚拟CPU调度算法（FLMS）.FLMS通过采用虚拟机分类、虚拟CPU绑定、多类时间片等技术降低了虚拟机的响应延时,同时基于多处理器架构重新设计了负载均衡策略,优化了虚拟CPU迁移.FLMS通用于目前主流的虚拟化方案,在软件虚拟化方式下相比于最新的优化方案延时降低了30%,带宽有10%的提升;在使用硬件辅助虚拟化的系统中,通过FLMS能够获得接近原生系统的I/O性能,并且保证了整个系统的公平性.     

自适应调整虚拟机权重参数的调度方法

在基于特权服务操作系统的虚拟机架构下客户操作系统需要借助特权服务操作系统来访问真实硬件,目前虚拟机调度算法的优化主要是侧重于I/O密集型虚拟机的研究,而忽视了CPU密集型虚拟机,更忽视了特权服务操作系统的I/O处理能力对虚拟机整体性能的影响.针对这些问题,提出了一种基于Credit算法的自适应调整虚拟机权重参数的优化调度方法,将特权服务操作系统的I/O处理能力作为虚拟机参数调整的一个重要参数,同时兼顾I/O密集型虚拟机和CPU密集型虚拟机对资源的需求.实验结果表明该方法能够及时根据当前的I/O请求数量和特权服务操作系统的处理能力合理调整虚拟机的权重参数,从而大大提高了客户操作系统CPU处理性能和硬件设备的访问性能.     

基于Openstack的高能物理虚拟计算集群系统及应用

高能物理计算是典型的高性能计算的应用,运行时需要大量的CPU资源。如果系统的CPU资源利用率不高,会使得计算效率大大下降。传统的高能物理计算环境资源管理是静态的,很难同时满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求。文中基于Openstack构建的虚拟计算集群系统,实现以CPU核为粒度进行调度作业,根据当前的作业和虚拟资源情况,动态调度资源,大大提高了资源的利用率。首先介绍本系统的相关研究工作,包括KVM虚拟机的测试优化、高能物理作业在虚拟机上的性能测试及高能物理公共服务云IHEPCloud,这些工作进一步表明了高能物理实验的数据分析在虚拟机上的性能是完全可以被接受的;然后详细介绍了虚拟计算集群系统的设计与实现;最后给出虚拟机计算集群在高能物理计算中的实际应用情况,证明了虚拟计算集群系统能很好地满足高能物理的计算需求。     

基于自动测试的虚拟机磁盘I/O服务质量评估框架

通过系统虚拟化技术在同一物理主机上的各个虚拟机之间动态地分配物理资源,可以实现物理资源的最大利用率和分配的公平性,达到较高的服务质量.提出了一种基于测试和汇总同一物理主机上各虚拟机之间物理磁盘I/O带宽的分配情况,来评估虚拟机磁盘I/O服务质量的框架.它通过客户端控制各虚拟机执行指定的I/O测试程序,同步收集各虚拟机的虚拟磁盘吞吐量,并加以汇总.实验证明这套框架可以有效地从高效性和公平性两方面评估虚拟化环境中虚拟机磁盘I/O的服务质量.     

云应用分类与基于预测的细粒度云资源提供

针对部署在云中的应用多而繁杂并且不同的应用对特定的资源呈现不同的敏感性问题,提出了一种基于主模式方法的云应用分类架构,能够比较精确地将应用分为CPU密集型、内存密集型、网络密集型和I/O密集型等类型,从而能够更好地对云中的资源进行调度;对于云中的应用对资源的消耗,提出了一种基于差分自回归移动平均（ARIMA）模型的预测算法,能够以低的预测误差（高预测平均误差7.59%,低预测平均误差6.06%）对消耗资源预测;对传统的基于虚拟化的应用云架构进行适当的修改,能够细粒度地应对应用的自动扩张,从理论上解决了基于虚拟机的资源提供的不灵活以及低效的问题。     

异构云环境下基于分簇的云资源感知任务调度方案

针对提高异构云平台中资源调度的效率,提出了一种基于任务和资源分簇的异构云计算平台任务调度方案。利用K-means算法,根据任务的CPU和I/O处理时间对任务分簇,根据资源的计算能力对资源分簇;然后,将任务簇对应到合适的资源簇,并利用最早截止时间优先（EDF）算法对任务簇中的独立任务进行调度,利用提出的改进型最小关键路径（MCP）算法对依赖性任务进行调度。实验结果表明,在资源异构的云计算环境中,该方案执行任务时间短、能耗低。     

基于SR-IOV的IO虚拟化技术

虚拟技术经过多年的发展,CPU虚拟化与内存虚拟化均已成熟,而I/O虚拟化方面却未出现大的变化,成为当前虚拟技术性能提高的瓶颈。近期Intel公司提出的SR-IOV技术通过在硬件层增加虚拟支持,与原有I/O虚拟化中采用的Passthrough技术相结合,极大的提高了物理设备的使用效率和客户域的I/O性能。文章在总结虚拟技术中采用过的I/O模型基础上,分析了SR-IOV技术的实现和特点。     

Efficient consolidation-aware VCPU scheduling on multicore virtualization platform

Multicore processors are widely used in today’s computer systems. Multicore virtualization technology provides an elastic solution to more efficiently utilize the multicore system. However, the Lock Holder Preemption (LHP) problem in the virtualized multicore systems causes significant CPU cycles wastes, which hurt virtual machine (VM) performance and reduces response latency. The system consolidates more VMs, the LHP problem becomes worse. In this paper, we propose an efficient consolidation-aware vCPU (CVS) scheduling scheme on multicore virtualization platform. Based on vCPU over-commitment rate, the CVS scheduling scheme adaptively selects one algorithm among three vCPU scheduling algorithms: co-scheduling, yield-to-head, and yield-to-tail based on the vCPU over-commitment rate because the actions of vCPU scheduling are split into many single steps such as scheduling vCPUs simultaneously or inserting one vCPU into the run-queue from the head or tail. The CVS scheme can effectively improve VM performance in the low, middle, and high VM consolidation scenarios. Using real-life parallel benchmarks, our experimental results show that the proposed CVS scheme improves the overall system performance while the optimization overhead remains low.     

Novel Power-Aware Optimization Methodology and Efficient Task Scheduling Algorithm

The performance of central processing units (CPUs) can be enhanced by integrating multiple cores into a single chip. Cpu performance can be improved by allocating the tasks using intelligent strategy. If Small tasks wait for long time or executes for long time, then CPU consumes more power. Thus, the amount of power consumed by CPUs can be reduced without increasing the frequency. Lines are used to connect cores, which are organized together to form a network called network on chips (NOCs). NOCs are mainly used in the design of processors. However, its performance can still be enhanced by reducing power consumption. The main problem lies with task scheduling, which fully utilizes the network. Here, we propose a novel random fit algorithm for NOCs based on power-aware optimization. In this algorithm, tasks that are under the same application are mapped to the neighborhoods of the same application, whereas tasks belonging to different applications are mapped to the processor cores on the basis of a series of steps. This scheduling process is performed during the run time. Experiment results show that the proposed random fit algorithm reduces the amount of power consumed and increases system performance based on effective scheduling.     

Xen虚拟机的虚拟CPU松弛协同调度方法

目前,Xen虚拟机调度算法均采用独立调度虚拟CPU的方式,而没有考虑虚拟机各虚拟CPU之间的协同调度关系,这会使虚拟机各个虚拟CPU之间产生很大的时钟中断数量偏差等问题,从而导致系统不稳定.为了提高系统的稳定性,基于Credit算法提出了一种比RCS(relaxed co-scheduling)算法更松弛的协同调度算法MRCS(more relaxed co-scheduling).该算法采用非抢占式协同调整方法将各个虚拟CPU相对运行的时间间隔控制在同步时间检测的上限门限值Tmax之内,同时利用同步队列中虚拟CPU优化选择调度方法和Credit算法的虚拟CPU动态迁移方法,能够更加及时地协同处理虚拟CPU,并且保证了各个物理CPU的负载均衡,有效地减少客户操作系统与VMM的环境切换次数,降低了系统开销.实验结果证明该方法不但保证了系统的稳定性,而且使系统性能得到一定程度的提升.虚拟机调度算法不仅影响虚拟机的性能,更会影响虚拟机的稳定性,致力于虚拟机调度算法的研究是一项非常有意义的工作.     

Xen系统中CPU间歇性故障的自适应策略

Xen虚拟化环境没有考虑CPU的间歇性故障带来的影响。基于此,建立模拟CPU间歇性故障的时间模型,在该模型下未修改的Xen系统中的虚拟机会立刻崩溃。提出一种自适应的策略来改进Xen的CPU调度,该策略主动跟踪CPU的状态变化,将发生故障的CPU上的虚拟处理器迁移到可用的其他CPU上。实验结果表明,当CPU间歇性故障频繁发生时,应用该策略可以使虚拟机继续稳定地工作,性能平滑地降低。     

提升缓存效率的Xen虚拟机调度优化

Xen4.1发布的两个调度算法,都无法在服务器多任务虚拟化时得到好的性能。首先分析虚拟机上运行的3种任务的特点及要求,然后提出优化方法:将I/O任务按已消耗时间排序,优先调度消耗时间少的I/O任务,并记录缓存关联计算型任务,以保持运行时缓存的一致性,最终在保证I/O响应和带宽性能的基础上显著提高了缓存性能。     

分布式计算中基于资源分级的自适应Min-Min算法*

Min-Min任务调度算法的思路总是优先调度执行时间较短的小任务,无法得到理想的最优跨度及资源负载平衡．针对该问题,提出基于资源分级的自适应Min-Min算法．分配任务前,先参考现有资源的属性进行分级处理,再与任务在资源中的最小完成时间作乘积得到的最小任务资源组合进行调度;在任务调度过程中,引入自适应阈值,调节长任务的调度等级,从而达到优化效果．通过模拟仿真实验,表明该算法在时间跨度和负载平衡上均有较好性能．     

异构集群中CPU与GPU协同调度算法的设计与实现

为有效提高异构的CPU/GPU集群计算性能,提出一种支持异构集群的CPU与GPU协同计算的两级动态调度算法。根据各节点计算能力评测结果和任务请求动态分发数据,在节点内CPU和GPU之间动态调度任务,使用数据缓存和数据处理双队列机制,提高异构集群的传输和处理效率。该算法实现了集群各节点“能者多劳”,避免了单节点性能瓶颈造成的任务长尾现象。实验结果表明,该算法较传统MPI/GPU并行计算性能提高了11倍。     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

Freeze'nSense: estimation of performance isolation in cloud environments

Modern computing hardware has a very good task parallelism, but resource contention between tasks remains high. This renders large fractions of CPU time wasted and leads to application interference. Even tasks running on dedicated CPU cores can still incur interference from other tasks, most notably because of the caches and other hardware components shared by more than one core. The level of interference depends on the nature of executed tasks and is difficult to predict. A customer who has been granted that his task will run as if it were alone (e.g., a CPU core dedicated to a virtual machine), indeed suffers from significant performance degradation due to the time spent waiting for resources occupied by other tasks. Measuring actual performance of a task or a virtual machine can be difficult. However, even more challenging is estimating what the performance of the task should be if it were running completely in isolation. In this paper, we present a measurement technique Freeze'nSense. It is based on the hardware performance counters and allows measuring actual performance of a task and estimating performance as if the task were in isolation, all during runtime. To estimate performance in isolation, the proposed technique performs a short‐time freezing of the potentially interfering tasks. Freeze'nSense introduces lower than 1% overhead and is confirmed to provide accurate and reliable measurements. In practice, Freeze'nSense becomes a valuable tool helping to automatically identify tasks that suffer the most in a shared environment and move them to a distant core. The observed performance improvement can be as large as 80–100% for individual tasks, and scale up to 15–20% for the computing node. Copyright © 2016 John Wiley & Sons, Ltd.