多云平台监控系统的设计与实现

近年来,随着云计算的兴起和逐步发展,云平台已成为各类企业和机构提供服务的主要方式,为保证云平台高效稳定运行,需要对云平台进行实时监控。针对以上需求,基于开源监控工具Ganglia和Ceilometer,设计并实现了一个多云平台监控系统,提供云平台、物理机和虚拟机中内存、CPU和硬盘等资源使用情况的监控能力,同时,通过物理资源管理、监控策略管理、日志管理和用户管理等功能,提升监控系统的可扩展水平和用户友好程度。最终,实现对多云平台全方位可视化的管理和控制。     

SR-IOV技术在OpenStack中的应用

在OpenStack云平台中,一台物理服务器上可能同时运行着十几台虚拟机,这对于物理服务器的I/O性能要求是非常高的.因此,I/O虚拟化技术的效率对于整个OpenStack云平台的网络性能提升都有着至关重要的作用.为了提高系统整体的网络性能,在OpenStack云平台中引入SR-IOV技术成为了一种可选的方式.本文通过对比实验测试了SR-IOV技术对于OpenStack云平台上网络I/O性能的影响.最终对实验结果进行分析可知,在引入SR-IOV技术后,OpenStack云平台上的计算节点I/O虚拟化性能提升了大概50%.     

虚拟机可瞬时开启的私有桌面云架构

私有桌面云被广泛应用在集中计算、集中管理、远程办公等场景中.现有的私有桌面云多基于OpenStack云操作系统搭建,然而,该操作系统在使用时会出现虚拟机开启时间过长导致用户等待的问题,无法满足某些应用的高实时性要求.对此,使用模板镜像策略和网络连接存储策略作为云存储层解决方案,提出一种虚拟机可瞬时开启(ISVM)的私有桌面云架构.ISVM桌面云架构包括云管理层、云存储层、云服务层.经过测试和分析发现,ISVM私有桌面云架构的虚拟机开启时间约为OpenStack云平台虚拟机开启时间的1/100,达到了毫秒数量级,能够满足应用的实时性要求.     

SDN和云平台对接

云平台目前主流的开源项目有OpenStack和Cloud-Stack, 相比之下, OpenStack门槛高, 可实现的效果更好, 也是目前被各大厂商商用化最多的开源云平台之一. OpenStack: 按照26个英文字母进行生命周期迭代命名. 目前最新发布的是N版本 (Newton), 商用部署更多的是L版本和M版本. 随着其功能的完善, 目前有6个核心服务和10个可选服务. 主要看看6个核心服务: OpenStack Compute: 主要是虚拟机的管理, 代码命名为 Nova. OpenStack Storage: Object存储和 Block存储管理, 代码命名分别为Swift和Cinder. OpenStack Networking: 可插拔的, 由API驱动的网络和IP管理,代码命名 Neutron. 共享服务: 包含身份认证 (命名Keystone)、 image 管理 (命名 Glance)、 WEB 接口等.OpenStack可以控制数据中心大量的存储, 计算和网络资源, 并且所有的管理都可以通过Dashboard来统一完成完成.     

基于OpenStack资源监控系统

资源监控是提高云平台可靠性的重要手段. 本文结合OpenStack云平台的特点,设计并实现了一个全面、智能、高效的资源监控系统,完成了资源监控系统整体架构的设计以及各模块的功能划分,并给出了实例监控方式、数据存储模型等具体的实现方法. 最后,通过测试结果说明资源监控系统的有效性.     

贪心算法优化云数据中心的虚拟机分配策略

如何将云客户端的大量虚拟机均匀的分配到云数据中心的物理主机上执行是一个关键问题.提出了贪心算法优化云数据中心的虚拟机分配策略,首先设计一个用于企业的云数据中心的工作场景,该场景包括三层云计算系统结构,包括用户层、云服务提供者层和云数据中心集合层.用户层用来生成虚拟机的请求集;云服务提供者层通过经典的装箱问题算法完成用户层的大量的虚拟机请求集到底层的云数据中心的分配.然后建立虚拟机分配过程中各种约束因素的数学模型;最后利用贪心算法优化云数据中心之间的虚拟机分配.利用某个企业的大数据中心作为云端测试环境,测试结果表明,经典的最好适应算法Best-Fit-Algorithm具有比较的虚拟机分配效果,云平台的能量消耗比较少,该实验结果对于其他企业构造云数据中心有比较好参考价值.     

基于私有云平台的云主机资源监控方案

针对传统网格计算中的监控工具已无法满足云计算平台中虚拟资源监控的问题,本文基于OpenStack云平台设计并实现一套完整的私有云平台中云主机资源监控方案.实验表明该方案可以有效地进行虚拟资源的监控,满足企业私有云中对虚拟资源的监控需求,且系统方案具有良好的可扩展性.     

面向高校教学云服务的虚拟机动态调度方法

随着教学信息化的不断深化,高校云平台越来越普及,但是实际应用中资源利用率仍然较低,核心问题在于当前的虚拟机调度机制未考虑高校教学应用的特征,从而导致负载不均和资源浪费。为了解决这一问题,从高校教学应用需求出发,提出了一种虚拟机动态调度算法(CRS),定义了课程虚拟机模型和物理机负载模型,并实现了基于OpenStack开源云平台的可对虚拟机进行动态调度的校园云平台。实验表明,提出的虚拟机动态调度方法达到了降低能耗及实现负载均衡的目标。     

云环境下基于多虚拟机的在线视频监控系统设计

针对常规视频监控系统在线实时性不强,海量视频数据传输迟滞,任务管理单一等问题,提出了构建在云计算环下基于多虚拟机技术在线视频监控系统;利用云计算平台中的物理资源与服务资源提升在线视频监控系统数据处理能力,虚拟机可同时处理大量的视频监控数据,并将视频数据以云存储的方式存储于云端服务器,降低了设备建设成本,可根据不同用户需求定制相关服务;本系统基于云计算平台设计,应用数十台乃至数百台虚拟机对在线视频监控数据进行处理,设计实现了云平台下在线视频监控系统的结构设计、以太网通信接口设计、服务器硬件配置和虚拟机控制;在软件设计方面通过对各虚拟机资源利用率的计算而动态分配资源,从而可以有效减少网络传输系统状态信息的带宽开销;通过系统功能与性能测试表明,在常规公共网络10 M带宽的情况下,本系统在线视频监控数据的传输延迟时间相比于传统视频监控减少了85％以上,监控视频数据量减少了75％以上.     

基于软件注入的按需定制虚拟机实例系统

在云计算环境中,通常需要管理众多的计算资源,每个计算资源都因用户的需求不同而包含不同软件,造成了资源管理上的繁琐以及存储资源的浪费。通过对开源云计算平台及软件发布模式的研究,针对目前开源云平台下虚拟机管理系统的不足,文中设计了基于软件注入的按需定制虚拟机框架OpenAppV,并在开源云平台OpenStack下,实现了系统原型,对其关键部分软件注入进行了性能测试。测试结果表明,软件通过注入与虚拟机镜像来按需组合具备可行性,有效地解决了由于包含不同应用而形成的多个镜像所导致的存储与管理繁琐问题。     

基于包簇映射机制的实验平台建设及应用

从一般云平台和项目的实际需求出发,结合包簇架构,利用CloudStack开源云平台,设计一种基于包簇映射机制的实验平台。该实验平台采用分层的设计方法,包含硬件设施层、虚拟资源层、调度层、包簇中间件层以及用户应用层,将传统以虚拟机形式的资源申请转换成以需求包的形式进行申请,同时用户可以指定其需求包结构及每个包所需的物理资源。通过对云平台调度原理的分析,阐述如何将项目中涉及的包簇部署算法应用到该实验平台中,为后续改善项目的研究成果提供实验依据。最后选取云计算管理平台的6种重要的管理功能,通过对基于包簇机制的实验平台和CloudStack、OpenStack这2种云管理平台进行整体功能测试,结果表明本文的包簇实验平台提供了较全面的管理功能,具有一定的应用市场。     

计算系统虚拟化平台的研究及实现

虚拟化技术是高性能计算系统规模化的关键技术。高能所计算资源虚拟实验床采用 OpenStack 云平台搭建环境。本文讨论了实现虚拟计算资源与计算系统相互融合的三个关键因素：网络架构设计、环境匹配和系统总体规划。本文首先讨论了虚拟网络架构。虚拟化平台通过部署 neutron 组件、OVS以及 802.1Q 协议来实现虚拟网络和物理网络的二层直连,通过配置物理交换机实现三层转发,避免了数据经过 OpenStack 网络节点转发的瓶颈。其次,虚拟计算资源要融入计算系统,需要与计算系统的各个组件进行信息的动态同步,以满足域名分配、自动化配置以及监视等系统的需要。文章介绍了自主开发的 NETDB 组件,该组件负责实现包括虚拟机与域名系统 (DNS)、自动化安装和管理系统 (puppet) 以及监视系统的信息动态同步等功能;最后,在系统总体规划中,文章讨论了包括统一认证、共享存储、自动化部署、规模扩展和镜像等内容。     

Discrete PSO-based workload optimization in virtual machine placement

Virtual machine placement has great potential to significantly improve the efficiency of resource utilization in a cloud center. Focusing on CPU and memory resource, this paper presents SOWO—a discrete particle swarm optimization-based workload optimization approach to minimize the number of active physical machines in virtual machine placement. The experiment results show the usability and superiority of SOWO. Compared with the OpenStack native scheduler, SOWO decreases the physical machine consumption by at least 50% and increases the memory utilization of physical machine by more than two times.     

SipaaS: Spot instance pricing as a Service framework and its implementation in OpenStack

Designing dynamic pricing mechanisms that efficiently price resources in line with a provider's profit maximization goal is a key challenge in cloud computing environments. Despite the large volume of research published on this topic, there is no publicly available software system implementing dynamic pricing for Infrastructure as a Service cloud spot markets. This paper presents the implementation of a framework called Spot instance pricing as a Service (SipaaS) that supports an auction mechanism to price and allocate virtual machine instances. SipaaS is an open‐source project offering a set of web services to price and sell virtual machine instances in a spot market resembling the Amazon EC2 spot instances. Cloud providers, who aim at utilizing SipaaS, should install add‐ons in their existing platform to make use of the framework. As an instance, we provide an extension to the Horizon – the OpenStack dashboard project – to employ SipaaS web services and to add a spot market environment to OpenStack. To validate and evaluate the system, we conducted an experimental study with a group of 10 users utilizing the provided spot market in a real environment. Results show that the system performs reliably in a practical test environment. Copyright © 2015 John Wiley & Sons, Ltd.     

基于OpenStack的数字校园体系架构研究

当前,云计算技术的广泛应用已成为不可阻挡的趋势,随之而来的开源云计算也迅速崛起。开源云计算以其开源性、低成本等优点吸引越来越多的用户。对开源云计算OpenStack的功能和架构进行介绍,并针对高校数字校园存在的问题,从数字校园的实际需求出发,利用先进的OpenStack平台,采用分层设计的方法设计、实现一个可对云资源进行综合管理的数字校园体系架构。并重点研究该架构中的资源调度,提出了一种基于任务调度和负载均衡的方案,通过实践,验证了该调度方案能够均衡服务器的资源负载,使基于OpenStack的数字校园处于相对稳定的状态。     

针对OpenStack平台逻辑架构的研究

OpenStack是一个基于IaaS(Infrastructure as a service)层的开源云计算平台。文章在了解云计算技术的基础上针对OpenStack进行了分析研究,使云计算系统搭建者了解OpenStack整体的工作原理与具体逻辑,对云平台的理解与环境搭建也具有重要的意义。