OS软件包构建系统的负载均衡调度技术

研究银河麒麟操作系统的软件包构建系统,针对该系统存在的负载不均、可用性差等不足,实现基于总体可用系统资源的负载均衡调度算法,优化系统的调度策略。实验结果证明,该算法可明显提高构建系统的资源利用率,加强系统性能,增强系统的可用性和高效性,并生成操作系统发行版本。     

S-Bridge:性能非对称多核处理器下负载均衡代理机制

近年来,在移动计算环境中,异构多核处理器已经逐渐成为主流.与传统同构的处理器设计相比,此类异构多核处理器以更低的功耗成本满足设备的计算需求.但是异构环境下CPU核之间的微架构差异,也为操作系统中的一些基本方法提出了新的挑战.面向性能非对称异构多核环境下调度的负载均衡问题,从系统层面提出了一种负载均衡机制S-Bridge,可以减少处理器微架构差异以及任务执行需求差异对传统负载均衡带来的影响.S-Bridge的主要贡献是从系统层提供了通用的、适配异构性的负载均衡相关接口,使任意调度器都能方便地与异构多核处理器系统进行适配.基于CFS和HMP调度器在ARM平台上进行实验,同时在X86平台上进行S-Bridge通用性的验证,结果表明：S-Bridge可以支持不同真实平台和内核版本的快速实现,平均性能提升超过15%,部分情况下可达65%.     

基于动态任务调度的STDS算法设计研究

任务调度是计算机多核处理器系统获得高性能的关键,而现有的多核任务调度算法研究,大多侧重于静态调度下的算法优化和负载均衡,对动态调度及动态负载均衡研究较少。针对动态调度,并结合异构多核的特点,提出一种基于核负载均衡的动态任务调度算法STDS。算法通过合理设定调度粒度,降低调度频率,从而减少调度消耗时间;根据异构多核处理器各核处理性能的差异,设置内核负载上下限值,控制内核负载保持在同一水平,以达到负载均衡效果。算法依据等待时间长短、任务间通信大小和内核负载轻重因素对任务进行实时调度,并可通过实时因子、负载因子等参数设置3种因素的影响比重,以满足系统的不同需求。仿真实验显示,在内核数目较多的系统中,STDS算法更加高效,在保证任务处理速度的同时有较好负载均衡。     

异构分布式系统中基于负载均衡的容错调度算法

提出了基于主/从版本的具有容错功能的进程调度算法HDALF和HDLDF,且分别给出两种算法的时间复杂度并对算法的负载均衡性和节点资源利用率作了讨论.与以往容错调度算法不同的是,此算法是在被动进程复制模式下、适合于异构分布式系统的容错调度算法.而以往的研究都是建立在主从版本进程有相等的负载或执行时间相同的模型基础上,或者仅适合于同构分布式系统.实验结果表明,HDALF算法和HDLDF算法的性能比基于同构分布式模型下的两阶段算法更加优越.并且得出了这样的结果：当系统发生故障前后的负载均衡性权值相等时,在负载均衡和处理机资源利用率方面,HDLDF算法都要优于HDALF算法.     

异构系统中一种基于可用性的抢占式任务调度算法*

针对大多数现有的异构系统调度算法没有考虑由多类任务特别是抢占式任务所引起的可用性需求的不足,在现有基于可用性的非抢占式任务调度算法的基础上,通过计算任务的平均等待时间来确定优先级等级,对异构系统中多类抢占式任务的可用性约束的调度问题进行了探索,提出了一种基于可用性的抢占式优先调度算法P-SSAC。该算法在不增加硬件代价的前提条件下通过调度增加了系统的可用性,缩短了任务的平均等待时间,同时该算法可对抢占式的任务进行有效调度。仿真实验结果表明,该算法有效实现了异构系统可用性和任务等待时间之间的折中。     

异构分布式系统混合型实时容错调度算法

基/副版本技术是实现实时分布式系统容错的一个重要手段。提出了一种异构分布式混合型容错模型,该模型与传统的异构分布式实时调度模型相比同时考虑了周期和非周期调度任务。在此基础上给出3种容错调度算法:以可调度性为目的SSA算法、以可靠性为目的RSA算法、以负载均衡性为目的BSA算法。算法能够在异构系统中同时调度具有周期和非周期容错需求的实时任务,且能够保证在异构系统中某节点机失效情况下,实时任务仍然能在截止时间内完成。最后从可调度性、可靠性代价、负载均衡性、周期与非周期任务数及任务周期与粒度J个方面对算法进行了分析。模拟实验结果显示算法各有优缺点,所以在选择调度算法时应该根据异构系统的特点来选择。     

实时任务在异构集群中的自适应容错调度研究

异构集群由于良好的扩展性和可用性,逐渐成为当前并行计算的热点。在具有实时性要求的异构集群中,调度是提高系统性能的关键所在。在此提出了两种自适应调度算法SANOL和SAOL,在保证异构集群中任务的实时性和容错性的前提下,自适应地根据系统的负载情况动态地调整任务的服务级别,从而提高整个系统的灵活性、可调度性和资源利用率。通过实验将这两种算法与另外一种有效率的调度算法DYFARS算法进行比较,结果表明所提出的SAOL算法具有更好的性能。     

面向操作系统版本构建的软件包依赖关系分析

基于Linux的开源操作系统发行版本通常都是由一系列相互关联的软件包构建而成,由于软件包数量庞大、互相之间依赖和冲突等关系复杂,操作系统版本构建也变得复杂,定制裁剪的粒度和精度不足,可能存在很多冗余软件包。目前,操作系统版本的构建主要还是根据工程经验进行组织,特别是软件包的选择缺少理论分析和指导。给出基于依赖关系的操作系统版本构建的基本模型,并结合Ubuntu开源发行版本的版本构建过程和软件仓库数据,对软件包的出入度、优先级和分类等特征进行统计分析和模型验证,从依赖关系角度总结出操作系统版本构建的主要原则,为后续提升版本自动化定制裁剪的精度以及软件发行演化和故障分析提供指导和重要参考。     

基于机器学习的异构感知多核调度方法

异构多核处理器已成为现代嵌入式系统的主流解决方案,而好的在线映射或调度方法对其充分发挥高性能和低功耗的优势起着至关重要的作用。针对异构多核处理系统上的应用程序动态映射和调度问题,提出一种基于机器学习、能快速准确评估程序性能和程序行为阶段变化的检测技术来有效确定重映射时机从而最大化系统性能的映射和调度解决方案。该方案一方面通过合理选择处理核和程序运行时的静态和动态特征来有效感知异构处理所带来的计算能力和工作负载运行行为的差异,从而能够构建更加准确的预测模型;另一方面通过引入阶段检测来尽可能减少在线映射计算的次数,从而能够提供更加高效的调度方案。最后,在SPLASH-2数据集上验证了所提出调度方案的有效性。实验结果表明,与Linux默认的完全公平调度（CFS）方法相比,所提出的方法在系统计算性能方面提高了52%,在CPU资源利用率上提高了9.4%。这表明所提方法在系统计算性能和CPU资源利用率方面具备优良的性能,可以有效提升异构多核系统的应用动态映射和调度效果。     

基于Hive的高可用双引擎数据仓库

打破信息孤岛，整合异构数据，汇聚共享交换，深度分析挖掘，提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引，设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库，支持多种方式OLAP分析，进行了可用性、负载均衡、资源管理的优化设计，为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明，系统灵活高效，高可用可扩展，资源调度科学，负载均衡效果明显.     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

一种提高集群调度性能的改进型蚁群算法

蚁群算法ACO能较好地应用于集群调度,但其传统的信息素更新方式带来了性能匹配和负载均衡等问题,影响了集群调度的性能.针对这些问题,提出了改进型蚁群算法IACO,通过引入性能匹配因子和负载均衡因子更合理地调整信息素,缩短了作业处理时间,提高了CPU利用率,从而有效地提高了集群调度性能.     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构(DOA)为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心(DRC)作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法(WLC)进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。     

异构集群的一种基于遗传的负载均衡改进算法

计算机集群系统是通过网络将一组PC或工作站连接起来,架构成的高可靠、可扩展的集群服务器,能够统一调度、协调运行,实现高效并行处理。负载均衡是集群系统良好性能的保障。用节点的总体资源、CPU的就绪队列长度和节点的任务数来构造遗传算法的目标函数,既考虑了集群异构的特点,又能很好的体现负载程度,通过使用网络压力测试工具对该算法进行性能测试,表明了其具有比较好的优越性。     

基于CloudSim的分类负载均衡调度模型

针对传统的集群调度模型效率低下不足以满足用户需求的问题,本文提出一种基于模糊聚类的分类负载均衡调度模型。首先,构建任务请求的指标体系以完成数学模型的建立;接着,采用基于模糊C均值聚类算法的改进算法对请求分类,即用改进的最小支撑树算法获取初始中心,有效性测度获取其分类个数,BP神经网络算法提高其学习能力;然后,采用两次分类的方法对服务器分类,预聚类对服务器进行功能预聚类,模糊关联聚类按处理负载能力对其分类;最后将分类调度模型在CloudSim下仿真实验,通过对比其他调度算法得到分类调度模型更具适应性和高效性,具有工程指导意义。     

虚拟环境下Web服务动态负载均衡策略改进

为了提高Web服务集群的伸缩性和自动化能力,从虚拟化和负载均衡两方面研究集群系统,对现有负载采集策略做了改进,设计并实现了一种可根据负载值自动控制集群规模的模型XCluster。新模型运行在Xen提供的虚拟化环境中,实时监视宿主机层和虚拟机层的负载状态,随着集群系统总负载的增长,逐渐引入新的虚拟机来扩大集群规模,同时将任务合理分配到各个虚拟机节点上;当总负载下降时,逐渐关闭虚拟机缩小集群规模,释放出来的硬件资源又可以提供给其他集群系统使用。理论分析和实验结果表明,XCluster只需占用很少的网络通信量完成信息收集和命令下达,能够充分利用虚拟机易于管理的优势完成后端节点的调度,并且在任务总量相同的情况下,使用尽可能少的集群节点来执行任务。     

面向Flink的负载均衡任务调度算法的研究与实现

Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

Xen虚拟机资源调度优化算法

针对Xen虚拟化平台中虚拟机资源分配不合理的问题,提出了两种资源调度优化算法,即细粒度优化算法和粗粒度优化算法.细粒度优化算法主要解决单个物理节点上虚拟机资源分配不合理问题,能够根据物理节点上运行的各虚拟机的资源利用情况来调整资源分配量,适当增加利用率较高的虚拟机的资源,减少资源利用率低的虚拟机的资源,从而优化资源分配,提高资源利用效率,避免不必要的虚拟机迁移.粗粒度优化算法是针对集群中多个物理节点之间虚拟机负载不均衡问题而提出的.该算法结合粒子群优化技术,选择将集群系统中热点物理机上的部分虚拟机迁移到最适合的冷点物理机上,从而避免高载物理机宕机.实验结果表明,这两种资源调度优化算法能够有效解决虚拟机资源分配不合理的问题,具有较好的适用性和应用前景.     

面向应用性能管理系统的运行负载预测

在应用性能管理系统中,系统未来的负载情况对运维调度有重要的指导意义。在云计算环境下,弹性伸缩计算能力为调整系统规模提供了可能,根据系统将来的负载情况可以提前做出相应的调整：可以在负载加重前扩展好集群,保证服务质量;在负载降低之后若预测一定时间内没有负载加重的情况,则可以及时缩减集群规模,降低企业运营成本。在金融领域,ARIMA模型是常用的时序预测模型,但其应用需要人工介入分析时序的平稳性,调参过程过于复杂。近年来神经网络技术的发展带动了人工更智能技术的发展,本论文设计并测试了ANN、RNN、GRU、LSTM等神经网络的负载预测的效果。实验结果表明LSTM网络预测精准且表现稳定,是系统负载预测的理想模型。