云计算集群服务器系统监控方法的研究

随着云计算技术越来越多地应用到信息产业的各个领域,云计算环境下集群服务器系统的监控与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成,其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群服务器系统,保证其高性能运行,必然需要一套有效的云计算集群监控系统对其进行监测与调控。但是,传统的集群监测系统存在一些不足与弊端。本文对于云计算集群系统的高性能监测调度方案进行了研究,从云监控系统的架构、数据采集、负载均衡调度方面进行了探讨,构建了一个保证云计算集群系统高性能运营的云系统方案。     

集群系统中实现软实时服务机制的研究与评估

研究了集群架构服务器的三种实时调度策略,即集中式策略、分布式策略和主动型全分布策略。与调度功能主要集中在前端机的集中式策略比较,分布式策略将调度功能部分离散至后端节点,改善了系统的可扩展性。而主动型全分布式调度则进一步实现了调度分派功能的完全离散化,通过后端机的主动拉取事件和频率调控实现了负载平衡的自调节,极大地改善了系统的扩展性和服务效率。通过试验研究和试验表明,这三种都有效地降低了集群的响应服务请求的时间,还保证了系统的输出最大化。     

基于Jupyter交互式分析平台的微服务架构

随着Jupyter Notebook在数据科学领域应用规模的不断扩大,对于多用户管理和集群计算资源调度的功能需求越趋增加.本文从Jupyter相关基本概念入手,阐述了Jupyter对于科研成果交流传播的作用影响,总结了目前国外科研机构、高等院校等组织在研究Jupyter分布式架构方面的现状;详细分析了Jupyter体系架构特点,运用微服务的方式重构Jupyter,并通过Kubernetes的资源调度分配算法,实现了基于容器技术的高弹性分布式微服务架构.测试结果数据表明,本文提出的架构在访问负载性能上得到了一定程度的提升,在用户运行数量方面达到了集群上负载均衡的目标.     

多入口集群负载均衡问题研究

分析了常用的负载均衡算法在多个调度器上同时运行时的效果，提出多入口集群的水平分割调度方案，该方案通过对各调度器设置阈值来实现。为度量轮循调度的接口负载并设置阈值，提出了轮循频率的概念，当来自不同接口的流量不一致时，需要对阈值进行调整以提高整个集群的吞吐量，为此，提出了阈值动态调整算法和一种分布式调整触发机制。该方案兼容现有的单调度器方案，有效地解决了集群环境中存在多个调度器时的负载均衡问题。     

融合多集群的ECCSSM分布式调度器研究与设计

针对目前的Windows CCS调度系统无法进行多集群间作业调度的情况,设计了一种名为ECCSSM分布式调度系统,使CCS调度系统可以实现跨多个集群的协同分布式调度。通过对已有的Windows CCS的调度系统进行功能上的补充,尤其是分布式协同调度功能的引入,实现了单个集群间以P2P方式调度并行作业,不仅可以合理利用计算资源,而且可以提高整个计算系统的可扩展性。     

异构云平台中基于多层架构的动态循环调度方案

针对现有分布式循环自调度方案在异构云平台中存在负载不平衡等问题,提出一种基于多层架构的分层分布式动态循环调度方案。首先,通过HPLS算法来评估计算环境中各Worker节点的计算速度。然后,在传统自调度方案中融入节点计算速度,构建一种能够处理异构环境的调度方案,提高负载平衡能力。最后,将计算系统构建成一个由SuperMaster,Master和Worker节点组成的多层架构,利用层次化方法来解决传统Master-Worker架构中单个Master节点的瓶颈问题,用来提高任务分配效率。仿真实验结果表明,提出的方案能够有效提高云平台的计算效率。     

分布式关系型数据库研究与金融行业应用

数据库作为金融信息化建设的重要组成部分, 需要面对持续的业务量增长、高度可用性和扩展性等挑战,而以MySQL、Oracle等为代表的传统数据库单点架构, 在可用性、扩展性和存储能力上已经无法满足当前的金融服务要求. 分布式数据库的出现, 旨在解决单机数据库所面临的各种挑战, 提供更加灵活的架构, 保障系统稳定运行. 为此, 本文在结合实际的金融业务需求下, 研究实现了具有分布式事务支持、分布式SQL引擎、混合事务分析处理等特点的分布式数据库. 系统采用全组件的冗余设计, 通过类Raft增强一致性算法保证了存储层高可用和数据强一致, 同时利用基于Zookeeper的集群调度方案保证调度层的高可用.     

一种基于分布式调度机制的集群体系结构

在分析现有集群器调度机制的基础上提出了一种基于分布式调度机制的集群体系结构，并与传统调度机制下的集群系统进行了对比分析。     

SSL在Web Cluster中的应用研究与实现

该文深入探讨了各种Web集群架构中部署SSL的解决方案,并详细论述了各解决方案的工作原理、实现技术及其优缺点。针对具体的集群架构,提出了SSLhandoff协议和实现会话重用机制的方案。最后,结合mod_ssl开放源代码给出一个SSL在分布式Layer7型WebCluster中的具体实现。实验证明,该解决方案是可行的、高效的。     

差异化作业调度在Storm上的实现

作业调度一直是大数据技术研究的热点,关于分布式集群上的调度优化的探讨一直没有停过。本文对比分析对比静态分配调度、均匀分配调度、资源感知调度和就近调度算法,提出差异化作业调度管理技术,并把它应用到分布式实时处理系统Storm当中。经过实验验证,该调度算法能对Storm集群中不同作业任务,进行差异化管理。     

一种新的Web集群请求调度模式与体系结构

分析了网络及Web应用的发展对Web集群请求调度提出的新要求,在此基础上提出了一种基于文档组织分布的新请求调度模式.针对该请求调度模式的特点,提出了一种分布调度、分布路由的Web集群体系结构,该结构结合了多分配器集群和分布式集群的优点,能保证系统的可扩展性,并能有效减少集群内的通信开销和消除单点故障.     

基于JXTA的FTP服务器集群负载平衡策略

针对FTP服务器集群全局平衡性差的问题,该文提出一种负载平衡方案。该方案包括分布式统一平台的构建和FTP负载平衡策略的选择。基于JXTA技术构建分布式统一平台,设计全局-局部-再全局的自适应负载平衡策略对FTP请求进行动态调度,将集群划分成多个互不相交的子集,每个子集有一个超级节点,子集间的协商通过超级节点间的相互通信完成。实验证明了该方案的有效性。     

遥感数据集群处理作业调度管理系统研究

高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分,有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强,但针对性差,自动化程度低,资源使用存在盲目性。针对遥感数据集群处理,基于集群作业调度管理系统Open PBS,提出一种最优资源自动分配的"双级调度策略";应用分层架构和面向服务的软件开发思想,采用ICE中间件的网络通信技术,使用XML格式作为数据交换模式,研究并实现C/S(Client/Server)架构的灵活、友好、高效的遥感数据集群处理作业调度管理系统。     

Lambda架构在轨道交通车辆智能运维系统中的应用

针对轨道交通车辆智能运维系统中海量车载数据处理需求,为解决单点数据处理模式下海量数据在接收、处理、存储、查询、分析等各环节的性能瓶颈问题,文章提出一种基于Lambda架构原理搭建的数据处理架构方案.其以分布式服务器集群作为底层硬件支撑,采用分布式处理框架,大幅提高了运维系统的数据并发处理能力.实验结果证明,该方案相对于...     

Codis分布式缓存架构在电力系统中的应用研究

Redis因具备快速响应、数据安全等特点,常被选作系统缓存工具.由于受到单节点性能约束,传统电力系统中通常会选择Redis集群架构.但是在Redis集群实际部署过程中,往往呈现出扩展性差、维护困难等缺陷.为此,提出一种基于Codis的分布式缓存架构方案,以对传统电力系统中的Redis集群进行优化.通过电力系统中业务存储能力、数据检索效率、性能优良检测等多角度,对搭建的Codis分布式缓存架构进行理论研究与应用测试,证明了该方案在数据存储、信息检索、部署运维等方面具有一定优势.     

基于P13000平台的OMS的设计与实现

在总结以往大型分布式电网调度管理信息系统建设经验的基础上,本文结合四川电网OMS建设方案,提出基于动态建模的统一平台设计和开发OMS的方法,阐述了采用.NET和SOA技术架构开发出的模型驱动的、面向服务体系架构的多层分布式的、可扩展的基础平台及其关键技术,为今后大型电网OMS建设提供参考.     

一种集群分布式VoD系统的实现

随着宽带网络的大规模普及和高清视频文件点播需求的大量增加,VoD服务成为宽带网络的重要应用之一。如何降低VoD系统的成本和带宽是运营商普遍关注的问题。描述了一种基于集群架构的低成本分布式VoD系统的实现,并对其核心的最小连接调度算法与影片动态分布模型进行了详细介绍。     

HMSST+:基于分布式内存数据库的HMSST算法优化

为了解决HMSST(HashMapSelectivityStrategyTree)算法在集中式环境下受限于有限内存的问题,提出了一种新的分布式SPARQL查询优化算法HMSST+。该算法基于Redis提出了一种分布式存储方案,通过平行扩展存储节点和分布式调度,使得海量RDF数据的查询得以在分布集群的内存中实现。采用LUBM1000所大学的测试数据集对查询策略进行了实验,结果表明提出的方法与HMSST算法相比具有更好的扩展能力,与现有的分布式查询方案相比也具有更好的查询效率。     

基于TETRA的可视化无线调度系统设计与开发

为了满足城市无线政务网用户的指挥调度需求,本文提出了一种基于TETRA数字集群共网的可视化无线调度系统的设计思路,详细介绍了系统的技术架构和实现方案,并对系统所涉及的关键技术进行了分析阐述。     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。