基于微服务架构的国土档案系统

针对传统SOA架构设计的国土档案系统面临的服务安全、负载均衡和伸缩性等问题,设计实现了基于微服务架构的分布式档案系统.根据微服务架构思想,将档案系统功能划分为细粒度的微服务组件,微服务之间设计鉴权服务模块来实现微服务的安全访问控制,通过服务注册中心、服务网关和SpringCloud体系框架来解决系统的软负载问题,利用Docker微服务集群完成微服务组件的独立部署运行和业务功能伸缩.对档案数据文件建立了倒排索引,提高了档案数据查询时的速度和准确度.     

一种分布式调度中间件的设计和实现

本文提出了一种轻量级的用于大规模集群的分布式调度中间件产品方案,并结合业务需求,从应用架构、逻辑功能架构和总体技术架构等方面进行了详细的阐述。该方案对于研究和设计大中型互联网集群分布式调度软件有一定的参考借鉴意义。     

基于动态权重的一致性哈希微服务负载均衡优化

随着互联网技术的发展,互联网服务器集群的负载能力正在面临着前所未有的挑战,实现合理的负载均衡策略尤为重要。为了使负载均衡达到最佳的效率,可以使用一致性哈希算法来对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景,对该集群负载均衡的特性进行分析,提出一种基于虚拟节点的一致性哈希环的设计与分割方法及基于动态权值的分配策略,在一致性哈希算法的基础上,实现服务集群之间的负载转移,解决微服务集群中服务负载增多,导致服务之间负载不均衡的问题,防止其中某些服务因为负载压力过大,导致服务崩溃的问题。经实验表明,与传统的一致性哈希算法相比,改进后的负载均衡策略负载不均衡的概率是原来的31%;并且动态分配策略具有良好的负载均衡性能,有效地解决了微服务分布式架构的负载均衡问题。     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构（DOA）为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心（DRC）作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法（WLC）进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。     

混合部署数据中心失效负载分析

数据中心工作负载混合部署在显著提升云数据中心的资源利用率的同时,也增加了调度的复杂性和作业的失效率.以阿里云发布的数据中心日志数据集cluster-trace-v2018为例,从离线批处理工作负载角度出发,详细地分析了不同类型工作负载在成功率和资源利用上的特征.主要发现如下:1)少量类型作业的失效会影响集群整体作业成功率并造成集群资源的浪费;2)伏羲分布式调度系统在任务故障切换执行时间上满足高斯分布,在任务调度延迟方面满足齐夫分布;3)通过分析失败实例在集群节点上的分布,发现集群作业发生失败在空间上具有随机性,且失败的实例很容易再次发生失败,而在时间上集群整体失败率则存在不平衡性;4)以任务实例的失效为基准,计算了集群节点的平均无故障时间,大部分节点的平均无故障时间在1000 s左右,小部分节点的任务实例失效率低,其平均无故障时间可达10000 s以上.     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

云计算集群服务器系统监控方法的研究

随着云计算技术越来越多地应用到信息产业的各个领域,云计算环境下集群服务器系统的监控与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成,其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群服务器系统,保证其高性能运行,必然需要一套有效的云计算集群监控系统对其进行监测与调控。但是,传统的集群监测系统存在一些不足与弊端。本文对于云计算集群系统的高性能监测调度方案进行了研究,从云监控系统的架构、数据采集、负载均衡调度方面进行了探讨,构建了一个保证云计算集群系统高性能运营的云系统方案。     

Web集群中基于负载均衡的QoS-aware请求调度算法

集群技术已成为目前提高网络服务质量的有效手段.集群系统的设计主要涉及任务调度与资源调度两方面,而现有的大部分算法都是只孤立地考虑其中一个方面.针对这种不足提出了一种基于负载均衡的QoS-aware请求调度算法,该算发引入一个以任务服务类别与负载为自变量的接纳概率二元函数Pa作为连接任务调度与资源调度的桥梁.Pa随着负载的增加,Pa非增变化,对于不同QoS需求的队列,Pa的变化速率不同,这样就可以达到在不同负载情况下动态地为各服务类分配带宽的目的.最后通过仿真实验验证了其正确性.     

大规模短时间任务的低延迟集群调度框架

大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务。如何调度这些低延迟要求的并发作业是目前研究的一个热点。现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足。从大规模实时作业的需求出发,设计和实现了一个分布式的集群资源调度框架,以满足大规模数据处理的低延迟要求。首先提出了两阶段调度框架以及优化后的两阶段多路调度框架;然后针对两阶段多路调度过程中存在的一些资源冲突问题,提出了基于负载平衡的任务转移机制,从而解决了各个计算节点的负载不平衡问题;最后使用实际负载以及一个模拟调度器对大规模集群中的任务调度框架进行了模拟和验证。对于实际负载,所提框架的调度延迟控制在理想调度的12%以内;在模拟环境下,该框架与集中式调度器相比在短时间任务的延迟上能够减少40%以上。     

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。     

面向Flink的负载均衡任务调度算法的研究与实现

Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。     

基于经济模型的资源代理

网格计算是为解决大规模资源密集型问题而提出的新一代计算平台,是当前并行和分布处理技术的一个发展方向,而资源管理是计算网格的关键技术之一。对各种各样可利用资源的整合和管理是网格应用的基础,而资源的分布性、动态性、异构性、自治性和需要协调一致性使得网格资源的管理调度成为一个棘手的问题。目前基于市场的经济资源管理和调度算法非常适合计算网格中的资源管理问题,但有调度价格不能更改、负载平衡等问题。文中提出了“网格环境下基于经济模型的资源代理”,依靠多维QoS指导的调度策略和经济模型的启发式调节资源价格,改进和优化计算网格资源的分配。     

DNS dispatching algorithms with state estimators for scalable Web‐server clusters

Replication of information across a server cluster provides a promising way to support popular Web sites. However, a Web‐server cluster requires some mechanism for the scheduling of requests to the most available server. One common approach is to use the cluster Domain Name System (DNS) as a centralized dispatcher. The main problem is that WWW address caching mechanisms (although reducing network traffic) only let this DNS dispatcher control a very small fraction of the requests reaching the Web‐server cluster. The non‐uniformity of the load from different client domains, and the high variability of real Web workload introduce additional degrees of complexity to the load balancing issue. These characteristics make existing scheduling algorithms for traditional distributed systems not applicable to control the load of Web‐server clusters and motivate the research on entirely new DNS policies that require some system state information. We analyze various DNS dispatching policies under realistic situations where state information needs to be estimated with low computation and communication overhead so as to be applicable to a Web cluster architecture. In a model of realistic scenarios for the Web cluster, a large set of simulation experiments shows that, by incorporating the proposed state estimators into the dispatching policies, the effectiveness of the DNS scheduling algorithms can improve substantially, in particular if compared to the results of DNS algorithms not using adequate state information. This revised version was published online in August 2006 with corrections to the Cover Date.     

群机计算资源管理研究

随着网络技术的发展,群机计算管理软件作为对群机计算资源进行统一管理的中间件,越来越受到人们的关注。如何合理地管理地理上相对分散的计算资源,达到资源共享的目标,是群机系统发挥性能的关键。文章首先给出了一个基于资源集合概念的资源管理模型,在此基础上,研究了群机系统的资源分配和负载管理问题,并结合作业调度过程说明了资源管理模型与策略的应用。     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

卫星群分布式技术的研究与实现

随着航天技术的发展,越来越多的信息需在星上处理,卫星群分布式技术已成为近年来研究的热点. 与地面环境不同,卫星受到体积、功耗、空间辐射等条件的限制,在卫星群建立分布式环境需掌握架构设计、操作系统、资源管理等关键技术. 针对以上问题,本文先研究卫星群分布式计算与存储架构、其次研究卫星群分布式资源监控的实现过程,最后通过卫星群验证系统证明其可行性与优越性.     

Optimization of cloud computing task execution time and user QoS utility by improved particle swarm optimization

In order to optimize the quality of service (QoS) and execution time of task, a new resource scheduling based on improved particle swarm optimization (IPSO) is proposed to improve the efficiency and superiority. In cloud computing, the first principle of resource scheduling is to meet the needs of users, and the goal is to optimize the resource scheduling scheme and maximize the overall efficiency. This requires that the scheduling of cloud computing resources should be flexible, real-time and efficient. In this way, the mass resources of cloud computing can effectively meet the needs of the cloud users. Field Programmable Gate Arrays (FPGA), high performance and energy efficiency in one field. Most of them would have been the particle algorithm. The current technological development is still in-depth at super-resolution image research at an unprecedentedly fast pace. In particular, systemic origin applications get a lot of attention because they have a wide range of abnormal results. The scientific resource scheduling algorithm is the key to improve the efficiency of cloud computing resources distribution and the level of cloud services. In addition, the physical model of cloud computing resource scheduling is established. The performance of the IPSO algorithm applied to cloud computing resource scheduling is analysed in the design experiment. The comparison result shows that the new algorithm improves the PSO by taking full account of the user's Qu's requirements and the load balance of the cloud environment. In conclusion, the research on cloud computing resource scheduling based on IPSO can solve the problem of resource scheduling to a certain extent.