基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

Kubernetes资源调度算法的改进与实现

Kubernetes是Google主导的容器编排引擎, 其资源调度算法分为预选和优选两个过程. 针对预选过程要遍历所有节点比较耗时的问题, 改进的资源调度算法提出在选出满足条件的节点数量时直接进行优选而无需遍历所有节点, 从而提高资源调度效率; 针对优选过程只考虑了pod自身申请的CPU和内存使用情况, 并且未考虑节点本身的资源利用率的问题, 改进的资源调度算法综合考虑CPU、内存、网络、IO指标, 通过实验验证了改进算法能适应更加复杂的互联网应用环境, 进而提高集群的负载均衡效率.     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

计算网格中动态负载平衡的分布调度模式

网格计算下对资源进行有效的管理和调度可以提高系统的利用率.在对现有若干调度方法的研究和分析基础上,针对计算网格中的负载平衡问题,提出了一种分布式网格作业调度模型,并给出相关算法.算法通过建立主从模式的负载信息收集机制,提供给节点全局负载信息,加速重负载节点的负载转移速度.通过有效的负载平衡模式,解决资源调度中负载平衡及其可靠性问题.     

Kubernetes异构资源细粒度调度策略的设计与实现

在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。     

基于负载预测的虚拟机动态调度算法研究与实现

在云计算系统中为了实现负载均衡和资源的高效利用,需要在虚拟机粒度上对云计算系统进行调度,通过热迁移技术将虚拟机从高负载物理节点迁移到低负载物理节点。把负载预测技术和虚拟机动态调度技术相结合,提出了LFS算法,通过虚拟机历史负载数据对虚拟机未来的负载变化情况进行预测,然后根据预测结果对虚拟机进行调度,能够有效地避免云计算系统中高负载物理节点出现,实现负载均衡,提高资源使用率。     

云计算资源调度算法仿真

针对云计算的资源调度问题,有效利用云网络结构,是分布式结构与网格技术中的主要问题.大量资源调度算法使用任务结构对云计算环境下的负载进行分配,但较少考虑网络节点的动态信任度问题使得云计算资源存在一定的安全隐患.首先基于云计算任务串并联结构对网络动态资源进行分配,然后使用粒子群算法并结合节点置信度指标进行改进.通过仿真进行验证,证明了改进方法在增加节点信任度指标后提高了云计算资源的利用率,降低了网络资源负载.     

一种基于节点可选度的P2P点播流媒体数据调度算法

当前的P2P(Peer-to-Peer)点播流媒体系统中数据调度算法未能充分利用每个用户节点自身的特性.在分析典型数据调度算法基础上提出一种基于节点可选度的数据调度算法(SSP算法).该算法一方面在调度下载数据块时综合考虑了邻居节点带宽能力及其所拥有的数据信息.另一方面对服务节点的请求处理过程进行了优化.SSP算法有利于提高用户节点播放视频的连续性,降低流媒体服务器的负载压力,从而改善P2P点播流媒体系统的整体服务质量.仿真结果和实际应用表明算法性能良好,适用于用户节点能力差异较大的P2P点播流媒体环境.     

多检测引擎监测的动态负载均衡算法

为解决多引擎入侵检测系统的负载均衡问题,提出一种检测引擎的动态负载调节算法。首先,监测各引擎节点计算负载;然后,以过载或空载节点出现为调度时机,以会话为单位调度重负载节点的流量到低负载节点,并遍历节点进行负载均衡的调节。由于以会话为调度单位,算法并不以负载的绝对平均为目的,只需保障各引擎节点不出现过载或空载即达到基本目标。采用KDD cup99数据集进行模拟实验,实验结果表明,与平均分配流量算法和基于较大流调整的安全分流算法相比,所提算法对检测引擎基于会话的负载均衡效果显著,运行开销较低且降低了重负载状态下的丢包率,有利于提高入侵检测系统的检测率。     

网格原子化作业的二分图调度方法

对于网格系统中计算力调度等问题,结合有向无环作业图DATG和无向节点图UNG,采用并行集APS建立了一种基于二分图的网格调度算法BGS,并在惩罚策略、负载均衡、复活机制的引导下,使系统的调度动态地逐步趋向优化.实验结果表明:该算法能够更加适应网格资源的变化,降低作业负载,提高作业的并行化程度,并能根据系统负载合理地利用节点资源.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

面向大规模数据接入系统的负载平衡机制

当前分布式系统负载平衡算法存在问题：1）算法建立的系统中各节点角色固定,系统不具有自适应性;2）算法的通用性不高;3）负载迁移任务巨大,且负载平衡周期过长等。针对这些问题,提出了混合式负载平衡算法。首先,设计了一个分布式系统接收模型。模型将系统任务分为三层：接收层、处理层和存储层。在接收层使用了自定义的通信协议提高系统的接收性能。然后,负载平衡算法采用随机负载迁移策略,根据系统中节点的负载状态,对负载任务进行随机迁移。通过这种策略解决负载平衡周期过长和负载回迁问题。最后,通过分布式控制节点选择策略,使系统中节点具有自适应性。实验结果显示,在百万数据源以下,系统各层平均延迟处于毫秒级,系统负载平衡平均耗时在3 min以下。实验证明了所提出的负载平衡机制具有周期短、任务响应迅速等特点,能够提高分布式系统的接收性能。     

一种结构化P2P系统的负载平衡算法

在结构化P2P系统中,由于使用分布式散列表,各节点能够达到基本的负载平衡。但是,各个节点由于承担负载的能力不同和数据的存取存在热点现象,因此仍然存在负载不平衡的情况。针对这一缺点,采用局部信息调整负载的方法,提出了分布式负载平衡算法,从而避免了单点失效问题,同时算法的实现更为简单。     

基于DHT的P2P系统的负载均衡算法

在基于DHT的结构化P2P系统中，DHT的使用以及节点处理能力的不同导致系统中节点的负载不均衡．现有的负载均衡算法存在两个不足：①负载的转移没有考虑节点之间的链路延迟；②算法依赖于系统中固定位置的某些节点．提出了分布式负载均衡算法：每个节点周期性的收集系统局部负载信息，然后选择链路延迟较小的节点进行负载转移．算法依赖于系统中的所有节点，解决了单点失败问题．同时，负载的转移是在链路延迟较小的节点之间进行的．仿真实验表明，①对于各种系统利用率，该算法都可以获得理想的负载均衡效果；②算法可以使负载转移开销减少45％以上．     

一种分布式数据流系统负载平衡算法

分布式数据流系统中,当输入数据流速发生较大波动时,会引起部分节点过载,从而影响整个系统的数据处理能力。针对这个问题,该文分析了分布式数据流系统的特点以及现有负载平衡算法的局限性,提出了一种利用多层重叠结构进行负载信息收集和负载分配的平衡算法。该算法利用虚拟树形结构进行负载信息的收集和负载分配,具有较好的扩展性能。以环形虚拟结构中保存的节点相对位置信息为依据进行负载移动,从而有效降低系统的响应时间。实验结果表明该算法具有良好的负载平衡能力和一定的应用价值。     

分布式系统节点负载动态平衡策略研究

负载均衡是有关分布式系统性能和计算效率的一个关键问题。在分析了目前常用的集中式动态分配算法和分布式动态分配算法的利弊后,结合两种算法的优点,建立了一种半分布半集中式动态负载分配模型,并据此设计了相应算法。根据节点响应时间,对原有的动态分配算法和新模型进行了性能分析,详细叙述了改进算法的设计思想和实现步骤。讨论结果表明,新算法可以提高系统的客户平均响应时间,同时减少节点间交互的信息量,提高了分布式系统的资源利用率。     

基于结构化对等网的分布式资源发现方法

为了解决大型分布式系统由集中管理导致的扩展性和鲁棒性差的问题,利用改进的结构化对等网组织分布式计算资源,将逻辑空间中的节点分为主机节点和资源节点,分别采取相容性Hash和位置保留Hash与对等网逻辑空间匹配,以满足资源信息的范围查询。     

基于Kademlia的负载平衡云存储算法

针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。     

主动获取式的分布式网络爬虫集群方法研究

针对当前分布式网络爬虫方法遇到的处理效率、扩展性、可靠性、任务分配和负载平衡等问题,提出了一种主动获取任务式的分布式网络爬虫方法。该方法在子机节点中加入分控模块,评估节点负载及运行状况,并主动向中控节点申请任务队列。在此基础上,结合动态双向优先级任务分配算法,设计了一种具有负载平衡、任务分级分配、节点异常敏捷识别、节点安全退出等特性的分布式网络爬虫模型。实际测试表明,该主动获取式的分布式网络爬虫方法可有效地利用通用平台建立大型分布式爬虫集群。     

分布式并行服务器透明性及任务调度研究

针对当前多服务器系统透明性和任务调度研究中存在的问题，提出一种分布式并行服务器的网络服务透明性实现机制和相应的任务调度算法。该透明性机制修改服务器结点的ARP地址解析协议以及客户端到服务器端的连接和数据请求处理，使得整个服务器系统对外界表现为惟一的VIP地址和VMAC地址；相应的任务调度算法则根据负载和阈值设置将服务器结点分成两个链：有效服务器结点链和过载服务器结点链，然后由量值循环法对有效服务器结点链进行任务调度，在修改Linux内核网卡驱动程序和部分底层网络协议的基础上进行了实现，测试结果表明其具有良好的响应特性和较强的服务能力。