基于云芯一号的分布式文件系统设计与实现

随着大数据现代化的逐步推进以及各类大数据处理技术的快速发展,各种类型的数据量已呈指数级增长。与此同时,分布式文件处理技术也是日新月异,公众对处理系统的硬件和平台环境的要求也越来越高。因此,提出基于云芯一号硬件加速卡的分布式系统设计,在传统的X86架构上进行硬件扩充和优化,并采用Hadoop分布式文件系统对大量数据进行处理。通过不同平台环境的实验结果对比,得出无论是在纯文件压缩上还是HDFS平台中文件的写入读取速度上,提出的系统都远远优于传统压缩方式,为后续工作带了更好的创新方向和架构支撑。     

一种动态的客户端负载均衡机制

互联网应用的并发用户数量不仅多变并且这种变化常常不可预测.将系统容量配置为固定值的惯用做法在面临多变的请求时常常会导致两种结果,一种是因为配置过低而引起用户的不满,另一种则因为配置过高而造成计算资源的浪费.而通过运用云架构按需提供、按使用收费的能力,系统具有了实时地按需配置计算资源的能力.然而静态的客户端负载均衡方法作为一种主要的负载均衡技术很难适应云架构条件下更加易变的集群结构.本文提出了一种动态的客户端负载均衡机制.通过引入分布式的集群视图更新、控制流等技术,该机制在保持客户端负载均衡机制分布式、可伸缩性强的基础上,又为集群节点的动态加入与退出和负载均衡策略的动态调整提供了有效的支持.同时,本文分析了该机制在一个开源JEE应用服务器PKUAS中的关键实现问题,并通过实验从多方面验证了该机制的有效性.     

SDN下的动态负载均衡机制

软件定义网络SDN用于解决传统网络存在的垂直整合,难于管理等问题的新模式。在SDN的多域分布式控制平台中,每个域的控制器则作为集中式控制器,当有大量的消息请求时,可能会导致控制器过载。为了缓解控制器的过载,提出SDN下动态负载均衡机制。当控制器负载达到阈值,控制器会优先选择负载较大的消息迁移至负载较小的邻域,防止控制器阻塞。通过实验,结果证明动态负载均衡机制具有更低的阻塞率和更高的控制器利用率。     

一种网格环境下的动态负载均衡机制

负载均衡机制有利于提高广域分布式环境中资源共享和协同工作的效率。根据网格系统的特点,采用灰色预测方法,设计了一种动态资源负载均衡机制,给出了预测模型和实时预测策略以及基于该机制的负载均衡算法。该资源负载均衡机制具有以下特点：可在较小的开销下取得满意的负载均衡性能,具有网格环境下的可扩展性,能够适应网格资源动态变化的特性,解决资源发现过程中的负载均衡 问题。     

一种动态负载均衡机制的研究与实现

高性能集群工作方式越来越受到人们的关注。通常集群是一组通过网络连接的多个异构的计算机系统。在集群工作模式下,一个非常重要的问题就是要确保负载量的均衡。由于目前的负载均衡系统大多只支持同构集群环境,且均衡粒度为作业级,过于粗糙,所以不能很好的适用于并行程序中并行任务的均衡。本文提出了一种并行程序的开发框架,使用移动Agent技术解决任务的动态迁移性,为程序员提供了一个简单的开发接口,大大地简化了他们的工作。系统采用java和Aglet平台开发而成。实验表明,该系统灵活有效。     

一种基于动态负载均衡的路由算法

传统IGP仅基于最短路径算法来为数据流选择传输通路，对数据流的需求以及网络资源的动态变化未加以考虑，因此不具备均衡网络负载的能力。文中通过分析IGP的局限性，提出基于动态负载均衡的DLB-OSPF路由算法。该算法依据数据流的带宽需求和网络资源的使用状况来进行路由选择，并通过有效手段将数据流更合理地分配到能满足传输需求的链路上。经过示例分析表明，该算法不仅能减少网络拥塞，并且提高了网络资源利用率。     

一种基于动态负载均衡的路由算法

传统IGP仅基于最短路径算法来为数据流选择传输通路,对数据流的需求以及网络资源的动态变化未加以考虑,因此不具备均衡网络负载的能力.文中通过分析IGP的局限性,提出基于动态负载均衡的DLB-OSPF路由算法.该算法依据数据流的带宽需求和网络资源的使用状况来进行路由选择,并通过有效手段将数据流更合理地分配到能满足传输需求的链路上.经过示例分析表明,该算法不仅能减少网络拥塞,并且提高了网络资源利用率.     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

基于Kubernetes的动态负载均衡机制研究与设计

Kubernetes因其强大的容器编排能力而受到业界的广泛使用,但由于其节点的负载均衡是静态的,随着应用的不断创建和删除,以及节点资源的变化,极易出现集群负载不均衡的现象,从而导致部分节点压力过大,甚至存在宕机的风险。为解决这一问题,论文提出了一套面向Kubernetes的动态负载均衡机制,根据节点的负载信息变化情况,能够动态选择合适的Pod进行重新调度。实验结果表明该机制可以达到集群压力均匀分散的目的,使集群的资源得到更合理的使用。     

基于智能代理的中间应用服务器动态负载均衡机制

水压模型均衡了中间应用服务器的负载，但是因为它要求固定间隔激发，阻碍了其性能的发挥，文章在智能代理的基础上，提出了两种系统模型，利用AI机制，智能，优良地避免此弊端，并且文章引入了令牌环来控制主代理的轮换，为解决由唯一控制中心致使系统具有的脆弱性问题，提高了系统的容错性，开辟了新的途径。     

基于负载感知的数据流动态负载均衡策略

针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。     

一种基于动态反馈的负载均衡算法研究

集群的负载均衡策略是提高集群整体性能的关键。文章提出了一种基于资源使用率和输入参数的负载均衡算法，有效地解决了集群内各服务器间的负载均衡问题。     

一种基于SDN控制器集群的负载均衡机制

传统SDN中交换设备和控制器之间多采用静态映射方式,面对有控制面数据负载均衡要求的特殊系统应用时,会有控制器切换不合理、交换设备数据流负载不能动态均衡的问题发生。为解决该问题,对网络内全部控制器的负载集中管理后,研究了一种基于SDN控制器集群的负载均衡机制。随网络流量的变化,按照控制器负载数据动态实现切换,可解决控制器负载超限问题并及时避免控制器过载对网络性能的影响。该机制已应用于国产化的JARIOS控制器,并在此基础上搭建环境并完成测试验证。实验证实该机制可以较好地实现控制器集群中的失效保护和负载均衡,提高控制器对入包数据的处理效率,提升整体网络的鲁棒性。     

基于SDN的动态负载均衡策略

针对SDN中静态网络结构不能适应动态流量变化所引起的控制器负载不均衡问题,提出一种阶段式动态负载均衡策略。阶段一以控制器负载均值化为目标,确定迁入控制器候选集,且综合考虑时延、负载,设计指标函数,选取待迁移交换机;阶段二考虑网络节点间的连通性,以最小迁移代价为目标,提出改进的EMD模型,并用线性逼近算法快速求解,实现了交换机的快速并行迁移。实验结果表明,与现有的负载均衡策略相比,其改善了迁入控制器和交换机的选取过程,优化了网络性能,控制器的负载均衡度提升了约31.4%。     

基于因子分析的动态负载均衡算法

随着互联网的不断发展、用户数量的急剧增长,互联网中出现了网络拥塞、服务器负载过重、响应时间过长等严重问题,其中负载均衡算法是影响服务器集群整体性能的一个关键因素。运用统计学中的因子分析理论,提出了一种基于因子分析的负载均衡算法。该算法利用因子分析法计算出综合负载,并用这个指标帮助负载均衡器选择合适的服务器,均匀地将用户的请求进行分发,从而达到整体上较好的负载均衡。     

基于动态反馈的负载均衡算法

负载均衡服务器集群中,负载均衡算法是一个关键的部分,它是集群系统中任务分配的核心环节。任务分配的主要因素包括服务节点的处理能力与服务节点实际负载两个部分。本文所讨论的负载均衡算法综合了这两方面的影响,引入了节点负载增量对服务节点实际负载进行预测,以求更精确地表示服务节点的负载情况;同时通过动态反馈机制实时修正,保证了系统在长时间运行时,负载不会发生倾斜。     

一种基于负载反馈的分布式数字集群动态负载均衡算法

针对传统负载均衡算法不能满足公网数字集群系统高并发用户请求和快速呼叫建立等需求,提出一种基于负载反馈的分布式数字集群动态负载均衡算法,实现公网数字集群系统负载均衡,提高用户容量。首先建立参与MCPTT服务器的静态负载和动态负载监控机制和指标;然后利用加权轮询算法为用户分配参与MCPTT服务器,并通过用户请求的处理获得复合负载参数;根据负载指标的反馈更新参与MCPTT服务器权值以动态调整服务器负载。仿真结果表明,该算法的负载均衡效果优于传统算法和其他动态反馈算法,负载均衡度更小、用户请求响应延迟更低。     

一种自适应动态负载均衡算法

负载均衡问题是一个经典的组合优化难题,该文建立了一个集群中的负载均衡问题模型,并提出了一种旨在最小化负载均衡开销的动态自适应算法。由于集群中存在网络延时,所以负载重分配的开销很大一部分取决于CPU间发送、接受的消息的最大数量。该负载均衡算法以最小化负载重分配时CPU间消息发送、接受的数量为目标,根据过载、轻载CPU数量的变化动态调用D算法和R算法,以降低负载均衡开销。     

一种改进的基于动态反馈的负载均衡算法

负载均衡是集群系统研究的一个重要问题,负载均衡算法是集群任务分配的核心,介绍了LVS中的负载均衡算法,讨论了常用算法的不足,在分析这些算法各自优缺点的基础上,提出了一种改进的基于反馈的负载均衡算法,算法引入一个负载容余参数以更准确地描述集群节点的负载状况,在考虑服务节点真实负载,处理能力的基础上,尽量简化负载均衡器的任务分配算法.测试结果显示该算法优于静态算法.