NoSQL非关系型数据库负载均衡的实现

NoSQL数据库以其支持数据高并发读写,海量数据高效率存储和访问,以及高扩展性和高可用行的特点在分布式存储系统中得到了广泛的应用。通过对分布式存储系统负载均衡的研究,提出了使用一致性哈希函数来实现系统负载均衡,并通过添加为集群节点添加虚拟节点的方式来增加缓存的命中率。     

一种基于Kademlia的全分布式爬虫集群方法

针对将海量爬虫节点组织成全分布式爬虫集群所遇到的高效、均衡、可靠、可拓展等问题,提出了一种基于Kademlia的全分布式爬虫集群方法。该方法通过改进的Kademlia技术建立起爬虫节点间的底层通信机制。在此基础上,根据Kademlia的异或特性及节点的可用资源情况,设计并实现具有任务划分、异常处理、节点加入退出处理及负载均衡的全分布式爬虫集群模型。在实际网络系统上的实验结果表明,该方法能有效利用海量弱计算终端的计算、存储和带宽资源,构建高效、均衡、可靠、可大规模拓展的全分布式爬虫集群。     

基于HDFS的创新知识云平台存储架构的研究与设计

针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后通过优化HDFS的命名空间备份及故障恢复服务,实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力,提高了集群的可用性,并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

可伸缩分布式动态区间映射算法

提出一种支持权重分布数据的可伸缩分布式动态区间映射算法.该算法能够在存储节点发生变化时,根据可用的资源情况立即重新均衡数据对象分布,从所有存储节点中并行迁移数据对象,且迁移的数据对象数目是最少的.在此基础上提出分布式节点地址计算算法,支持计算节点通过视图校正算法自主学习,自动适应新的系统规模,消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性.     

支持多服务的消息中间件设计与实现

为了解决消息中间件中的性能瓶颈问题和实现其可靠性的提高,研究并开发了支持多服务的消息中间件,提供单个节点无法提供的性能和可靠性保障.消息集群设计过程中涉及的主要内容包括:消息中间件特点分析、消息集群特征总结、消息集群整体结构的研究和设计以及负载均衡、负载迁移、故障恢复这三项关键技术的设计与实现.     

基于iSCSI存储集群的设计与实现

为了节约成本,提高系统的可用性,通过研究iSCSI与存储集群的特点,提出将iSCSI应用到存储集群中的方案.分析了心跳检测、故障迁移、数据镜像等技术,在设计心跳检测时,通过增加失效点阀值提高检测的正确性,故障迁移利用ARP欺骗原理来完成,数据镜像则使用同步模式来保障数据的一致性.最后实现了一款高可靠、高可用基于iSCSI的存储集群系统,并对存储系统性能进行了测试.     

基于Linux的RHEL集群虚拟化系统的研究

通过对现有服务器集群系统的虚拟化系统和集群系统进行分析,采用虚拟化和Linux技术将虚拟化、负载均衡集群和高可用集群整合在一起,实现了三层构架的WWW服务器集群,从而以较低的价格达到了昂贵的商业硬件存储解决方案所实现的效果,从而有效克服现有集群技术的缺点。     

基于权重轮询负载均衡算法的优化

随着电商网站用户规模不断增长,高并发问题成为在搭建大规模电商网站系统时面临的一项重大挑战,通过负载均衡算法来实现Web服务集群中各节点均衡负载是解决高并发的手段之一.然而,目前通用的负载均衡算法都存在一些不足之处,针对这一问题,提出了一种动态自适应权重轮询随机负载均衡算法（Dynamic Adaptive Weight Round-Robin Random Load-Balancing,DAWRRRLB）,该算法考虑到影响Web服务集群中服务器节点性能的多重因素,根据节点在运行过程中的实时负载情况动态的改变集群中节点的负载性能,并结合改进的Pick-K算法对权重轮询负载均衡算法进行优化,始终保证性能最优的服务器节点在提供服务.通过多次实验对比,改进的DAWRRRLB算法可以有效的提高负载均衡效率.     

基于极值优化的多核集群负载均衡

针对分布式多核节点系统的负载均衡难以取得最优解的问题,提出了一种基于改进极值优化的负载均衡方法.该方法通过节点的CPU占用率发现负载不均衡情况,然后用一个衡量模型估计计算与通信开销使改进的极值优化方法能够实现集群的负载均衡.仿真与实验结果表明该算法能够提高分布式集群的计算效率,是一种理想的负载均衡算法.     

基于LVS集群的负载均衡应用

以网络为中心的信息时代,人们需要更快捷、更可靠、功能更丰富的网络服务。服务平台应用也将需要更好的交互性、更高的安全性、更强的处理能力和更高的可用性。本文基于集群与负载均衡,进一步介绍了LVS/DR的基本结构、性能及体系结构。并结合系统虚拟服务器负载均衡集群的方案,从服务器集群、分布式计算等方面解决了高并发数下车载终端的接入问题和向分中心转发数据的问题。具有一定的实际意义。     

基于动态权重的一致性哈希微服务负载均衡优化

随着互联网技术的发展,互联网服务器集群的负载能力正在面临着前所未有的挑战,实现合理的负载均衡策略尤为重要。为了使负载均衡达到最佳的效率,可以使用一致性哈希算法来对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景,对该集群负载均衡的特性进行分析,提出一种基于虚拟节点的一致性哈希环的设计与分割方法及基于动态权值的分配策略,在一致性哈希算法的基础上,实现服务集群之间的负载转移,解决微服务集群中服务负载增多,导致服务之间负载不均衡的问题,防止其中某些服务因为负载压力过大,导致服务崩溃的问题。经实验表明,与传统的一致性哈希算法相比,改进后的负载均衡策略负载不均衡的概率是原来的31%;并且动态分配策略具有良好的负载均衡性能,有效地解决了微服务分布式架构的负载均衡问题。     

基于Jini技术的Web服务器集群的研究与设计

通过对Jini技术和Web服务器集群的工作原理的介绍,分析了Jini构造Web服务器集群的可行性和具有的优势;提出了基于Jini技术构建Web服务器集群的实现模型,并给出了在构建Web服务器集群的过程中实现高可用性、负载平衡的解决方案。     

基于Jini技术的Web服务器集群的研究与设计

通过对Jini技术和Web服务器集群的工作原理的介绍,分析了Jini构造Web服务器集群的可行性和具有的优势;提出了基于Jini技术构建Web服务器集群的实现模型,并给出了在构建Web服务器集群的过程中实现高可用性、负载平衡的解决方案。     

流媒体服务的集群负载平衡方法分析

该文在分析了流媒体服务器的带宽因素和负载平衡原理的基础上,讨论了针对流媒体服务的按层次划分的服务器集群动态负载平衡技术,为流媒体服务集群的部署提供参考。     

基于集群的多源日志综合审计系统

随着网络规模的扩大,日志审计系统中单个日志服务器受到处理能力的限制,已经成为系统的瓶颈。采用具备高可用性和负载均衡的日志服务器集群系统来解决这个问题,提出一个基于集群的日志审计系统。分析了该系统的体系结构、总体结构模型,以及各个组成模块的功能,并给出一个综合负载统计的动态负载均衡策略。最后,用排队论的方法来分析集群系统的性能。     

流媒体服务的集群负载平衡方法分析

该文在分析了流媒体服务器的带宽因素和负载平衡原理的基础上,讨论了针对流媒体服务的按层次划分的服务器集群动态负载平衡技术,为流媒体服务集群的部署提供参考。     

LBBSRT: An efficient SDN load balancing scheme based on server response time

The response time is the most important factor determining user experiences in the service provision model involving server clusters. However, traditional server cluster load balancing scheme are limited by the hardware conditions, and cannot completely exploit the server response times for load balancing. In order to effectively resolve the traditional load balancing schemes, we propose a load balancing scheme based on server response times by using the advantage of SDN flexibility, named LBBSRT. Using the real-time response time of each server measured by the controller for load balancing, we process user requests by obtaining an evenly balanced server loads. Simulation experiments show that our scheme exhibits a better load balancing effect and process requests with a minimum average server response times. In addition, our scheme is easy to implement, and exhibits good scalability and low cost characteristics.     

Web应用服务器自适应负载平衡服务

Web应用服务器是为事务性Web应用提供一系列运行时服务的分布式系统.基于中间件的自适应负载平衡服务是为Web应用服务器提供高可信赖性和高伸缩性的一种有效方法,但目前还存在许多不足,如缺乏服务端透明性、负载策略不可替换等,不能满足Web应用服务器特有的需求.分析了Web应用服务器负载平衡服务的关键需要,设计了一种自适应负载平衡服务,阐述了在J2EE应用服务器WebFrame2.0上实现该服务的若干关键技术及其解决办法,包括可热插拔、负载策略可替换、负载反馈与自适应控制、状态迁移以及容错技术等,最后是相关工作介绍及其比较.该负载平衡服务已在Web应用服务器WebFrame2.0中得以实现.     

实时通信集群负载均衡策略研究与应用

实时通信主要传输实时音视频,具有低延时和高带宽消耗的特点.在用户量较大的场景下,单服务器方案无法满足整体需求,此时需搭建分布式集群对外提供服务,而如何将这些访问合理的分配到不同服务器上,均衡集群内服务器的负载就显得尤为重要.本文首先分析单服务器场景下的实时通信流程,然后研究和分析常见的负载均衡算法,同时为满足同群组客户端需转发到相同服务器的一致性要求,提出一种基于一致性哈希算法和遗传算法的自适应负载均衡算法,并对该算法进行应用和实验验证.