| 一种优化的Kafka消费者/客户端负载均衡算法* |
| |
| 引用本文： | 王郑合,王锋,邓辉,柳翠寅,张晓丽.一种优化的Kafka消费者/客户端负载均衡算法*[J].计算机应用研究,2017,34(8). |
| |
| 作者姓名： | 王郑合 王锋 邓辉 柳翠寅 张晓丽 |
| |
| 作者单位： | 昆明理工大学 云南省计算机技术应用重点实验室,昆明理工大学 云南省计算机技术应用重点实验室,昆明理工大学 云南省计算机技术应用重点实验室,昆明理工大学 云南省计算机技术应用重点实验室,昆明理工大学 云南省计算机技术应用重点实验室 |
| |
| 基金项目： | 国家基金天文联合基金重点项目：新一代厘米-分米波射电日像仪数据处理分析系统关键技术研究与实现(U1231205)；云南省应用基础基金重点项目-科技资源公共服务云关键技术与应用研究(2014FA013)；云南省应用基础基金重点项目-面向决策服务的科技项目过程管理关键技术研究应用(2013FA032)。 |
| |
| 摘 要： | Kafka是一款高吞吐的分布式消息系统，在海量数据处理等多个领域被广泛使用。但现有Kafka消费者客户端负载均衡算法存在一些不足，在处理海量数据时易产生过高开销甚至出错等问题。本文提出了一种优化的Kafka消费者客户端负载均衡算法，负载均衡过程完全由作为管理者的消费者控制，其余消费者不必单独进行负载均衡，而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控，出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者客户端在负载均衡过程中的系统开销，并避免出现错误的负载均衡结果，可以有效地保障分布科学数据处理的正确性。
|
| 关 键 词： | 分布式消息系统 发布订阅模式 Kafka 负载均衡 系统开销 可靠性 |
| 收稿时间： | 2016/6/1 0:00:00 |
| 修稿时间： | 2017/4/11 0:00:00 |
An optimized load balancing algorithmfor the Kafka consumer / client* |
| |
| Wang Zhenghe,Wang Feng,Deng Hui,Liu Cuiyin and Zhang Xiaoli.An optimized load balancing algorithmfor the Kafka consumer / client*[J].Application Research of Computers,2017,34(8). |
| |
| Authors: | Wang Zhenghe Wang Feng Deng Hui Liu Cuiyin and Zhang Xiaoli |
| |
| Affiliation: | Yunnan Key Lab of Computer Technology Applications,Kunming University of Science and Technology,,Yunnan Key Lab of Computer Technology Applications,Kunming University of Science and Technology,Yunnan Key Lab of Computer Technology Applications,Kunming University of Science and Technology,Yunnan Key Lab of Computer Technology Applications,Kunming University of Science and Technology |
| |
| Abstract: | |
| |
| Keywords: | distributed messaging system publish-subscribe model Kafka load balancing system overhead reliability |
|
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
