| 基于Chukwa的大规模日志智能监测收集方法 |
| |
| 引用本文： | 张川,邓珍荣,邓星,黄文明.基于Chukwa的大规模日志智能监测收集方法[J].计算机工程与设计,2014,35(9). |
| |
| 作者姓名： | 张川 邓珍荣 邓星 黄文明 |
| |
| 作者单位： | 1. 桂林电子科技大学计算机科学与工程学院,广西桂林,541004
2. 桂林电子科技大学广西可信软件重点实验室,广西桂林,541004 |
| |
| 基金项目： | 广西研究生校级创新计划基金项目，广西可信软件重点实验室研究课题基金项目，广西教育厅基金项目 |
| |
| 摘 要： | 针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.
|
| 关 键 词： | 大数据 分布式存储和计算 日志监控与收集 并行计算模型 Chukwa |
Method of large log intelligent monitoring and collection based on Chukwa |
| |
| ZHANG Chuan,DENG Zhen-rong,DENG Xing,HUANG Wen-ming.Method of large log intelligent monitoring and collection based on Chukwa[J].Computer Engineering and Design,2014,35(9). |
| |
| Authors: | ZHANG Chuan DENG Zhen-rong DENG Xing HUANG Wen-ming |
| |
| Abstract: | |
| |
| Keywords: | big data distributed storage and computing log monitoring and collection parallel computing Chukwa |
| 本文献已被 万方数据 等数据库收录！ |
|
