| 一种Hadoop中基于作业类别和截止时间的调度算法 |
| |
| 引用本文： | 李曌,滕飞,李天瑞,杨浩.一种Hadoop中基于作业类别和截止时间的调度算法[J].计算机科学,2015,42(6):28-31, 45. |
| |
| 作者姓名： | 李曌 滕飞 李天瑞 杨浩 |
| |
| 作者单位： | 西南交通大学信息与科学技术学院 成都610031 |
| |
| 基金项目： | 本文受国家自然科学基金(61202043,7)资助 |
| |
| 摘 要： | Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低.
|
| 关 键 词： | 调度算法 截止时间 作业类别 MapReduce Hadoop |
Scheduler Algorithm Based on Type Specific and Deadline in Hadoop |
| |
| LI Zhao,TENG Fei,LI Tian-rui and YANG Hao.Scheduler Algorithm Based on Type Specific and Deadline in Hadoop[J].Computer Science,2015,42(6):28-31, 45. |
| |
| Authors: | LI Zhao TENG Fei LI Tian-rui and YANG Hao |
| |
| Affiliation: | School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China,School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China,School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China and School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China |
| |
| Abstract: | |
| |
| Keywords: | Scheduler algorithm Deadline Job-type MapReduce Hadoop |
| 本文献已被 万方数据 等数据库收录！ |
|
点击此处可从《计算机科学》下载全文 |
|
