| 基于云计算Hadoop异构集群的并行作业调度算法 |
| |
| 引用本文： | 郭其标,吕春峰.基于云计算Hadoop异构集群的并行作业调度算法[J].计算机测量与控制,2014,22(6):1846-1848. |
| |
| 作者姓名： | 郭其标 吕春峰 |
| |
| 作者单位： | 嘉应学院 计算机学院,广东 梅州 514015;郑州铁路职业技术学院 软件学院,郑州 450052 |
| |
| 基金项目： | 广东省高校优秀青年创新人才培养计划基金资助项目(LYM10121)。 |
| |
| 摘 要： | 针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。
|
| 关 键 词： | 云计算 作业调度 集群资源 慢任务 |
| 收稿时间： | 2013/11/21 0:00:00 |
| 修稿时间： | 2014/2/17 0:00:00 |
Algorithm for Concurrent Job Scheduling Based on Cloud Computing Hadoop Heterogeneous Computer Cluster[HS)] |
| |
| Guo Qibiao and Lu Chunfeng.Algorithm for Concurrent Job Scheduling Based on Cloud Computing Hadoop Heterogeneous Computer Cluster[HS)][J].Computer Measurement & Control,2014,22(6):1846-1848. |
| |
| Authors: | Guo Qibiao and Lu Chunfeng |
| |
| Abstract: | |
| |
| Keywords: | cloud computing job scheduling computer cluster slow task |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《计算机测量与控制》浏览原始摘要信息 |
|
点击此处可从《计算机测量与控制》下载全文 |
|
