一种基于优先级的独立任务调度算法

在军事信息网格中,某些特殊任务需要优先被调度执行,另外由于网格资源的动态性,会造成某些任务被映射而得不到调度执行.本文根据经典的Min-min算法提出了一种基于优先权的独立任务调度算法.经过分析,与Min-min算法相比,两者时间复杂度相同,时间跨度可能略大,但满足特殊任务优先执行的需求,并可以解决"饥饿任务"问题.     

基于动态自适应冗余的现场可编程门阵列容错方法

现场可编程门阵列(field programmable gate array, FPGA)极易遭受由空间高能粒子辐射引发的故障,进而影响片上任务的正常执行.目前常采用三模冗余(triple modular redundance, TMR)进行容错设计,尽管可以取得较好的容错效果但存在资源开销大的问题.尤其当辐射水平较低时,对全部任务采用三模冗余方式执行能使上述资源开销大的问题更加严重.针对此,提出了一种基于动态自适应冗余的容错方法(fault tolerance based on dynamic self-adaptive redundancy, FTDSR).首先,利用片上块存储(block RAM, BRAM)对空间粒子辐射的高敏感性,设计改进了基于BRAM的辐射水平监测器,周期性监测空间环境的辐射水平;其次,以每个任务执行周期的松弛度时间和当前辐射水平为标准评估任务的可靠性等级,进而在不同辐射水平下以单个任务为粒度动态自适应地匹配冗余策略,保证片上任务成功执行,同时避免高资源开销.仿真实验表明,采用FTDSR的FPGA在不同辐射水平下具备高可靠性,与目前主流的FPGA冗余容错方法...     

论轨道交通信息管理系统中的数据仓库

结合轨道交通AFC运营管理数据分析系统(简称“AFC数据分析系统“)的实际需求及其总体研制目标,研究了数据仓库及其相关技术在AFC数据分析系统中的应用。研究了基于Oracle/Linux PC服务器环境设计和实现对Oracle/Unix宿主数据库系统执行数据的优化抽取技术。     

基于接纳控制和ILP资源调度模型的BDAaaS系统架构

为了使云计算平台为大数据分析提供有效支持,提出一种大数据分析即服务(BDAaaS)的系统架构;首先,当用户向系统提交大数据分析应用(BDAA)时,通过接纳控制器评估任务的执行时间和成本并作出接纳决策;然后,通过服务等级协议(SLA)管理器根据任务的服务质量(QoS)需求制定SLA;最后,利用提出的整数线性规划(ILP)资源调度模型,以最小化执行成本为目标,在满足SLA下合理调度资源来执行任务;仿真结果表明,提出的方案能够有效降低任务执行时间,具有有效性和可行性。     

基于智能网卡实现的TCP会话数据采集平台

很多网络数据分析系统需要实时采集TCP会话数据,随着网络带宽的快速增长,基于通用网卡和软件协议栈实现的数据采集平台,用于TCP会话管理和数据传输的开销越来越大,已经成为整个数据分析系统整体性能的瓶颈。为了有效提升系统性能,本文描述了一种基于智能网卡实现的TCP会话数据的采集平台。实验表明,使用该数据采集平台后,网络数据分析系统的性能可以大幅提升。     

基于改进时间指针的相控阵雷达任务调度方法

针对相控阵雷达实时任务调度中时间资源利用不充分的问题,提出了一种基于改进时间指针的任务自适应调度方法.以时间指针为对象,从整个调度时间轴上所有满足时间指针处执行条件的任务请求中,选择一个优先级最高的任务作为当前时刻的执行任务,有效减少了空闲时间的浪费,使得相控阵雷达能够在有限时间资源内调度执行更多的任务.与基于传统时间指针的调度方法仿真对比,结果表明:方法提高了任务调度成功率和时间利用率,有效提升1了相控阵雷达的整体调度性能,具有一定的优越性.     

大数据分析与高速数据更新

大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发,讨论两项近期的研究工作:1)MaSM,在数据仓库系统中支持在线数据更新;2)LogKV,在日志处理系统中支持高速流入的日志数据和高效的基于时间窗口的连接操作.通过分析比较发现,存储数据更新只是最基本的要求,更重要的是应该把大数据的从更新到分析作为数据的整个生命周期,进行综合考虑和优化,根据大数据分析的特点,优化高速数据更新的数据组织和数据分布方式,从而保证甚至提高数据分析运算的效率.     

桌面网格中面向资源可用性预测的任务调度算法

提出桌面网格平台下的一种面向资源可用性预测的任务调度算法.该算法充分考虑了计算资源在执行作业的过程中可能发生的行为,采用预测技术保证了任务的高效而合理的分配.当计算资源发生异常时,通过公平的转移权重预测方法估计资源在下一阶段可能的状态,计算出资源的可靠性概率,然后开始调度子任务给资源.通过建立实验环境,设置不同的可靠性域值T与历史检查资源天数N等参数,在桌面网格上进行了测试.最后把该调度算法的实验结果与PPS等调度策略进行比较,验证了本文的任务调度算法在子任务处理率与通信轮回时间上有比较好的性能.     

面向司法专题分析的大数据计算资源调度方法

针对司法专题分析过程中面临的交互式分析类数据处理执行效率低的问题,提出了一种基于任务类型的计算资源调度方法,为任务类型建立计算资源配额管理机制。在类型配额内具备抢占式优先调度权,在类型配额外可以借用其他任务类型的空闲资源。实验与分析表明,该方法能够在兼顾普通大数据处理任务执行效率的前提下显著提升交互式分析类任务的执行效率。     

一种面向部分可重构系统的实时调度算法

针对当前可重构资源模型难以实现或资源利用率低等不足,提出一种新的资源模型。基于此模型,设计一种能够调度周期和非周期任务的混合实时任务调度算法。把周期任务分成若干组,在FPGA上为每组任务预留一个槽。当有非周期任务到达时,预先调度当前忙碌期内的所有周期任务,在保证当前忙碌期内周期任务满足截止期限且不影响下一个忙碌期内周期任务执行的情况下,把非周期任务调度到某个槽内执行。实验结果表明,该算法能够充分利用可重构资源,满足所有接收任务的截止期限。     

计算资源共享平台中工作流任务调度研究

提出了计算资源共享平台中具有时间约束的工作流任务调度方法,该方法利用了非集中式的树型应用层覆盖网络拓扑结构,从而可以高效而快速的收集资源的可用信息。采用全局调度器与本地调度器结合的方式,通过定义资源的收集功能过程,使每个节点中的本地调度器能够把自身的资源可用信息提供给全局的调度器,工作流中任务的最后期限时间约束和任务的恢复时间以一种时间间隙的机制来完成。仿真结果表明,分治模式和解方程类的迭代模式的工作流任务能够在平台上成功调度运行,具有比较快的响应时间和低的通信负载。     

混合云环境中数据敏感工作流调度

混合云环境下调度包含敏感数据的工作流主要考虑在满足数据安全性以及工作流截止时间的前提下,对工作流任务在混合云上进行分配,实现计算资源与任务的映射,并优化调度费用。采用了整数规划来建模求解包含数据敏感性、截止时间和调度费用3种约束条件的混合云工作流调度问题,同时为优化模型求解速度,基于“帕雷托最优”原理对工作流任务在混合云上的分配方案进行筛选以减小模型求解规模。实验表明,优先排除不合理的任务分配方案可有效减小整数规划模型的求解规模,缩短模型计算时间,在产生较小误差的情况下获得较优的调度结果。     

基于层次化的网格资源三层调度模型

在分析现有的资源调度方案及模型的基础上,提出了基于层次化的网格资源三层调度模型．它由主调度器、次级调度器和计算节点组成。主调度器根据任务的性质和需求,并参考下层次级调度器的执行情况,将部分任务分发到各次级调度器上,实现了主调度器与次级调度器之间的并行工作。基于该模型提出轮循任务分发策略。通过分析和模拟．该资源调度模型及任务分发策略在调度性能上明显优于集中式调度方案。     

An efficient grid-scheduling strategy based on a fuzzy matchmaking approach

Computational grids have become an appealing research area as they solve compute-intensive problems within the scientific community and in industry. A grid computational power is aggregated from a huge set of distributed heterogeneous workers; hence, it is becoming a mainstream technology for large-scale distributed resource sharing and system integration. Unfortunately, current grid schedulers suffer from the haste problem, which is the schedule inability to successfully allocate all input tasks. Accordingly, some tasks fail to complete execution as they are allocated to unsuitable workers. Others may not start execution as suitable workers are previously allocated to other peers. This paper is the first to introduce the scheduling haste problem. It also presents a reliable grid scheduler. The proposed scheduler selects the most suitable worker to execute an input grid task using a fuzzy inference system. Hence, it minimizes the turnaround time for a set of grid tasks. Moreover, our scheduler is a system-oriented one as it avoids the scheduling haste problem. Experimental results have shown that the proposed scheduler outperforms traditional grid schedulers as it introduces a better scheduling efficiency.     

An efficient system-oriented grid scheduler based on a fuzzy matchmaking approach

Computational grids have become an appealing research area as they solve compute-intensive problems within the scientific community and in industry. A Grid computational power is aggregated from a huge set of distributed heterogeneous workers; hence, it is becoming a mainstream technology for large-scale distributed resource sharing and system integration. Unfortunately, current grid schedulers suffer from the haste problem, which is the schedule inability to successfully allocate all input tasks. Accordingly, some tasks fail to complete execution as they are allocated to unsuitable workers. Others may not start execution as suitable workers are previously allocated to other peers. This paper is the first to introduce the scheduling haste problem. It also presents a reliable grid scheduler. The proposed scheduler selects the most suitable worker to execute an input grid task using a fuzzy inference system. Hence, it minimizes the turnaround time for a set of grid tasks. Moreover, our scheduler is a system-oriented one as it avoids the scheduling haste problem. Experimental results have shown that the proposed scheduler outperforms traditional grid schedulers as it introduces a better scheduling efficiency.     

一种基于任务响应时间预测的网格调度算法的研究

针对网格环境下计算节点的自治性、异构性、分布性等特征,提出了一种动态的基于任务响应时间预测的调度算法。该调度方法依据历史数据和最近访问过计算节点的任务请求提交时间、任务完成时间、网络通信延迟等信息,预测计算节点将来的任务响应时间,将任务提交给轻负载或性能较优的计算节点完成。实验结果表明,该方法不但可以有效减少不必要的延迟,而且在任务响应时间、任务的吞吐率及任务在调度器内等待被调度的时间方面比随机调度等传统算法要优。     

基于延迟调度策略的Reduce调度优化算法

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。     

同构Hadoop集群环境下改进的延迟调度算法

在Hadoop框架下计算资源和数据资源可以在不同物理位置的特点产生本地化问题。延迟调度算法的产生旨在解决本地化问题, 此算法根据任务待处理数据的物理位置作为作业的计算节点, 调度任务至目标节点。但是可能出现同一作业中若干任务集中运行在某一计算节点, 导致作业达不到理想的并行效果。针对原有的延迟调度算法, 提出延迟一容量调度算法, 允许部分任务选择非本地化节点作为原延迟调度算法中任务的目标计算节点, 以提高作业的响应时间与增加作业的并行程度。最后通过实验对比分析, 改进后的算法在执行效率和并行效果明显优于原延迟调度算法。     

SLA-aware energy-efficient scheduling scheme for Hadoop YARN

Apache Hadoop becomes ubiquitous for cloud computing which provides resources as services for multi-tenant applications. YARN (a.k.a. MapReduce 2.0) is one of the key features in the second-generation Hadoop, which provides resource management and scheduling for large-scale MapReduce environments. Two enormous challenges in the YARN scheduler are the abilities to automatically tailor and control resource allocations to different jobs for achieving their Service Level Agreements (SLAs), and minimize energy consumption of the overall cloud computing system. In this work, we propose an SLA-aware energy-efficient scheduling scheme which allocates appropriate amount of resources to MapReduce applications with YARN architecture. In our task scheduling policy, We consider the data locality information to save the MapReduce network traffic. Furthermore, the slack time between the actual execution time of completed tasks and expected completion time of the application is utilized to improve the energy-efficiency of the system. An online userspace governor-based dynamic voltage and frequency scaling (DVFS) scheme is designed in the YARN per-application ApplicationMaster to dynamically change the CPU frequency for upcoming tasks given the slack time from previous completed tasks. Experimental evaluation shows that our proposed scheme outperforms the existing MapReduce scheduling policies in terms of both resource ultization and energy-efficiency.