分布式ETL负载均衡策略研究

在分析分布式ETL中负载均衡重要性的基础上,针对传统ETL应用于分布式数据仓库中效率低的缺陷,提出一种根据ETL节点所抽取的数据类型不同对分布式ETL节点抽取的数据进行分割的策略,以及一种新的负载均衡模型—链网模型和Routers相结合的R-CN模型。在此基础上提出一种基于ETL数据分片和R-CN模型相结合的分布式ETL节点负载调度和均衡策略。此策略使ETL节点的数据处理能力有了很大的提高,有效地提高了分布式ETL的效率。     

粒子群算法在分布式ETL任务调度中的应用

随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。     

基于动态多处理节点的分布式系统任务调度

针对固定处理节点分布式系统动态调控能力弱的问题,给出一种分布式系统任务调度模型,讨论单处理节点任务调度问题,提出平均处理强度指标,用于更准确地刻画处理节点的承载能力。推导出动态多处理节点的任务分配方法,优化分布式系统中任务处理的时间响应特性。模拟实验证明,该算法有较好的动态调控能力,能根据需要降低处理器负载、改善任务处理延时并更合理地利用系统资源。     

新的分布式任务调度算法

详细对比了传统Min-Min算法的高效特性和Max-Min算法的负载平衡特性,结合Min-Min和Max -Min算法的优点,提出新的具有动态特性的启发式算法(Heuristic task scheduling algorithm based on Min-Min and Max-Min,H-MM),H-MM解决了Min-Min算法负载不平衡问题。实验表明,H- MM在充分保留Min-Min算法执行任务高效基础上实现了算法的动态平衡负载执行特性,得到了更好的任务调度执行效果。     

并行处理技术在ETL计算环境中的应用研究

以基金行业项目为背景,针对ETL(Extraction Transformation Loading)执行过程中的性能问题,提出一种结合并行处理和集群负载均衡实现技术提高ETL处理性能的解决方案。实践证明该技术解决方案是可靠和有效的。     

基于MapReduce的分布式ETL体系结构研究

针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——M DETL(MapReduce Distributed ETL).该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率.     

基于GNP算法的分布式爬虫调度策略*

针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。     

基于蚁群算法的实训云任务调度策略研究

在研究蚁群算法的基础上针对云计算技术展开研究,对蚁群算法应用于云任务调度的可行性进行了分析,提出了云环境下基于蚁群任务调度算法的基本策略,力图实现实训云系统的高可用性和负载均衡,并希望能为后续研究工作提供一些有意义的探索和思路。     

基于Docker集群的弹性任务调度模型构建

针对Docker集群访问量具有随机性和不确定性的问题,在提出基于多指标灰色负载预测基础上,通过增加或减少应用容器的方式,实现集群任务的弹性调度,实现集群应用性能和负载均衡。实验结果表明,所提出的基于多指标灰色负载预测算法的弹性任务调度策略,可适应web应用的动态变化,保证高负载状态下应用可即时响应,低负载状态下集群的资源利用率最高。     

基于公平调度算法的分布式系统负载均衡研究

负载均衡是提高分布式系统性能的重要技术,同时也是系统高可用性、可扩展性、冗余性的必然要求.针对分布式系统任务调度不均衡问题,在分析和建立系统仿真和任务调度模型的基础上,提出了一种基于公平指标的任务调度负载均衡算法,推导出在多节点条件下的任务分配方法,并在此模型下改进了基于公平指标的负载均衡算法.最后,在Linux平台下,进行了仿真实验和性能比较.实验结果表明,该算法是有效的,它可以有效地提高分布式系统的性能和效率.     

异构集群环境下逆时偏移任务调度算法

逆时偏移方法作为目前最先进的地震资料成像方法之一,已经广泛应用于地震数据成像领域;基于地震资料的庞大数据量,该方法仍存在计算需求较大的问题,通常需要借助集群系统来完成运算.在异构集群环境中,各个节点的性能不同,节点的处理能力也会存在差异,在进行数据运算时容易出现负载不均衡的现象.为了提高并行计算的工作效率和异构集群系统...     

基于负载均衡的云计算任务调度算法的研究

本文针对当前云计算系统负载不均衡和任务完成效率有待提高的问题,提出了一种基于系统整体负载均衡与最小完成时间LB—ECT算法。根据云计算环境下资源需求动态变化,利用任务在虚拟机上执行时间的预测进行任务到虚拟机上的分配、调度。优化系统的整体效率。采用云计算仿真平台CloudSim对本算法进行仿真实验与分析,实验仿真结果表明,LB—ECT算法能够有效提高系统的整体负载均衡能力．明显缩短任务的总完成时间．     

数据ETL研究与展望

数据ETL(Data Extraction,Transformation and Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石,具有数据抽取、数据转换和数据装载功能。本文综述了ETL发展的背景、目前广泛研究的领域,论述了ETL在异构数据源集成和脏数据的检测与解决两方面面临的挑战,指出ETL将呈现出通用化、高效化、智能化三大发展趋势。     

基于优先级的任务调度与负载均衡模型研究

在分布式计算环境下，为了有效地利用计算资源、快速完成协同计算任务，提出了基于优先级的任务调度与负载均衡模型．首先根据就绪任务队列和任务调度器所处的位置以及两者之间的关系，将任务调度划分为集中式任务调度和非集中式任务调度两种方式，在此基础上，利用时间Petri网建模技术，分别给出了采用这两种任务调度方式的、基于优先级的任务调度与负载均衡模型，并对各种模型的特点进行了详细分析．以此模型为基础，可以利用现有的时间Petri分析技术，对采用上述任务调度方式的任务调度算法进行模拟和分析，以便找出满足给定条件的最优的任务调度算法．     

基于ETL的校园数据集成技术研究

针对目前校园由于缺乏统一的数据规划导致各应用系统数据标准不一致,难以共享使用,出现了一个个的“信息孤岛”的现象,ETL通过建立底层数据交换平台来联系各个异构系统、应用、数据源,实现无缝共享和交换数据的需要。     

基于ETL的校园数据集成技术研究

针对目前校园由于缺乏统一的数据规划导致各应用系统数据标准不一致,难以共享使用,出现了一个个的"信息孤岛"的现象,ETL通过建立底层数据交换平台来联系各个异构系统、应用、数据源,实现无缝共享和交换数据的需要。     

基于PI3000平台的分布式任务调度研究与实现

在PI3000平台中任务调度是应用系统中很重要的部分,应用环境的复杂程度导致各式各样调度的框架和算法.文中提出一个新的分布式负载均衡的任务调度框架,以解决在并行任务中特定的应用环境下的任务调度问题.这个框架是动态的、可重用的,通过提供给各种不同的资源环境对应的接口,来进行跨服务的调度.整个框架关注于实际应用环境下任务、资源的动态不稳定性和任务计算的快速响应.