典型大数据计算框架分析

认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出(IO)等方面对现有的主流大数据计算框架进行了分析与总结,指出了未来的发展方向和研究热点。     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

虚拟Hadoop平台动态资源调度策略研究

Hadoop应用研究主要包括云存储,数据查询,数据分析,数据挖掘,关联广告等,不同的Hadoop应用对机器的资源要求不同,主要分为CPU、内存、I/O、网络密集型任务。传统的Hadoop集群在物理机上任务会比较密集,各种应用只能排队依次处理,机器的CPU、IO和存储会非常繁忙,负载不均衡。虚拟化Hadoop可以帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据资源调度。本文提出一种动态规划算法动态调度资源,在虚拟化后的Hadoop集群可以把不同的资源要求的应用单独分开放在不同的物理机上并行高效地处理,从而大大提高Hadoop集群的性能。     

Hadoop大数据计算平台搭建实践

无线电监测工作者在日常工作中积累了海量的监测数据文件,如何快速解析处理这些监测数据成为亟待解决的问题.本文首先介绍了 Hadoop大数据分析框架,其次详细介绍了 Hadoop大数据分析平台的分布式部署方法,最后对平台进行验证测试,为高效处理海量无线电监测数据奠定基础.     

大数据技术中计算与数据的协作机制的研究

在移动网络、社交网络发展之下,使传统的互联网得以拓展,网络技术逐渐渗透到各行各业中,大数据技术由此产生.文章对大数据技术背景下,计算与数据协作机制的构建与实现进行分析,并阐述该机制实现的关键技术,通过元数据映射、哈希映射等方式实现实时大数据处理.     

计算经济模式下的动态网格资源调度算法研究

在计算经济模式下，为调节网格资源供需分配提出了一个基于用户服务需求的计算经济框架。这个框架通过经济学驱动截止期和预算约束根据用户的需求，分配资源到应用任务。提出了一种基于计算经济的网格资源动态调度算法，主要针对网格资源由于计算能力不同而花费代价不同而提出，利用启发式搜索技术，综合考虑了任务的截止期、预算约束、最早可能执行时间等不同因素，通过一个新的资源分配策略实现了时间一代价的最优化．提高了资源调度的成功率。     

大数据时代电网通信调度改革方案研究

针对在大数据时代现有电网通信调度系统存在的信息浪费严重等不足之处,研究适用于大数据时代的电网通信调度改革方案。通过物联网技术提高终端信息采集过程的实时性和融合度,同时通过基于云计算的智能调度中心解决了信息封闭严重并简化信息数据的处理。     

基于大数据技术的电力数据质量评估数据框架研究

在大数据时代,大多数应用都是由数据驱动的。如果能提高数据质量,大数据应用的有效性和可靠性也能得到提高。在电力行业中,不断积累的电力数据越来越多,并在此基础上开发了许多电力应用。在我国,电力大数据在规模、结构、格式、评估要求等方面都具有一定的特殊性,传统的大数据评估框架无法直接应用。因此,本文提出了一个电力数据质量评估的大数据框架。该框架增加基于灰色理论的量化评价模块,并给出一般性的数据指标质量计算公式。本框架可以同时积累实时数据和历史数据,为电力大数据评估提供集成计算环境,支持不同类型数据的存储。本文研究结果为其他具有相似特征的大数据应用亦提供了一个有价值的框架。     

面向移动互联网大数据的异构实时计算框架

在移动互联网监控领域,面对扁平化的网络架构,想要做到分钟粒度的实时监控,运营商面临巨大的成本支出。本文针对移动互联网大数据的需求,研究并设计了一种异构实时计算框架,力图帮助运营商有效解决所面临的困难。     

基于trace的仿真平台的调度研究

随着多理机SoC设计的复杂度和异构性不断增长,需要研究设计一种新的性能评估方法来缩短产品开发周期.提出并实现了一种基于trace的仿真平台,旨在为早期阶段系统的设计空间考察提供性能评估.为了保证准确性,仿真平台要求可以考虑计算资源和通信资源的共享.着重讨论了不同的调度策略的设计,其中包括可抢先的机制.最后通过一个实验对仿真平台的调度机制进行了验证.     

一种Hadoop Yarn的资源调度方法研究

针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的精度.实验表明,采用SRSAPH进行资源调度,集群的作业执行时间缩短至少10%.     

基于Hadoop技术的精品资源共享课建设

该文通过搭建基于Hadoop技术的服务器集群,并开发设计基于此集群的精品资源共享课系统,有效解决了精品资源共享课在面临海量数据时的存储与展示问题及面对突发高访问量时的系统稳定、流畅的运行问题。     

基于Hadoop视频转码的任务调度算法

现有的分布式转码系统大多没有考虑到根据计算节点的处理能力分配转码任务量,对转码过程造成影响,导致转码效率降低。针对这一问题,在对现有Max-Min算法的研究基础上,提出一种新的任务调度算法。利用佩奇排名算法评估机器转码性能,输入视频被分成大小不同的段,依据其复杂度和机器的转码能力进行映射。处理能力强的节点将分配到更多的视频块,最终所有计算节点的完成时间得到均衡化。实验结果表明,该算法能够显著提升视频转码效率,在很大程度上改善了云转码系统。     

A Multi-Server Scheduling Framework for Resource Allocation in Wireless Multi-Carrier Networks

Multiuser resource allocation has recently been recognized as an effective methodology for enhancing the power and spectrum efficiency in OFDM (orthogonal frequency division multiplexing) systems. It is, however, not directly applicable to current packet-switched networks because most existing packet- scheduling schemes are based on a single-server model and do not serve multiple users at the same time. In this paper, we propose a cross-layer resource allocation algorithm based on a novel multi-server scheduling framework to achieve overall high system power efficiency in packet-switched OFDM networks. Our contribution is four fold: (i) we propose and analyze a MPGPS (multi-server packetized general processor sharing) service discipline that serves multiple users at the same time and facilitates multiuser resource allocation; (ii) we present a MPGPS-based joint MAC-PHY resource allocation scheme that incorporates packet scheduling, subcarrier allocation, and power allocation in an integrated framework; (iii) by investigating the fundamental tradeoff between multiuser-diversity and queueing performance, we present an A-MPGPS (adaptive MPGPS) service discipline that strikes balance between power efficiency and queueing performance; and (iv) we extend MPGPS to an O-MPGPS (opportunistic MPGPS) service discipline to further enhance the resource utilization efficiency.     

基于多属性QoS约束的网格资源调度算法研究

本文以Min-Min调度算法为基础,以提高调度过程中的用户满意度为目的,提出了改进的Min-Min算法DQ(double QoS)。在DQ算法的基础上,采用进一步细化QoS参数和划分任务权值的方法,设计了多属性QoS约束的调度算法(multi-QoS constraints scheduling algorithm,MQCSA)。该算法通过选取任务的完成期限和网络带宽属性以及完成任务所需的CPU参数,有效地解决了不能预期完成的任务占用网格资源的问题。采用GridSim工具包模拟了相关的调度算法,验证了DQ算法和MQCSA的效率。     

基于蚁群的云计算资源调度研究

针对云计算环境中资源调度的问题,提出了一种基于改进蚁群的云计算资源调度算法。在算法中添加了查找表,存储其他蚂蚁推荐的节点。当任务分类比较明确的时候,查找表的优点更加地突出。在信息素的计算中加入了成功率因子,成功率越高的节点被选中的概率就越大。本文使用Cloud Sim对算法进行了仿真,仿真结果表明提出的算法缩短了搜寻资源节点的时间,从而使任务可以更快地获得资源并执行,保证了任务能够按时完成。     

政务信息资源标准体系框架研究

分析了我国政务信息资源标准建设现状与存在问题,运用理论与实证相结合的研究方法,提出了采用以业务驱动为核心的企业架构(EA)的顶层设计方法、同时兼顾政务信息资源全生命周期管理工作特点进行政务信息资源标准体系框架设计的思路,以期为我国政务信息资源标准建设工作提供参考.     

一种平衡的全局指令调度新框架研究

全局指令调度可以分为结构驱动和剖析驱动两类。我们展示了一种新算法,尝试结合以上两类方法各自的特点,同时避免它们的一些缺点。该算法可以在寄存器分配之前和之后调用,它已经在Open64编译器上实现,其结果在BWDSP100处理器上得到了评估。     

基于信息网格的教育资源共享模型研究

信息网格是实现信息资源共享、管理和提供信息服务的热点技术。针对现有教育信息共享中存在的教育资源重复建设、浪费、信息过载等问题,分析信息网格环境下教育资源共享系统的基本结构和功能,提出基于信息网格的教育资源共享系统的体系结构,并研究了其中的关键技术,为教育信息的共享提供了进一步研究的思路和指导.