电力大数据调度云的优化

由于电力大数据的体量大、类型多、速度快等特点,传统计算难以对其很好地处理.在深入研究云计算技术的基础上,尝试在调度业务中引用云计算.介绍了一种调度云框架,详细说明了调度云基础设施层、平台层、服务层的层次结构,阐明了调度云的五种应用服务,并设计了调度云的拓扑结构和工作流程.通过仿真比较了云计算和传统计算的效率,验证了利用云计算处理电力大数据的可行性.最后,提出了一种在系统内存中对电力大数据进行处理的云计算方法,并通过实验证明云计算方法能够实现调度云的优化.     

浅析云计算与大数据时代

现阶段,整个计算机行业中最受关注的问题就是元计算,为了适应大数据时代发展要求,同时也为了能够满足用户的需要,让越来越的专家开始着手这一领域的研究.对于生活在现阶段的人们来说,满是机会的同时也让我们深陷各种挑战之中,要想让计算机领域获得更好的发展,就要逐渐摆脱网络的质变束缚.随着云计算应用的普及,越来越多的人从中感受到科技带来的变化,因为其让工作效率与工作的质量水平获得很大的提升,创造更高的品质水平.     

大数据时代的高校电子商务专业课程建设

分析大数据对电子商务的影响,结合信息技术和社会需求,阐述大数据时代电子商务专业课程建设的特点、具体内容和教学目标。     

运营商如何推进大数据建设

本文首先介绍了大数据的应用需求,运营商需要将丰富的数据信息优势转化为商业机会,通过基于云技术的大数据建设来推动运营能力提升。分析了大数据建设所需的基础条件,指出了大数据在客户感知、运维支撑和精确营销方面的应用前景,并对大数据的建设思路和方案、大数据建设过程中存在的问题进行详尽分析。     

基于云计算架构的水文大数据云平台建设策略

在当今的大数据时代中,水文工作也实现了信息化的发展.为有效提升水文工作的信息化效果,本文特对以云计算框架为基础的水文大数据云平台建设进行分析.希望通过本次的分析,可以对水文大数据储存、处理、管理与应用等工作的信息化提供相应参考.     

大数据时代中药图谱文件云服务PaaS模型设计

通过分析IaaS虚拟化平台的IO传输缺陷,结合中药图谱研究中大量以文件形式存在的图谱数据传输需求,研究中药图谱文件系统向虚拟化平台迁移中的局限,并对比现有解决方案,提出通过业务分层的方法将文件IO负载从应用系统中剥离的文件PaaS模型,该模型将文件式IO密集型应用分解为:UI服务层、业务逻辑层、数据传输层和数据存储层,UI服务和业务逻辑可方便的部署于IaaS虚拟化平台中,数据传输层和数据存储层则通过PaaS文件服务平台为第三方应用提供文件管理、存储传输等服务实现,此外,通过内部随机加密令牌的方式,实现第三方安全存取访问。通过该模型,解决云计算环境下中药图谱数据挖掘过程中难以解决大数据传输效率的问题,为图谱分析系统向云计算环境改造提供高效、安全的解决方案。     

云计算和云数据管理技术的思考

随着科学技术的不断进步,数据管理水平也发展非常快,当代就出现了云计算和云数据管理技术,其在互联网中得到了广泛的应用。云计算和云数据管理技术是一种新兴的数据处理技术,可以对海量不确定性数据进行处理分析,有着很大的应用优势。本文就对云计算和云数据管理技术进行了详细的论述。     

大数据时代计算机软件技术的应用研究

“互联网+”时代,大数据技术、人工智能技术快速发展,为其他行业的发展提供了技术支持。大数据技术在计算机软件技术领域中的应用,对提升软件的开发效率,提高软件开发质量等方面都起到重要作用。本论文主要从计算机软件技术的应用意义、计算机软件技术类型、大数据时代计算机软件技术的应用研究进行阐述计算机软件技术的实际应用,对研究计算机软件技术的专家和学者提供理论参考依据。     

云计算和云数据管理技术

近年来,随着我国社会经济的快速发展和科学技术的不断进步,数据管理水平也有了很大程度的提升,尤其是随着现代云计算与云数据管理技术的出现于发展,该技术已经应用到了互联网之中。云计算管理中的数据称为是云端数据,它具有快速查询、精准计算等功能。云计算和云数据管理是当前国内一中新型数据管理概念,它建立在云计算基础技术之上。本文主要对数据管理技术、任务调度模型、数据存储技术以及编程模型等主流技术进行了分析,并对云数据管理的未来构架谈一下自己的认识,以供参考。     

大数据时代下对统计工作的思考

大数据时代是推动经济社会变革的重要力量。对传统统计工作的方式、方法以及社会重要性将产生重大的影响。本文从大数据的视角下全方位对统计工作的变化进行了探讨,并结合统计工作实际提出大数据背景下统计工作应该做相应的变革,对促进统计工作能效具有重要意义。     

新时期对计算机大数据与云计算网络技术的思考

科学技术快速发展,我国的计算机技术、网络技术水平逐渐提高,被广泛应用到了社会生产、生活不同行业中,计算机大数据和云计算网络技术的应用,对数据的分析、运算能力起到了改进作用,有效提高了数据处理和应用水平,这二者之间有着密切的关系。本文对计算机大数据的特点进行了探讨,结合云计算网络技术应用优势,提出了新时期计算机大数据分析与云计算网络技术应用的必要性,探讨了新时期计算机大数据分析与云计算网络技术的具体应用。     

云计算与网格计算的比较研究

网格计算是一种能够整合零散资源并实现资源共享和协同工作的计算模式;云计算是网格计算、并行计算、分布式计算的发展,是一种新兴的商业计算模式。它具有与网格计算不同的新的特点。该文在研究网格计算与云计算概念的基础上从体系结构、专注方向、资源管理、作业调度等多种角度对网格计算与云计算进行了分析和研究。云计算所采用的商业理念、成熟的资源虚拟化技术以及非标准化的规范,使其体系结构、资源管理、作业调度等方面呈现出了不同的特点,也更适宜于为用户提供按需服务的目标,但在安全方面仍需不断完善。     

面向云计算的期限约束的MapReduce作业调度方法

提出一种面向异构云计算环境的截止时间约束的MapReduce作业调度方法。使用加权偶图建模MapReduce作业调度问题,将Map任务及Reduce任务与资源槽分为2个节点集合,连接2个节点集合的边的权重为任务在资源槽上的执行时间。进而,使用整数线性规划求解最小加权偶图匹配,从而得到任务到资源槽的调度方案。本文考虑了云计算环境下异构节点任务处理时间的差异性,在线动态评估和调整任务的截止时间,从而提升了MapReduce作业处理的性能。实验结果表明,所提出的方法缩短了作业数据访问的时间,最小化了截止时间冲突的作业数量。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

数据处理中心云服务综合架构的研究与应用

分析云计算研究和应用的现状,阐述了综合型项目中基于云服务架构建设数据处理中心的典型模式,采用了理论分析和实践设计的方法,重点研究并提出了数据处理中心的云服务综合架构,包括云计算平台、资源管理、架构管理、计算资源部署和云存储数据仓库,在建设成本、移植风险和业务性能方面分析了云架构的基础优势,并展望了云架构发展前景。     

面向云计算数据中心的能耗建模方法

云计算对计算能力的需求,促进了大规模数据中心的飞速发展.与此同时,云计算数据中心产生了巨大的能耗.由于云计算的弹性服务和可扩展性等特性,云计算数据中心的硬件规模近年来极度膨胀,这使得过去分散的能耗问题变成了集中的能耗问题.因此,深入研究云计算数据中心的节能问题具有重要意义.为此,针对云计算数据中心的能耗问题,提出了一种精确度高的能耗模型来预测云计算数据中心单台服务器的能耗状况.精确的能量模型是很多能耗感知资源调度方法的研究基础,在大多数现有的云计算能耗研究中,多采用线性模型来描述能耗和资源利用率之间的关系.然而随着云计算数据中心服务器体系结构的变化,能耗和资源使用率的关系已经难以用简单的线性函数来描述.因此,从处理器性能计数器和系统使用情况入手,结合多元线性回归和非线性回归的数学方法,分析总结了不同参数和方法对服务器能耗建模的影响,提出了适合云计算数据中心基础架构的服务器能耗模型.实验结果表明,该能耗模型在只监控系统使用率的情况下,在系统稳定后,能耗预测精度可达到95%以上.     

云计算和云数据管理技术

随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.     

云计算数据中心网络设计综述

在云计算技术趋势的影响下,数据中心网络正发生着深刻的变革,不仅体现在规模、带宽、多链路、扩展性、灵活性的提升和成本的降低上,而且还体现在对虚拟机动态迁移的支持以及网络虚拟化等方面.围绕云计算数据中心网络所面临的主要挑战,首先,从交换机为中心和服务器为中心的2个角度分别展开论述了云计算数据中心的网络体系架构;其次,从网络资源灵活部署的角度,详细分析了云计算数据中心虚拟机动态迁移的相关协议与关键技术;然后,从虚拟网络体系架构的角度分析了虚拟化技术在云计算数据中心网络中的应用;最后预测了云计算数据中心网络未来的发展趋势.     

基于G/S模式的空间信息云服务架构研究

针对多系统间的数据交换、共享问题,尤其在大数据时代,海量的数据增长给数据的管理带来的挑战,提出了一种基于G/S(General-Browser/Service-Cloud,G/S)模式的空间信息云服务架构——面向数据的架构(data oriented architecture,DOA).以数据为核心,以数据标识为主线,通过数据注册中心和数据交换规范XXML (specific industry markup language),对海量异构数据进行存储、计算和管理,实现多系统间的数据共享、访问和协同;通过在地质灾害监测预警方面的应用,证明了该架构作为信息技术的系统构建方法在大数据时代独特的优势.     

Context‐aware scheduling in MapReduce: a compact review

It is a fact that the attention of research community in computer science, business executives, and decision makers is drastically drawn by big data. As the volume of data becomes bigger, it needs performance‐oriented data‐intensive processing frameworks such as MapReduce, which can scale computation on large commodity clusters. Hadoop MapReduce processes data in Hadoop Distributed File System as jobs scheduled according to YARN fair scheduler and capacity scheduler. However, with advancement and dynamic changes in hardware and operating environments, the performance of clusters is greatly affected. Various efforts in literature have been made to address the issues of heterogeneity (i.e., clusters consisting of virtual machines and machines with different hardware), network communication, data locality, better resource utilization, and run‐time scheduling. In this paper, we present a survey to discuss various research efforts made so far to improve Hadoop MapReduce scheduling. We classify scheduling algorithms and techniques proposed in the literature so far based on their addressing areas and present a taxonomy. Furthermore, we also discuss various aspects of open issues and challenges in the scheduling of MapReduce to improve its performance. Copyright © 2015 John Wiley & Sons, Ltd.