基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统.该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理.该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查.该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案.     

基于Vue框架的海量数据处理系统设计

针对现有系统在处理海量数据时,存在处理耗时长、处理后数据利用价值不高的问题,引入Vue框架开展海量数据处理系统的设计研究。首先,基于海量数据处理系统的运行目标,设计海量数据处理系统基本结构;其次,利用八叉树技术实现海量数据区域分割与压缩;最后,通过Vue框架完成系统前端数据处理实例化开发。实验结果表明,新的处理系统对海量数据处理的效率更高,且处理后数据的利用价值得到提升。     

基于MPI的分布式数据处理系统

为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。     

基于微软云计算平台的海量数据挖掘系统

云计算为海量和复杂数据对象的数据挖掘提供了基础设施,为网络环境下面向大众的数据挖掘服务带来了机遇,基于云计算平台已经成为数据挖掘研究的一个重要方向.微软云计算平台是目前推出的较成熟的云计算平台,能够很快的部署云应用程序,该文提出了一种基于微软云计算平台的海量数据挖掘系统.     

基于Hadoop的海量教学资源存储平台的设计与研究

随着教学资源的飞速增长,海量数据的存储已经成为高校研究的一个新难题。针对传统存储架构已突显管理数据资源效率不高和存储能力不足的问题。本文提出基于Hadoop的海量数据存储模型,并在此模型的基础上设计并实现了基于Hadoop的大规模分布式存储管理平台。事实证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据处理的效率。     

基于边缘计算的新型数据处理系统

分析现有云计算模型所存在的问题，即实时性、隐私保护、能耗等方面的问题。然后探讨边缘计算模型的概念以及其相对于云计算模型的优势，提出新型数据处理系统的系统架构，设计实现数据处理系统的运行及调度策略,结合具体实例,验证所实现的功能。最后，对基于边缘计算的新型数据处理系统的应用前景及改进方向进行讨论。     

基于并行计算的海量日志分析系统实现

通过深入研究日志的类型和特点,设计并实现了一套基于并行计算的海量日志文件分析系统。该系统采用集群方式并行地收集日志文件,采用分布式文件系统存储,最终利用并行计算对日志进行分析处理。该系统实现了日志采集、分析的完全自动化处理,在系统部署之后能够有效地进行系统安全的维护、系统性能的优化、系统故障的排查。该系统结合云计算提高了日志分析的效率,解决了海量日志处理过程中存在的问题,为海量日志分析提供了一个完整有效的解决方案。     

基于云计算的分布式电费计算系统研究及实证

随着经济的发展,电网客户规模快速增长,"算费"数据量越来越大,而且省级大集中的业务趋势也为算费带来高并发访问量。为应对电费计算系统面临的巨大挑战,文中利用云计算中的分布式计算等技术,基于一种信任驱动的任务调度算法TR_Max-min,提出了新的分布式电费计算平台的系统结构,并在电网的IT环境中进行了系统实现。通过模拟电费计算任务,验证了该系统对海量数据信息的综合处理效率的提高。作为一种有效的电网运行大计算量的任务解决方法,为智能电网电费计算提供了一个实时可靠的系统结构模型。     

基于海量结构化数据条件下的数据服务云平台研究

随着信息化的不断深入和科学技术的提高,数据库技术和网络技术已经帮助企业实现了办公自动化、经营决策管理信息化和生产过程信息化,但是信息量的扩大给信息的采集和长久保存带来了困难,传统的信息处理技术以及Hadoop技术都不能实现海量结构化数据的处理,为了更好地提升企业决策的思维广度和获取信息的完整度,文章＂数据服务云平台＂进行了研究和分析,这种站在全新的大数据应用高度,对新的技术架构进行探索和研究的方式,能够更为合理的解决企业大数据应用的关键技术难题。     

云计算环境下的大规模图数据处理技术

随着社交网络分析、语义Web分析、生物信息网络分析等新兴应用的快速增长,对亿万个顶点级别大规模图的处理能力的需求愈加迫切,这是当前高性能计算领域的研究和开发热点.文中结合云计算的特点,从图数据管理与图数据处理机制两个方面,综述了云计算环境下进行大规模图数据处理的关键问题,包括图数据的存储方式、图索引结构、图分割策略、图...     

适应大规模数据处理的动态服务私有云系统

为适应私有云环境下数据量大、计算密集、流程复杂的计算任务需求,借鉴公有云计算的相关理论与技术,结合私有云环境的特点,提出了一种适应大规模数据处理的动态服务私有云系统实现方案。该方案使用作业文件描述计算任务,以作业逻辑结构动态构建处理工作流程;通过数据流驱动服务请求,引入MapReduce并行框架进行大规模数据处理。实验结果表明：该方案能够正确有效地处理数据量大、计算密集、流程复杂的计算任务,显著提升处理效率,具有很高的实用性。     

云计算环境下大规模数据处理的研究

本文主要是对大规模廉价计算平台进行了初步研究,重点分析了云计算环境下大规模数据处理的框架模型和实例。     

面向大数据复杂应用的GPU协同计算模型

大数据计算中存在流计算、内存计算、批计算和图计算等不同模式,各种计算模式有不同的访存、通信和资源利用等特征。GPU异构集群在大数据分析处理中得到广泛应用,然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度,而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与多核CPU协同计算问题,面向多种计算模式建立一个多阶段的协同计算模型（p-DCOT）。p-DCOT以BSP大同步并行模型为核心,将协同计算过程分成数据层、计算层和通信层三个层次,并且延用DOT模型的矩阵来形式化描述计算和通信行为。通过扩展p-DOT模型描述节点内和节点间的协同计算行为,细化了负载均衡的参数并证明时间成本函数,最后用典型计算作业验证模型及参数分析的有效性。该协同计算模型可成为揭示大数据分析处理中协同计算行为的工具。     

云计算平台下的Web数据挖掘研究

近年来,计算机科学技术快速发展,在人们的生活、工作和学习中发挥着越来越重要的作用。计算机互联网的信息资源非常丰富,与此同时碎片化、海量的数据信息在很大程度上增加了人们获取有价值信息的成本和时间。当前云计算平台下的Web数据挖掘技术为海量数据信息的处理和分析提供了极大的便利,通过研究云计算平台下的Web数据挖掘,进一步完善和优化Web结构数据挖掘技术,降低大量数据信息存储和处理的成本,提高系统运行效率。本文简要介绍了云计算和Web数据挖掘,阐述了云计算平台下的Web数据挖掘系统。     

Cluster based parallel database management system for data intensive computing

This paper describes a computer-cluster based parallel database management system (DBMS), InfiniteDB, developed by the authors. InfiniteDB aims at efficiently support data intensive computing in response to the rapid growing in database size and the need of high performance analyzing of massive databases. It can be efficiently executed in the computing system composed by thousands of computers such as cloud computing system. It supports the parallelisms of intra-query, inter-query, intra-operation, inter-operation and pipelining. It provides effective strategies for managing massive databases including the multiple data declustering methods, the declustering-aware algorithms for relational operations and other database operations, and the adaptive query optimization method. It also provides the functions of parallel data warehousing and data mining, the coordinatorwrapper mechanism to support the integration of heterogeneous information resources on the Internet, and the fault tolerant and resilient infrastructures. It has been used in many applications and has proved quite effective for data intensive computing.     

云计算技术在计算机数据处理中的应用及发展对策

时代的进步推动了科学技术和网络技术的多领域、多层次发展,促使我们进入到云计算时代。云计算是一种基于网络计算机对数据进行处理的技术,但是因为工具和现实生活不配备的问题,导致云计算技术在计算机数据处理的过程中还存在很多问题。对此,需要加强云计算技术的研究和应用,扩大数据处理规模,提高自适应并行计算程度,以对多源信息进行加速处理,优化云计算处理速度,更好地为社会发展服务。     

Cluster based parallel database management system for data intensive computing

This paper describes a computer-cluster based parallel database management system (DBMS), InfiniteDB, developed by the authors. InfiniteDB aims at efficiently support data intensive computing in response to the rapid growing in database size and the need of high performance analyzing of massive databases. It can be efficiently executed in the computing system composed by thousands of computers such as cloud computing system. It supports the parallelisms of intra-query, inter-query, intra-operation, inter-operation and pipelining. It provides effective strategies for managing massive databases including the multiple data declustering methods, the declustering-aware algorithms for relational operations and other database operations, and the adaptive query optimization method. It also provides the functions of parallel data warehousing and data mining, the coordinatorwrapper mechanism to support the integration of heterogeneous information resources on the Internet, and the fault tolerant and resilient infrastructures. It has been used in many applications and has proved quite effective for data intensive computing.     

基于虚拟化与分布式技术的存储系统

介绍了一套基于云计算(cloud computing)技术的数据应用平台系统设计方案。该系统由多组服务器集群组成,可提供数据存储、备份和并行运算服务。并可采用虚拟化应用端与分布式(Hadoop)技术相结合的方式为用户提供高容量和异构应用存储系统,以便结合iSCSI协议在硬件层获得更灵活的部署。     

基于流式计算的空间科学卫星数据实时处理

针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。     

一种适应数据与计算密集型任务的私有云系统实现研究*

与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连