一种基于Hadoop的BIM云服务框架和空间位置检索算法

云平台存储和管理应用复杂的海量数据已成为必然。建筑信息模型(Building Information Modeling,BIM)是从全工程建设生命周期的视角组织相关数据并协同工作,所以BIM迫切需要云计算的支持。但是面对复杂的BIM应用,如何构建云平台的超级计算模式将是一个巨大的挑战。提出一个面向BIM应用的云服务框架,在Hadoop分布式软件框架上设计了云存储、云平台服务、应用服务和客户端应用四层结构。提出了该框架下的城市空间位置检索算法,该算法采用改进的KD树作为索引表。针对大用户群的并发访问,提出了面向空间位置检索的负载均衡算法,通过统计节点访问频度设计了数据块均衡分布策略。实验表明,该框架组织的建筑信息具有并发处理能力强、响应速度快等特点。     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

云计算环境下面向领域的数据挖掘服务平台研究

为促进数据挖掘开发及其商业应用,采用云计算技术、领域工程和数据挖掘等技术,结合领域驱动设计和云计算框架,提出了一种面向领域的数据挖掘云平台框架,并阐述了云计算环境下面向领域的数据挖掘服务的机理.定义了面向领域的数据挖掘云平台服务开发模式,这对面向领域的数据挖掘、云计算环境下的数据挖掘服务模式以及数据挖掘服务的开发和应用都有一定的参考价值.     

基于分布式数据仓库的分类分析研究

针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种分布式GAC-RDB分类算法。实验显示,随着集群中节点的不断增加,算法的运行时间稳步下降。结果表明,在保证算法准确率的前提下,分布式数据仓库能够有效提高GACRDB分类算法的扩展性和运行效率,相对于MapReduce框架,HiveQL语言降低了对数据挖掘从业人员的技术要求,更大程度地减少了算法的开发时间,为挖掘海量数据提供了新的解决方案。     

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

基于微软云计算平台的海量数据挖掘系统

云计算为海量和复杂数据对象的数据挖掘提供了基础设施,为网络环境下面向大众的数据挖掘服务带来了机遇,基于云计算平台已经成为数据挖掘研究的一个重要方向.微软云计算平台是目前推出的较成熟的云计算平台,能够很快的部署云应用程序,该文提出了一种基于微软云计算平台的海量数据挖掘系统.     

基于SLIQ的分布式图像分类框架的研究实现

针对医学图像数据过于复杂且分布存储的特点,提出并实现了一种基于SLIQ的分布式医学图像分类框架.该框架包括:表示层、处理层和挖掘层.其中,分布式协调器(DTC)是处理层的核心,通过分析以往算法的优缺点,建立一种分布式数据挖掘的计算框架,并给出相应的求解算法.挖掘层中的分类算法采用适合处理海量数据的SLIQ决策树方法.实验结果表明该分类系统是有效和可行的.     

基于Hadoop的数据挖掘技术在测光红移上的研究

天文数据量以指数量级快速增长,使得天文数据挖掘面临前所未有的挑战。分布式集群技术和云计算平台的飞速发展,为海量数据处理和分析提供了新的研究思路和方法。其中基于内存计算的Hadoop分布式集群技术更是异军突起,并在迭代式机器学习和交互式数据挖掘应用等方面表现出明显的优势。基于最新释放的斯隆数字巡天测光数据集研究基于Hadoop平台的数据挖掘技术在海量天文巡天数据上的适用性和应用问题,为海量天文数据挖掘提供了新的手段和方法。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题;针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化;最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

基于Hadoop云平台的海量数据挖掘方法

Hadoop云平台对海量数据的HDFS分布式存储,在应用map/reduce并行编程后,可实现数据挖掘技术的并行计算。对Hadoop体系的实际部署和运行,map/reduce的数据挖掘程序架构方法和运行过程进行了构思和实现。     

Service replication taxonomy in distributed environments

Abstract Nowadays, most modern distributed environments, including service-oriented architecture (SOA), cloud computing, and mobile computing, support replication technologies in order to improve operational characteristics of the services provided. Unfortunately, replication requires additional computational resources and a longer design and deployment process to implement service adequately for a specific situation and to enable service providers to maintain high levels of service with a moderate number of replicas. This paper provides a comprehensive review of replication challenges, types, techniques, and algorithms in distributed environments such as SOA, cloud, and mobile. Moreover, the role of replication in enhancing several QoS attributes, including performance, availability, security, scalability, and reliability, is examined. The author believes that the proposed research will help researchers to easily apply and develop the service replication in distributed system.     

企业云服务体系结构设计框架

云计算应用和企业私有云建设不是简单的虚拟化和传统意义上的主机托管.为了着力提升企业信息资源的重用性、敏捷性和快速服务响应水平,以国防部体系结构框架DoDAF V2.0的服务视图模型为主体,提出一个基于面向服务体系结构（SOA）的企业云服务体系结构设计框架.通过服务视图模型间约束关系的研究和融合云计算模式的面向服务体系解析,建立相应的企业云服务体系结构设计规范和企业云计算应用实施环境.最后,提出了一个基于松耦合SOA的云应用解决方案,从而支持企业云服务体系结构设计和云计算应用技术实施.     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于SOA网格访问控制模型的研究

信息网格是未来分布式计算的主要发展方向,网格安全不仅是网格推广应用的前提,也是计算网格中的一个核心问题,随着面向服务(SOA)的网格技术的发展和应用,如何解决访问资源的授权成为一个关键性问题,本文通过对当前授权系统的概述和分析,设计了一种面向服务的网格授权系统.     

基于Spark的分布式数字信号处理算法库设计

传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.     

The Weka4WS framework for distributed data mining in service‐oriented Grids

The service‐oriented architecture paradigm can be exploited for the implementation of data and knowledge‐based applications in distributed environments. The Web services resource framework (WSRF) has recently emerged as the standard for the implementation of Grid services and applications. WSRF can be exploited for developing high‐level services for distributed data mining applications. This paper describes Weka4WS, a framework that extends the widely used open source Weka toolkit to support distributed data mining on WSRF‐enabled Grids. Weka4WS adopts the WSRF technology for running remote data mining algorithms and managing distributed computations. The Weka4WS user interface supports the execution of both local and remote data mining tasks. On every computing node, a WSRF‐compliant Web service is used to expose all the data mining algorithms provided by the Weka library. The paper describes the design and implementation of Weka4WS using the WSRF libraries and services provided by Globus Toolkit 4. A performance analysis of Weka4WS for executing distributed data mining tasks in different network scenarios is presented. Copyright © 2008 John Wiley & Sons, Ltd.     

SOA与云计算的融合

云计算是一种新型的网络服务计算模式,作为对SOA的继承与发展,现如今已成为网络研究领域的热点. 本文在介绍了SOA和云计算特征的基础上,对SOA与云计算之间的可融合性进行了分析,并提出了一种基于SOA的云计算体系架构模型. 最后通过数字图书馆进行平台实例应用,显示了基于SOA的云计算体系架构的可行性.     

基于“云计算”的数字电视业务管理系统的研究

针对广电系统中数字电视媒体在业务的持续发展和广电系统运营维护管理方面的各种困境,综合了基于服务的SOA系统架构和"云计算"技术的商业运行模式,运用"云计算"的虚拟化、分布式、并行计算等技术,提出了基于"云计算"技术开发数字电视业务管理系统的方法,为今后广电行业实施的三网融合提供了一种新的设计思路。结合某市数字电视业务云架构的解决方案,说明"云计算"在广电系统构建数字电视业务管理系统中的应用。     

基于云计算的信息系统数据采集分析系统的研究与设计

从云计算三个层次的服务模式出发,提出了一种基于云计算平台的分布式并行信息系统数据采集分析系统.首先,通过Hadoop云计算平台提供的分布式文件系统提升数据的存取速度,增强系统的容错性.在此基础上,利用MapReduce编程模型并行化数据流系综分类算法,提高数据的分类挖掘效率.最后,采用Web Service技术构建了SOA服务体系架构,从而整合了技术平台.测试结果表明,检测系统运行高效,并且检测精度高,具有一定的实用性和推广价值.