基于并行机制的商务智能系统BI-PaaS

针对海量信息处理对传统的商业智能软件提出的挑战,设计并实现了一种基于并行机制的商务智能(BI)系统(BI-PaaS)。该系统搭建在中国移动大云基础设施之上, 以云计算的强大并行计算和分布式存储能力为支撑,将ETL、DM、OLAP、Report等各类BI能力并行化。实验结果表明,基于并行机制的BI-PaaS系统可以大大提高BI能力的数据处理性能,有效地支持电信运营的海量数据分析。     

基于并行机制的BI-PaaS的研究

针对海量信息处理对传统的商业智能软件提出的挑战,设计并实现了一种基于并行机制的商务智能(BI)系统(BI PaaS)。该系统搭建在中国移动大云基础设施之上, 以云计算的强大并行计算和分布式存储能力为支撑,将ETL、DM、OLAP、Report等各类BI能力并行化。实验结果表明,基于并行机制的BI-PaaS系统可以大大提高BI能力的数据处理性能,有效地支持电信运营的海量数据分析。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

基于 MapReduce 的关联规则增量更新算法

云计算以其强大的存储和计算能力而成为解决海量数据挖掘问题的有效途径.经典的关联规则增量更新算法FUP 需要频繁扫描原数据集,不适用于海量数据的处理.文中以提高海量数据上关联规则增量更新效率为目标,将 FUP算法与云计算的 MapReduce 编程模式相结合,提出了一种基于 MapReduce 的关联规则增量更新算法 MRFUP.该算法只需扫描原数据集一次,并能充分利用云计算强大的存储和并行计算能力.基于 Hadoop 的实验结果表明,MRFUP 算法可提高对海量数据的处理能力和效率,适用于海量数据的关联规则挖掘     

基于MapReduce的关联规则增量更新算法

云计算以其强大的存储和计算能力而成为解决海量数据挖掘问题的有效途径。经典的关联规则增量更新算法FUP需要频繁扫描原数据集,不适用于海量数据的处理。文中以提高海量数据上关联规则增量更新效率为目标,将FUP算法与云计算的MapReduce编程模式相结合,提出了一种基于MapReduce的关联规则增量更新算法MRFUP。该算法只需扫描原数据集一次,并能充分利用云计算强大的存储和并行计算能力。基于Hadoop的实验结果表明,MRFUP算法可提高对海量数据的处理能力和效率,适用于海量数据的关联规则挖掘。     

基于雾计算的煤矿全场景监测系统研究

目前煤矿全场景监测系统主要依赖于云计算实现数据处理、存储与决策,云计算需实时处理海量监测信息,严重影响系统决策层的时效性与精确度。针对该问题,提出一种基于雾计算的煤矿全场景监测系统,以神经元感知节点为单元设计雾计算神经网络,缓解云计算数据处理压力。针对基于粒子群优化算法(PSO)的节点部署方法存在过早收敛现象和局部最优解的问题,通过改进的PSO算法优化神经元感知节点部署,实现网络结构优化。仿真结果表明,与经典PSO算法相比,改进PSO算法能够更快寻得最优解,整体通信覆盖率的最优值、最差值和平均值分别提高了3.19%,3.31%,3.25%,具有收敛快速有效、适应性强、稳定性高等优势。     

基于大数据云分析平台的企业经营分析系统建设

针对现有经营分析系统的海量数据存储、海量数据处理及企业业务发展需求,我们设计并构建了基于大数据云分析平台的企业经营分析系统.本文重点介绍了该系统的建设技术路线、总体框架图、系统实现及运行效果.结果证明,该系统能够较好的提高数据综合利用效率,为企业运营提供数据支撑.     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

云计算环境下的负荷特征曲线提取

文章针对电网运行产生的数据呈爆炸式增长,EMS系统有效信息往往淹没在海量数据中这一问题,提出一种云计算模式下的聚类分析处理方法,基于Hadoop平台的Map Reduce计算模型与分布式文件存储,将系统聚类法进行拆分,在云环境中对多个计算模块进行并行分析。作为试验性验证,提取某大用户近三年的负荷特征曲线,选取不同数据量、不同节点数,进行算法加速比的测试。结果表明,在云计算架构中该算法可以有效提高计算效率,适用于电力系统海量数据的挖掘分析。     

云计算环境下的关联挖掘在图书销售中的研究

随着大数据时代的到来,如今人们已经淹没在海量的信息当中。云计算技术的出现,为解决在海量数据中高效地挖掘出有价值的信息问题提供了新的思路。利用云计算的分布式处理和虚拟化技术的优势,提出一种基于Map/Reduce编程模型与编码操作相结合的分布式关联规则挖掘算法——MCM-Apriori算法;设计并实现一个基于Hadoop云平台的网上图书销售系统。为进一步验证该系统的高效性,在该系统中利用MCM-Apriori算法进行图书推荐服务的应用。实验对比结果表明,该系统实现了快速分析与查询、可靠存储的功能,可以明显提高关联规则挖掘效率。     

云计算在智能电网调度中的应用

为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

粒子群算法在分布式ETL任务调度中的应用

随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。     

基于SLIQ的分布式图像分类框架的研究实现

针对医学图像数据过于复杂且分布存储的特点,提出并实现了一种基于SLIQ的分布式医学图像分类框架.该框架包括:表示层、处理层和挖掘层.其中,分布式协调器(DTC)是处理层的核心,通过分析以往算法的优缺点,建立一种分布式数据挖掘的计算框架,并给出相应的求解算法.挖掘层中的分类算法采用适合处理海量数据的SLIQ决策树方法.实验结果表明该分类系统是有效和可行的.     

基于分布式混合数据挖掘的电信客户流失分析

CORBA技术庞大而复杂,且技术和标准的更新相对较慢.电信运营企业应用系统是客户流失分析的主要数据来源,而传统的客户流失分析由于该系统数据的集中式存储继而采用集中式挖掘,对海量数据的挖掘效率低下.为进一步提高挖掘效率,提出网格下基于分布式混合数据挖掘的电信客户流失分析(Customer Churn Analysis upon Distributed Hybrid Data Mining in Grid,CCA-DHDM),并借助GridSphere门户,在该平台上实现了BP神经网络算法和K_Means聚类算法.仿真实验表明,与单机环境相比,随着网格节点数增加,算法的平均耗时明显下降65%到75%,同时算法的效率得以较明显地提高.     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

限制解空间的PSO云存储任务调度算法

研究云存储系统中的任务调度算法。分析总结了任务调度在云存储和云计算系统中的不同,指出现有云计算中的PSO调度算法应用在云存储中时会产生对云存储系统来说无意义的解,即会要求系统节点提供它所不具有的数据。为解决此问题,改进现有的基于PSO的调度算法,引入存在矩阵的概念,将其初始化解和解的更新均限制于存在矩阵中,保证生成的解是有意义解。实验结果显示本调度算法可以节省约77%的迭代次数、缩短约4倍的执行时间,并保证产生对云存储系统有效的解。     

安全管理平台中基于云计算的日志分析系统设计

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP中海量日志查询效率低下的问题,设计基于云计算的SMP日志存储分析系统。基于Hive的任务转化模式,利用Hadoop架构的分布式文件系统和MapReduce并行编程模型,实现海量SMP日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得SMP日志的平均查询效率提高约90%,并能加快SMP集中管控的整体响应速度。     

基于Hadoop的高校档案馆私有云存储平台的构建

针对高校档案馆面临档案信息资源出现的指数级增长和现有的存储平台不能适应档案数据增长的矛盾,构建一个基于Hadoop构建高校档案馆私有云存储平台,通过采用Linux集群技术、分布式文件系统和云计算框架,实现海量数据存储和高速数据处理。分析了该平台的网络拓扑结构、总体框架模型、平台的功能模块、平台安全特性和比较了私有云存储和传统存储模式。