基于DW2.0的烟草海量数据分析系统的设计与实现

为解决传统数据仓库系统在数据存储、数据处理、数据展现能力等方面存在的问题,结合江苏中烟的实际应用情况,设计了烟草海量数据分析系统。借鉴DW2.0理论并结合大数据应用技术,引入分布式处理架构,采用传统数据仓库与Hadoop融合的方式,形成集成、协同的数据仓库架构;引入数据生命周期管理方法,提高系统的快速响应能力;利用Hadoop HBase处理非结构化数据,以Hadoop Map Reduce的并行计算框架作为通信层,调度和协调集群中各节点的计算和通信。测试结果表明,数据量在1亿条、10亿条时,新系统的响应时间比传统方式分别提升30%、80%,有效提高了数据查询效率,提升了企业数据仓库系统的应用水平。     

基于大数据Hadoop框架的数据处理流程研究与案例实践

随着信息技术的发展及云时代的来临,大数据不仅将成为信息社会的重要财富,同时也将带来巨大的挑战。在许多领域数据都是源源不断的产生,形成了"数据灾难",要发挥数据的作用,数据处理与分析起到了关键作用。Hadoop被公认为大数据行业标准开源软件,在分布式环境下提供了海量数据的处理能力,其最核心的设计是为海量数据提供存储的HDFS(Hadoop分布式文件系统)和对海量数据进行计算的Map Reduce。本文将对大数据Hadoop框架进行介绍以及简要描述基于Hadoop架构的数据处理流程与实践。     

基于Hadoop的云存储系统的设计与研究

针对海量数据的存储和处理,设计了一个基于Hadoop的云存储系统.该系统在分布式文件系统和MapReduce编程模型2个核心技术的基础上建立基于Hadoop的云存储模型,优化了存储方式,提高了集群中网络带宽和磁盘的利用率,同时MapReduce编程框架的设计使系统拥有更强的计算能力.该系统可通过Linux集群技术搭建Hadoop平台,进行测试和分析.应用实践表明,该系统具有低成本、高效率、易扩展和安全可靠等特点,能稳定高效地满足海量数据的处理要求.     

基于Hadoop的云存储平台设计研究

本文阐述了云计算和云存储的相关理论,对Hadoop分布式文件系统HDFS和计算模型MapReduce进行深入分析,通过Hadoop平台实现数据云存储,提供了稳定的共享存储和分析系统,从而解决访问速度和安全性问题,实现海量数据的存储管理。     

基于RHadoop搭建大数据统计分析平台

Hadoop是当前非常流行的大数据分布式处理基础架构,通过HDFS和Mapredue实现了对海量数据的高速运算和存储。R软件是具有完善数据统计分析功能且被广泛使用的开源系统。文章叙述了基于R和Hadoop构建大数据统计分析平台的过程,藉此实现对大数据的统计分析。     

大数据时代的企业信息化管理

近年来企业产生的数据量急剧增长,传统信息化技术和分析模式已经无法应对新的挑战。以Hadoop为代表的大数据分布式处理技术的出现,为企业处理日益增长的海量非结构化数据提供了高效、可扩展的低成本解决方案。大数据技术可以有效弥补传统数据仓库的不足,深化和拓展企业的商业智能,提高决策水平,形成数据驱动的决策机制,推动企业信息化管理进入全新的阶段。     

基于Hadoop的食品安全预警系统架构

针对海量的食品安全数据,传统食品安全预警系统架构往往存在运算速度慢、处理效率低等缺点,本文提出了一种基于Hadoop的食品安全预警系统架构,该架构以Hadoop框架为基础,分别设定了基于分布式爬虫的数据获取模块、基于数理统计和数据挖掘的数据分析、存储模块和预警模块。该架构具有层次清晰、扩展性高等特点,适合运用和推广。     

构建分布式区域医学影像存储平台关键技术的研究

本文在对分布式存储技术探究的基础上,结合医学影像存储的实际情况,分析了Hadoop技术在构建区域医学影像存储平台时存在的问题,通过改变文件格式和存储架构,实现对海量医学影像数据存储的同时又满足临床应用的实时性要求。     

面向电力大数据的数据管理工具对比

随着电力系统信息化的进步和智能电网的发展,电力系统相关的数据量急增,这些数据是客观的记录,是系统运行情况的真实反映,如果我们想要通过对数据的挖掘来把握电力系统运行行为,那么首先我们就需要对数据进行管理,如何更加科学的管理电力大数据是我们所面临的一个问题。文章综述了数据库一体机、基于Hadoop平台hive数据仓库以及面向列数据库hbase的内部构成和应用范围,详细地分析各自的优势和缺点,并梳理这些数据管理电力大数据时面临的问题。     

海量MES监控数据的高效存储与处理

随着云制造和工业大数据时代的来临,传统的MES监控系统正面临着新的挑战。海量的工业数据存储需要更高的性能,日益增多的半结构化和非结构化数据则需要更加高效的存储功能。为了解决这一问题,文章研究并实现了基于Hadoop技术存储数据的MES监控系统,采用物联网技术,通过传感器网络,监控网络,RFID网络来获取MES监控系统有关设备,产品,人员的有关数据,数据存储使用Hadoop技术,将数据存储在远端的分布式存储数据库中,减轻了本地数据库的存储压力,提高了存储能力和存储速度。最后,文章以MES生产制造中的钻攻机为测试用例,验证了海量MES监控数据的高效存储与处理。     

基于Hadoop与局部异常因子的用电行为检测方法

随着智能电网建设的不断发展,电力数据具备海量、多样性、价值密度低等大数据特点,针对异常用电行为挖掘困难,提出一种基于Hadoop和局部异常因子的用电行为检测方法,通过对用电大数据进行特征提取,根据异常用电行为规律和特征,设定异常用电行为判决条件,通过局部异常因子算法计算各用电数据点的离群性,将计算模型与Hadoop分布式大数据平台结合应用,最终确定异常用电用户。实验结果表明,该方法可有效提高电力大数据异常用电行为挖掘效率。     

SQL Server 2000中的数据仓库和OLAP解决方案

数据仓库具有海量数据存储能力 ,并可应用在其之上的OLAP和数据挖掘技术进行强大的多维数据分析 ,实现决策支持功能 .Microsoft公司推出的SQLServer 2 0 0 0提供了完整的数据仓库和OLAP的解决方案 :用一组数据仓库组件 (DTS ,OLAP ,数据挖掘支持 )来建立数据仓库 .该方案提供了多维表达式语言 (MDX)和多维数据的分析查询机制     

基于Flink on YARN平台的应用研究

对于海量实时数据而言,基于Flink on YARN平台可以对这些数据进行并行化处理。在接下来的工作机制和相关技术中,重点分析了基于此平台典型的流架构的数据传输模式,在此基础上,比对了流处理系统和批处理系统的差异点。对于不同数据处理系统,分析总结了Flink所面临的一些挑战,希望以此为Flink的进一步研究提供参考。     

数据仓库技术在高校信息系统中的应用研究

数据仓库是处理大量数据的一种有效模式。面对高校信息化建设中日益增长海量数据,本文使用了SQL Server 2005数据仓库方案,并在模式表处理、连接池设置和大文本数据操作等方面做出了优化说明。     

基于Hadoop的智能电网监控系统的设计与实现

针对智能电网监控系统中海量监控数据存取、处理困难的问题,通过综合利用地理信息技术、网络通信技术和分布式数据库技术等,提出一种基于Hadoop云计算框架的智能电网监控系统,并介绍了系统的工作流程。最后结合浙江省杭州市某地区的虚拟电网中某电厂的运行进行了实例介绍和分析。实例表明,相比传统数据库模式和已有方法,系统对信息处理具有更高的效率和可靠性。     

基于Kudu的电力辅助设备实时监控业务解决方案

目前Hadoop分布式大数据平台不支持电力辅助设备实时监控业务,加入Kudu存储系统可以有效支撑实时监控数据实时入库、实时查询、数据实时分析等各类场景,并根据实际需要选择Impala-JDBC连接的方式向实时监控业务的分析系统和展示系统提供快速的联机事务处理和联机分析处理的数据共享能力。首先对电力辅助设备实时监控业务应用的难点进行分析,然后介绍相关解决方案和基于Kudu的解决方案。     

基于云计算的服装流行趋势预测方法

基于云计算的服装流行趋势预测是指通过对服装流行趋势预测流程及方法的深度分析,提出将服装流行趋势预测与云计算对大数据的处理相结合,整合云平台在海量信息处理分析中的优势,获得对市场把握更加准确的预测结果。该方法建立在对海量数据的处理分析上,可有效利用海量信息对服装流行趋势的指导作用,避免传统服装流行趋势预测机制依靠有限的数据分析和人的主观感受导致片面性的结果,同时为结合人工智能进行深化提供基础。     

数据仓库技术应用研究

随着企业信息化的进程加快,企业需要处理海量信息,分析信息,支持决策。传统的数据库的技术以单一的数据库为中心,主要面向事务处理,即操作型数据库。而对于企业管理者决策的支持系统,需要处理大量的数据,主要是历史数据。由于传统的数据库在面对主体集成,数据分析处理,历史数据积累等问题上无法满足要求。逐步开发出按照DSS(决策支持系统)要求进行处理的一种新的分析环境和数据存储技术——数据仓库。     

纺织行业数据处理过程中大数据技术的选择与应用

<正>纺织行业拥有经济运行数据、海关进出口数据、企业生产经营数据、产业集群的经济运行数据、市场价格数据、电商平台以及经济信息资讯等各类行业数据信息,这些数据能够从宏观上反映行业的运行态势。纺织行业开展行业运行数据的统计分析工作已有多年,简单的数据统计分析经验已经很丰富,但要说清多种数据之间的相关性,依靠传统的BI技术和统计分析方法相对困难。大数据技术Hadoop可以很好地解决纺织行业海量数据的处理、计算、存储以及     

计量、终端故障专家库的生成及应用

计量、终端故障专家库基于当前计量自动化系统基础应用,采用Hadoop的分布式处理技术,构建了以传统计量的关系库为基础,引入大数据技术的新型计量自动化系统;此外,利用Spark大数据技术实现提高海量数据分析性能,在数据库、应用以及数据采集等方面采用集群技术,提高系统的高效性、扩展性和可用性。根据专家专业经验分析,形成数据库,解决当前计量、终端故障判据单一的问题,并在计量自动化系统形成可视化页面,可以有效辅助计量工作的开展,提高效率。