基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

数据仓库多维分析模型的设计

该文介绍了建立数据仓库多维分析模型的理论基础,提出了一种气象数据仓库多维分析模型的设计方法,并展现了具体的实例,为数据仓库的分析型环境准备了必要的、切实可行的实践基础。     

数据仓库在气象上的应用研究

介绍了将数据仓库技术应用于海量气象数据的管理。气象数据仓库不仅可使气象业务人员迅速准确地获取有用的气象信息,同时还给气象科研工作者提供了气象数据挖掘和知识发现的环境,为气象服务质量的提高提供有力的支持。     

数据仓库在航空气象上应用探讨

该文对数据仓库的含义和特点做出了阐述,针对机场气象台的实际情况和航空预报的特点对民航气象数据仓 库的设计提出了方案。     

采购决策支持系统数据仓库技术的研究

通过对决策支持系统和数据仓库技术的研究,提出了基于数据仓库的采购决策支持系统,并针对医院药品流通领域的特点设计了采购决策支持系统数据仓库模型。主要研究了数据仓库中的数据组织和设计数据仓库的关键技术,最后给出了数据仓库模型的设计方案     

基于领域专家知识挖掘应用研究

概述了数据仓库与数据挖掘,并在此基础上对山西省109个气象站建站以来常用的气象要素资料采用SOL server的Analysis Services建立了气象数据仓库;在数据仓库上结合实际需求,采用VB编程,应用FCM算法结合领域专家的经验对气象数据进行预处理,利用语言值关联规则挖掘算法挖掘关联规则。实验证明,这种旱涝预测的新方法可以更好地为地方政府服务,为决策者服务。     

数据仓库在民航气象中的应用研究

航空的安全依赖于民航气象的准确预报,为了提高民航气象预报的准确性,我们采用了数据仓库技术,同时也对数据仓库的要求越来越高,要让卫星星云数据、本地气象数据等等很多离散型数据合理的整合在一起,把他从初始数据变成分析型数据,再按照不同用户需求进行主题分类,还要发现彼此独立的信息之间存在的微小关系,通过联机处理系统对分析型数据进行更为精细化的处理应用,使之更为直观、准确的反应民航气象变化,从中对民航气象进行预测和影响程度评估.未来的数据仓库技术肯定会对数据应用更为的灵活,大大提高预测的准确性.     

数据仓库需求分析研究

文中对数据仓库需求分析方法进行了研究,按照数据仓库设计过程中的不同角色建立了数据仓库需求的层次结构,并基于此给出了一种数据仓库需求分析过程,同时给出了一个迭代增长式的用例获取方法,对数据仓库需求分析进行了尝试.     

基于ETL的政务云气象数据仓库构建

针对气象网站等应用系统向地方政务云迁移过程中缺乏基础数据的现状,从功能性,开发成本,灵活性方面考虑选用ETL工具,基于Kettle软件对气象数据ETL流程进行建模,使用Quartz开发作业调度系统实现ETL流程的自动化运行,在政务云搭建SQL Server数据库集群,构建了政务云气象数据仓库.该数据仓库实现了异构环境气象数据在政务云的实时同步和存储,为气象应用系统在政务云的全面部署提供了数据支持,也为气象部门参与电子政务数据交换和共享打下基础.     

构建数据仓库实例

介绍了数据仓库技术的概念和内容,以数据仓库D系统的构建为实例,对建立数据仓库系统的理论和实践上的研究.分析了W企业的实际情况,设计出了适合企业需求的系统整体结构.对确定系统开发模式,以及设计数据模型的方法和过程加以描述.以数据仓库系统建设中的数据的提取、加载和联机分析处理（OLAP）为重点,对数据仓库的设计开发过程进行了详细的阐述.     

数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

数据处理中的数据交换问题

为有效地解决实际问题,可能要使不同语言进行混合编程,这样就涉及到数据的传递和不同类型的数据文件之间的转换,这里讨论几种常用数据交换问题。     

基于数据抽取器实现数据挖掘

通过定义ＳＯＬ数据挖掘抽取器,设计了数据挖掘算法和数据库管理系统的接口的框架体系。并通过一个常用的数据挖掘算法简单贝叶斯算法说明了这种标准的ＳＯＬ数据挖掘抽取器的适用性。     

数据仓库和数据挖掘

Making a business decision using data from severaldifferent enterprise databases can be complicated. Data warehousesconsolidate data into a central repository and give you the OLAP toolsnecessary to retrieve data pertinent to the solution.DefinitionA data warehouse is used to consolidate this data into a central storeand to arrange it to make analysis easier, which means the data is lessnormalized than your traditional application database. Data is typicallytransferred in batch to the centra…     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

面向客户数据仓库的数据集成方法

数据集成问题是建立数据仓库过程中的重要问题之一，而客户资料又是其中最难以集成的数据，对于该问题目前还没有一个很好的解决方法。我们总结在实际实践中取得的经验，提出了一套切实可行的解决方案，同时兼顾了集成效率和准确率两方面因素，实际应用效果比较理想。     

数据转换过程的串行化方法

随着数据仓库和数据集成的发展,数据清洗的工作越来越多,用户在进行数据清洗时需要对数据的内容进行多次处理。在设计清洗的建模过程中,用户可能对同一个数据进行多次的清洗和转换处理,由于步骤多,用户往往不知道清洗和转换步骤出现错误。该文对前述问题进行论述,并针对这种清洗和转换处理中的赋值冲突和范围冲突提出解决方法。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

数据仓库中基于模糊数据的数据立方体设计

数据仓库中的维数据或度量数据都是确定的,其多维分析也是基于确定数据展开的。在现实中,由于环境的复杂与不确定性,常常需要对模糊数据进行多维分析。文章利用隶属度函数实现确定数据的模糊化,形成基于模糊数据的数据立方体,用以展开多维分析。