食品安全分析数据仓库构建过程中的数据预处理技术

数据仓库是进行多维数据分析的基础,在构建食品安全析数据仓库中,需要对原始操作型的数据进行预处理,使其更适合分析的需求.介绍了构建食品安全分析数据仓库中常见的数据预处理技术,主要包括数据清洗技术和数据转换技术.     

基于移动行业的ETL方法及策略探讨

基于移动行业的数据仓库，对数据抽取、数据转换、数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

基于移动行业的ETI方法及策略探讨

基于移动行业的数据仓库，对数据抽取，数据转换，数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

数据仓库中汇总表和数据立方体维护的研究

商务数据仓库系统中,数据分析人员对数据仓库的抽取查询越来越频繁。使用什么样的技术来提高数据仓库的查询速度以及维护数据仓库是一个重大技术问题。本文提出汇总delta表的概念,将数据的改变划分为增值和更新两个阶段,缩短了以往在更新数据时数据仓库锁定的时间,提高了查询效率。同时,通过数据立方体的构建,更直观的呈现出数据分析模型。     

基于数据仓库的分析决策系统住院病人费用

介绍了数据仓库的特点和体系结构的同时，对数据仓库技术在医院信息系统中的应用进行了研究，以Oracle Warehouse Builder作为构建数据仓库的技术平台，用Discoverer作为对数据仓库进行联机分析的工具，给出了一个应用于医院住院病人费用分析的数据仓库实例。该实例支持海量数据的深加工和再利用，解决了数据仓库构建、数据分析、客户端程序设计等技术问题，为支持医院管理者的分析决策做出了积极探索。     

数据清理及其在数据仓库中的应用

数据仓库是为决策服务的，这里的数据是从各种并构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性，因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改，发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

房地产预警系统中数据仓库的设计与应用

房地产预警系统是客观地分析城市房地产运行轨道的应用软件．它设计的基础是大量的房地产信息数据。数据仓库技术可以将这些明细信息汇总统计以供分析决策使用，使预警工作建立在可靠的事实数据的基础上。文中采用软件工程的螺旋式开发方法进行数据仓库的总体开发，应用信息包图描述面向不同主题的概念模型，详细阐述了房地产预警系统中数据仓库的数据建模、数据清理转换等的设计全过程。最后应用联机分析处理技术进行了系统的应用开发。     

房地产预警系统中数据仓库的设计与应用

房地产预警系统是客观地分析城市房地产运行轨道的应用软件,它设计的基础是大量的房地产信息数据.数据仓库技术可以将这些明细信息汇总统计以供分析决策使用,使预警工作建立在可靠的事实数据的基础上.文中采用软件工程的螺旋式开发方法进行数据仓库的总体开发,应用信息包图描述面向不同主题的概念模型,详细阐述了房地产预警系统中数据仓库的数据建模、数据清理转换等的设计全过程.最后应用联机分析处理技术进行了系统的应用开发.     

基于Web的数据挖掘技术的应用研究

Web是一个动态性极强的信息源,要访问、分析这些数据必须要研究异构数据的集成问题和选择合适的技术进行数据分析、集成和处理.文中介绍了多数据源数据仓库体系结构,多数据源数据的集成思想和实现的框架;分析了转换器在面向Web的数据挖掘中存在的不足和XML语言的技术特点;提出了应用XML技术对多数据源数据进行集成与转换以便构建数据仓库,同时给出了关键技术的实现方法.     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

基于数据仓库的银行非现场稽核监控系统设计与实现

为了充分利用银行已有数据，提高内部监控水平，本文提出了一种基于数据仓库技术的银行非现场稽核监控解决方案。并从实际需求出发，分析设计了银行数据仓库技术体系结构和系统框架结构，创建了银行数据仓库系统并实现了非现场稽核监控平台和监控后分析，为银行内部稽核提供了有攀的监控手段。     

超市数据仓库与数据挖掘的研究

传统的数据库管理信息系统不能够很好地利用、分析数据库中积累的大量数据,数据仓库与数据挖掘技术很好地解决了这一问题.通过分析超市业务数据库,用星型架构的方式建模,构造出一个数据仓库的逻辑模型;然后从超市业务数据库中抽取数据,经过转换等处理,把有价值的数据加载到数据仓库中,完成数据仓库的构建,并论述客户分片的数据挖掘过程.     

企业数据仓库多维数据模型的建立

数据仓库是一种新的数据管理技术,能将企业内分散的原始操作型数据和来自外部的数据汇集和整理,为企业提供完整、及时和准确的决策信息。构建数据仓库系统的核心问题是如何建立复杂的企业数据模型。商务数据的本质是多维的,传统的ER模型已无法满足要求,而多维数据建模技术从维度、层次建模的角度有效地弥补了传统数据模型的不足。文章以多维数据建模技术为中心通过实例讨论了数据仓库中数据模型的一般建立方法,为解决构建企业信息系统提供了一种切实可行的方案。     

QAR数据仓库在Hive中的构建

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。     

数据仓库与数据挖掘的关系及其安全性问题

数据仓库与数据挖掘是当今新的技术热点,数据仓库是一种解决数据使用的高效技术,数据挖掘为之提供了更好的决策支持和服务,同时促进了数据仓库技术的发展。从数据仓库的相关技术和体系结构分析展开研究,分析了数据挖掘与数据仓库的关系,重点阐述了数据仓库的安全性问题,展望了数据仓库未来的研究方向。数据仓库和数据挖掘二者既相互结合、共同发展,又相互影响、相互促进。数据仓库越来越广泛地运用到各个领域中,成为企业获得竞争优势的关键武器。     

零售业数据仓库中ETL技术的研究

数据仓库中的数据不是传统数据库中数据的简单堆积，它是一个复杂的容纳数据集成的系统工程，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。本文针对于零售业，阐述了在零售业数据仓库系统中ETL的流程并结合实际应用提出了在零售业数据仓库系统中的ETL过程应考虑的诸多问题及解决方案。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

数据仓库中基于模糊数据的数据立方体设计

数据仓库中的维数据或度量数据都是确定的,其多维分析也是基于确定数据展开的。在现实中,由于环境的复杂与不确定性,常常需要对模糊数据进行多维分析。文章利用隶属度函数实现确定数据的模糊化,形成基于模糊数据的数据立方体,用以展开多维分析。