可交互数据清洗系统研究

在数据仓库构建和数据集成中，面临着大量的数据清洗任务。要把数据清洗过程做得灵活并不容易，已有的工具过于依赖特定的应用。该文分析了数据质量中存在的问题，数据清洗技术的现状、发展趋势，同时提出了一个可交互的数据清洗框架。     

食品安全分析数据仓库构建过程中的数据预处理技术

数据仓库是进行多维数据分析的基础,在构建食品安全析数据仓库中,需要对原始操作型的数据进行预处理,使其更适合分析的需求.介绍了构建食品安全分析数据仓库中常见的数据预处理技术,主要包括数据清洗技术和数据转换技术.     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

面向教育评价的数据仓库系统的开发与ETL研究

在阐述数据仓库技术的概念、原理、体系结构的基础上,具体描述了面向教育评价应用的数据仓库系统的需求分析、概念模型设计和逻辑模型设计,重点研究了运用Microsoft数据转换工具DTS设计数据迁移包,完成数据由业务数据库到教育评价数据仓库的抽取、转换、清洗和装载的过程。     

数据仓库ETL中相似重复记录的检测方法及应用

检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到了中文字符集中,实例表明该算法具有很好的效果。     

浅论数据仓库技术

数据仓库技术是网络时代的数据特征,也是数据库系统应用到一定阶段的产物.本文阐述了数据仓库的起源、结构、特性,以及数据仓库技术的发展趋势.数据仓库技术在不断发展,并在实际应用中发挥了巨大作用,给企业带来巨大的变革.     

数据仓库技术在高校招生工作中的应用研究

以四川交通职业技术学院为例,讨论如何建立数据仓库,通过SQL Server Integration Service将招生数据经过清洗、转换加载到数据仓库,建立以招生为主题的多维数据集,使用OLAP工具对招生数据进行分析,使用Excel将分析结果展现给决策者。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石.如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题.从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案.提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤.     

位置编码在数据仓库ETL中的应用

为了保证数据仓库中数据的质量，在数据挖掘前必须进行数据清洗。ETL是构建数据仓库的重要环节，数据清洗就包含在其中。而检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的关键问题之一。该文将位置编码技术引入到数据仓库ETL中，提出了一种相似重复记录的检测算法，并给出了不同级别匹配阈值的动态确定方法。通过实验表明该算法具有较好的检测效果。     

面向火箭数据分析和故障诊断的数据仓库设计

针对运载火箭测试发射数据分散存储且数据利用不充分的问题,提出了以数据仓库技术对火箭的测试发射数据进行组织和存储管理,实现对火箭数据价值的深层次发掘。根据运载火箭数据的特点,提出了数据仓库基础层、源数据层、数据交互层、数据架构层、应用层、显示层六个层次的框架设计;通过面向火箭数据分析和故障诊断的数据清洗规则设计,对不同来源、不同格式的数据进行清洗和加载;对火箭的数据应用方向进行了探索,设计了包络分析、相关性分析、故障诊断等数据分析模块。用某型号火箭测试发射数据进行了验证,结果表明,数据仓库方案切实可行,为后续火箭数据的持续性管理和分析奠定了基础。     

数据仓库技术在入侵检测中的应用

将数据仓库技术应用于入侵检测中，完成网络数据的清洗、转换、收集和显示，是入侵检测中数据处理研究的一个重点问题。针对入侵检测应用的特性，文章使用数据仓库技术实现了对网络数据的预处理、存储、增量更新、联机分析和决策支持等功能。     

合而为宜的BI

数据仓库只是企业BI应用技术框架的一个组成部分。在这个框架中还应该包括联机分析处理(OLAP),数据挖掘(Data Mining)以及针对不同数据源数据进行抽取、转换、清洗、加载和信息展现功能的各种BI工具。严格意义上讲, 数据仓库只是实现BI的有效方式之一。但是,随着企业数据仓库的应用范围的     

数据仓库环境下以用户为中心的数据清洗过程模型

数据清洗是数据仓库和数据挖掘中非常重要的一个环节。本文首先分析总结了数据清洗的有关概念，给出了数据清洗中需要解决的质量问题，并总结了解决这些问题的技术和方法。在此基础上提出了以人为中心的数据清洗过程模型。该模型集成了工作流技术、数据集成、数据转换和数据挖掘技术。给出了每个工具箱应该提供的基本功能。     

Web数据仓库及其在办公自动化系统中的应用

随着办公自动化系统应用的日益深入,产生了大量的历史数据,同时,在办公自动化系统中,也需要利用历史数据和环境数据进行办公自动化的辅助决策。因此可以利用Web数据仓库技术,将办公自动化系统中的海量数据重组,构成可用、可控、可扩展的数据组织,以满足企业各级主管和办公、业务人员分析决策的信息需求。文中介绍了Web数据仓库在办公自动化系统中的应用。在分析Web数据仓库以及办公自动化的概念及特点的基础上,结合办公自动化系统的数据形式和决策需求,描述了Web数据仓库技术与办公自动化系统结合的框架结构,并以一个子系统为例说明Web数据仓库技术在办公自动化系统中的具体实现方法。     

数据仓库技术在医院病情诊疗分析中的应用研究

分析了病案统计分析系统的现状及存在的不足.为了使病案得到充分的有效的利用,提出了将数据仓库技术应用其中的方法.以病情诊疗分析为主题,介绍了此方法的原理及主要功能,给出方法实现的具体步骤,对方法的关键部分进行了详细的解释说明.其核心思想是通过数据仓库来清洗纷繁芜杂的数据,然后利用联机分析系统独特的多维方式对数据进行分析,使用户从不同的维了解历史及现状,最后利用数据挖掘工具自动地挖掘潜在的模式,找到正确的决策.     

AntMoving--桌面级ETL引擎在NET中的实现

ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程.ETL常用在数据仓库,但其对象并不限于数据仓库.ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去.     

Web数据仓库及其在办公自动化系统中的应用

随着办公自动化系统应用的日益深入，产生了大量的历史数据，同时，在办公自动化系统中，也需要利用历史数据和环境数据进行办公自动化的辅助决策。因此可以利用Web数据仓库技术，将办公自动化系统中的海量数据重组，构成可用、可控、可扩展的数据组织，以满足企业各级主管和办公、业务人员分析决策的信息需求。文中介绍了Web数据仓库在办公自动化系统中的应用。在分析web数据仓库以及办公自动化的概念及特点的基础上，结合办公自动化系统的数据形式和决策需求，描述了Web数据仓库技术与办公自动化系统结合的框架结构，并以一个子系统为例说明web数据仓库技术在办公自动化系统中的具体实现方法。     

数据仓库在民航气象中的应用研究

航空的安全依赖于民航气象的准确预报,为了提高民航气象预报的准确性,我们采用了数据仓库技术,同时也对数据仓库的要求越来越高,要让卫星星云数据、本地气象数据等等很多离散型数据合理的整合在一起,把他从初始数据变成分析型数据,再按照不同用户需求进行主题分类,还要发现彼此独立的信息之间存在的微小关系,通过联机处理系统对分析型数据进行更为精细化的处理应用,使之更为直观、准确的反应民航气象变化,从中对民航气象进行预测和影响程度评估.未来的数据仓库技术肯定会对数据应用更为的灵活,大大提高预测的准确性.     

基于医院信息系统的商业智能系统研究

介绍了商业智能系统的概念及功能,对商业智能在医院信息系统中的应用进行了探索性研究,以SQL Server 2005作为构建数据仓库的技术平台,并作为对数据仓库进行联机分析的工具,给出了一个以医院住院病人医嘱为主题的数据仓库实例.探索性研究了数据仓库构建、多维数据分析、数据展现等技术问题.     

房地产预警系统中数据仓库的设计与应用

房地产预警系统是客观地分析城市房地产运行轨道的应用软件,它设计的基础是大量的房地产信息数据.数据仓库技术可以将这些明细信息汇总统计以供分析决策使用,使预警工作建立在可靠的事实数据的基础上.文中采用软件工程的螺旋式开发方法进行数据仓库的总体开发,应用信息包图描述面向不同主题的概念模型,详细阐述了房地产预警系统中数据仓库的数据建模、数据清理转换等的设计全过程.最后应用联机分析处理技术进行了系统的应用开发.