共查询到16条相似文献,搜索用时 62 毫秒
1.
2.
3.
4.
黄光明 《数字社区&智能家居》2007,(10):37-38
本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷。本文还详细说明如何利用SQL Server DTS实现这两阶段ETL过程。 相似文献
5.
ETL执行的流水线优化 总被引:6,自引:1,他引:6
ETL工具是构建和维护数据仓库的基本构件,由于它处理的是海量数据.如何有效地加快响应时间成为值得研究的问题.本文提出了ETL过程的“主表衍生”模式.并针对这种模式采用流水线算法来提高并行性从而加快ETL过程的响应时间,理论分析和实验表明具有好的效果. 相似文献
6.
针对军械装备保障数据仓库中复杂的ETL过程,提出采用改进的粒子群算法进行ETL任务调度的优化策略;通过改进惯性向量,使其具备动态调整能力,形成更具寻优特性的动态w粒子群算法(DWPSO);在对数据仓库ETL调度过程进行数学化描述的基础上,将改进算法应用在以最小执行时间为目标函数任务调度中,并通过仿真实验证明了该算法的有效性. 相似文献
7.
基于数据仓库的ETL过程优化 总被引:2,自引:0,他引:2
彭璐 《计算机与数字工程》2010,38(5):166-169
提出一种优化ETL整体过程的方法,包括:其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF(Extracting/Integrating/Cleaning/Loading/Feedback)流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。 相似文献
8.
ETL工作流过程建模需要明确数据中各个字段的对应关系和实现过程中各个步骤的因果关系。本文针对来自平面数据源经过抽取、转换和加载到数据仓库过程中的若干问题进行分析,运用过程建模的概 念模型和逻辑模型定义和描述其中的各种关系,以此来设计较好的ETL过程的解决方案,并给出具体的实现方法。 相似文献
9.
黄光明 《数字社区&智能家居》2007,(19)
本文设计了教学管理数据仓库ETL架构,提出了数据仓库的两段迁移法,利用临时数据库来减轻业务数据库压力,有效克服了传统ETL架构的缺陷.本文还详细说明如何利用SQL ServerDTS实现这两阶段ETL过程. 相似文献
10.
ETL实施的数据质量问题研究 总被引:1,自引:0,他引:1
李志辉 《数字社区&智能家居》2006,(9):25-25,121
对数据仓库中数据质量的重要评价指标进行了介绍,对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析.对部分常见的数据质量问题给出了相应的解决方法。 相似文献
11.
ETL中的数据增量抽取机制研究 总被引:7,自引:0,他引:7
为实现数据仓库中数据的高效更新,探讨了在数据仓库的ETL(数据的抽取、转换和装载)子系统中进行数据增量抽取时所采用的常见机制,对这些机制的原理、条件、方法以及运行效率等方面进行了详细的阐述,并从兼容性、完备性、性能和侵入性4个方面分析和比较了各种数据增量抽取机制的优劣性.最后,总结了选取数据增量抽取机制所应遵循的主要原则和标准. 相似文献
12.
13.
一种改进的分布式ETL体系结构 总被引:1,自引:0,他引:1
在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。 相似文献
14.
文中主要针对企业信息资源共享的要求,提出了基于XML的ETL方案,有效地解决了企业数据级的信息集成问题。该方案通过对异构数据源的元数据获取,进行异构数据源的分析,并通过数据的抽取、转换和加载,最终实现了数据的集成。文中提出的ETL方案,主要采用了XML技术,充分地利用了XML语言的结构性强、自描述性好等特点。 相似文献
15.
随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。 相似文献
16.
ETL实施的数据质量问题研究 总被引:1,自引:0,他引:1
李志辉 《数字社区&智能家居》2006,(26)
对数据仓库中数据质量的重要评价指标进行了介绍,对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析,对部分常见的数据质量问题给出了相应的解决方法。 相似文献