共查询到17条相似文献,搜索用时 125 毫秒
1.
2.
3.
管丽娟 《数字社区&智能家居》2007,1(6):1512-1514
数据ETL(Data Extraction,Transformation and Loading)主要用来实现异构多数据源的数据集成,是数据仓库、数据挖掘以及商业智能等技术的基石,具有数据抽取、数据转换和数据装载功能。本文综述了ETL发展的背景、目前广泛研究的领域,论述了ETL在异构数据源集成和脏数据的检测与解决两方面面临的挑战,指出ETL将呈现出通用化、高效化、智能化三大发展趋势。 相似文献
4.
5.
ETL(Extraction-Transformation-Loading)是建立数据仓库的重要一环。通用应用ETL工具应能够适应不同领域不同需求的业务,无论是针对多样化异构的数据源,还是针对复杂变化的转换逻辑,都能够给予很好的支持。研究ETL工具的技术难点,提出一种通用ETL工具的设计框架,并对每个模块做了详细分析,在所承担项目中给出了具体实现。 相似文献
6.
7.
ETL系统的设计和实现技术研究 总被引:2,自引:0,他引:2
何晨钢 《计算机应用与软件》2009,26(4)
ETL系统是构建数据仓库过程中极其重要的部分.以ETL基本原理和标准出发,从实践角度设计ETL系统的模型框架,包括调度和抽取模型,其中抽取模型是采用抽取-传输-缓冲-合并的方法,有效地解决了异构数据源抽取问题.在以保险行业为背景的项目中进行了应用,并取得较好的效果. 相似文献
8.
白蓉 《自动化技术与应用》2021,40(1):44-47
本文针对大学生精准资助设计多源异构数据仓库系统.首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析.此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平. 相似文献
9.
10.
基于本体的ETL设计研究 总被引:1,自引:0,他引:1
提出了一种基于本体的ETL设计方法,通过建立各数据源的局部本体和目标数据仓库的全局本体以及本体间的映射,得出以OWL表示的各数据源和目标的映射关系.用本体元数据指导数据抽取,转换和加载过程,解决数据源ETL过程中的语义异构问题,实现了企业数据语义程度的集成. 相似文献
11.
作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。 相似文献
12.
13.
14.
15.
一种可靠的数据仓库中ETL策略与架构设计 总被引:18,自引:0,他引:18
作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 相似文献
16.
基于电信数据仓库系统的ETL研究与设计 总被引:4,自引:0,他引:4
电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading).通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统.采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率. 相似文献
17.
区块链应用有去中心化、可追溯、不可篡改等优点,但现有的区块链系统难以满足在大数据量下数据的查询、访问需求。针对以上问题,结合ETL流程与区块链自身特点,提出一种区块链应用查询优化流程模型ETLVQ(Extract-Transform-Load-Validation-Query)。模型分为三个阶段:在第一阶段将区块链应用中异构数据源的数据进行抽取、转换并加载到查询优化数据仓库中;在验证阶段对加载后数据进行一致性校验;在查询阶段对外提供查询访问服务。该模型在保证区块链数据安全性的前提下,显著提升了区块链应用的查询访问效率与并发能力。 相似文献