异构调度环境下ETL工作流监控系统的设计与实现*

本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。     

商业银行稽核系统的ETL设计及改进方法

在数据仓库项目的实施中,为了实现整个ETL过程的顺利执行,需要针对单个ETL过程和整个数据流程进行协调调度处理,以保证数据按照我们的转化规则和业务逻辑正确地进入数据仓库.本文介绍某银行稽核系统ETL的设计方法,并给出一些改进的建议.     

基于多Agent的实时ETL系统模型研究

针对传统ETL系统难以满足企业对实时数据的需求,提出了一种基于多Agent技术的实时ETL系统模型,通过多个Agent相互协同工作实现实时ETL,利用实时分区和静态分区来加载和更新数据。实验表明,该模型能够实现实时ETL功能,并且具有较好的主动性和灵活性。     

银行数据仓库系统中ETL的总体设计与实现

从银行数据仓库系统中数据的抽取、转换和上载（Extraction Transformation and Loading,ETL）的总体设计出发,分别阐述了EDW-ETL和OLAP-ETL的设计策略及实现方法,给出了实现完整的银行数据仓库系统的ETL方案。该方案对企业实现数据集中、规划和建设数据仓库系统,具有一定的借鉴意义。     

ETL应用优化设计与实现研究

分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值.     

银联数据仓库系统中ETL的设计和实现

针对银联数据的特点，设计实现了银联数据仓库ETL系统。该系统采用模块化的设计方式，增强了系统的可控性和灵活性。元数据模块使ETL系统能够灵活地适应银联业务逻辑的频繁变化；调度模块采用线程池技术．改进了以往多线程技术，提高了数据抽取的效率和系统资源的使用率；日志、监控信息及通知模块解决了系统出错快速恢复的问题。测试表明该ETL系统很好地满足了银联的需求。     

核电厂管理信息系统(N1-EAM)数据迁移解决方案

本文针对中核集团核电厂生产管理信息系统(N1-EAM)数据迁移问题,归纳总结了企业级数据迁移过程中不可回避的问题,通过几种数据迁移技术的分析比较,最终采取ETL技术,经过基于ETL原理的程序设计和编程校验,实现了N1-EAM系统数据的有效迁移,从而获得了满足该系统需求较为可行的数据迁移解决方案。     

电力行业统计分析系统设计

针对电力行业统计系统的业务需求,在充分调研用户需求和业务流程的基础上,通过采用OWB(ETL工具)和BIEE(前端展现工具)两种非常成熟的产品对电力行业统计分析系统中所涉及的总体架构、ETL、数据库结构、元数据管理以及安全性等多方面进行全面综合的设计,实现了ETL流程和数据展现内容的实现。本文的开发思路具有一定的普遍意义,可在绝大多数统计分析系统中得到应用。     

ETL中基于贪婪算法的任务调度方法研究

面向银行非现场稽核系统中海量数据的处理,提出一种基于贪婪算法ETL最优任务调度方法,使得任务总的执行时间最短.通过实测验证了该任务调度方法的高效和稳定.     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

基于频率评估系统的ETL优化与小区性能评估研究

针对频率评估系统中的ETL处理过程效率较低的问题,在分治算法和贪心算法思想的基础上,提出了一种优化算法——DC-Greedy算法.通过在评估系统中对小区数据进行处理后,基于主成分分析法,研究了单个小区综合性能的评估策略.ETL处理时间和小区综合性能评估值的仿真结果表明,对比一般情况下ETL的穷举处理过程,经过优化后ETL处理效率明显提高;对小区评估策略的评价结果表明该评估方法可以完整地反映小区的综合性能,评估结果图能较直观地呈现小区综合性能水平,达到了预期研究目标.     

智能电网环境下电能计量大数据智能多维分析

针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。     

基于Hadoop的电信大数据采集方案研究与实现

ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义.首先简单介绍某运营商大数据平台采集的主要数据内容.随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案.继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象.最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系.实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果.     

Role of fullerene electron transport layer on the morphology and optoelectronic properties of perovskite solar cells

High performance, hysteresis-free, low temperature n-i-p perovskite solar cells are successfully fabricated by solution processing using fullerene electron transport layer (ETL). PC₇₁BM fullerene, with broader absorption spectrum and lower HOMO level, when incorporated in the perovskite solar cell yielded average power conversion efficiency (PCE) of 13.9%. This is the highest reported PCE in n-i-p perovskite solar cells with PC₇₁BM ETL. The devices exhibited negligible hysteresis and high open-circuit voltage (V_oc). On the contrary, devices with PC₆₁BM, a common fullerene ETL in perovskite solar cell, exhibited large hysteresis and lower V_oc. The underlying mechanisms of superior performance of devices with PC₇₁BM ETL were found to be correlated with fullerene surface wettability and perovskite grain size. The influence of fullerene ETL on the perovskite grain growth and subsequent photovoltaic performance was investigated by contact angle measurement, morphological characterization of the surface topography and electrochemical impedance analysis.     

三峡库区地质灾害数据仓库的ETL技术研究

结合三峡库区地质灾害数据仓库框架和库区数据的特点,提出了一套地质灾害数据仓库的ETL解决方案,并针对数据抽取、转换、加载等关键技术进行了研究,最后以单体地质灾害（滑坡）为例,说明了地质灾害数据仓库ETL的具体实现过程。     

面向商业智能的ETL模型研究综述

ETL(extra,transform,load)是数据仓库的重要组成部分。ETL过程是一个复杂的过程,从源数据中抽取,转换,装载到数据仓库的过程。文中通过从两个不同角度来建模,对ETL过程进行概念建模和逻辑建模。概念建模主要研究整个ETL过程概念和属性的内在属性,而逻辑建模主要研究是ETL工作流。最后,提出一个从概念模型映射到逻辑模型的转换算法。