企业数据仓库的ETL技术

介绍数据仓库ETL技术及其在企业数据仓库整个项目实施中的作用,分析了ETL体系结构与功能。ETL是实现数据集成的主要技术,ETL中3个字母分别代表的是Extract．Transform、Load,即数据的抽取、转换,加载。ETL作为构建数据仓库的一个环节,负责从分布的,异构数据源中的数据如关系数据．平面数据文件等抽取到临时中间层后进行清洗、转换．集成,最后加载到数据仓库中,成为联机分析处理,数据挖掘的基础。举例介绍SAPBW的ETL工具。     

基于数据仓库ETL技术的电力技改大修项目数据清洗方法

由于重复数据和空缺数据数量多,电力技改大修项目数据清洗方法不能实现脏数据的有效清洗,为此研究 基于数据仓库ETL技术的电力技改大修项目数据清洗方法.通过对多数据源的电力技改大修项目脏数据质量的评估, 判断符合预期标准后进行数据挖掘;结合数据仓库ETL技术对重复数据记录进行清洗;运用切比雪夫定理处理电力 技改大修项目数据空缺值来完成对电力技改大修项目数据的有效清洗.实验结果表明,运用该方法清洗数据有效率最 高,有效提高了数据的质量,实现了对数据的高质量清洗.     

数据仓库在电器产品测试系统中的应用

设计了一个应用在电器产品测试系统中的数据仓库.通过建立、融合事实表和维度表,析取和加载数据,实现了数据仓库,并利用该数据仓库进行数据查询和决策分析.该数据仓库生成的有意义的信息方便了电器产品测试.     

电力企业数据仓库建模方法

针对实现数据仓库系统的核心工作--数据建模,给出了一种基于需求分析、维度建模和物理建模的数据仓库数据建模方法.设计出标准化的建模规范,提出了总线结构的数据仓库总体建模实现方案,并给出了电力营销数据仓库数据建模的实例.     

ETL在青海省电力公司数据中心系统中的应用

依据国家电网公司"SG186"工程的总体规划,青海省电力公司于2006年11月开始实施青海电力公司数据中心项目.ETL作为数据中心系统的关键部件,主要完成数据抽取、清洗、转换和装载工作,它是构建数据中心的重要环节,同时也是构建数据中心过程中出现问题最多的环节.文章通过ETL技术在青海电力公司数据中心项目中的应用,介绍了ETL的功能及作用,同时对ETL的数据处理过程做了详细的论述.     

基于数据仓库的经济活动分析决策支持系统

介绍了供电企业经济活动分析的内容及其决策支持系统的重要性，数据仓库的特点是面向主题的，集成的，不可修改和随时间不断变化的，适合决策分析，据此提出了基于数据仓库的供电企业经济活动分析决策支持系统框架，文中以集电分析为例，面向主题组织数据，建立了集电分析信息模型，逻辑星型图，数据存储结构图等数据仓库的多维数据模型。     

基于数据仓库的一体化电力调度自动化系统

以省调系统为例，分析了电力调度自动化系统的现有应用、潜在应用及其内在联系，提出了基于调度数据仓库的电力调度自动化系统的一体化设计模式。在该模式中，数据仓库集中存储主要应用于子系统的公用数据，是各应用于系统的联系纽带。该模式适用于新一代电力调度自动化系统的一体化设计，也适用于现有调度自动化系统的一体化改造。     

数据预处理在电力远程智能监测系统的应用

介绍电力远程智能监测系统的基本组成及工作原理后提出了基于数据仓库ETL技术的电力数据预处理技术并以疏失误差剔除的过程为例描述了ETL过程。与传统方法比较,应用数据预处理和数据挖掘技术的智能监测系统操作方便,结果正确,使用性强。     

基于风电数据仓库的ETL技术研究

作为数据仓库的关键部件,支持数据抽取、转换和装载的ETL工具是一个必不可少的成功因素。以风电数据仓库为背景,介绍了数据仓库ETL的必要性、ETL流程,重点提出了一种ETL工具与自行编码相结合的ETL实现方法。针对风电海量数据的特点,通过优化过的ETL技术,大大提高了风电信息系统的运行效率。     

基于统一数据模型的电力现货市场清算方法及其应用

电力现货市场下的数据清算具有数据规模大、业务处理复杂、时效性要求高等特征,为解决现货市场清算系统面临的突出问题,文中提出了基于通用结算数据模型的清算方法。通过建立多维立方体数据模型,实现复杂维度数据的统一建模,再进一步建立算子库,实现模型之间的转换和清算的灵活计算。最后,建立列式数据仓,通过列式计算与列式对比,实现电力交易的高性能清算。根据所提方法研发的软件已应用于省级现货市场试点单位,实际运行证明了其有效性和可靠性。     

基于CEP引擎的配电网运行监控信号大数据ETL方法

电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。     

省级电力营销数据仓库应用系统架构设计及其关键问题分析

针对当前很多省电力公司营销中面临的一些问题,提出了建立省级电力营销数据仓库应用系统的解决方案.着重以安徽省电力公司为背景,详细介绍省级电力营销数据仓库应用系统架构设计,分析了其关键问题,包括ETL数据质量,元数据管理等.     

基于数据仓库技术的多口径购电成本分析系统

随着电网公司发展方式的转变,对生产成本中重要组成部分的购电业务提出了精细化管理的目标,因此企业决策层领导和经营部门对掌握不同口径下购电成本提出更高的要求。为了适应购电业务的发展变化,有效地掌握企业购电成本,为企业购电决策提供依据,文章提出了建立基于数据仓库技术的多口径购电成本分析系统的设计思路,从购电成本数据仓库的架构入手,阐述了系统的整体架构;对设计过程进行说明,并着重对多口径业务的需求以及建模方法进行分析;详细描述了多层ETL汇集不同层次数据的技术方案以及前端展示交互UI界面。系统在浙江与冀北电力公司投入运行后,在购电业务的分析和掌握购电成本变化趋势方面效果明显。     

地区电力调度数据仓库建模与数据处理

对基于数据仓库的典型地区级电力系统调度中心数据处理环境与需求进行了分析,描述了基于数据仓库思想的数据模型设计,针对地区级电力系统调度中心的典型业务系统提出了其共享维度建模的思路。     

调度主站与变电站共享建模的关键技术研究

调度主站与变电站共享建模技术基于IEC 61850和IEC 61970标准,其关键技术包括变电站到主站系统的图模生成规范、调度监控中心主站对变电站模型图形的按需裁减技术2个方面内容。通过对此关键技术的研究使得主站与变电站共享建模的实用化成为可能。     

数据仓库技术在发电厂中的应用研究

针对发电厂生产系统和信息管理系统的现状,研究了一套适合发电厂的数据仓库DW(Data Warehouse)设计方法,即全厂级数据模型指导下的自底向上开发策略．数据库／联机分析处理OLAP(On-Line Analytical Processing)服务器／客户端的三层体系结构,星型多维数据模型及以SCADA系统和MIS系统为主的数据源。在建立数据仓库的基础上．通过联机分析处理技术可对发电厂的发电量,蒸汽量等全厂生产、经营、管理的汇总数据进行多维分析,使最终用户可从多角度、多侧面观察数据仓库中的数据。数据挖掘方法可找出数据仓库数据中隐藏的有用信息和知识．可用于发电厂设备检修,负荷预测和上网报价等,辅助管理人员作出科学的决策。     

基于能源集线器的微能源网建模与多目标优化调度

提高能源利用率是实现能源可持续发展的重要举措。基于能源集线器的概念,提出了微能源网的通用化建模方法,得到线性的功率平衡方程。进一步地,以系统总收益最大化和能源利用率最大化为优化目标,构建了微能源网多目标优化调度模型。结合加权和法在Matlab和GAMS软件上求解得到多目标优化调度模型的Pareto前沿,并采用模糊隶属度函数求取最优折中解,作为多目标优化调度方案。最后,构建典型的微能源网进行验算。结果表明,所提出的通用化建模方法具有直观性和通用性,所提出的多目标优化调度模型能为调度决策者提供多维度的调度方案,兼顾了系统运行的经济性和高效性。     

基于SVG的可视化技术在继电保护定值在线 校核系统中的应用

随着越来越多的电力自动化系统集成于调度自动化平台,图形系统的标准化与图形共享是电力自动化系统研究的重要方向之一。针对目前继电保护定值在线校核系统图形建模存在的问题,提出了从整定计算系统、故障信息系统中导出图形文件再导入到定值在线校核系统的方案,实现了上述系统图形之间的无缝连接,达到了图形共享的目的。在简要分析继电保护定值校核图形交互、数据可视化需求的基础上,采用.Net平台反射机制与JavaScript函数之间相互通信,实现了继电保护定值校核结果的动态刷新与良好交互。通过采用多种展示手段,很好地实现了告警功能。目前,所采用的方案在某省级电网公司在线校核系统中得到了成功应用。     

电力计量数据仓库技术研究

基于电力计量数据处理环境与需求进行分析,描述了基于电力计量数据仓库思想的数据模型设计.数据挖掘的核心就是将正确的模型应用于数据.从体系结构、功能设计、模块实现等方面详细阐述了一个可视化数据挖掘平台.采用了公共信息模型CIM,以XML文件作为底层载体,设计的数据仓库可以适应电量用户即席查询.     

基于ETL技术的电网运行全景建模*

在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有效性在实践中得到了验证。