国内电网实时数据集成应用综述

从电网实时数据中心的形成、集成应用的范围、规范化、关键技术以及发展趋势5个方面总结并分析了近年来国内电网实时数据的应用成果。调度EMS各子系统的信息共享以及EMS与其他系统的信息交换成为实时数据集成应用的起点。南方电网、浙江、江西等已经逐步开展了集数据、模型、图形等为一体的调度综合数据平台的研究和建设。山东和上海电力公司逐渐出现企业级数据平台的概念,立足于公司整体,数据不仅来源于调度系统,还来源于其他部门、专业的相关系统,且数据平台服务于企业整体,各类信息在企业范围内共享。在实时数据中心的标准规范化问题上,IEC61970在各地的数据中心中都起到了相当大的作用,实现了本地调度中心内各应用系统之间的数据共享以及不同级调度自动化系统之间的数据共享。关键技术主要包括架构设计、组件技术的选择、数据模型和全电网模型的设计、图形导入导出以及数据对外接口。从调研分析得出,电网实时数据集成将遵循IEC61970标准并进一步开放接口,在全电网信息集成以及调度级、企业级数据中心的协同工作等方面有着广阔的发展前景。     

南方电网一体化运行数据中心建设方案研究

随着电网业务的发展和管理要求的提高,迫切需要一个对各个应用系统提供技术支撑的电网运行一体化数据中心。提出了南方电网一体化运行数据中心的总体架构,并针对电力调度信息化迫切需要解决的模型整合、应用集成、数据集成和IT基础设施整合等问题,完整地论述了层次建模、源端建模、服务总线、对象编码与注册、基础设施建设等技术解决方案,在总调、云南中调的试点建设结果表明,所提出的架构可以加快推动电网运行管理信息与自动化信息融合,提升数据综合应用水平和决策分析能力和有效地利用IT资源。     

电网调控大数据平台体系架构及关键技术

以数字化技术和能源互联网理念为驱动的"数字新基建"对现有调度自动化系统的数字化转型提出新的挑战,该文考虑调控数据存储规模、数据加工复杂度和数据服务多样化的需求,提出电网调控大数据平台的体系架构.在此基础上,研究了多源调控数据集成与融合、异构数据库分层统一存储、调控数据资产管理、大数据算法引擎等关键技术,实现全业务、全场景的电网调控数据汇集、加工和资产管理.该技术方案为调控云智能分析应用提供了存储、数据和算法的有力支撑.     

基于大数据技术的实时数据中心重构研究

提出了一种基于大数据技术的电网企业实时数据中心重构的方法。通过对实时数据中心数据接入接口的改造,实现实时数据接入大数据组件HBase;通过对HBase表结构设计及相关参数的调优,实现电网企业实时数据的标准化存储;通过基于大数据组件设计符合实时数据中心规范的标准访问接口UAPI,实现实时数据中心上层业务应用的迁移和平滑过渡。该方法的可行性已在多个省(市)电力公司得到验证。     

一种云环境下智能电网中的重复数据删除机制

随着智能电网的发展,电网运行的实时数据呈海量化急剧增加,传统数据中心压力日渐攀升。文章研究了电网数据的高效存储,讨论了智能电网云平台架构以及云环境下资源分配和动态负载均衡,使得智能电网中大量相同的数据以更加轻便的方式存储。本研究从数据存储到数据查询,形成了一个完整的对智能电网数据进行空间优化操作的体系,实现了云的实际利用价值。     

基于多源数据集成的电网规划综合数据平台

针对规划系统的各环节间数据难以有效共享等不足,以及规划业务系统与其他各专业系统的数据集成缺乏统一规划和设计等问题,通过有效集成PMS、GIS、EMS、智能配网监控、用电信息采集等多个业务系统,采用数据仓库(ETL)、K-means聚簇算法等大数据技术手段,实现了结构化、非结构化、海量历史/准实时、电网空间数据等信息的高效接入以及电网设备、运行水平、图形管理、规划方案等数据的深度融合,形成了集数据融合、存储、计算、建模、挖掘、分析及智能感知于一体的电网规划综合数据平台,首次实现了省域电网发展专业数据资产的集中管理与高度共享。山东省、市、县三级电网的全面推广应用表明了所提平台的有效性和工程效益。     

电力企业数据中心数据管控的研究与应用

为实现数据中心数据管理规范化,高效地完成数据中心系统平台和接口运行的监控工作,文章对电网企业数据中心数据管控平台研发工作进行了介绍,阐述了平台的功能和技术架构设计。描述了关键解决方案,总结了平台应用成功经验。该平台的应用规范了数据中心数据的使用,提高了运维工作效率,能够对其他企业数据中心管控工作提供参考。     

电力调度数据中心数据质量问题研究

结合调度中心数据特点和业务特点提出构建数据中心提高数据质量的一些控制方法,这些方法分别从电网数据的统计特性和业务特性(数据关联性特性)上对异常数据进行识别,并且基于这些方法给出了数据校验的模块设计,最后应用该数据校验模块到数据中心的系统架构中,提高了华东电力调度数据中心的数据质量.     

面向智能电网的数据密集型云存储策略

智能电网环境下数据密集型应用往往涉及跨数据中心的数据传输和数据中心内的数据迁移,这对数据分布提出了新的挑战。为了充分利用计算存储资源,满足智能电网大规模数据的可靠存储和高效处理的实际需求,提出了基于云计算的数据密集型存储方法,该方法将数据集映射成数据空间的点集。设计了两阶段分类过程:第1阶段基于传统的K均值算法实现点集的初始分类;第2阶段针对各数据集与初始聚类的隶属关系,引入数据迁移的代价函数,对初始分类进行调节,实现数据集到数据中心的布局方案。实验结果表明,该算法能够有效提高数据存取效率并兼顾全局负载均衡。     

电网大数据云存储算法的研究

在分布式云计算系统中,数据密集型计算可导致数据中心间的数据调度,而合理的数据分布式存储可有效减少数据中心间的数据调度,提高用户的数据存储和计算效率.为此,建立数据中心间数据调度的数学模型,通过遗传算法的全局优化能力和迭代产生更好的近似解,得到数据存储的最佳逼近.试验结果表明,遗传算法可有效计算近似最优的数据分布式存储,并最大限度减少数据中心间的数据调度。     

基于大数据标签技术的电网监控智能分析方法

在电网规模和数据量急速增长的环境下,传统存储的关系型数据库、数据集成及整合分析方式已经无法满足业务应用的需求,本文分析梳理了电网监控应用需求,引入数据标签技术来解决目前的技术瓶颈。通过对数据物理表进行梳理,将业务专家的经验与数据物理表结构融合而成,数据标签能够提供统一业务化的标签给下游使用方,节省计算资源、便于全局优化的特点,基于数据标签开展电力业务数据辨识、数据治理、数据加工,相较于传统数据存储和治理模式,能够大幅提高电网监控业务智能化水平。     

基于信息模型及其性质扩展的电网数据中心管控研究

电网运行数据中心建设和维护需要协同处理数据描述一致性、标识唯一性管理、存储管理、数据安全访问控制等数据管控方面的问题。分析了与数据中心数据内容匹配的信息模型描述形式,研究了信息模型性质扩展方法,给出了基于信息模型及其性质扩展实现数据建模、对象标识管理、数据存储及数据访问权限控制的处理过程。相应技术已应用于南方电网一体化运行数据中心建设项目中。     

企业级非结构化数据中心存储组织形式探究简

非结构化数据蕴含着企业大量的核心知识和无形资产,是企业得以发展壮大的宝贵财富,特别对电力规划设计企业来说,尤为如此。科学管理和合理应用这些非结构化数据已经成为企业正确决策、增强核心竞争力的关键。本文详细分析了企业级非结构化数据中心对数据存储组织形式的核心需求和研究路线,结合企业实际,给出了一套相对完整的非结构化数据存储组织方案,并介绍了原形系统应用情况。该方案使非结构化数据在企业内部得到了高效存储和便捷应用,也为企业级非结构化数据中心进行数据集中存储、统一管理、标准服务奠定了坚实的基础。为企业在非结构化数据的存储和应用方面提供了可行的建设思路。     

企业级非结构化数据中心存储组织形式探究

非结构化数据蕴含着企业大量的核心知识和无形资产,是企业得以发展壮大的宝贵财富,特别对电力规划设计企业来说,尤为如此。科学管理和合理应用这些非结构化数据已经成为企业正确决策、增强核心竞争力的关键。本文详细分析了企业级非结构化数据中心对数据存储组织形式的核心需求和研究路线,结合企业实际,给出了一套相对完整的非结构化数据存储组织方案,并介绍了原形系统应用情况。该方案使非结构化数据在企业内部得到了高效存储和便捷应用,也为企业级非结构化数据中心进行数据集中存储、统一管理、标准服务奠定了坚实的基础。为企业在非结构化数据的存储和应用方面提供了可行的建设思路。     

基于云平台的煤矿数据中心研究与应用

随着智能化矿山建设的逐步推进,应用系统数量逐渐增加,数据不能够完全统一、系统缺乏统筹管理、功能重复建设等问题逐渐凸显。为此,以伊敏露天煤矿数据中心为例,详细分析了煤矿数据中心的总体架构,结合工业私有云开发平台及大数据技术建立了开放式、持续集成和部署、支持高负载弹性伸缩、满足智能化露天煤矿管理理念的数据中心,基于数据中心多源数据存储架构解决了矿山领域数据采集难、数据无法统一存储、业务系统孤岛和采地测专业无法及时便捷共享数据等问题,同时综合利用已有设备及其采集的系统数据,采用数据共享和计算分析工具实现生产情况和设备状态的实时掌控,提升了管理决策能力和手段。     

基于云计算的电力数据中心基础架构及其关键技术

为了适应新一代数据中心的发展趋势,并满足智能电网的需要,提出了基于云计算的新一代电力数据中心的基础架构。分析了现有电力数据中心的逻辑结构与功能,采用虚拟化技术对电力数据中心的服务器进行虚拟化,提高资源利用率,保障电力数据中心的高可用性和可伸缩性。设计了基于Hadoop的电力数据中心云计算平台,为智能电网的各个业务系统、数据挖掘与辅助决策支持等应用提供海量数据的存储、管理与计算环境。提出现有电力数据中心向云计算的分阶段迁移策略,以保障平稳过渡。     

ODS在实现电力企业数据中心中的作用

通过对操作数据存储结构(ODS)的介绍和分析,提出发挥ODS与运行系统结合比较紧密的特点,帮助电力企业解决原有的各运行系统缺乏综合性的问题,并在此基础上实现企业级的数据中心。另外还结合江苏电力营销数据分析的实例,探讨了这种技术手段的有效性和可操作性。     

HBase在智能电网异构数据同步中的应用

未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以解决未来智能电网大数据处理问题为出发点,通过对电网数据中心相关功能需求进行细致分析,对比传统的关系型数据库建模基础,提出了基于Hbase架构的智能电网数据中心的解决方案。最后通过对比MySQL性能进行模拟测试,得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步,达到电网大数据的实时共享、监测及准确分析、处理的目的,在未来智能电网信息管理系统中具有广阔的应用前景。     

电网数据集成与管理系统研究

由于目前电网公司内部应用系统较多,同时各系统异构的情况比较普遍,阻碍了电网公司内部和电网公司内部各部门之间的数据共享和交互。从解决电网公司数据集成的角度出发为了加强电力需求侧管理,加强电网内部各部门的充分合作,做好有序用电工作,实现供用电秩序的基本稳定,更好地为供用电工作服务,提出建立一个解决电网公司数据集成和数据管理的集成数据平台和管理系统。电网数据集成与管理系统是电力管理系统的集成和发展,是满足要求的新电力管理系统。     

基于数据空间的电网高级应用分析系统

随着电力计算机应用系统的不断发展,各应用系统间的融合性问题需通过各类软硬件资源的共享予以解决。阐述了基于数据空间的电网高级应用分析系统的设计方案,介绍了该系统的结构体系,具体研究了系统的数据中心和数据空间、分布式平台、虚拟化技术、画面和数据显示等关键技术。在广东电网公司的应用实践证明,该系统具有高可用性、服务多样性及良好的扩展能力。