海量历史/准实时数据管理平台的建设与应用

随着企业规模的不断成长、信息化建设工作的不断深入,信息量的增长给实时历史数据库存储管理能力和数据访问能力提出了更高的要求。面对庞大的数据量,实时历史数据库迫切需要解决数据处理与存储的问题,一方面要保证数据处理的实时性;另一方面需要为海量数据存储提供弹性的管理空间。通过建设海量历史/准实时数据管理平台,可以有效解决公司调度、输变电设备状态监测、用电信息采集、配电自动化等业务应用的海量历史/准实时数据处理难题。     

实时数据库系统研发及其在智能电网中的应用

随着智能电网的发展,电网生产实时数据呈现出数据量大、实时性强等特点。为满足智能电网对海量实时数据处理需求,基于多线程实时处理技术,研发了一种实时数据库管理系统。文章介绍了该系统特点及系统结构,及其在用电信息采集、智能园区、能效管理平台、变电站热点监控等智能电网领域中的应用情况。该系统很好地实现了智能电网海量实时数据的采集、处理、分析、存储及展示,满足智能电网海量实时数据采集频率高、数据量大的应用需求。     

基于SG-UAP的实时/历史数据平台统一访问方法研究

实时/历史数据平台做为浙江电力生产信息管理大区的后台数据存储平台,为全省电网业务应用提供强力的数据支持。为更好地支持数据平台的应用,结合目前国家电网范围内各业务应用系统统一的开发、部署和运维管理SG-UAP平台的要求,需要将海量平台有机融合到SG-UAP平台中,按照SG-UAP平台的OSGI规范,对实时数据库访问方式进行标准化的优化,以便更好地使用SG-UAP平台来支撑电网各业务应用系统。     

海量历史/准实时数据管理平台深化应用建设的研究

海量历史/准实时数据管理平台是对电力生产运行过程中各业务应用生成的历史/准实时数据进行按需存储、整合、共享和分析的场所。基于平台前期建设成果,提出深化应用建设完成平台设备模型、多通道数据访问等研究内容,为智能电网建设在历史/准实时数据存储、加工、交换等方面提供有力支撑。     

依托Hadoop架构的海量变压器实时监测与存储方案构建

随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于Hadoop集群的变压器在线监测数据存储方案。该方案利用HBase(分布式列式数据库)具有快速实时读写数据的优势,将变压器在线监测系统采集的海量数据实时快速地存储。为能自动快速实时收集数据和避免因数据流过大造成系统崩溃,分别采用Flume(日志收集工具)和Kafka(分布式流处理平台)收集和缓存数据。以电力变压器在线监测的油色谱数据为例,验证了所提存储方案的可行性和有效性。     

便携式数据采集装置设计

目前,便携式数据采集装置的设计是数据采集领域的一个主要研究方向,数据的海量存储是数据采集领域亟待解决的问题。以TI公司超低功耗特性的MSP430微处理器作为主要硬件平台,基于低功耗、大容量存储原则设计了一款便携式数据采集装置。该装置可实现多通道数据采集,包括8路模拟量采集和16路开关量采集;海量数据实时显示、存储。具有集成度高、携带方便的优点,同时,对系统软件稍做修改即可当移动存储器使用。     

省级电能计量自动化系统海量数据的分布式并行处理

为提高省级电能计量自动化系统海量数据的计算效率,提出分布式并行处理的方法和模型,通过对电能计量自动化系统的分析、业务数据处理流程的梳理,设计开发了海量数据处理平台。在海量数据处理平台和传统的存储过程平台上对实际运行数据进行测试对比,结果表明所设计的海量数据处理平台能有效地解决海量数据存储方式、海量数据吞吐、容错能力和高效计算处理等方面的问题。     

基于分布式技术的用电信息采集主站系统设计与应用

随着用户侧数据采集设备的发展及电网业务对用户侧采集数据的深化应用,当前电力用户用电信息采集主站系统在数据采集、计算、入库等方面出现瓶颈,无法满足业务快速发展的需求.针对营销数字化转型发展的需要,基于分布式架构、异步网络、并行计算与分布式存储等技术,文中提出一种具有高频实时采集特征的主站系统技术方案,在采集通信层、任务调度层、分布式存储层及并行计算层4个层面全面解决高频并发交互、复杂任务调度、海量数据存储及实时计算的效率问题.通过中国某省级工程应用表明,所提出的方案可显著提升用电信息采集主站的采集能力,改善集中式采集主站性能.     

基于泛在电力物联网的实时费控计算与数据处理分析

随着泛在电力物联网建设的开展,智能费控电表的普及和采集指标的提高,传统技术架构无法实现业务目标,而费控应用模式在外部客户用电习惯,内部业务管理能力、技术支撑能力等都具备良好条件。省级电力企业用户实时费控平台需要支撑千万级用户的实时费控管理需求,数据处理与计算是平台技术设计的关键,文中从数据交互关键技术、数据存储关键技术、数据计算及应用关键技术等方面重点分析数据处理与计算技术关键设计思路,并详细阐述与微服务架构的融合设计,实现业务的快速响应、IT资源的动态扩展,支撑业务目标。     

基于开源软件的电网雷电大数据平台技术研究与应用

针对当前电网海量雷电数据在采集、存储与计算方面存在的技术瓶颈,该文采用互联网时代大数据主流技术,提出了构建基于开源软件的电网雷电大数据平台。首先,分别介绍了电网雷电大数据的特征和大数据软件技术的选型;其次,对电网雷电大数据平台进行了总体架构设计,并研发了海量数据高效采集、多源异构数据存储与分布式快速计算等关键技术;最后,详细阐述了雷电大数据平台在电网中的典型应用场景。通过建立电网雷电大数据平台,可以有效提升海量雷电数据的处理能力,为深入挖掘雷电数据潜在价值提供技术支撑,对于电网防雷减灾工作具有重要的意义。     

网络保护调控一体化的研究与应用

为了提高数据的实时性和准确性,针对现状的不足,提出了网络保护调控一体化系统方案、分布式的全景数据平台方案。在方案中,监控系统由传统的四层结构变为三层,过程层、设备层、调控层;全景数据平台方案针对不同区域,采用分布式实时数据库,同时对海量历史数据用序列数据库存储,采用对象、容器定义对数据建模;利用数据模型,在不同的运行方式下,针对稳态数据,采用并行计算,获得全面数据,提高数据实时性。通过应用验证,说明新的方案对解决目前面临的问题具有比较大的优势。     

基于状态估计的海量多元异构智能电网数据压缩存储方法

海量多元异构智能电网数据未经处理就进行压缩与存储,存在压缩误差大、运行时间长的问题,影响压缩储存效果。因此,提出基于状态估计的海量多元异构智能电网数据压缩存储方法。融合海量多元异构智能电网数据,推导出准确的智能电网数据,通过Tucker分解智能电网大数据压缩方法,压缩海量多元异构智能电网数据。采用可扩展标记语言（XML）技术预处理数据,结合非关系型的数据库技术,实现海量多元异构智能电网数据的快速存储。试验结果表明,该方法的线路电阻、电抗动态参数估计准确性高,数据压缩平均绝对误差、F 范数误差低,运行时间短,具有一定的实际应用性能。     

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。     

电网调控集群分布式实时数据库的设计与关键技术

为解决电网调度控制系统大规模实时数据的处理性能问题,设计了一种集群分布式实时数据库,通过分布式技术实现海量数据存储,并使用集群技术实现数据的统一访问和管理。对集群分布式实时库架构及所使用的分布式存储技术、分布式数据定位技术和分布式访问技术进行了讨论,解决了调度控制系统实时数据的灵活分片、分布式存储和快速定位问题。最后通过测试和现场运行验证了集群分布式实时数据库能在确保系统高可靠性的条件下,实现实时数据的高性能访问。     

基于MapReduce模型的智能电网数据平台研究

智能电网需要处理海量数据,但由于设备及计算能力的限制,传统的计算系统不能有效的解决数据实时计算、综合分析和扩展性等问题。文章引用MapReduce模型概念,提出基于MapReduce模型的智能电网数据平台解决方案,分析了实现平台的技术基础,并阐述了数据平台对建设当前坚强智能电网所起到的重要作用,它可有效提高智能电网建设中数据处理的高效性和可靠性。     

基于Linux实时操作系统的配电网保护控制终端平台设计与应用

当前配电网保护终端平台仍采用封闭架构，高昂的平台操作系统授权价格以及封闭的开发环境，抑制了配电网保护控制业务海量的需求。针对开发者代码隔离诉求和网络保护性能约束，提出了一种基于Linux实时操作系统的配电网智能保护控制终端新平台。新平台拥有Linux开源、代码隔离、业务实时性支撑等特点。首先基于普通Linux操作系统嵌入实时补丁、设计实时进程调度和应用内存共享机制，以构造新平台基础。然后，设计了数据实时处理模块和保护业务服务模块，以服务配电网保护控制应用。最后，通过搭建软件测试环境，验证了新平台进程实时处理能力、重采样抖动控制能力。通过搭建RTDS实时数字仿真系统，验证了新平台下的网络保护应用性能。测试均取得了预期效果，验证了新平台设计的工程适应性。     

基于分布式键值对存储技术的EMS数据库平台

为解决智能电网系统中能量管理系统(energy management system,EMS)数据指数级增长带来的海量数据存储和快速访问问题,提出一种基于分布式键值对存储EMS数据的方法,将结构化与非结构化数据统一按照键值对形式进行表达,并分布存储于集群中.以该方法为基础,设计并实现了一种新的EMS数据库平台,该平台是混...