电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

支持大规模智能电网的数据存储方法

针对大规模智能电网中的监测数据具有海量性、实时性、动态性等特点,提出一种以数据为中心的支持大规模智能电网的数据存储方法:海量动态数据的分层扩展存储机制。首先,采用扩展哈希编码方法动态增加存储节点,避免突发、频发事件数据的丢失,增强系统的可用性;然后,采用多阈值级别方法将数据分散到多个存储节点上,避免出现存储热点问题,实现负载均衡。实验结果表明,分层扩展存储机制能够最大限度地满足海量数据的存储需求,获得较好的负载均衡,并且使总能耗最低,有效地延长了网络的生命周期。     

基于云计算的海量大数据存储系统设计和实现

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。     

智能测产系统中的海量数据存储技术

介绍了智能仪器中海量数据的存储方法,并设计了一种海量数据存储模块。该模块采用CompactFlash电子盘实现了大量数据的存储,并通过串口通信与各种现场智能设备和工控系统进行数据交换。最后将其应用于智能测产系统中,并进行了现场实验。实验结果表明,该模块具有很高的可靠性,满足了使用要求。     

面向农业科学数据的分布式存储方法研究

随着农业科技的飞速发展,农业科学数据以几何级数快速膨胀。面对持续增长的农业数据资源,如何有效地存储和管理海量的农业数据成为一个研究热点。借助Hadoop分布式存储框架的优势,提出了一种面向农业科学数据的分布式存储方法,该方法采用了“中心控制节点--数据节点”的存储体系,通过报文通信技术和混合式索引分布策略,实现了对海量数据的高并发式存储和检索。实验结果证明,该方法适用于各种类型的农业科学数据进行存储管理。     

智能数据可视分析技术综述

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.     

基于结构特征的海量三维模型管理方法

虚拟现实和3D可视化技术的发展带来三维模型的海量增长,传统方法采用关键字匹配方式检索和管理海量模型数据,不能满足语义级别的模型检索和管理要求。提出一种基于结构特征的海量三维模型管理方法。使用该方法的思路框架,分析海量模型实例,通过聚类与分类的方法进行概念发现,构建管理特定领域的本体库,基于本体库设计并实现基于结构特征的三维模型管理系统,最后对系统进行应用和验证。结果表明该方法很好地解决了传统三维模型管理从单一维度管理模型的低效、冗余和难以重用,实现了三维模型的多维度高效检索和管理。     

智能电网数据处理关键技术研究及应用

随着配电网规模和数据采集终端数量的增大,数据规模呈现出爆炸式增长态势.能否高效的处理这些电网数据,已经成为电力部门面临的巨大挑战之一.从技术的角度提出适合智能电网数据信息处理的整体框架,该架构分为四个层次:数据采集、数据存储、数据处理和信息展示.在此基础上,详细阐述各个层次功能的实现技术与效果.最终实现了智能电网海量数据处理在江苏电力公司的应用.     

智能电网海量信息数据检测关键技术分析

为满足智能电网对海量信息数据的检测需求,对基于调控云的智能电网海量数据检测的关键技术进行了研究,电网海量信息数据的检测基于对流通和传输的电网数据的分析结果.针对智能电网数据节点的电压和电流间的关系通过潮流计算方法的使用完成分析过程(以电网的导纳和阻抗为依据),电流与功率则根据电网的有功及无功注入完成计算,进而得到海量数...     

基于监控大数据的设备监控业务评价指标体系的设计与实现

随着智能变电站的逐步覆盖,以及智能电网监控运行大数据分析系统数据接入范围的扩大,监控大数据系统具备海量数据的基本特征。本文设计的基于监控大数据系统的调控机构设备监控业务评价指标体系,主要包括数据管理、业务指标计算、GIS展示等功能,其中业务指标计算是以全网设备运行数据为基础,业务指标的计算具备数据规模大、计算复杂的特点。为了解决海量数据的统计效率,系统采用去中心化的建设思路,设计采用分级复用、面向服务和内存计算策略的多级指标计算框架,实现各类监控业务指标的高效统计,能够满足系统快速响应的非功能性需求,同时结合面向服务的分布式架构设计,实现不同系统之间的数据贯通,提升设备监控的业务协同能力,系统具备良好的扩展性。     

电力监控数据库设计及优化查询技术

本文介绍了电站自动化系统TCS2000的软件体系结构,详细说明了电力监控数据库的设计以及其中所用到的动态表结构、面向主题的数据管理、多线程等查询优化措施.     

基于数据仓库技术的工程数据管理系统的研究与实现

工程试验产生的数据组织分散、模式复杂而多变，从而要求工程数据管理系统能够统一管理数据，并具有良好的用户定义特征和数据扩展能力．本文描述了一个面向工程试验数据仓库体系结构的分析和设计，并实际应用到了试飞数据管理系统中，达到了预定的目标．同时提出了利用元对象实现不同模式数据集中管理和使用的方法．     

Efficient selection strategies towards processor reordering techniques for improving data locality in heterogeneous clusters

Grid architecture integrates geographically distributed nodes to manage and provide resources to execute scientific applications. For data locality, applications with different computational phases require data redistribution for realignment. The tradeoff between high efficiency computation and communication cost of data redistribution accompanies. This paper introduces a research model and two methods to derive new lists of processor logical id according to the characteristics of heterogeneous network. Both methods provide choices of more low-cost communication schedules in grid. The simulations show both proposed methods yield outstanding performance in grid.     

Web-based visualization of spatial objects in 3DGIS

Adaptive rendering large and complex spatial data has become an important research issue in a 3DGIS application. In order to transmit the data to the client efficiently,this paper proposes a node-layer data model to manage the 3D scene. Because the large spatial data and limited network bandwidth are the main bottlenecks of web-based 3DGIS,a client/server architecture including progressive transmission methods and multiresolution representations,together with the spatial index,are developed to improve the p...     

基于SAN存储架构下的海量信息管理

随着信息资源和数字资源类型增多,校园网络建设面临如何存储和管理这些数字资源的问题。本文介绍了湖南师范大学存储系统实施经验。从SAN管理、数据分级存储、数据生命周期管理三个方面着手,讲述了如何设计存储架构以及基于该体系结构下的海量信息的管理流程与算法。     

基于数据仓库的证券交易决策支持系统设计与开发

证券交易对海量数据管理和分析存在潜在需求,对证券交易决策支持系统做了分析,针对海量数据管理,提出基于DW、DM、OLAP的系统框架,并设计了网络结构、主题、数据维度、数据库,最后从数据获取、数据的技术分析及多维分析讲述系统的实现,为决策者管理和分析海量证券交易信息提供决策支持.     

消息中间件管理器的设计和实现

提高分布计算中间件的性能和可用性的一个主要方法是加强中间件的管理功能，通过对现阶段的中间件管理产品进行研究，提出了中间件管理的管理框架，并针对ISMQ消息通信中间件，介绍了消息中间件管理器ISMQM的设计与实现，在给出ISMQM的总体结构和对象模型后，详细论述了基于SNMP通信协议下管理器的设计和实现方案，并讨论了在不同情况下的负载平衡算法，结果表明，ISMQM有效地管理了消息中间件，其设计和实现方案为应用软件资源的管理提供了一种有效的参考方案。     

基于TD-ILM的存储体系架构的研究与应用

为使海量数据得以优化存储和管理,在信息生命周期管理概念的基础上设计出信息生命周期管理三维模型,对此三维模型从信息周期阶段、信息应用层次和系统架构层次3个不同角度进行详细阐述,并总结出信息生命周期管理实施的简单流程.在此基础上构建了某卫星地面应用系统中数据存档和服务系统的存储体系架构,信息生命周期管理三维模型的理念在存储领域得以充分体现.     

TDM:工程数据管理平台

工程试验产生的数据组织分散、模式复杂而多变,从而要求工程数据管理系统能够统一管理数据,并具有良好的用户定义特征和数据扩展能力.给出了一个工程数据管理平台TDM,综述了TDM的主要功能和关键技术(元数据驱动的软件架构、面向对象的数据库模型、虚拟数据库技术),阐述了试验数据管理的几个重要问题.在此基础上提出了工程试验数据管理的框架和以后可能研究的方向.