基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

基于数据中台的数据资产管理体系

公司经过十多年的信息化建设,信息系统已全面覆盖企业经营、电网运行和客户服务等业务领域及各层级应用,为公司各项业务有效运转提供了有力支撑.但现今仍缺乏一套统一的企业级数据资产管理体系.为进一步提升数据在电网企业的价值,本文提出了一套基于数据中台的企业级数据资产管理体系,主要从数据质量提升优化、数据资产管理、数据共享服务构建3个方面对如何进行数据资产管理进行论述.     

分布式云存储高可用框架研究

近年来,分布式云存储为非结构化数据的存储、处理提供了高效、廉价的解决方案,但随着业务系统对系统可用性要求的不断提高,对分布式云存储高可用框架的研究具有重要的理论价值和广阔的应用前景.论文综合分析了分布式云存储的基本理论,提出了针对智能电网设计的分布式云存储高可用框架,该框架采用双活主节点以及多服务心跳监测算法,保障在高并发读写文件操作下分布式云存储的高可用性.实验结果表明,该框架能够有效应对任意节点失效产生的系统故障.     

非结构化数据基于.NET和Oracle设计与实现

在设计和开发业务应用系统时,非结构化业务数据的设计和开发是技术难点之一。基于.NET平台和Oracle数据库Secure Files LOB技术,提供了一种很好的解决方案。该方案为非结构化和结构化数据提供一致的存储管理和统一技术开发模式,同时为业务系统提供高并发性、高稳定性和高扩展性。     

基于分布式文件电力异构数据存储综述

随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构（异构）化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略.     

信息化运维系统的图模型存储

基于新型IT基础设施,如云计算环境,大数据平台等,信息化应用获得了灵活可靠的底层服务.同时通过新型服务形式,如物联网应用,移动端服务等,增强了业务服务能力.但这些新技术使得信息运维面临运维对象频繁变化,对象关系不断调整,运维数据格式多样的难题.本文基于电网企业当前运维现状,给出一种基于图模型的运维数据存储设计,提高了对动态,非结构化运维数据的处理能力.经实测验证,模型处理普适性更广,数据读写性能稳定,方案有效解决了新运维形式下的电网企业信息化运维系统的业务难点.     

多级分布式云存储技术在公安领域的应用研究

某省级公安部门在建设完善全省警综平台时,面临着接处警、执法办案、电子卷宗等业务系统采集音频、视频、图像等非结构化文件存储应用的挑战。为此,文章重点探讨了多级分布式云存储技术在公安领域的应用研究,为进一步推进警综平台建设完善工作,支撑警综平台执法记录仪、电子卷宗等业务系统深化建设提供了参考借鉴。     

输变电设备运维知识图谱的构建及应用

针对电网公司在开展输变电设备运维检修过程中存在的非结构化文本数据难以利用、全口径数据难以深度融合、数据应用手段仍处于简单统计状态等难题,本文研究设计了基于知识图谱的输变电设备运维知识问答系统的总体框架,以打破传统信息获取方式的局限性。首先,从多源输变电设备数据中提取出实体、关系、属性等元素,涵盖的数据既有结构化也有非结构化的数据。在此过程中,使用不同的技术和方法来提取这些元素。其次,利用图形数据库Neo4j将这些元素组合在一起,构建一个完整的输电变电设备运维知识图谱,从而将不同类型和业务数据整合并形成一个连贯统一的知识网络。最后,基于Neo4j +Python平台搭建输变电设备运维知识问答系统,为运维人员提供一种新的方法。     

基于车辆信息的大数据分析系统设计与实现

为了充分利用日益庞大的交通卡口数据，满足公安机关信息化建设需求，设计并实现基于结构化过车数据的车辆大数据分析系统。系统以视频结构化平台提供的车辆卡口数据为基础，使用Kafka作为消息总线，Elasticsearch作为存储平台和搜索引擎，并结合Redis内存数据库及分布式的模型算法服务，实现车辆卡口数据的实时传输、入库、检索及分析。在分析中融入多种业务数据，该方法会提供更多有价值的线索。经部署和测试，系统在功能方面满足业务要求；性能方面，总体数据量达到亿级、每分钟新增数据达十万级时，UI响应和算法模块运算时间均达到秒级响应，满足性能要求，能够为公安机关提供种类丰富、结果精准、分析全面、预警及时的实战应用服务。     

MyBUD自适应分布式存储管理的设计与实现

面对日益增长的非结构化数据管理需求,实现了基于"自由表"数据模型和BUD(bank of unstructured data)参考体系模型的非结构化数据管理平台MyBUD系统。提出了一种能够根据非结构化数据的类型和访问特点自适应地选择分布式存储子系统的方法,同时也对MyBUD进行了TPCC测试和非结构化数据存取实验。结果表明,这种自适应的数据存储方法为MyBUD系统提供了高效的可扩展存储层,为采用数据库方法实现对结构化和非结构化数据统一管理的进一步研究工作奠定了基础。     

基于云计算的电网企业信息运维模式研究

随着电网企业大量信息系统及设备投运,传统运维方式在调度数据及资源的灵活性和实时性方面出现了瓶颈,运维服务保障能力亟待提升。为解决以上问题,本文提出一种基于云计算的电网企业信息运维模式,从梳理业务需求处理流程入手,建设信息系统资源池平台和桌面云终端资源平台,整合公司信息系统及终端资源,为运维工作提供技术支撑。同时,优化云调度,完善云检修,提升信息资源利用效能。最后,规范服务交付流程,健全运维保障体系,明确信息运维管理格局,增强运维管控水平。该模式可快速响应资源调度,优化资源使用效能,提升用户体验,实现从面向设备为核心到面向服务为核心的运维管理模式新转变,全面提升信息运维服务保障能力和内部资源管控能力。     

基于电网物资大数据的质量预警系统研究

国网物资有限公司是服务于国家电网有限公司物力集约化管理的专业机构和总部集中招标代理平台。公司以服务物力集约化管理和电网建设为己任,充分发挥自身优势,建立了一套基于电网物资大数据的质量预警系统。该预警系统充分利用科研院所、生产厂家数据资源,通过收集、挖掘电网物资生产厂家信息、原材料市场价格、用工成本、行业合理利润、缺陷等数据,利用大数据思维,从设备生产的“人机料法环”五个环节出发,以主流供应商成本调研数据为基础,构建成本模型、质量缺陷库、平均成本数据库,并采用正态分布分析法,建立了基于一套“红黄绿灯”的预警逻辑的质量预警系统。本文以配电变压器举例说明。     

基于GIS的气象信息标准化服务平台的设计与实现

随着气象资料服务不断格点化、精细化,对气象数据基于GIS(geographic information system,地理信息系统)的显示发布要求进一步提高。当前各气象业务系统在建设时往往存在重复处理气象数据及开发整合地理信息系统的现象,重复开发基于地理信息的可视化功能会造成资源浪费,延长开发周期。该文根据实际业务需求,集成了多源异构的气象数据,设计实现了基于GIS的气象信息标准化服务平台。该平台主要依托CIMISS(全国综合气象信息共享平台)数据接口、各类气象资料观测数据文件,依照地理信息数据图层金字塔分级方式,将气象数据进行重新组织,以Web方式提供标准化PaaS(platform as a service,平台即服务)服务,包括地图服务、地理覆盖服务和地理要素服务,以更便捷、更安全、更全面的方式向本级和下级单位各业务部门提供气象数据GIS服务(包含GIS和数据服务)。该平台在江苏省气象局多个气象业务系统中投入应用,有效减少了业务系统建设环节中的气象资料可视化重复开发所造成的资源浪费,收到了良好的应用效果。     

Assisted Peer-to-Peer Search with Partial Indexing

In the past few years, peer-to-peer (P2P) networks have become a promising paradigm for building a wide variety of distributed systems and applications. The most popular P2P application till today is file sharing, e.g., Gnutella, Kazza, etc. These systems are usually referred to as unstructured, and search in unstructured P2P networks usually involves flooding or random walking. On the other hand, in structured P2P networks (DHTs), search is usually performed by looking up a distributed inverted index. The efficiency of the search mechanism is the key to the scalability of a P2P content sharing system. So far, neither unstructured nor structured P2P networks alone can solve the search problem in a satisfactory way. In this paper, we propose to combine the strengths of both unstructured and structured P2P networks to achieve more efficient search. Specifically, we propose to enhance search in unstructured P2P overlay networks by building a partial index of shared data using a structured P2P network. The index maintains two types of information: the top interests of peers and globally unpopular data, both characterized by data properties. The proposed search protocol, assisted search with partial indexing, makes use of the index to improve search in three ways: first, the index assists peers to find other peers with similar interests and the unstructured search overlay is formed to reflect peer interests. Second, the index also provides search hints for those data difficult to locate by exploring peer interest locality, and these hints can be used for second-chance search. Third, the index helps to locate unpopular data items. Experiments based on a P2P file sharing trace show that the assisted search with a lightweight partial indexing service can significantly improve the success rate in locating data than Gnutella and a hit-rate-based protocol in unstructured P2P systems, while incurring low search latency and overheads.     

一种有效的分散式网格资源组织机制

对网络中分布的资源进行有效组织与调度是实现网格计算的关键。该文提出了一个以Spaces为核心的网格资源组织机制，以资源自治域的方式对网格内的资源进行划分，不同的资源自治域之间可以进行任务协作，多个分布可变的Space服务形成了对资源的有效聚合，提供了对资源访问的统一接口，给出了将该机制应用于一个大型企业的部署范例，为网格计算的资源组织提供了一种新方法。     

基于商务智能的黄山景区决策支持系统研究

黄山风景区经过多年的信息化建设,已初步建成了涉及景区多个领域的近30个应用系统。但是,这些系统之间彼此孤立,数据间难以实现共享,并且日益积累的大量历史数据没有得到充分利用。文中将商务智能技术运用到景区的业务经营管理中,通过利用ETL技术,解决各系统间的信息孤岛问题,并建设统一的数据仓库平台;在此基础上,根据景区日常业务经营管理需求,介绍构建基于商务智能技术的景区经营决策支持系统的框架、系统的决策功能以及关键技术分析。