面向ITS共用信息平台的数据处理方法研究

对ITS共用信息平台中的数据进行分类,即静态数据、地理信息数据、动态数据和历史数据。在此基础上着重提出了针对实时交通流和空间数据的存取方式。面向ITS数据处理方法和技术包括数据质量控制、数据集成、数据压缩和抽样存储、数据融合。这些方法对于系统地处理、存储、获取和利用基于ITS共用信息平台的交通数据有较好的实用性和推广价值。     

基于SWIFT的海量数据存储平台设计

随着我国航天事业的迅速发展,利用海量数据存储平台存储产生的海量科研数据变得越来越重要。文中提出了一种基于SWIFT分布式存储系统的云存储方案,并构建了存储平台的基础架构。存储平台中SWIFT系统的设计主要包含数据存储的哈希过程、Ring优化、Partition优化和Replica副本决策4部分,通过数据模拟的方式验证了关键设计的有效性。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

多源异构电网运行时标量测数据接入方案设计

海量准实时数据服务平台是电网运行时标量测数据集中存储的场所;为了满足电网调度自动化、计量自动化等电网运行数据的接入需求,提出一种多源异构电网运行时标量测数据接入方案;该方案综合采用关系数据库和实时数据库存储数据,结合实时数据库存储数据的测点特性定义了电网时标量测数据存储命名规范,通过配置服务实现数据接入任务的启停控制和运行状态监控,使用接入调度器调度接入插件执行接入任务并引入主备冗余技术保证调度器的高可用;方案引入组件化程序设计思想,通过可插拔、易扩展的插件设计满足多源异构数据的接入需求;方案在南方电网公司海量准实时数据服务平台建设项目中得到实际应用,很好地满足了南方电网运行时标量测数据的接入需求。     

基于区块链的充电交易数据安全存储平台设计

电动汽车充电平台作为智能电网的重要组成部分,越来越多的用户使用充电平台内的充电桩进行充电,充电平台将会存储大量的用户交易信息。在现有的充电桩共享平台中,用户的充电交易数据被保存在中心化的数据库中,但这种过度中心化的存储方式极易遭受恶意攻击而引发单点失效以及重要交易数据被恶意篡改等信息安全问题,并因此可能造成大量用户隐私信息泄露。针对这些问题,利用区块链技术在电动汽车充电平台中选定若干充电站作为数据中心节点,设计了一个充电交易数据存储方案。用户可对交易后的个人数据进行加密控制数据使用权,各数据中心节点之间使用共识机制对加密数据进行去中心化地同步存储。安全分析表明所设计的数据存储平台能实现安全、有效的数据存储。     

基于LabVIEW多样式数据识别及存取的实现

LabVIEW被工业自动化、测试测量等领域广泛应用,但每个领域对于其采集数据的保存格式各有不同,保存格式的差异导致特殊的存储结构,造成数据存取较困难.基于LabVIEW的测试平台对于数据存取的需求,利用NI公司专用的DCT软件工具包,通过LabVIEW与SQL的连接及报表生成工作,提出一种基于LabVIEW多样式数据识别及存取方法,解决了各种测量参数的数据识别及存取问题,并在测试平台中应用此方案.结果表明,数据存取快速有效,报表输出简洁方便,具有重要的实用价值.     

船舶信息系统的数据分发与存储设计

随着船舶各个分系统之间数据交互要求日益增加、历史数据爆炸性增加,实现数据高效的分发以及海量数据存储日益重要。在分析数据分发服务DDS(Data Distribution Service)规范的基础上,搭建船舶信息数据分发系统,同时提出基于RDB和NoSQL(Not Only SQL)的联合存储方案。实现船舶信息系统的数据高效、实时发布,以及海量历史数据的有效存储、高效查询。通过搭建船舶仿真系统测试船舶信息系统的数据分发系统及其存储方案,实验结果表明将DDS技术和数据联合存储方案应用于船舶信息系统是可行的。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

面向海量文本数据的多任务并行调度加载技术研究与实现

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.     

高速海量数据的接收和存储系统的设计与实现

介绍了一种海量数据实时高速接收与存储系统的软硬件平台设计方案,详细论述了多线程技术和双缓冲区理论在数据实时接收存储数据领域的实现方法.实践证明,该方案可以有效地提高计算机系统接收与存储数据的效率、降低数据的丢失率,成功解决快速准确地实时接收与存储海量数据这一难题.     

基于ASP.NET构建宁夏气象下行资料监视平台

针对宁夏气象业务工作实际需求,设计和实现了基于ASP.NET+IIS+SQL Server的CMACast下行资料监视平台。该平台实现对下行气象资料的收集、分发、统计进行实时监视,为各业务单位提供Web监视平台。运行效果显示该平台是气象预测预报、科学研究、气象决策服务等业务工作中必不可少的系统平台。     

基于大数据的发电量预测分析数据平台建设

现有电力企业发电指标统计渠道较分散,发售配电各个环节产生的数据种类繁杂且体量较大,因此针对电力数据质量差、已挖掘价值低的问题,本文采用大数据预测神经网络和数据平台可视化展示的方法,以某发电企业为研究对象,构建了发电量预测的模型及以此为核心的数据平台。发电量预测的应用服务支持PC和APP端,涵盖了某电力企业所有控股电厂及新能源项目,以滚动预测的模式迭代优化算法模型,提高发电量预测精度,有利于安排生产、燃料采购、物资计划,进一步做好污染物排放预测和管控。平台重点实现了数据多维管理和用户界面的可视化展示。数据层面,从源头做好数据采集清洗和数据库实时数据交互;用户层面,更直观形象展示大数据预测从获取数据、数据分析及预处理、数据训练到预测的四个阶段。     

田湾核电站基于Elasticsearch的创新型数据应用研究与实践

针对难以在海量数据中快速定位目标数据的问题,田湾核电站对Elasticsearch这一搜索引擎技术进行研究,通过微服务架构设计模式和前后端分离的开发技术建立起三项具体数据应用,解决了数据索引和数据定位的问题,提升了工作效率。IT智能客服机器人平台建立起具备自动应答功能的在线服务平台,在线提供高效的IT服务,提升IT服务质量;智能化主数据检索平台将各类主数据资源统一汇总,实现在主数据层面的快速数据查找;集中系统日志检索分析平台实现对全部Web应用的日志收集、日志存储、日志分析和展示看板,提升应用管理效率。本文通过对搜索技术的研究,实现简单便捷的数据查询利用,为更多基于搜索技术的多数据应用场景提供参考。     

基于流计算的电力调度网络流量监测平台

由于电力调度网出现任何网络故障都可能发生极度严重的事故,因此具有的极高可靠性及安全性的要求.而当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求.因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成.本文结合电力调度信息网络的特点以及监测准确性及实时性的需求,构建出一个基于流计算的数据处理分析平台,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成流量异常监测场景.     

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问。从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台。平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用。同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。     

可验证医疗密态数据聚合与统计分析方案

随着移动通信网络的飞速发展,越来越多的可穿戴设备通过移动终端接入网络并上传大量医疗数据,这些医疗数据聚合后具有重要的医学统计分析与决策价值.然而,在医疗数据传输和聚合过程中会出现传输中断、信息泄露、数据篡改等问题.为了解决这些安全与隐私问题,同时支持高效而正确的医疗密态数据聚合与统计分析功能,提出了基于移动边缘服务计算的具有容错机制的可验证医疗密态数据聚合方案.该方案改进了BGN同态加密算法,并结合Shamir秘密共享机制,确保医疗数据机密性、密态数据的可容错聚合.该方案提出了移动边缘服务计算辅助无线体域网的概念,结合移动边缘计算和云计算,实现海量医疗大数据实时处理与统计分析.该方案通过边缘计算服务器和云服务器两层聚合,提高聚合效率,降低通信开销.同时,使用聚合签名技术实现医疗密态数据的批量验证功能,进而保障其在传输与存储过程中的完整性.性能比较与分析表明,该方案在计算与通信开销方面都具备突出优势.     

数据中心三维运行平台

三维运行平台主要为实现一个面向中小型数据中心的简单易用的管理系统来协助数据中心管理人员实现对数据中心的集中管理.用户在通过相关的授权认证后进入平台系统,完成对平台的通用功能的操作,具体包括可视化管理和可视化展示两个部分,可视化管理实现综合查询、系统监视、日志管理等内容,可视化展示借助Unity3D引擎,实现数据中心相关场景和模型的还原和实时数据三维展示.经过测试,该平台的使用极大了提高开发效率和平台可维护性,整个平台也很好的体现出三维可视化协作管理的好处,节约数据中心的管理成本和提高管理效率,降低潜在风险威胁.     

场站飞行保障数据可视化平台设计与应用

为提升航空兵场站信息化建设过程中的数据应用与管理能力,提出了一种基于Spark的场站飞行保障大数据可视化平台.以场站信息化系统和物联网络数据采集数据为基础,利用Spark计算引擎集成Kafka消息队列,使用Hive完成数据列表库的建立和存储,基于Spark RDD和Spark SQL完成数据预处理与交互,并选择Vue框架嵌入ECharts组件完成前端数据可视化呈现,并最终对设计方案进行了实现与应用.相较于当前业务隔离的信息系统建设模式,平台具备更高的数据融合与处理分析能力,能够更好地实现场站飞行保障数据价值.     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。