高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

海量气象数据实时解析与存储系统的设计与实现

气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。     

基于气象应用的私有云存储方案

为解决气象观察数据的频繁写入和大数据存储的问题,设计私有云存储模型。该模型分为用户访问接口层、元数据存储层、实体数据存储层和关系数据库4层结构。采用HDFS集群分布式文件系统,实现气象大数据的存储和高效查询与搜索业务;使用关系数据库系统,实现数据采集端频繁数据写入的业务。实验结果表明,该平台实现了海量气象数据存储、查询统计和属性管理,克服了云存储单条插入效率低的缺点,较好满足了气象部门大数据存储和管理的需求。     

基于属性加密的气象云数据访问控制策略研究

随着气象业务水平的不断提高,气象数据的云存储和即时共享问题也日益突出。针对云计算环境下气象数据存储与共享面临的身份认证和访问控制问题,提出了一种基于多方授权的属性加密的访问控制模型。该模型采用一种适合云环境下大数据的属性加密方案,解决了气象部门用户多类性情况下的资料细粒度访问控制问题,同时引入全局ID概念和多方授权机制,解决了不同机构用户在气象部门各资料存储机构间的访问权限问题。系统具有较高的安全性和良好的实用价值。     

应用于数据库安全保护的加解密引擎系统

针对系统业务数据安全存储问题,采用加解密引擎服务对应用端发送数据进行加密,根据用户ID来识别不同用户的传输命令,利用用户私有的KEY进行加密存储。该方案在云计算平台下具有保护用户数据存储安全、隔离数据的功能。当应用端用户查询已加密数据时,加解密引擎服务端根据用户ID读取缓存区用户密钥,解密数据返回给应用端明文数据。当加解密系统和第三方应用进行集成时,加解密引擎将载人用户定义的加密算法、加密矢量等信息,按照用户自身的密钥加密敏感数据,可保证用户敏感数据存储安全并隔离不同用户的业务数据。以某市人口库系统集成为例,验证了方案的可行性。     

基于云计算的数据存储架构研究

随着云计算技术的发展,如何实现云环境中数据的高效存储是云计算提供服务的基本要求,本文详细讨论了云计算环境下数据的存储体系结构,为行业打造自己的数据中心提供了一个可靠的、高可用的、可扩展性的、可灵活管理和安全的参考方案,最后也对不同的企业在云计算中的不同的角色,给出了不同的发展策略。     

基于HBase的气象结构化数据查询优化

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。     

基于XML和正则表达式的气象数据处理系统

随着气象综合观测网建设的不断推进,气象实时数据信息传输种类和数据量急剧增加。同时,气象实时数据信息的传输处理呈现某一特定时段需并行处理多类实时数据信息的特点。为实现气象数据信息高效、可靠、完整、及时的收集、存储和共享,采用XML标记语言对各类实时数据信息的报文内容进行标识和说明的方法,形成各数据业务类型定义,结合基于正则表达式的数据处理应用,使系统具备适应气象观测数据业务变化的能力。实现了对实时气象数据信息在省级中心的收集、处理、分发,改善了原有业务系统繁杂、功能单一、扩展性差、效率低等缺陷。     

基于云计算的大数据存储安全策略探讨

随着科学技术的进步以及计算机网络技术的迅猛发展,云计算的出现使得大数据存储以及传输变得越来越方便快捷,成为了当前备受欢迎的新的数据存储形式。然而,任何事物的存在都具有其两面性,基于云计算的大数据存储再给用户带来方便和快捷的同时,也给人们带来了一定的困扰,例如数据的丢失、数据的窃取、数据冗余度太大等一系列的问题都在影响着用户的使用流畅性以及舒适性。其中,本文就是针对当前基于云计算的大数据存储安全策略进行了具体的分析和探讨,对进一步提高数据的安全性,保证用户的使用舒适度进行有效的参考和借鉴。     

气象数据完整性评估及可视化应用

省级气象数据存储环境虽然有效解决数据标准存储、共享服务的难点问题,但是存在数据完整性不足、可用性不高等影响数据质量的问题,造成气象行业用户的数据服务应用效果较差。针对数据质量中数据完整性这一评估指标,采用宁夏气象综合数据库作为研究数据集,结合数据完整性精确评估方法和大数据可视化技术对评估结果进行仿真,并在宁夏综合气象数据库管理系统中进行应用,为后续完善省级气象数据环境建设提供借鉴。     

云存储安全技术研究进展综述

云存储服务涉及大量的用户隐私数 据,因此其安全性和隐私性至关重要。为此,本文针对云存储的重复数据删除、隐藏存储、 数据加密与密文搜索以及数据完整性审计４个方面,介绍当前云存储安全技术研究的进 展, 并探讨提高商业云存储系统的安 全性和隐私性的未来研究方向。 其中,云存储的可重复数据删除技术旨在同时对抗文件识别攻击等多种攻击,减少额外 服务器开支,并提高用户收益。隐藏存储技术采用模块化结构和异步机制等方法降低 云存储系统的计算量,并提高其安全性和可扩展性。云存储的数据加密和密文搜索在传统加 密的基础上,基于密文策略属性的加密技术实现,提供密文搜索,防止用户身份隐私的泄露 。数据完整性审计系统针对用户密钥泄露等安全问题,旨在为用户提供安全、高效和支持审 计的存储服务。     

基于云计算的安全数据存储结构浅析

随着现代化科学技术的快速发展,用户对安全存储数据的要求越来越高,云计算是一种以互联网为网络平台的新兴计算方式,将传统计算机网络的低通用、高成本、高集中服务配置转变为高通用、低成本、高分布的全新计算模式,基于云计算的安全数据存储结构被广泛的应用在社会多个领域。该文主要分析了基于云计算的数据存储结构概述和基于云计算的数据存储安全技术。     

基于云计算的安全数据存储结构浅析

随着现代化科学技术的快速发展,用户对安全存储数据的要求越来越高,云计算是一种以互联网为网络平台的新兴计算方式,将传统计算机网络的低通用、高成本、高集中服务配置转变为高通用、低成本、高分布的全新计算模式,基于云计算的安全数据存储结构被广泛的应用在社会多个领域。该文主要分析了基于云计算的数据存储结构概述和基于云计算的数据存储安全技术。     

基于云计算的自动气象监测网络系统研究与实现

针对目前自动气象监测系统在建设和运行中出现的硬件成本高和信息孤岛等问题,提出了基于微软的Windows Azure云计算平台的自动气象监测网络系统。系统采用通用分组无线服务（GPRS）组网技术实现自动气象站的接入,运用微软的Blob、Table存储和SQL Azure数据库进行海量数据存储,结合ASP.NET及Flash技术在Windows Azure平台上开发和部署Web的门户网站,为用户提供统一访问平台。结果表明该系统的实现较好地解决了问题,对各种范围内自动气象监测网络系统的开发具有建设性意义。     

云计算环境下数据存储安全技术研究

随着云计算服务应用的不断深入，数据存储的安全问题引起了用户的高度关注。为确保数据在网络服务器上的存储安全性，存储加密技术被广泛的应用。基于此，提出云计算环境下的数据储存安全技术问题。通过理论知识分析云计算与云存储的架构，了解云计算与云存储的关系，针对数据存储安全现状提出混合加密解密技术，弥补单独使用对称加密和非对称加密的不足。结果证明：混合加密解密技术兼顾了数据存储安全性与传输效率，是一种解决数据存储安全问题的可行性方案。     

基于MongoDB的气象数据存储检索系统#br#

近年来气象数据呈现多源化和爆炸式增长的态势,传统的关系型数据库已不能满足气象数据发展的需求。结合气象数据的地理空间特点,提出一种基于MongoDB的气象数据存储检索系统。本系统对气象数据建立空间索引,加快了气象数据的查询效率,为精细化、格点化预报提供了有力的支撑。实验结果表明,对于海量的气象数据,MongoDB具有强大的存储和检索能力,各个方面的性能明显优于关系型数据库。     

超融合技术在气象信息基础设施中的运用

本文探讨超融合虚拟技术在气象信息基础设施中的应用，以期完成传统虚拟化架构向云计算环境的转型。本研究从存储、计算、网络三个方面着手，搭建基于超融合虚拟技术的气象信息系统，实现动态迁移及短时切换，支持多种备份。搭建过程中涉及的关键技术包括虚拟化平台构建、跨平台迁移、安全防护，其在可靠性、扩展性、运维成本方面具有一定优势。通过超融合虚拟技术，为气象业务服务提供有力支撑，提高气象数据运行的安全性和有效性。     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

初探云计算与气象数据处理

云计算是在网格计算基础上提出的一种新型计算模型,是下一代网络计算平台的核心技术,它提供了可靠安全的数据存储、方便快捷的互联网服务和强大的计算能力。对气象部门而言,云计算可能成为未来气象数据处理和分析的基本平台,同时对气象资源的开发也提出了新的思路。     

基于云计算的数据安全存储策略研究

数据安全问题是困扰云计算发展的主要问题之一,针对目前云计算应用中用户数据安全存储需求提高,需要极大提高数据读写效率的问题,提出采用对称加密算法与非对称加密算法相结合的加密、解密方案,利用对称密钥适合对大规模数据加密,而非对称密钥本身安全性较高的特点,充分发挥了两者在云计算环境下的优点,实现了一种存储安全性好而且读写效率高的数据存储策略;力图在数据安全性达到非对称密钥加密体制的前提下,使算法效率接近对称密钥加密体制的水平。