气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

应用数据库技术实现气象电子数据资料的快速存储与检索

随着数据库应用技术的发展,伴随气象业务领域的不断拓宽,对气象资料存储和查询实效的要求越来越高,仅凭传统翻阅原始凭证查询气象资料已远远不能满足现实需要,该文应用数据库技术,实现电子数据资料的存储、检索和一键调阅,实践表明有效地提高了气象资料的检索效果。     

基于Internet面向社会公益性共享的气象科学数据存储检索策略研究

通过对气象科学数据分类及其特点的分析,在参考国内外同领域现状和相关技术发展趋势的基础上,根据国家、社会特别是科学研究用户需求的特点,对基于Internet面向社会公益性共享的气象科学数据存储检索策略进行了研究和探讨,根据"需求牵引、技术驱动"的原则提出了在线存储、商用数据库与文件系统相结合的混合管理模式和数据适度冗余存放的存储策略,以及数据导航与定位、随机检索、在线下载、用户定制等多样化、可视化、人性化的存储检索基本策略建议。     

基于气象数据收集分发系统的RDBMS设计分析

在CTS(China Telecommunication System)全国综合气象信息共享平台中数据收集与分发系统数据库中,RDBMS作为结构性支撑环节,其设计与评估至关重要,本文以CTS系统为基础,对RDBMS的设计原则和容量估算两方面加以分析,面向气象数据系统工程师进行底层解读,解释分析了系统设计过程中原则性要点,可以有效指导气象数据传输业务基层工作人员进行系统部署运维。     

基于Cassandra的实时气象数据分布式存储系统

介绍了Cassandra关键技术、实时气象数据存储模型。湖北省运行MICAPS4采用基于Cassandra的分布式数据存储环境。对分布式存储系统高可用性、读取性能的测试结果表明,系统提高了MICAPS客户端对实时气象数据的检索效率,并极大减轻了各级台站的维护压力。     

Hadoop在气象数据存储中的应用

利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。     

基于气象业务零中断的存储数据迁移探讨研究

在广东省气象局2015年建设高性能存储设备逐渐老化,厂商即将停止设备技术支持服务背景下,针对存储所承载的气象业务系统面临着数据丢失或业务中断的风险问题,结合气象业务具有时效性、连续性等特点,通过运用异构迁移技术,对新存储建设要求、数据迁移原则、存储规划、风险评估、回退方案、数据迁移进行探讨研究,实现50多个核心关键业务系统的430TB数据在82小时完成平稳迁移,数据迁移速度最高达2.1GB/秒,平均速度1.5GB/秒,相比在应用层上做数据迁移的传统方法,异构虚拟化迁移技术具有迁移速度快、时间短、工作量少、业务无中断和可集中迁移的特点。     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

气象数据在多种类数据库上查询统计能力初探

气象结构化数据包含地面小时数据、地面分钟数据等多种数据种类,在分析和调用中需要利用时间属性和空间属性。随着数据量日益增大,高并发、复杂统计条件下的查询与统计对数据库的效率要求十分严苛。在此背景下,传统的关系型数据库逐渐难以满足实时应用需求。本文使用不同类型的分布式数据库和关系型数据库,结合气象业务使用场景,探索多种类型下数据库的使用性能,研究不同场景的性能差异与不同数据库架构框架之间的关系,以提高数据服务实时响应能力。     

典型气象年生成方法及原始气象数据质量分析

准确分析建筑热环境性能及其能耗需要代表当地平均气候状况的逐时典型气象年数据。根据我国现有的4次定时气象数据,选取建筑气候标准(GB50178-93)的7个气候区的代表城市,运用美国Sandia典型气象年方法,产生了代表城市的建筑能耗模拟分析用标准气象年数据。着重论述了针对原始气象数据的缺测情况,在生成典型气象年时的数据处理过程和质量控制原则,为建立和完善我国建筑节能用标准气象数据库提供了前期的理论分析基础。     

基于网络数据库的气象图形图像软件

网络和计算机存储技术的发展，使台站气象资料的数据库化保存变为可能。将各类气象数据保存到数据库中，改变原有数据保存文件化，减轻历史数据保存、维护的难度，提高数据检索的速度。选择Microsoft^(R)．NET作为运行开发平台，用C^ 语言作为开发工具，以SQL SERVER 2000作为数据库服务系统软件。     

气象数据应急传输解决方法初探

介绍两种气象数据应急传输解决的方法.以供各台站共同探讨.     

基于宽带网技术的气象数据传输系统

介绍了以ADSL宽带专线方式接入Internet，进行雷达资料等气象信息分发的实现方案，说明依托目前ISP提供的通讯手段进行气象信息的传输是完全可行的。     

GIS气象数据的管理与表达方法

将气象数据分为离散数据、格网数据和要素数据,在此基础上,建立了气象数据库,包括气象资料信息数据库、社会资料信息库、基础地理数据库和气象空间数据库,并详细分析了气象数据的组织结构、表达和处理方法,最后提出了基于GIS的气象数据管理与表达的处理方法.     

地理信息系统与气象的融合应用

地理信息系统是3S技术之一，融合计算机图形和数据库于一体，用来存储和处理空间信息的高新技术。通过分析气象数据的特点以及其应用特点、分析地理信息系统的发展现状，提出地理信息系统与气象的融合应用的构想。     

基于MATLAB实现3种气象数据的读取和绘图

针对MICAPS、GRIB和NetCDF三种气象数据的特点,利用MATLAB软件强大的数值计算和图形制作功能,介绍实现数据读取以及在地图上绘制等值线、填色等值线、风矢量和流线4种图形的功能和方法。     

高空气象探测数据评定方法研究

介绍了高空气象探测中数据不确定度的分析方法,并提出优化测量方案。     

国家级气象资料存储检索系统的建立

对国家级气象资料存储检索系统的需求进行了分析,进而对系统进行了功能设计,并在技术调研和分析的基础上确定了功能实现的技术路线：在数据管理方面采用数据库和文件系统相结合的方式;在存储管理方面采用分级存储管理模式,并解决了数据库的分级存储管理技术;在检索应用方面提供了程序调用式检索方式,并通过采用中间件技术实现了基于B/S结构的程序调用式检索;通过选用HPSS技术解决了由异种机型构成的高性能计算机群存储池问题;通过分别建立实时数据库和综合数据库解决了气象资料的规范化存储和实时业务使用需求之间的矛盾;在应用软件开发方面严格按照有关规范进行。     

基于XML的气象数据订阅系统设计

随着超文本标记语言(XML)成为互联网上数据表示和交换的标准,出现了许多与之相关的应用。在分析WIS/GISC数据获取的功能和性能需求基础上,设计一套基于XML的异步通信气象数据订阅系统。介绍该订阅系统的建设背景、主要用途和适用范围,描述了通过XML描述气象元数据、订单和分发元数据的方案、订阅功能设计和并行处理模式,给出了系统的数据流程。设计方案在实际系统中得以实施,达到了应用需求。