一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

面向CIPAS3.0的气候数据环境设计与实现

本文针对气候监测预测分析系统（CIPAS3.0）数据环境的系统架构、总体设计，提出系统实现的若干关键技术并进行深入分析。CIPAS3.0作为国家气候中心面向气候监测、预测、诊断业务的核心业务系统，其数据支撑环境已全面融入气象大数据云平台“天擎”，针对不同存储格式的数据源，建立了以GBASE和PostgreSQL底层存储架构为基础的气候专题数据库，采用基于配置文件的可插拔数据加工处理框架，并提供了具有数算一体能力的数据访问接口。CIPAS数据环境设计采用OBS（Object Storage Service）对象存储进行产品的管理，同时针对数据产品完整性和分布式集群管理建立了全流程的监控系统，实现了数据从采集、入库、存储、加工处理、访问、监控等各环节的支撑作用。目前，CIPAS3.0数据环境已投入业务使用，其建设成果在国家级业务单位和试点省份的试用显示出其在支撑业务应用能力与发展前景方面具备较好的基础。     

高频精细化气象格点数据实时处理系统设计与实现

以高频海量气象格点数据为研究对象，针对传统实时处理系统数据处理效率不高的问题，设计并实现了高频精细化气象格点数据实时处理系统的总体架构和业务流程，在分析海量高频次气象格点数据特点的基础上，设计和实现了符合气象业务需求的分布式存储模型；利用多通道动态感知技术实现了动态多通道的文件处理和文件到达的快速感知触发；利用实时数据快速处理技术实现基于精准位置寻址的快速数据块定位算法，进而实现数据块的精准定位；利用数据按需实时截取技术实现了在空间范围内按需进行裁剪的截取算法，进而实现数据按需抽取；实际业务应用表明，系统有效地提升了半结构气象数值预报产品数据的实时处理效率。     

MICAPS4预报业务系统建设进展与未来发展

以精细化预报为标志的现代天气预报业务对高时空分辨率气象数据的应用提出了更高的需求,而传统的预报分析制作系统MICAPS3（Meteorological Information Comprehensive Analysis and Processing System Version 3）无法满足符合大数据特征的实时预报相关的数据应用。同时,模式预报和集合预报应用已在各专业预报领域中发挥越来越重要的作用,网格预报产品正在涵盖全部的预报业务流程,而MICAPS3无法提供便捷高效的支撑。为解决上述问题,国家气象中心启动了MICAPS4建设,一方面建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题;另一方面搭建了多个满足不同复杂预报业务需求的专业化版本。MICAPS4将信息化技术与预报技术、预报业务流程紧密结合,解决了现代化预报方法的平台化集成应用与精细化预报制作的关键技术难题,基于MICAPS4基础框架的多个专业版在中央气象台和部分省级气象台进行业务化应用推广。基于CIMISS（China Integrated Meteorological Information Sharing System）-MICAPS4的海量数据存储环境,极大减轻了系统部署和本地化工作量,显著提升了数据解析及数据存储访问效率。     

基于IDEA数据平台的海珠城市生态气象综合系统建设

广东省气象探测数据中心提供的历史一体化数据访问平台(IDEA)高度整合了海量气象数据,通过3种标准的数据访问接口向省、市、县级气象部门提供气象类数据支撑。基于IDEA数据访问平台,开发了面向区县级、具有特色业务功能的海珠城市生态气象综合业务显示系统(H_VIEW),该系统采用WEBGIS、动态切图和单页面显示技术,实现了省、市、区的气象观测、数值预报与指导产品、GIS多图层信息的自由组合,重点设计与实现了海珠区的生态气象观测、城市气象服务、街道预报检验和实况预警提醒等特色功能。     

数值预报产品释用业务系统历史数据存储与检索

该文介绍了在国家气象中心中短期精细化数值预报产品释用业务系统中的历史数据存储结构的设计原理。基于该数据存储结构,依照用户的要求,可方便地选择区域大小,检索出某要素某段时间的数据,还可通过计算机编程实现国家级数值预报释用业务需求的历史数据处理和预报因子分析功能,表明新的历史数据存储结构简炼合理,灵活实用,能够极大地提高数值预报产品释用的工作效率。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

气候信息交互显示与分析平台 (CIPAS) 设计与实现

气候信息交互显示与分析平台 (CIPAS) 设计为面向气候监测、诊断、预测等基础业务支撑系统。CIPAS设计了面向气候业务应用的集约化基础数据环境,内容涵盖全时间序列的地面常规观测、指数资料、再分析资料以及数值预报产品等,并提供基于要素、层次、时间、范围、种类等查询参数的统一、简单的访问接口 (API);CIPAS设计采用多层次分布式架构并形成轻量级客户端,而客户端则采用组件化和插件化设计方法,涵盖数据、图形、分析处理、版面制图、配置管理等核心组件,形成可扩展和组装的基础业务功能模块及二次开发接口,并以工具箱的形式提供各种气候业务分析能力,如EOF,SVD等诊断分析工具。该文重点对CIPAS的建设原则、总体框架、主要功能、运行流程等设计进行详细介绍,并对平台实现所涉及的若干关键技术问题进行深入分析。CIPAS初步具备了气候资料综合检索、多维显示、统计诊断分析产品生成等综合业务功能,其建设成果在国家级和试点省份的试用显示其较好的业务应用能力与发展前景。     

东北区域空气质量数值预报模式应用研究进展

中国气象局沈阳大气环境研究在2014年基于CUACE和CMAQ建立了东北区域空气质量数值预报业务系统,本文介绍了空气质量数值模式的研究进展以及业务现状,为东北区域空气质量和雾霾预报提供了技术支撑。然而,随着预报精细化和更长预报时效的业务发展需求,存在预报准确率不高、计算资源短缺、科技创新能力不足等问题。本文基于存在的问题提出了东北区域空气质量数值预报未来发展建议与展望,包括加强大气污染源清单研究与技术规范制定、观测资料同化技术研究与业务应用、物理过程参数化方案的改进优化、发展数值预报产品订正技术、开发高分辨率7—10 d数值预报产品、加强人才引进和科技创新等。     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

基于MapReduce计算模型的气象资料处理调优试验

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。     

MARS软件在数值预报模式产品数据管理中的应用

该文简单介绍MARS (Meteorological Archival and Retrieval System) 软件的架构及组成部分,并基于MARS软件,介绍了数值预报产品数据管理系统设计与实现。通过在GRIB2数据段对应描述层次类型和气象要素的表格文件中定义新的层次类型和气象要素,在MARS软件解析GRIB2数据所需要查找的相关模板表格文件中定义气象要素对应的产品类型号、要素类别号、要素号、要素名称和要素名称缩写,说明GRIB2数据模板和代码表创建方法。以GRAPES模式产品GRIB2数据为例,实现应用MARS软件管理GRAPES模式产品GRIB2数据。结合存储管理TSM (Tivoli Storage Manager) 软件,研究开发MARS软件和TSM软件连接接口程序,实现数据的直接迁移和回调。以T639L60模式产品为例,通过测试检索性能,MARS软件检索数值预报产品速度超过当前国家级气象数据管理系统数据检索速度1倍,说明MARS软件检索数值预报产品数据具有时效优势。     

国家级强对流天气综合业务支撑体系建设

国家级强对流天气预报业务正在从以短期预报为主调整到短期和短时预报并重的业务格局。文章从强对流天气预报技术发展与服务需求的角度,重点介绍了国家级强对流天气综合业务支撑平台及其核心技术。该平台以气象数据组织和图形化表达两个核心要求为牵引,发展了数据分析处理系统、自动气象绘图系统和WEB检索与显示系统。数据分析处理系统基于多源观测资料、中尺度数值预报和全球数值预报,发展了集约、高效的强对流天气监测和临近预报、短时预报和短期预报等数据分析处理技术,是整个平台的核心;主要核心技术包括:从不稳定与能量、水汽、抬升与垂直风切变等条件出发,以归纳总结的分类强对流天气概念模型为基础的分类强对流短期预报分析技术;应用"配料法"发展的分类分等级的强对流天气客观概率预报技术;强对流短时预报技术包括高分辨率数值预报释用、多模式预报集成、对流尺度分析、实况和模式探空分析等多项技术,重点实现了从过去3 h实况到未来12 h预报的无缝隙衔接;强对流的监测和临近预报技术在基于多源资料的强对流天气实况与强对流系统监测技术基础上,发展了基于雷达特征量、强对流实况、各类强对流指数和预警信号等多源信息的报警技术。自动气象绘图系统实现了高效、便捷地接入多种数据、自动进行数据分析和制图等多项功能。在预报服务方面,基于WebGIS发展了县级分类强对流预警信号和国家级分类强对流预警预报产品共享技术,实现强对流短时预报业务的高交互性与上下互通的功能。     

一种基于进化策略的气象学反问题求解算法研究

数值天气预报准确性直接取决于好的预报模式和初始场。在预报业务中,依赖观测数据调整初始场和模式参数属气象上的反问题。通过对模式参数识别和初始场调整问题进行等价转化,提出了一种基于进化策略的气象学反问题求解算法。在一维扩散方程和Lorenz-96简单预报模式进行了两类理想数值试验,试验结果表明经过优化后的预报误差均控制在非常小的范围内且预报稳定,从而验证了方法的有效性。     

Rapid scale-up of negative emissions technologies: social barriers and social implications

We describe a new approach that allows for systematic causal attribution of weather and climate-related events, in near-real time. The method is designed so as to facilitate its implementation at meteorological centers by relying on data and methods that are routinely available when numerically forecasting the weather. We thus show that causal attribution can be obtained as a by-product of data assimilation procedures run on a daily basis to update numerical weather prediction (NWP) models with new atmospheric observations; hence, the proposed methodology can take advantage of the powerful computational and observational capacity of weather forecasting centers. We explain the theoretical rationale of this approach and sketch the most prominent features of a “data assimilation–based detection and attribution” (DADA) procedure. The proposal is illustrated in the context of the classical three-variable Lorenz model with additional forcing. The paper concludes by raising several theoretical and practical questions that need to be addressed to make the proposal operational within NWP centers.     

MICAPS4服务端系统架构设计

MICAPS4体系采用客户端/服务器的系统架构,其中服务端系统是MICAPS4的重要部分,利用分布式存储与分布式计算技术,构建可容纳102 TB量级的气象实时数据,千万数据总量,面向数百并发用户的服务器集群系统。MICAPS4服务端系统在国内率先实现全部气象实时数据由文件到数据库、从集中式系统到分布式系统的迁移,该系统自2015年起在全国推广使用。在海量气象数据和大量用户并发访问的环境下,表现出很高的稳定性和优越的读写性能,同时具有便捷的扩展性和可维护性。MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统,分布式存储子系统为MICAPS4客户端提供了近实时数据的高速随机与顺序读取服务,分布式前处理系统利用对等分布式架构实现了海量气象实时数据的流式计算,站点实况轮询系统实现了跨系统的实况数据异构副本的同步功能,查询服务器系统利用多线程服务器技术实现了MICAPS4客户端的实时计算请求,监控系统利用部署于每个节点的探针实现监控信息的主动上报。     

An Assessment of Turbulence Profiles in Rural and Urban Environments Using Local Measurements and Numerical Weather Prediction Results

Profiles of velocity variances based on observations in flat rural areas are well established, and are used for modelling turbulent dispersion in all types of regions including those of complex terrain and urban areas. Surface-based and balloon observations are used to assess the profiles in both rural and urban areas. It is shown that, with good meteorological inputs for the locality of friction velocity and surface sensible heat flux, the profiles are equally well suited to urban areas. The sensitivity of the profiles to the input meteorological data, in particular using numerical weather prediction (NWP) data, is discussed. This highlights the limitations of NWP data for dispersion modelling and stresses the importance of schemes for modelling urban meteorology.The British Crowns right to retain a non-exclusive royalty-free license in and to any copyright is acknowledged.     

国家气象计算网格的设计与建立

气象部门内高性能计算资源与支持能力具有地域分布不均匀的特点,地方部门与国家级单位相比,在资源丰富程度和开发应用水平上都存在较大差距。针对气象部门国家级、地方单位的资源整合、共享和管理的需求,该文提出了一个国家气象计算网格的设计方案。设计方案采用国家级、区域、省级三级节点布局,通过跨广域范围的气象宽带网互联,基于整合的资源平台设置了资源管理、应用服务和用户接口等功能层模块。利用UNICORE等关键技术,开发实现了气象计算网格软件模块。建成了一个全国分布的6个网格节点,提供网格中间件和定制业务运行两种资源共享服务方式。业务运行以来,为资源匮乏地区的气象用户共享分发预报服务产品,为当地的减灾防灾工作做出了贡献。     

AN ERROR ANALYSIS ON THE SIMULATED DATA OF TOVS HIRS BY RTTOV5 MODEL*

The sounding data of meteorological satellites provide not only the real time weather information about the distribution of both cloud and rainfall,but also some others about the movement and state of atmosphere.They are important variables and parameters for NWP model used to simulate and predict atmospheric state.In order to introduce remote sensing information from satellites into NWP model,there is an efficient way of establishing an RT model by use of the atmosphere radiation sounding data of meteorological satellites to get the variables and parameters valuable to NWP model.In this paper,we set up profiles of air temperature and water vapor from the surface to upper (0.1 hPa) using the radiosounding data and the surface data from May to August 1998 atmosphere East Asia.A TOVS RT model (RTTOV5) is provided to compute the value of radiation value of HIRS channels in NOAA14.Then the radiation values of 19 HIRS channels are gotten.After matching these data computed by the RT model and the corresponding values coming from satellite sounding in time,the statistic distribution of bias between tile model output and the satellite sounding at each sounding channel can be gotten.At the same time.the distribution of RMS to every TOVS HIRS channel,the standard biases to different scanning angle to each channel are also obtained.