宁夏智能化综合气象业务服务共享管理平台设计与实现

文章按照标准化、集约化、智能化的理念,基于云端部署技术,提出了宁夏智能化综合气象业务服务共享管理平台的设计思路和总体架构,建设了宁夏气象基础数据库、业务产品库、服务产品库,构建了业务产品自动化生成系统、服务产品智能化制作系统、服务信息智慧型发布系统和信息共享与管理系统。通过数据存储、数据服务接口、数据资源管理、数据加工流程的标准化,设计了以标准化体系为基础的集约化数据环境。通过数据环境集约和业务系统集约,设计了以数据驱动为特征的集约化产品加工系统,形成统一的数据加工流水线。突出智能化要求,设计了以智能化为目标的数据分析算法和智能化系统运行控制,并在业务产品自动化生成、服务产品智能化制作、服务信息智慧型发布方面进行了探索。平台设计理念先进,技术前沿,流程简洁,功能完备,运行高效,充分体现了数据资源标准化、业务系统集约化和计算运行智能化的要求,平台的开发建设将极大地推进宁夏气象现代化进程,对于发展智慧气象具有重要的参考价值。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

专业气象服务业务工作平台实现

根据省级专业气象服务的需求和业务工作流程的需要,设计开发了业务系统工作平台,平台针对专业气象服务产品制作数据来源的多元化,进行了资料采集的实时数据监测及分类处理,具有专业用户分类管理和用户权限相结合的统一集成的专业气象服务产品多功能制作界面,能动态生成每天专业气象服务产品制作流程,系统可对用户制作的产品进行产品预览、存储、发布和系统用户日志管理等操作,实现了集数据信息采集处理、产品加工制作、产品分类发布、业务功能管理等功能的省级专业气象服务业务工作平台.     

面向CIPAS3.0的气候数据环境设计与实现

本文针对气候监测预测分析系统（CIPAS3.0）数据环境的系统架构、总体设计，提出系统实现的若干关键技术并进行深入分析。CIPAS3.0作为国家气候中心面向气候监测、预测、诊断业务的核心业务系统，其数据支撑环境已全面融入气象大数据云平台“天擎”，针对不同存储格式的数据源，建立了以GBASE和PostgreSQL底层存储架构为基础的气候专题数据库，采用基于配置文件的可插拔数据加工处理框架，并提供了具有数算一体能力的数据访问接口。CIPAS数据环境设计采用OBS（Object Storage Service）对象存储进行产品的管理，同时针对数据产品完整性和分布式集群管理建立了全流程的监控系统，实现了数据从采集、入库、存储、加工处理、访问、监控等各环节的支撑作用。目前，CIPAS3.0数据环境已投入业务使用，其建设成果在国家级业务单位和试点省份的试用显示出其在支撑业务应用能力与发展前景方面具备较好的基础。     

基于互联网技术的新一代气象预报服务业务平台

气象业务平台是开展气象预报、气象服务工作的基础平台。早期的各种单机版气象服务系统,数据分散,运行环境不一致,大量的信息不能互联互通,缺乏对业务服务流程各环节的有效控制,直接影响气象服务能力的提高。2004年,陕西省气象局下发气象业务平台建设指导意见,各级气象部门把业务平台建设作为工作重点。宝鸡市气象局立足于现有的气象宽带网网络环境和硬件设施,针对平台建设中数据共享、流程控制、产品加工制作等需求,组织开发了基于互联网技术的新一代气象预报服务业务平台。     

基于数据湖的智能网格气象预报业务产品服务模式初探——以江西省为例

随着智能网格业务不断发展,智能网格气象预报业务产品种类、数量日益增长,给产品的存储管理带来挑战。针对江西省智能网格气象预报业务产品收集及存储现状,采用PostgreSQL、Kibana、Elasticsearch等开源技术,提出了基于气象大数据云平台的气象数据湖建设思路,实现产品集中存储和管理,并提供统一共享服务,解决了海量多源数据产品存储、管理和共享等技术难题,为业务用户能够高效共享和应用数据产品提供数据环境支撑。     

基于CIMISS的气象数据处理时效监视系统设计与实

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统（China Integrated Meteorological Information Service System,简称CIMISS）的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

基于CIMISS的气象数据处理时效监视系统设计与实现

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统(China Integrated Meteorological Information Service System,简称CIMISS)的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

数据湖技术在气象卫星资料业务共享中的应用

文章依托大数据云平台·天擎系统的共享NAS存储,通过省级气象通信系统的文件分发策略,将气象卫星广播数据迁移到共享NAS上进行统一存储。基于B/S系统构架搭建气象数据湖对大数据云平台·天擎系统的共享NAS存储上的数据进行统一管理。数据湖提供了前端图形界面对目录权限和账户权限统一管理,一方面规范了数据访问权限,保障了数据和账户的安全性。另一方面解决了因数据反复迁移、多处存储而造成的资源浪费,符合气象业务的发展需求。     

标准化气象数据服务接口设计与实现

为统一气象应用系统数据对接方式,规范气象数据使用环境,以国省两级气象信息化行动方案为纲领,采用Spring Boot和Spring Cloud微服务框架,设计和开发了标准化气象数据服务接口。标准化气象数据服务接口遵循气象信息化标准体系,采集和加工各类气象数据后汇入气象数据资源池,统一通过RESTful API发布数据,为全宁波市气象应用系统提供标准化数据对接服务。该接口改变了应用程序直接读取数据库的旧模式,降低了应用系统的开发成本,同时加强了运维部门对各类气象数据访问的监控和管理。文章主要介绍了气象数据服务接口的设计和开发过程,并详细描述了开发过程中涉及的接口规范、业务流程和关键技术。     

积温效应在电力日峰谷负荷中的应用及检验

从电力气象服务需求出发,利用2001—2010年5—9月河北省南电网逐日电力日峰负荷、日谷负荷与对应时间的气象资料,探讨晴热天气和闷热天气对电力日峰负荷、日谷负荷的影响特征。分析发现持续3 d以上的闷热天气相对晴热天气使电力日峰负荷、日谷负荷增长更显著;日最高气温32℃是引起河北省南电网日峰负荷增长的初始气温敏感点,35℃为强气温敏感点,38℃为极强气温敏感点,日最低气温25℃为引起日谷负荷增加的敏感气温临界点;建立了引入积温热累积效应的日峰负荷、日谷负荷多元回归气象预测模型,经2011—2013年应用检验,日峰负荷、日谷负荷预测平均相对误差分别为4.8%和3.5%,提高了预测准确率,对电力调度具有参考价值。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

台风及海洋气象一体化预报平台的开发与应用

台风及海洋气象一体化预报平台为面向台风和海洋气象业务的预报预警服务的支撑系统,集数据采集、转换、预报、分析、产品制作、发布等功能于一体。该平台基于人机交互气象信息处理和天气预报制作系统MICAPS4（Meteorological Information Comprehensive Analysis and Processing System Version 4）框架开发,结合台风、海洋气象新型的观测和预报数据,实现台风、海洋气象数据的集约化检索与显示、精细化格点编辑、台风和海洋气象产品制作、产品发布等功能。台风及海洋气象一体化预报平台设计基于面向服务和分层体系结构,采用组件化设计方法,涵盖数据解析、分析处理、产品制作、交互工具、配置管理等核心组件,形成可扩展的业务功能模块和二次开发接口,目前已作为中央气象台台风海洋气象预报预警业务的主要平台投入使用。     

MICAPS4预报业务系统建设进展与未来发展

以精细化预报为标志的现代天气预报业务对高时空分辨率气象数据的应用提出了更高的需求,而传统的预报分析制作系统MICAPS3（Meteorological Information Comprehensive Analysis and Processing System Version 3）无法满足符合大数据特征的实时预报相关的数据应用。同时,模式预报和集合预报应用已在各专业预报领域中发挥越来越重要的作用,网格预报产品正在涵盖全部的预报业务流程,而MICAPS3无法提供便捷高效的支撑。为解决上述问题,国家气象中心启动了MICAPS4建设,一方面建立了基于大数据的气象实时预报应用技术体系,解决了气象大数据处理、存储、分析和显示效率的关键技术难题;另一方面搭建了多个满足不同复杂预报业务需求的专业化版本。MICAPS4将信息化技术与预报技术、预报业务流程紧密结合,解决了现代化预报方法的平台化集成应用与精细化预报制作的关键技术难题,基于MICAPS4基础框架的多个专业版在中央气象台和部分省级气象台进行业务化应用推广。基于CIMISS（China Integrated Meteorological Information Sharing System）-MICAPS4的海量数据存储环境,极大减轻了系统部署和本地化工作量,显著提升了数据解析及数据存储访问效率。     

气象灾害灾情共享系统的设计与实现

气象灾害灾情共享系统设计用于实时、历史气象灾害灾情数据的收集、上报、传输、处理、应用和管理。系统分为采集传输、数据逻辑和应用服务3层,由灾情直报客户端、数据传输分系统、灾情预处理和入库分系统、气象灾害灾情收集、整理、分析和评估网站、气象灾害灾情综合数据库组成。重点介绍构建气象灾害灾情系统的灾情数据规范化收集、质量控制和空间化分析等关键技术。在国家级气象部门的业务应用表明,系统实现了干旱、暴雨、台风、高温、低温等气象灾害灾情收集、处理、分析和共享,能够满足灾害性天气预报和服务需求,并对各级气象部门构建气象灾害灾情共享系统具有指导意义。     

气象灾害风险管理系统设计与应用

为满足我国气象灾害风险管理业务体系建立和发展的需求,有效支撑防灾减灾决策服务,设计并建设了气象灾害风险管理系统。该系统包括大数据应用、模型算法、在线分析与产品制作、综合运维等分系统,面向暴雨、台风、干旱、高温、低温等主要气象灾害,覆盖气象灾害风险管理业务的主要环节,实现灾害监测识别、影响评估、风险评估、风险预估和风险区划等功能。系统探索应用时空匹配的大数据融合、Web-GIS、空间数据分布式存储、微服务和多租户等技术。目前,系统可实现实时发布灾情监测、灾害事件识别、影响评估、风险评估、风险预估、风险区划等多类业务产品。在国家级气象业务部门的应用显示,该系统具有良好的业务能力与发展前景,有助于推进客观化、定量化、精细化气象灾害风险管理业务发展,提升防灾减灾决策服务能力。     

基于RBAC的气象多维数据权限管理模型的建立

在传统的基于角色访问权限管理 (RBAC) 模型基础上结合气象数据自身特点及共享服务中的权限控制需求,提出了一种符合气象资料管理特点的多维度权限管理模型。该模型充分考虑了气象数据进行资源共享时资料分类众多、层次化结构复杂、检索粒度不同等特点,有针对性引入了客体维度概念和更灵活的权限管理机制,较好地满足了气象部门数据共享服务系统建设的需求。该方案作为全国综合气象信息共享平台 (CIMISS) 数据服务权限控制模型的前期试验研究,构建一个多维数据权限管理原型系统用于数据访问控制。作为通用性模型,该模型可以延伸用于气象数据服务类系统应用,对确保数据库的信息安全、防止用户越权访问数据、保障管理信息系统的正常运行具有重要意义。