基于CIMISS的气象数据处理时效监视系统设计与实

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统（China Integrated Meteorological Information Service System,简称CIMISS）的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

全国综合气象信息共享平台架构设计技术特征

全国综合气象信息共享平台（CIMISS）是依托天气雷达数据共享平台工程项目建成的国省统一数据环境,实现各类气象数据的规范管理,直接支撑气象业务应用。该文介绍了CIMISS架构设计及核心内容,结合业务应用效果的实例分析,阐述架构设计如何有效提升数据和应用的集约高效。借鉴企业架构（EA）方法,建立了业务架构、数据架构、应用架构、技术架构和标准规范体系。采用一系列架构优化设计,包括实现元数据统一管理同步、数据质量控制、统一业务监控、异构数据库统一数据服务、优化信息流程、分层设计和集群技术应用等,满足CIMISS标准性、扩展性、稳定性等需求,获得良好的全流程数据服务时效,核心资料接收入库总耗时均小于3 min,数据访问效率较国家级气象资料存储检索系统提升2~5倍。继承现有CIMISS架构设计成果,正在设计中的气象大数据平台整体技术架构将向云平台、分布式存储等新技术升级。     

地面气象观测无人值守系统的设计与应用

气象观测数据的传输率和可用率是气象预报服务及时准确的基础,是衡量通信系统运行可靠程度及运维保障能力的关键指标。长期以来,各级业务人员通过不间断值守班来保障气象观测数据的传输质量。随着现代化气象业务体系的不断发展,气象业务对资料传输的时效性、完整性要求也越来越高,对气象资料的综合监控能力也提出了更高的要求。在全国地面气象业务体制改革的要求下,广西率先在全国实行了基层台站无人值守业务调整,设计并实现广西地面气象观测无人值守系统。该系统集数据传输监控、数据传输时效统计于一体,通过自动监控告警、主备站资料(要素)智能识别替代、双条传输链路热备等设计,建立一套无人值守传输业务流程,从技术上支撑业务改革调整,大大降低基层业务人员工作强度。业务应用分析表明,无人值守系统运行可靠,业务质量保持高水平稳定,业务效益凸显。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

海量气象站点数据分布式存储测试及其应用

站点数据是气象观测数据的主要组成部分,每日检索量大,且时效要求高。为了更好地管理与服务气象资料,国家气象信息中心从2013年开始致力于新存储技术在气象领域的探索。为了更好地兼容目前的存储与服务方式,选择了分布式关系型数据库作为技术方案,并开展了一系列仿真气象业务场景的测试。测试结果表明,分布式数据库无论在数据插入还是在检索方面都具有较好的性能,同时具有较好的可靠性、灵活性和扩展性。根据测试结论,搭建了分布式存储试验系统,导入了CIMISS地面、高空等建站以来的历史数据,并接入了站点数据的实时流程。实现了海量站点资料的完全在线,同时也满足了气象业务对资料高时效性的需求。     

江西省CIMISS降级备份系统的设计与实现

为提高CIMISS数据服务能力,研究CIMISS系统数据处理和服务流程,梳理分析了CIMISS数据处理入库积压原因,针对可能出现因软、硬件异常导致CIMISS数据服务性能大幅下降的情况,根据系统结构特点和数据服务需求,设计了CIMISS降级备份系统。通过运行测试发现,该降级备份系统可稳定提供气象业务所需的基本气象资料,能有效应对CIMISS数据服务终止等极端事件,同时显著提高CIMISS中本地化数据的入库处理效率。     

地市级气象综合观测自动化监控报警系统的设计与应用

以全国综合气象信息共享平台（China Integrated Meteorological Information Service System,简称CIMISS）内气象资料为数据源,设计一个气象综合观测自动化监控报警系统,实时监控观测数据的传输情况,同时通过收集历年来各地区观测到的历史极值、故障和数据异常情况,建立要素阈值算法判断气象观测数据是否异常,并将异常告警信息分别推送至电脑端和手机微信端,方便气象工作人员查看,及时进行故障处理。该系统集多个监控平台为一体,对气象观测数据监控和告警效果良好,大大提高台站维护维修工作效率,进一步提升了气象装备保障能力,对推进气象现代化、智能化、自动化具有重要意义。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

综合气象观测运行监控系统

为了提高我国气象装备运行保障能力和观测数据质量,中国气象局气象探测中心从2006年起创建了综合气象观测运行监控系统,并依此逐步建立了监控业务。文中围绕气象装备保障业务关于台站、省级和国家级的三级用户需求,明确了以探测设备运行状态监视、技术保障信息管理、观测数据质量监视为主线的监控业务设计思想,并奠定了监控业务系统的技术框架,提出了＂两级布设、三级应用＂的分布结构,基于互联网和WebGIS技术,建立了一套实时气象观测网运行监控和分析系统,具备实时设备运行状态监控、装备保障信息管理、观测数据质量监视、基础信息管理、运行统计评估等功能。在此基础上,文中介绍了气象观测运行监控业务概况,通过监控系统实现了对全网设备运行状况的实时掌握,开展监控产品分析服务,定期评估装备运行效能和数据质量状况,使重要气象装备如天气雷达的可用性大幅提升,为提高气象装备运行效能发挥了重要作用。     

基于CIMISS的广西气象服务信息综合业务系统的设计与实现

以WEB、ASP.NET和VC++技术为依托,建立了基于CIMISS的广西气象服务信息综合业务系统,系统采用C/S与B/S混合架构,各层分别独立,以提高系统的安全性、稳定性和可维护性。通过运用气象数据统一访问接口接入CIMISS数据环境获取气象资料,以及建立气象信息数据库,实现各类信息的汇集和共享,为广西气象服务提供更有力的业务支撑。     

省级区域站数据直传监控系统设计与实现

全国省级区域站数据传输业务流程逐步由市级转发省级调整为直传省级,省级区域站中心站成为数据传输的枢纽。区域站数据传输业务的调整给省、市、县3级区域站运维保障工作带来了一定的挑战。为了应对统一管理难、监视难、故障诊断难的挑战,本文设计并实现了一种省级区域站数据直传监控系统。该系统依托CIMISS系统和省级区域站中心站,基于Django框架实现了CIMISS CTS环节、省级区域站中心站环节、区域站报文来源环节、区域站电池环节的监视和展示,以及区域站报文历史传输情况的展示和故障诊断。该系统已经投入业务应用,进一步提高了全省区域站数据传输业务的运维保障能力。     

基于ArcGIS Engine的气象设备监控方法

运行监控系统的建设提升了综合气象观测网气象探测设备的运行保障能力.作为运行监控系统的有益补充,以ArcGIS Engine为核心技术,构建了面向气象观测领域的GIS应用程序平台,重点讨论了气象观测设备的监控方法,解决了C/S架构下气象设备监控的数据采集、数据处理、地图更新等若干关键问题,并将数据检索、地图展示、设备监控、统计分析、产品发布、观测站网信息管理等融为一体,实现了气象设备监控的多元化、信息化、可视化、专业化、产品化.     

地面气象观测业务集成平台

详细介绍了自主开发的"气象站观测业务集成平台"。该平台是台站普遍使用的测报业务软件基础上的一个扩展平台软件,主要实现自动气象观测站的运行监控、通信链路监控、数据质量检查、重要天气提示、自动报警、业务工作流程提示、自动排班、质量报表生成、设备管理、通信质量统计等功能。综合运用3G移动通信和信息化技术,与现行的地面气象观测业务软件相配套,对于提高测报业务质量、减轻测报人员的工作强度、实现气象探测业务自动化发挥了重要作用。     

基于MQ的气象数据采集与监控系统设计

针对气象业务和公共服务对气象数据统一管理与监控的需求,基于MQ(Message Queuing)消息中间件技术,设计并实现了一种气象数据采集与监控系统,由于多种气象探测设备数据源分散、难以统一管理,本文从数据采集端入手,对不同种类,格式各异的气象采集数据进行资料种类划分、数据消息规整、采集路由配置等方式实现了多种气象探测数据采集流程的统一,气象数据采集入库灵活及时,在数据流程环节中进行监控码的规范与定义,通过输出日志信息和监控信息,完成了客户端程序、气象数据更新状态、队列服务器等内容的监控,在装备运维的过程中,能够有效辅助于日常的故障发现与定位。     

微服务在气象数据服务中的应用研究

在气象数据服务逐渐接口化背景下,MUSIC作为CIMISS气象数据接口服务的主要系统,得到了各级业务部门的广泛应用,但也存在不完善和使用难等问题。基于MUSIC以微服务架构设计与开发气象数据服务系统,扩充了MUSIC接口,实现了接口编制、编排和图形化使用,提升了接口使用人性化水平,增强了MUSIC业务支撑能力和业务适应性。     

广西气象业务内网功能设计与实现

通过对广西气象业务内网系统建设的总体设计、功能规划以及首页动态布局管理、产品自动加工流水线、产品回写CIMISS流程、WebGIS可视化展示等关键技术实现和系统展示效果等方面进行阐述,介绍了广西气象业务内网系统的整体开发思路及具体实现。系统的建成实现了广西省级气象数据和业务产品集约共享,形成国省两级互补,为省市县三级用户提供业务辅助支撑。     

台站级气象观测数据流监控系统设计

针对目前气象业务监控系统存在的种类繁多、质量参差不齐、利用率不高等问题,利用信息化和集约化的理论,基于通用业务软件系统,开展对主要气象观测数据站点信息、资料类型、观测时间、业务节点、采集时间、发送时间等台站级数据全流程传输监控信息提取方法的研究,后续将逐步扩展到所有类型的业务数据。通过梳理主要观测数据传输流程,设计监控信息标准化采集协议并开发台站级数据流监控系统,实现数据流程传输最前端监控信息的有效采集,设计标准化传输协议并实现台站级与省级、国家级集约化监控平台的有效对接,为建立省级和国家级集约化的监控、展示和应用平台奠定基础。     

Python语言在CIMISS中的应用

CIMISS实现了国家级气象数据的整合集约,国省首次建立了统一的数据环境,并通过标准统一、功能丰富、调用高效的气象数据统一服务接口MUSIC。本文介绍了Python编程语言特性,及其相对于IDL,Fortran,Matlab等气象行业常用编程语言的优势。阐述了Python在国外气象行业中的应用,以及如何调用CIMISS的客户端SDK,Web Services以及Rest服务接口。气象科研人员通过掌握Python编程语言,能够快速地从CIMISS中获取和处理气象数据,并可以使用Python进行各类气象数据的处理。