CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

地面气象资料统计处理系统设计与实现

为实现6万余个地面气象站资料实时统计处理,设计并实现了地面气象资料统计处理系统。系统采用灵活易扩展的技术框架,应用大数据分布式流处理技术实现高效的数据处理,较传统统计处理框架统计时效提升10掊以上,主要功能包括基于任务调度的定时统计、针对迟到数据和数据更正信息的统计结果滚动更新、自定义统计、统计处理通用算法服务等,采用国家级一级部署、各省同步应用的业务布局保证数据的一致性。2017年1月投入业务运行后,实时计算800余个多种尺度的统计项并通过全国综合气象信息共享平台（CIMISS）数据统一服务接口提供统计产品服务。分析表明:地面气象资料统计产品2017年月平均下载次数达到1951.4万次,在CIMISS所有400余种观测资料或产品中排名第三,为天气监测预报预警、气象决策服务、气候监测业务、公共气象服务等提供重要的基础数据支撑。     

江西省CIMISS降级备份系统的设计与实现

为提高CIMISS数据服务能力,研究CIMISS系统数据处理和服务流程,梳理分析了CIMISS数据处理入库积压原因,针对可能出现因软、硬件异常导致CIMISS数据服务性能大幅下降的情况,根据系统结构特点和数据服务需求,设计了CIMISS降级备份系统。通过运行测试发现,该降级备份系统可稳定提供气象业务所需的基本气象资料,能有效应对CIMISS数据服务终止等极端事件,同时显著提高CIMISS中本地化数据的入库处理效率。     

全国综合气象信息共享系统的设计与实现

为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统 (CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。     

陕西气象陕西省气象信息服务系统的设计与实现

陕西省气象信息服务系统以全国综合气象信息共享平台（CIMISS）作为数据源,采用B/S模式开发,实现了气象要素检索下载、温度、降水量曲线绘制、气温色斑图显示等功能。应用实践表明,以CIMISS作为数据源,解决了气象信息数据源不统一的问题,且可为用户提供丰富多样的基础气象数据服务产品。

     

微服务在气象数据服务中的应用研究

在气象数据服务逐渐接口化背景下,MUSIC作为CIMISS气象数据接口服务的主要系统,得到了各级业务部门的广泛应用,但也存在不完善和使用难等问题。基于MUSIC以微服务架构设计与开发气象数据服务系统,扩充了MUSIC接口,实现了接口编制、编排和图形化使用,提升了接口使用人性化水平,增强了MUSIC业务支撑能力和业务适应性。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

基于CIMISS的广西气象服务信息综合业务系统的设计与实现

以WEB、ASP.NET和VC++技术为依托,建立了基于CIMISS的广西气象服务信息综合业务系统,系统采用C/S与B/S混合架构,各层分别独立,以提高系统的安全性、稳定性和可维护性。通过运用气象数据统一访问接口接入CIMISS数据环境获取气象资料,以及建立气象信息数据库,实现各类信息的汇集和共享,为广西气象服务提供更有力的业务支撑。     

宁夏智能化综合气象业务服务共享管理平台设计与实现

文章按照标准化、集约化、智能化的理念,基于云端部署技术,提出了宁夏智能化综合气象业务服务共享管理平台的设计思路和总体架构,建设了宁夏气象基础数据库、业务产品库、服务产品库,构建了业务产品自动化生成系统、服务产品智能化制作系统、服务信息智慧型发布系统和信息共享与管理系统。通过数据存储、数据服务接口、数据资源管理、数据加工流程的标准化,设计了以标准化体系为基础的集约化数据环境。通过数据环境集约和业务系统集约,设计了以数据驱动为特征的集约化产品加工系统,形成统一的数据加工流水线。突出智能化要求,设计了以智能化为目标的数据分析算法和智能化系统运行控制,并在业务产品自动化生成、服务产品智能化制作、服务信息智慧型发布方面进行了探索。平台设计理念先进,技术前沿,流程简洁,功能完备,运行高效,充分体现了数据资源标准化、业务系统集约化和计算运行智能化的要求,平台的开发建设将极大地推进宁夏气象现代化进程,对于发展智慧气象具有重要的参考价值。     

基于CIMISS的气象数据处理时效监视系统设计与实

针对气象信息网络常规运行监控业务需要,结合气象信息共享系统（China Integrated Meteorological Information Service System,简称CIMISS）的运维实际,设计开发了基于CIMISS的气象数据处理时效监视系统,实现了对13类上行气象观测数据处理主要的节点时效、自动站疑误数据处理、数据访问服务性能的实时监控,并可为部分气象观测设备的运维保障提供参考指引。文中从系统结构与数据流程、主要业务功能、技术实现等方面对系统的实现方式等进行了介绍。     

积温效应在电力日峰谷负荷中的应用及检验

从电力气象服务需求出发,利用2001—2010年5—9月河北省南电网逐日电力日峰负荷、日谷负荷与对应时间的气象资料,探讨晴热天气和闷热天气对电力日峰负荷、日谷负荷的影响特征。分析发现持续3 d以上的闷热天气相对晴热天气使电力日峰负荷、日谷负荷增长更显著;日最高气温32℃是引起河北省南电网日峰负荷增长的初始气温敏感点,35℃为强气温敏感点,38℃为极强气温敏感点,日最低气温25℃为引起日谷负荷增加的敏感气温临界点;建立了引入积温热累积效应的日峰负荷、日谷负荷多元回归气象预测模型,经2011—2013年应用检验,日峰负荷、日谷负荷预测平均相对误差分别为4.8%和3.5%,提高了预测准确率,对电力调度具有参考价值。     

气候监测业务专题数据服务系统的设计与实现

为了满足气候监测业务日益突出的个性化资料需求,设计和开发了气候监测业务专题数据服务系统。在分析用户资料需求的基础上,重点介绍了系统的设计思路和实现技术。该系统由1个专题数据支撑库和4个功能模块组成,包括资料更新发现、专题数据集制作、数据服务和任务调度,其中,专题数据集制作方法和3种任务调度模式是系统设计的核心。系统实现采用SSH (Struts Spring Hibernate) 框架,按数据访问层、业务逻辑层和交互表现层进行分层实现;同时,结合DWR (Direct Web Remoting) 技术实现了同步异步交互方式,使用灵活的配置管理加强系统的可扩展性。系统投入运行后,已制作出13个专题数据集,提供了良好的数据服务。     

山东省气象业务一体化平台设计与实现

山东省气象业务一体化平台（简称“一体化平台”）,是在气象业务系统集约化、自动化、智能化的建设要求下,为满足山东气象现代业务发展要求,解决山东气象业务运行中的诸多关键问题,利用互联网技术,面向山东全省天气预报业务设计研发的高度集约化的智能业务平台。一体化平台实现了基于内网 WebGIS 的气象数据渲染,基于 CIMISS、Oracle、Redis的三级数据库架构,基于 FTP、SMTP、传真服务器、阿里短信等技术的一键式发布引擎,基于 WebOffice的智能网格预报定制化气象服务,建立了山东短时和临近预报业务体系,融合了山东省气象部门近年来的多项科研成果。在此基础上实现了实况监测、短时临近预报、山洪预警、网格预报、产品制作发布、预报共享、预报检验和业务管理等功能。一体化平台支撑了 “省—市—县” 三级台站的天气预报业务和重大活动气象保障服务,提升了监测分析、短时和临近预警、决策服务能力。     

基于RBAC的气象多维数据权限管理模型的建立

在传统的基于角色访问权限管理 (RBAC) 模型基础上结合气象数据自身特点及共享服务中的权限控制需求,提出了一种符合气象资料管理特点的多维度权限管理模型。该模型充分考虑了气象数据进行资源共享时资料分类众多、层次化结构复杂、检索粒度不同等特点,有针对性引入了客体维度概念和更灵活的权限管理机制,较好地满足了气象部门数据共享服务系统建设的需求。该方案作为全国综合气象信息共享平台 (CIMISS) 数据服务权限控制模型的前期试验研究,构建一个多维数据权限管理原型系统用于数据访问控制。作为通用性模型,该模型可以延伸用于气象数据服务类系统应用,对确保数据库的信息安全、防止用户越权访问数据、保障管理信息系统的正常运行具有重要意义。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

基层台站地面气象资料数据管理检索系统

为适应现代气象预报、农业气象研究和其它业务服务需求及资料管理方式的转变,利用VB 60语言编程建立了基于Windows 平台的武威市地面气象资料管理系统。详细阐述了系统设计思路和流程、主要技术特点、数据转换入库和应用功能。该系统实现了对历史地面气象资料的有效管理,改善了资料检索,统计方式,且已成为武威市各台站重要的业务工具之一。软件在同类台站具有推广和应用价值。