国家气象计算网格的设计与建立

气象部门内高性能计算资源与支持能力具有地域分布不均匀的特点,地方部门与国家级单位相比,在资源丰富程度和开发应用水平上都存在较大差距。针对气象部门国家级、地方单位的资源整合、共享和管理的需求,该文提出了一个国家气象计算网格的设计方案。设计方案采用国家级、区域、省级三级节点布局,通过跨广域范围的气象宽带网互联,基于整合的资源平台设置了资源管理、应用服务和用户接口等功能层模块。利用UNICORE等关键技术,开发实现了气象计算网格软件模块。建成了一个全国分布的6个网格节点,提供网格中间件和定制业务运行两种资源共享服务方式。业务运行以来,为资源匮乏地区的气象用户共享分发预报服务产品,为当地的减灾防灾工作做出了贡献。     

中国气象应用网格

“中国气象应用网格”是国家863重大专项支持的一个应用网格项目，主要针对中国气象局计算资源及科研人员分散在全国各地，气象预报面向政府、社会和公众服务的特点，建立了连接中国气象局行业内部和国防科技大学等单位在内的跨地域网格平台；在该网格平台上建立全面支持我国新一代中尺度数值天气预报系统的协同攻关环境和基于GRAPES的中尺度有限区数值天气预报业务系统，实现了应用层面的互联互通、资源共享和协同工作，提高气象部门的资源利用率、业务预报和自动化水平。“中国气象应用网格”包括网格中尺度数值预报模式GRAPES、网格门户、网格计算、资源和服务共享平台、基于Ganglia的网格资源监控、数值天气预报控制界面、气象预报产品发布和可视化、源代码管理系统、网格用户注册与管理等系统。     

基于UNICORE的分布式气象网格计算平台的构建

目前越来越多的超级计算领域,正采用网格技术来实现多个计算节点协作的分布式计算环境,以提高计算能力。利用国际领先的网格思想和国家气象网络计算应用系统建设的前期研究成果,在沈阳区域气象中心首次实现了基于UNICORE的分布式气象网格计算平台的构建,并通过气象宽带网络将沈阳区域气象中心高性能计算机系统作为区域分节点加入到国家气象网格平台。结果表明：UNICORE提供了统一的接口和简单易用、功能丰富的客户端,利用网格计算平台,用户在Windows个人计算机上通过图形用户界面可以从网格计算平台中获得对计算和数据资源的访问,可以准备和修改作业结构,提交作业,并可以利用作业监视器监视和控制已提交的作业。     

WebGIS技术在气象网格产品精细化服务中的应用

数值模式已经成为天气预报业务发展的主要方向，数值模式计算产生各种气象网格产品。气象网格产品具有数据量大、更新频次快、专业性强等特点，需要借助专业工具软件进行处理，不能很好满足企业和社会用户使用的需求，应用范围受到极大的限制。面对气象网格产品专业化与气象数据应用需求简单化之间的矛盾，文章提出针对气象网格产品，尤其是实况网格产品和预报网格产品，采用互联网服务手段，通过对网格数据离散化处理的方法，空间化管理的方式，将WebGIS技术应用到气象网格产品服务中。用户在客户端只需要进行简单文字检索或者GIS图形检索，系统便可以实现对气象网格产品中的有效数据进行精细化抽取，最终实现服务精细。文中提出的数据处理方法，对不同行业间气象网格产品的应用起到指导作用。     

中国气象应用网格

"中国气象应用网格"是国家863重大专项支持的一个应用网格项目,主要针对中国气象局计算资源及科研人员分散在全国各地,气象预报面向政府、社会和公众服务的特点,建立了连接中国气象局行业内部和国防科技大学等单位在内的跨地域网格平台;在该网格平台上建立全面支持我国新一代中尺度数值天气预报系统的协同攻关环境和基于GRAPES的中尺度有限区数值天气预报业务系统,实现了应用层面的互联互通、资源共享和协同工作,提高气象部门的资源利用率、业务预报和自动化水平."中国气象应用网格"包括网格中尺度数值预报模式GRAPES、网格门户、网格计算、资源和服务共享平台、基于Ganglia的网格资源监控、数值天气预报控制界面、气象预报产品发布和可视化、源代码管理系统、网格用户注册与管理等系统.     

贵溪市植被资源遥感调查和综合气候区划

应用中巴资源一号卫星遥感数据、地理信息系统和全球定位系统技术，结合常规资料、野外考察等手段，采用数字化图像处理和分类技术，进行了贵溪市土地利用类型、水资源分布和森林植被等环境资源遥感解译。在通用的遥感图像分类方法的基础上，将GPS采样数据参与到各类资源遥感解译标志的建立和分类中，并留出样本做精度检验，提高了环境资源遥感解译的客观性和效率。根据中国亚热带东部丘陵山区气候考察资料和贵溪所处武夷山区17年的垂直气候观测资料，应用统计学方法建立了12种气候要素和资源随海拔高度变化模型。应用1:25万数字化地理数据，经三角网插值，生成20 m网格精度的数字高程图（DEM），通过地学模型，将气候要素（资源）计算到同样的网格点上。最后，应用GIS中栅格图层的空间分析方法，将环境资源遥感解译结果、气候资源、区划指标等计算到20 m分辨率的网格点上，应用逻辑算子进行气候分区判断，得到了优质双季晚稻适宜播种期等7种作物的综合区划，并对区划结果进行了分析。     

气象计算网格平台资源监视模块的设计与实现

气象计算网格聚合的计算资源具有地理分布、系统异构、运行状况与使用负载各不相同等特点。气象计算网格平台软件系统的资源监视模块, 涉及了远程气象网格节点、资源状态信息获取、web展示等3个层次。资源状态信息获取层可分为轮询、收集、整理等功能, web展示通过资源地理视图和资源列表栏目实现。基于ARCON客户工具箱技术开发实现了资源信息轮询和收集功能。现已实现对国家级网格节点及北京、成都、广州、沈阳4个区域级中心网格节点和安徽省级网格节点的10个高性能计算机系统的集中监视。     

基于网格计算的MM5系统在青藏高原地区的应用

论述了网格计算技术及其在气象领域的应用,指出网格的最终目标是资源共享和协同工作。在简述青藏高原地区中尺度数值模式系统建设的基础上,从模式背景、MM5应用系统建设的关键问题及技术路线、科研开发与业务化方案设计、模式的动力和物理方案及预报产品等方面介绍了青藏高原基于网格计算的MM5应用系统,并给出该系统在2006年业务试运行的检验结果,在此基础上总结了基于网格计算的应用系统在资源共享方面的效果。聚合主要高性能计算机系统的计算能力,构建一个国家级气象高性能计算机管理与应用网络平台,实现多集群系统的网格化全局管理和资源共享,不仅使参加网格计算项目的各个网格用户通过浏览器随时随地、安全、方便地访问网格上的计算、存储、数据和程序资源以及享受网格提供的各种服务,而且使研究开发人员不受计算机平台与地域的限制,即可选取所关心的预报区域、预报时效、时间步长、物理过程参数化方案等对数值模式本地化,同时解决了经济条件相对落后地区计算资源不足的问题,为高原地区气象部门探索研究资源共享的管理制度和运行机制创造了条件。     

基于网格计算的MM5系统在青藏高原地区的应用

论述了网格计算技术及其在气象领域的应用,指出网格的最终目标是资源共享和协同工作.在简述青藏高原地区中尺度数值模式系统建设的基础上,从模式背景、MM5应用系统建设的关键问题及技术路线、科研开发与业务化方案设计、模式的动力和物理方案及预报产品等方面介绍了青藏高原基于网格计算的MM5应用系统,并给出该系统在2006年业务试运行的检验结果,在此基础上总结了基于网格计算的应用系统在资源共享方面的效果.聚合主要高性能计算机系统的计算能力,构建一个国家级气象高性能计算机管理与应用网络平台,实现多集群系统的网格化全局管理和资源共享,不仅使参加网格计算项目的各个网格用户通过浏览器随时随地、安全、方便地访问网格上的计算、存储、数据和程序资源以及享受网格提供的各种服务,而且使研究开发人员不受计算机平台与地域的限制,即可选取所关心的预报区域、预报时效、时间步长、物理过程参数化方案等对数值模式本地化,同时解决了经济条件相对落后地区计算资源不足的问题,为高原地区气象部门探索研究资源共享的管理制度和运行机制创造了条件.     

中国气象应用网格

“中国气象应用网格”是国家“863”项目“高性能计算机及其核心软件重大专项”的应用课题之一，发展基于网格技术的数值天气预报软件及其支持软件，观测资料和数值预报气象数据的海量处理技术，实现网格应用对海量气象数据集的无程访问。建成后的中国气象应用网格将是一个创新性的     

遥感大数据分布式技术研究与实现

面向卫星遥感海量数据,针对其数据量的急速增长,对数据分析、价值挖掘提出了全新的挑战,引入驱动大数据应用的分布式模式,建立了适应卫星遥感大数据的网格模型,打破了数据的时空割裂和限制,数据可以作为整体进行存储、计算和应用,模型设计的网格、时间片、物理层的基本结构,可以保证未来云计算的实施。该文提出了基于希尔伯特曲线的网格散列算法,以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力;遥感大数据分布式系统,实现了数据的高速分布式并行读写,支持数据的精确时空匹配和动态获取,整个系统的扩展能力可以达到线性增长,系统基于通用软硬件平台实施,实现卫星遥感大数据灵活、按需和简便的应用。     

国家级气象高性能计算机管理与应用网络平台设计

该文首先介绍了国家气象信息中心在高性能计算能力建设方面的成就及存在的一些问题, 阐述了计算网格的主要思想和技术特点, 并具体介绍了国家级气象高性能计算机管理与应用网络平台的架构和采用的主要技术路线和方法。     

气候数值模式在计算网格环境下的应用

气候数值模式研究一直受到大型计算机系统计算性能和计算资源不足的制约。目前越来越多的超级计算领域,正采用网格技术来实现多个计算节点协作的分布式计算环境,以提高计算能力。本研究是气候数值模式在网格环境下的实现方案,依据数值模式数据通讯量的多少,按强关联型和弱关联型两种主要的计算形态对多个气候模式和准数据并行的数值模式在局域网网格和广域网网格环境下实验。实验发现气候数值模式在网格环境下特点:强关联型的数值模式不适合广域网络构成的网格,而弱关联型的数值模式可以在网格计算环境中取得较好的计算效果。另外,合理地组织计算节点的结构,可以有效地提高数值模式的计算效果。这些工作对气候数值模式研究在以网格计算环境为基础的下一代超级计算中的应用有借鉴作用。     

一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

基于移动互联网的交通气象服务系统设计与应用

设计并实现了基于移动互联网的交通气象服务系统。通过对用户定位信息与天气现象、能见度、温度、降水、风力等精细化格点数据进行融合,提供了一系列基于位置的创新性交通气象服务:道路前方高影响天气路段语音提醒及气象信息自动化语言表达、基于WebGIS服务的交通气象服务信息展示和基于精细化格点预报数据的智能导航。与传统网页单向式的信息交互方式不同,交通气象服务系统绝大部分数据存储及处理工作在服务端完成,通过Web服务实现了与客户端的双向信息传递,向用户提供精准的基于位置的信息推送。本系统已经在浙江省气象局智慧气象手机客户端中作为一个独立模块实际应用。     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

一个精细粒度实时计算资源管理系统

由于相应业务系统软件的缺乏,国家级气象高性能计算机的资源管理措施落后于能力建设的发展。对此,该文提出了一个精细粒度实时计算资源管理系统。系统设计紧密围绕着目前竞争最为激烈的计算资源,采用资源虚拟单元GCU作为资源使用的计量单位,屏蔽了不同高性能计算机系统的体系结构差异,实现了计算资源细粒度的统一量化统计。系统可分为用户接口层、资源管理层、HPC系统层等3个层次,根据与网格平台软件不同结合方式以两种方式运行。在国家气象信息中心完成了系统的研发、部署和试验运行,根据试验运行的部分数据进行了用户单位和用户个人的计算资源使用的统计分析。目前,计算资源管理系统成果已成功应用到国家级气象高性能计算机计算资源的业务管理工作中。     

国家气象网络计算应用节点门户系统的设计与实现

作为对外共享高性能计算资源的主要通道,门户系统是国家气象网络计算应用节点项目的首要开发任务之一。门户系统从设计上划分为服务中心门户、用户接入门户、气象模式应用门户等3个子系统。服务中心门户是整个项目平台的对外Web入口,提供项目规划、进展汇报、资源信息、用户支持、使用帮助等方面信息。用户接入门户完成用户登录进入气象网络节点的用户认证和访问控制功能,同时提供用户进入系统后共享资源的主要页面。气象模式应用门户,以Web方式来共享使用承载于高性能计算机系统上的气象模式。系统的开发中采用了J2EE的Servlet/JSP Web组件技术,在“Eclipse lomboz插件”集成环境进行开发调试。目前已经完成了3个门户子系统主要模块的开发,并已集成打包为一整体,运行于中国气象局国家园区网内。