Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

地面气象资料一体化统计加工系统设计与实现

地面气象资料一体化统计加工系统是基于国省统一的CIMISS数据环境,准实时生成日、候、旬、月、年值等统计产品的业务系统,能够满足用户对准实时质控后地面气象资料统计值的业务需求。本文主要介绍地面气象资料实时历史一体化统计加工系统的开发,从软件的需求分析、统计方法、功能实现、关键技术等方面阐述了如何在技术上实现地面气象资料一体化统计加工系统。通过运行策略配置,实现了系统定时自动运行,进一步丰富了CIMISS系统地面气象资料的产品库。     

采用交换式路由器结合代理服务器作为互联网接入方案的剖析

介绍交换式路由器结合代理服务器在实现不同网段局域网共享接入国际互联网的具体应用。     

广西气象视频电视会商及会议系统的设计与应用

介绍广西气象远程视频电视会商及会议系统的设计、功能简介及具体应用。该系统利用当今先进的动态视频编解码技术并通过广西气象部门新建SDH数字电路宽带网络平台实现了区内不同地理位置各市气象局与区局面对面交流的全新模式。系统主要应用于天气会商、行政会议及教学培训,在实际应用中发挥出了明显的社会和经济效益。     

提高管理水平，优化网络资源

针对目前广西气象局机关现代化办公设备管理存在的问题，经过理论比较分析，提出提高管理，优化网络的若干建议。     

介绍使用Notes电子邮件系统的几种方法

介绍在使用电子邮件系统的一些方法和体会。     

介绍使用Notes电子邮件系统的几种方法

介绍在使用电子邮件系统的一些方法和体会。     

广西气象视频电视会商及会议系统的设计与应用

介绍广西气象远程视频电视会商及会议系统的设计、功能简介及具体应用。该系统利用当今先进的动态视频编解码技术并通过广西气象部门新建SDH数字电路宽带网络平台实现了区内不同地理位置各市气象局与区局面对面交流的全新模式。系统主要应用于天气会商、行政会议及教学培训，在实际应用中发挥出了明显的社会和经济效益。     

Hadoop在气象数据存储中的应用

利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。     

广西气象门户网站的设计与实现

通过介绍一个门户网站的设计与实现全过程,把ASP、SQLServer数据库设计、组件技术在实现动态网站上的灵活应用等技术有机地结合起来,对在以ASP SQL IIS模式开发的中小型网站上有一定的参考价值。