大数据时代气象数据分析应用的新趋势

简要介绍了大数据的概念和特征,以及大数据时代的思维变革方式,通过案例引述,从数据采集、数据存取、数据挖掘和信息发布等方面探讨了大数据时代气象数据分析应用的新趋势,提出了应对思路和方法。     

气象数据云数据存储技术及应用

针对气象数据种类多、信息量大、精度高等特点,传统的关系型数据库系统在存储处理、数据读取等方面存在负载饱和、读写性能不理想等问题,利用云数据存储技术,结合气象数据特征,设计了基于云数据存储平台的气象数据存储和处理方法。通过分析气象数据的结构化、半/非结构化特征,采用云关系型数据库存储结构气象数据;采用NoSQL对象库存储半/非结构化气象数据;在数据的存储过程中,应用了气象数据分块压缩技术,进行气象数据存储和传输。结果表明,所讨论的方法具有很好的存储传输效率,能够满足大规模气象数据在业务应用中对存储查询和处理速度的要求。     

气象台站数据分析、著录应用系统的介绍

“气象台站数据分析著录应用系统”由台站数据处理和数据管理组成。数据处理部分依据国家档案标准著录规则[1][2]、中国气象局要求[3][4],并充分考虑台站档案内容的特殊性,对台站档案进行广泛收集,经过筛选、比较、核实、分类、归纳和演绎、分析综合、动态分析、文献计量等方法确定标准著录格式,并完成台站数据著录及著录结果的录入工作。数据管理部分按照气象档案管理要求和用户需求设计相应的功能模块、各类数据库结构,程序全部采用Visual FoxPro6.0关系型管理数据库语言编程,对江苏省所有地面、高空、农气台站数据进行综合管理,设置了数据采集、单站查询、总体统计查询、数据更新、标准输出等5大项功能,较好地满足了现行台站历史沿革数据的管理和应用需求。     

大数据在贵州专业气象服务的应用及展望

对目前热议的大数据,从理念、表现、数据获取方面,就其在各专业气象服务中的应用做了探讨。并指出大数据应用于专业气象服务的核心,是大数据技术获取非气象类的大数据,及其与气象数据的碰撞。因此从实际业务工作角度出发,以旅游、交通、能源专业气象服务为对象,分行业对各专业气象服务的现状、特点,以及非气象的大数据在各专业气象服务中的应用进行了阐述和展望,以期为今后在大数据时代开展专业气象服务开拓思路。     

气象科学数据共享系统研究综述

"气象科学数据共享试点建设"项目旨在构筑面向全社会的气象信息共享平台,项目对基本气象资料、卫星气象资料和科学考察与试验资料的整合集成、质量控制方法、数据集制作技术、数据分析技术、共享服务平台设计以及数据共享技术标准与业务规范等方面开展了综合研究.在此基础上,项目组研制了一批规范标准的共享数据集产品;初步建立了由国家级和部分试点省组成的分布式气象科学数据共享网络平台;制定了面向数据管理与共享的一些技术标准与规范;并在气象资料公益性共享服务中发挥了很好的作用.     

刍议省级气象大数据

针对气象数据文章,用大数据的4V特征标准逐一做了分析,并思考了气象数据是否无法用传统方法分析的问题,给出气象大数据较为理性的认识。根据大数据技术和气象数据的特点,列出了如何利用大数据技术与气象数据结合,发挥积极作用的几个方向。     

面向服务的气象大数据

依据国家大数据发展战略和大数据特性,对气象大数据特征、面临问题和技术创新进行阐述,深入分析气象大数据服务方式和跨领域服务的发展方向。提出以标准先行为前提,集约整合为手段,通过数据层、逻辑层和界面层的整合来搭建面向服务的气象大数据环境,借助大数据发展机遇加快推动气象大数据发展步伐。     

面向服务的气象大数据

依据国家大数据发展战略和大数据特性,对气象大数据特征、面临问题和技术创新进行阐述,深入分析气象大数据服务方式和跨领域服务的发展方向。提出以标准先行为前提,集约整合为手段,通过数据层、逻辑层和界面层的整合来搭建面向服务的气象大数据环境,借助大数据发展机遇加快推动气象大数据发展步伐。
 

     

全国农业气象资料数据模式的研制

在分析我国农业气象观测资料现状与特点的基础上，提出了制定“全国农业气象资料数据模式”必须遵循的基本原则，即以1993年版的《农业气象观测规范》为依据、以现行“农业气象观测记录年报表”的内容为基础、符合气象行业标准编写要求、具有延续性与可扩展性、面向现代化数据管理和应用服务等，对数据模式的结构和主要技术特点也进行了比较详细的论述。数据模式的研制将有助于现存的农业气象报表资料的数字化以及今后农业气象观测数据的采集、传输和处理自动化的实现。     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

Hadoop在气象数据密集型处理领域中的应用

气象资料的统计分析计算属于数据密集型计算,目前的处理方式多为单机处理,对大量数据的处理比较慢,难以应对日益增长的数据,对气象资料的研究形成一定的制约。针对数据密集型气象数据的处理,尝试应用Hadoop的MapReduce思想提高计算效率;对Hadoop在处理大量小文件组成的气象数据时的低效率,提出对原始文件进行预处理,将多个小文件整合成能直接用于计算的大文件。试验证明,该方法解决了Hadoop处理大量小文件时的低效率问题,通过与Oracle入库检索的比较,应用Hadoop处理数据密集型气象资料具有实际意义。     

GIS气象数据的管理与表达方法

将气象数据分为离散数据、格网数据和要素数据,在此基础上,建立了气象数据库,包括气象资料信息数据库、社会资料信息库、基础地理数据库和气象空间数据库,并详细分析了气象数据的组织结构、表达和处理方法,最后提出了基于GIS的气象数据管理与表达的处理方法.     

基于大数据云平台的天山气象APP设计与应用

为提升大数据云平台与移动互联网的耦合气象服务质量,满足气象防灾减灾移动可视化需求,推进新疆气象信息化事业高质量发展,亟需开发一款专业气象服务APP。该APP在“云+端”业务模式下充分利用气象业务现有数字化成果,采取多源存储、接口调用、控制反转和数据交互技术,对全疆天气自动站的地面观测、格点实况融合、雷达回波、灾害预警等气象资料进行加工处理和移动展示。天山气象APP可按用户需求提供疆内基于实时位置的天气实况、精细化预报、预警详情、雷达拼图、实况要素产品和统计值要素产品,同时继承大数据云平台服务接口高额承载能力,实现毫秒级响应,在全疆天气自动站应急保障与气象防灾减灾服务中应用成效显著。     

移动互联网时代陕西省气象信息服务发展现状及思考

根据近年来陕西省气象短、彩信用户数、12121气象声讯电话拨打量变化趋势和用户满意度调查数据,在移动互联网时代到来的大背景下,从运营商经营环境、营销方式、产品质量等方面对陕西气象信息服务业务进行分析,得出移动互联网发展、免费客户端广泛应用、运营商营销策略调整、传统营销手段乏力等是陕西气象信息服务发展面临的主要问题,并据此探讨陕西气象信息服务的发展方向,提出应对策略。     

广东省气象卫星遥感数据资源池设计与应用

气象卫星数据是遥感应用的核心基石，遥感业务平台是遥感应用的重要技术手段。本文利用广东省气象局数据中心分布式NAS存储，分设FY 3D、FY 4A数据资源池，通过数据同步和用户管理技术，设计了面向桌面级业务应用的广东省气象卫星数据资源池V1.0。利用SMART和SWAP两大气象遥感应用系统，各级业务人员可快速制作气象卫星遥感监测和评估产品。通过上述“云+端”的遥感业务架构，有效解决气象遥感数据不易获取的难题和遥感应用的技术壁垒，为推进省、市、县级气象卫星遥感业务一体化提供了一定的应用示范和参考价值。     

大数据助力分析气象与消费那些事儿

<正>为了更好地推进气象数据的整合、共享、开放和利用,贵州省气象局与浪潮集团共建大数据开放应用实验室,充分利用实验室,广泛开展基于气象数据与各行业数据的融合、挖掘气象大数据潜在价值,在"气象与消费"、气象与旅游等行业领域广泛开展合作及创新应用。"气象与消费"研究课题深挖气象大数据的深层价值,结合天气信息及互联网消费数据,深度挖掘气象变     

气象大数据应用培训课程设计

<正>当今社会,信息化和网络化的发展导致数据爆炸式增长,而公众对于气象信息准确性和时效性的要求也越来越高,气象行业作为数据应用量较大的行业之一,随着观测、预报和信息处理技术的快速发展,数据量大、类型繁多、速度快、时效高的特点日益凸显,气象大数据时代已经到来。而我国气象大数据技术的应用稍显滞后,相关的培训课程更是凤毛麟角。2016年5月,陕西省气象     

气象万千知识讲坛第三讲开讲：大数据让一切皆有可能

魏代森先生从最基础的大数据和云计算的定义讲起,用生动的实例讲解了大数据在物联网、互联网金融、公共事务和现代企业中的应用,尤其是他提出的大数据在气象服务方面的应用设想,以及“数据驱动世界,软件定义世界,自动化接管世界”的理念,带给大家不少有益启发。最后,省局部分人员就大数据和云计算技术在气象领域的应用、云计算的安全性等问题与魏代森先生进行了交流。     

气象数据在雷电风险评估中的应用

该文按照雷电风险评估对气象数据的应用要求,分别介绍气象数据的分类及其统计方法;气象数据的引用及注意事项;气象数据的分析及其在雷电风险评估中的广泛应用;气象数据的可行性论证要求。     

气象网格数据的快速渲染研究与应用

随着更高精度的气象网格数据在气象业务中的广泛应用，使用高精度网格数据为社会公众提供精细化气象服务的需求越来越旺盛。针对气象网格数据文件大，网页前端动态渲染效率低等问题，提出基于瓦片金字塔模型的网格数据快速传输和渲染技术的研究及应用。采用服务器端的金字塔模型的瓦片动态切割、压缩传输以及浏览器终端的插值和渲染等技术，实现基于B/S框架下HTML5的气象网格数据快速展示的流程。同时，利用中国区域1 km分辨率多源融合实况分析产品，基于微信小程序终端进行检验发布，试验结果表明，百兆级气象网格数据可视化更新时间达毫秒量级，可以广泛应用于各类空间网格数据高效可视化的页面渲染。