基于气象大数据计算与资源共享教学平台设计

气象大数据具有4V“种类多”(variety)特性,即海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。在气象模式教学过程中,气象模式配置复杂,其需要的气象基础数据具有体量大的特点。针对传统气象模式教学过程复杂,气象模式配置过程繁琐,气象基础数据集需要重复下载的问题,提出气象大数据数字资源平台的建设问题。气象基础数据集与气象模式相结合,对气象基础数据集进行布局,使系统具有比较高的利用率。针对多数据中心,多个气象模式可运行,多个学生对气象基础数据共享的情况,提出一种基于Apriori的挖掘算法来分析数据集与气象模式的直接关系,并完成气象大数据数字资源系统设计,既为学生、教师提供方便的操作,又能提高系统性能。气象大数据数字资源平台不但提供气象计算,也提供各种气象基础数据集的共享访问,简化了气象模式教学过程。     

一种地市级气象数据共享系统的设计与实现

气象数据共享是气象预报预警、公共气象服务的基础。针对地市级气象数据存储分散、共享水平低、无标准等问题,从气象应用需求和数据共享角度,首先设计标准化数据获取客户端,以灵活配置的形式完成多种气象资料的解析。通过气象资料的逻辑划分,实现物理上集中存储,逻辑上相对独立的方式进行数据存储和管理。同时,系统以多种方式进行数据共享服务和安全访问控制。在标准化气象数据获取、一体化气象数据存储与管理,数据共享服务等方面,构建了灵活、高效的气象数据流程,设计和实现了一种面向地市级的实时气象数据共享系统。在整个数据流程中,均考虑每个环节的监控,为集中运维提供可靠的数据参考。目前,该系统已经投入业务使用,为市县两级气象应用的数据调取和公共气象服务提供稳定、高效的实时数据共享服务,取得了较好的应用效果。     

关键气象数据不间断传输的3G应急解决方案

自动站、自动土壤水和GPS等关键气象数据,对气象防灾减灾、天气预报预测、气候评估及气象科研等工作都十分重要,如何保证这些关键气象数据的不间断传输,一直是气象信息业务人员面临的一个难题。本文通过分析气象观测站的网络现状及业务需求,提出了基于3G技术的关键气象数据不间断传输的应急解决方案。文中首先对其总体方案、网络架构、数据流程进行了叙述,然后对其技术实现进行了详细介绍,最后对该解决方案的效果进行了分析。通过分析得出,该方案较好地解决关键气象数据不间断传输的问题,该方案在安徽省气象系统实际实施一年来效果良好,对于保持和提高关键气象数据的及时传输发挥了重要作用。     

气象数据完整性评估及可视化应用

省级气象数据存储环境虽然有效解决数据标准存储、共享服务的难点问题,但是存在数据完整性不足、可用性不高等影响数据质量的问题,造成气象行业用户的数据服务应用效果较差。针对数据质量中数据完整性这一评估指标,采用宁夏气象综合数据库作为研究数据集,结合数据完整性精确评估方法和大数据可视化技术对评估结果进行仿真,并在宁夏综合气象数据库管理系统中进行应用,为后续完善省级气象数据环境建设提供借鉴。     

基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

交通气象道路安全预警系统的实现

笔者首先详细介绍了道路安全气象采集预警系统的整体结构,包括前端设备的组成、后端服务的组成以及各个模块的功能,其次给出了通过将各类交通气象数据进行量化和分级,利用交通气象数据进行道路安全态势分析的方法;最后提出了使用XGBoost进行交通气象数据预测的具体办法,并给出了用于预测的数据特征,从而使该系统具备了预警的功能,具有很高的实用价值。     

基于CIMISS的省级气象业务系统的应用设计

全国综合气象信息共享平台(CIMISS)为全国气象部门提供了统一的数据环境。讨论了基于CIMISS数据环境建立的省级气象业务系统应用设计方案,在不改变省级现有气象业务系统业务流程和系统架构的基础上对系统进行改造,实现本地化系统与CIMISS系统的无缝对接。设计方案中,利用数据接口获取气象数据,并根据数据结构的不同分别讨论了离散数据、网格化数据、栅格数据的解析方式,最后实现气象数据的高效快速可视化。结果显示,建立的CIMISS在省级气象业务系统中的应用流程和方案是有效和可行的,为气象业务系统接入CIMISS数据环境提供一定的借鉴和参考。     

多格式气象报文数据实时解析研究与应用

气象实时数据不仅是气象短时预报的基础,也是对气象灾害进行有效监控、预报、预警、评估的主要数据.气象报文种类多且报文格式各不相同,气象报文数据解析、清理及筛选非常复杂且灵活性差,实时查询非常慢.为此研究报文统一解析技术和数据流处理技术设计,并实现一个实际中安全的、可行的、快速的、灵活的气象实时数据采集系统.     

基于物联网的气象探测无人机研究

气象数据采集是各种应用和研究的关键,考虑到传统气象探测存在的不足,以物联网技术应用为切入点,以无人机为数据传感监测的承载平台,在物联网框架下研究利用无人机进行气象数据探测的可行性方案,给出了气象物联网系统设计的总体方案和气象无人机结构。综合考虑无人机平台承载特点,对无人机机载传感器模块进行了分析选型,结合LoRa无线通信技术,给出无人机的无线组网探测方案。系统将气象数据探测与物联网技术、无人机技术相结合,为气象物联网推广和应用提供参考。     

基于径向基概率神经网络的气象参数状态识别

局部气象参数实时数据是船舶航行、飞机起降所需要的非常重要的海洋气象参数.这些参数实时数据中的奇异数据对航行导航可能会导致危险后果.提出了一种基于径向基概率神经网络的气象重要参数状态识别方法用来识别奇异数据.将气象参数实时数据作为神经网络的输入,参数对应状态作为输出,通过对径向基概率神经网络模型训练,实现数据状态识别,将故障奇异数据进行有效识别.保证了气象观测系统输出数据的可靠性.实验结果表明,该方法可靠,且具有较好的泛化能力,能够实现气象参数实时数据状态的有效识别.     

一种利用低秩矩阵填充技术恢复气象数据的方法

矩阵填充技术是继研究压缩感知技术之后又一备受关注的新技术,并已被应用于科学与工程等诸多领域。矩阵填充技术主要研究如何通过已知的部分矩阵数据来达到恢复整个矩阵的目的。气象数据为天气预报和开展各种气象服务提供依据,具有空间相关性和时间稳定性,加上气象数据矩阵的低秩性,为研究如何利用低秩矩阵填充技术对气象数据的连续获取提供了条件。最后通过真实气象数据进行了仿真实验,证明了该方法的有效性。     

气象网格环境下大数据的端到端传输机制研究

以八个区域中心建立气象网格计算环境(CMAGrid),有效整合利用各区域中心现有的高性能计算资源,以提高气象行业资源利用率和气象作业运行效率。气象作业运行过程中的输入和输出都需要在各区域中心之间进行数据传输,大量的气象数据文件较大,因此,在CAMGrid环境下实现高效的气象大数据传输是个值得研究的课题。本文重点研究CMAGrid环境中各区域中心间端到端的气象大数据的高效传输机制。在气象网格环境搭建的基础上,根据气象大数据的特点,分析影响大数据传输效率的关键问题,基于缓冲区、数据切分、多路并行传输等机制研究一种大数据的端到端高效传输机制,有效利用现有的网络带宽,以提高气象骨干网环境下的数据传输能力。     

基于GIS的气象信息标准化服务平台的设计与实现

随着气象资料服务不断格点化、精细化,对气象数据基于GIS(geographic information system,地理信息系统)的显示发布要求进一步提高。当前各气象业务系统在建设时往往存在重复处理气象数据及开发整合地理信息系统的现象,重复开发基于地理信息的可视化功能会造成资源浪费,延长开发周期。该文根据实际业务需求,集成了多源异构的气象数据,设计实现了基于GIS的气象信息标准化服务平台。该平台主要依托CIMISS(全国综合气象信息共享平台)数据接口、各类气象资料观测数据文件,依照地理信息数据图层金字塔分级方式,将气象数据进行重新组织,以Web方式提供标准化PaaS(platform as a service,平台即服务)服务,包括地图服务、地理覆盖服务和地理要素服务,以更便捷、更安全、更全面的方式向本级和下级单位各业务部门提供气象数据GIS服务(包含GIS和数据服务)。该平台在江苏省气象局多个气象业务系统中投入应用,有效减少了业务系统建设环节中的气象资料可视化重复开发所造成的资源浪费,收到了良好的应用效果。     

基于Python的海洋气象数据可视化技术研究

针对现有可视化方法在展示海洋气象数据时,存在可视化覆盖范围小、可视化数据量少的问题,文章提出基于Python的海洋气象数据可视化技术研究。对来自不同数据源、不同类型、不同格式的多源异构海洋气象数据,采用清洗、格式转换等方式实现同一化处理;绘制海洋气象数据体,并对其进行三维立体分割;利用Python技术,实现非结构化数据与结构化数据的可视化展现。实验结果表明,所提可视化方法可以实现对更大范围、更多数量的海洋气象数据的展示,具备更加理想的可视化效果。     

气象格点资料的准无损压缩方法

格点数据是气象资料存储交换的重要形式,资料量的爆炸性增长给数据的存储、传输带来了巨大压力。采用离散余弦变换(Discrete cosine transform,DCT)构造了气象格点资料的准无损压缩方案,对位势高度、经向风、纬向风及温度4个要素,分别按照3种精度对压缩效果进行了对比,并对该方案在要素场的直接分析和作为初始场进行模式积分两类应用进行了误差分析。结果表明,该方案可以大幅度提高气象格点数据的压缩效率,由此带来的压缩损失非常小,无论是用于数据的直接分析、诊断计算还是模式积分,其误差是可以接受的。该方案能提高气象海量数据的存储和传输效率,为提供快速气象数据响应和预报服务打下基础。     

Hadoop下基于粗糙集与贝叶斯的气象数据挖掘研究

随着气象信息化程度不断提高,气象部门积累了海量的气象数据,如何从海量的数据中获取有用的知识,成为人们关注的重点。气象数据具有维度高、依赖性强等特点,这就对气象数据挖掘提出了更高的要求。经典数据挖掘算法在处理海量气象数据时在性能与准确率方面无法获得较好的结果。在分析了MapReduce计算模型与粗糙集、贝叶斯分类的基础上,给出了基于MapReduce的计算等价类的数据约简算法与朴素贝叶斯分类算法。最后在Hadoop平台上进行了相关实验。实验结果表明,该并行数据挖掘方案可以有效处理海量气象数据,并具有良好的扩展性。     

基于KML的气象数据多维度集成表达与实现

随着空间信息科学的发展,人们能够基于丰富的地理信息进行专业数据更加直观的可视化表达,为专业领域的研究提供支持。深入分析Keyhole标记语言KML(Keyhole Markup Language)对地理数据表达的逻辑结构,结合气象数据的空间特性,提出基于KML的气象数据表达模型架构体系。基于程序语言设计完成具备多层次结构的相关类库,实现了气象数据的KML多维度集成表达,以期为气象领域的专业研究提供新的可视化平台。     

数据仓库在民航气象中的应用研究

航空的安全依赖于民航气象的准确预报,为了提高民航气象预报的准确性,我们采用了数据仓库技术,同时也对数据仓库的要求越来越高,要让卫星星云数据、本地气象数据等等很多离散型数据合理的整合在一起,把他从初始数据变成分析型数据,再按照不同用户需求进行主题分类,还要发现彼此独立的信息之间存在的微小关系,通过联机处理系统对分析型数据进行更为精细化的处理应用,使之更为直观、准确的反应民航气象变化,从中对民航气象进行预测和影响程度评估.未来的数据仓库技术肯定会对数据应用更为的灵活,大大提高预测的准确性.     

基于GIS的气象资料查询系统的设计与开发

地理信息系统在气象领域的应用越来越普及。本文在简明阐述GIS与在气象领域中的应用之后，就气象数据查询系统进行探讨。结果表明GIS在气象领域的应用能有效提高气象数据管理的可视化程度和人机对话功能。     

基于MongoDB的气象数据存储检索系统#br#

近年来气象数据呈现多源化和爆炸式增长的态势,传统的关系型数据库已不能满足气象数据发展的需求。结合气象数据的地理空间特点,提出一种基于MongoDB的气象数据存储检索系统。本系统对气象数据建立空间索引,加快了气象数据的查询效率,为精细化、格点化预报提供了有力的支撑。实验结果表明,对于海量的气象数据,MongoDB具有强大的存储和检索能力,各个方面的性能明显优于关系型数据库。