一种基于NoSQL的气象非结构化数据产品存储方法

基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。     

应用分布式存储技术优化省级CIMISS数据服务能力

随着气象数据量的不断增长,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储系统动态扩展能力不足、并行计算与吞吐效率低下等限制CIMISS继续发展的问题,采用分布式文件系统和NAS技术替代GPFS建设共享文件系统,实现非结构化气象数据的存储功能;采用分布式数据库替代Oracle RAC建设关系数据库管理系统,实现结构化气象数据的存储功能和非结构化气象数据的索引功能。实践证明,该方案能够有效地改善CIMISS的数据存储能力、并发响应能力,适应未来气象业务对数据存储和应用的需求。     

气象数据在多种类数据库上查询统计能力初探

气象结构化数据包含地面小时数据、地面分钟数据等多种数据种类,在分析和调用中需要利用时间属性和空间属性。随着数据量日益增大,高并发、复杂统计条件下的查询与统计对数据库的效率要求十分严苛。在此背景下,传统的关系型数据库逐渐难以满足实时应用需求。本文使用不同类型的分布式数据库和关系型数据库,结合气象业务使用场景,探索多种类型下数据库的使用性能,研究不同场景的性能差异与不同数据库架构框架之间的关系,以提高数据服务实时响应能力。     

基于Hadoop的数值预报产品服务平台设计与实现

数值预报产品数据与日俱增,采用传统的关系型数据库对其进行存储和管理存在效率低和存储能力不足的问题。另外,基于文件的存储方式在数据存储处理、数据读取和算法计算等方面存在性能瓶颈。针对这一问题,基于Hadoop技术体系设计了分布式的数据存储模型,实现了数值预报产品数据的分布式存储和处理,开发了数值预报产品数据接入处理模块;并实现了基于Rest Web Service的获取数值预报产品要素场数据访问接口、时间序列数据访问接口、数据下载接口等业务应用接口。多业务用户的实际业务测试表明, 该平台在诸如数值预报产品气象数据处理和业务应用方面较传统技术架构具有一定优势。     

数据湖技术在气象卫星资料业务共享中的应用

文章依托大数据云平台·天擎系统的共享NAS存储,通过省级气象通信系统的文件分发策略,将气象卫星广播数据迁移到共享NAS上进行统一存储。基于B/S系统构架搭建气象数据湖对大数据云平台·天擎系统的共享NAS存储上的数据进行统一管理。数据湖提供了前端图形界面对目录权限和账户权限统一管理,一方面规范了数据访问权限,保障了数据和账户的安全性。另一方面解决了因数据反复迁移、多处存储而造成的资源浪费,符合气象业务的发展需求。     

基于数据湖的智能网格气象预报业务产品服务模式初探——以江西省为例

随着智能网格业务不断发展,智能网格气象预报业务产品种类、数量日益增长,给产品的存储管理带来挑战。针对江西省智能网格气象预报业务产品收集及存储现状,采用PostgreSQL、Kibana、Elasticsearch等开源技术,提出了基于气象大数据云平台的气象数据湖建设思路,实现产品集中存储和管理,并提供统一共享服务,解决了海量多源数据产品存储、管理和共享等技术难题,为业务用户能够高效共享和应用数据产品提供数据环境支撑。     

基于大数据云平台的天山气象APP设计与应用

为提升大数据云平台与移动互联网的耦合气象服务质量,满足气象防灾减灾移动可视化需求,推进新疆气象信息化事业高质量发展,亟需开发一款专业气象服务APP。该APP在“云+端”业务模式下充分利用气象业务现有数字化成果,采取多源存储、接口调用、控制反转和数据交互技术,对全疆天气自动站的地面观测、格点实况融合、雷达回波、灾害预警等气象资料进行加工处理和移动展示。天山气象APP可按用户需求提供疆内基于实时位置的天气实况、精细化预报、预警详情、雷达拼图、实况要素产品和统计值要素产品,同时继承大数据云平台服务接口高额承载能力,实现毫秒级响应,在全疆天气自动站应急保障与气象防灾减灾服务中应用成效显著。     

Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

CIMISS数据存储管理系统结构优化及应用

针对CIMISS数据存储管理系统在业务运行中出现的性能瓶颈问题,在分析该系统流程的基础上,根据性能瓶颈出现的不同环节开展相应的优化工作,针对数据存储性能问题,分析了传统Share Disk和最新Share Nothing架构的差异,设计了分布式数据库的部署方案和嵌入CIMISS技术方案。针对业务调度进程的性能瓶颈,优化了相应的调度记录项。数据分析表明,上述优化措施实施后,数据存储管理系统的服务性能和运行稳定性提升明显,数据服务接口皆有数倍的性能提升,非结构化数据平均入库及时率高于98%,为各类气象业务应用提供了稳定可靠的数据环境支撑。     

环境感知应用系统的数据传输与安全

环境感知应用系统广泛应用在工业生产、日常生活等领域.本文主要研究环境感知应用系统中的数据收集、安全传输和安全管理等技术,提出了环境感知应用系统架构图,包括环境数据采集单元、数据传输网络及云数据中心,从数据的收集、传输、存储、应用、管理等多个方面保护环境数据的安全性.首先,本文阐述了数据在环境感知应用系统中的收集和传输流程,然后,分析数据从环境数据源传输到现场控制单元,再接入互联网传输到云数据中心采用的安全传输方式.最后,研究了可应用于云数据中心的多种安全防护方法以保护数据安全,包括敏感数据加密、数据隔离、访问控制、权限管理、审计日志、备份恢复等.     

人工读取ZQZ-A区域自动站存储数据的方法

汛期由于信号干扰、雷击导致移动基站故障等原因,常会造成区域自动站不能正常传输所采集到的数据,为了做好气象服务,获取气象资料,该文介绍了人工读取区域自动站存储数据的方法。     

基于智慧气象的数据接口的实现

物联网、云计算、移动互联、大数据等新一代智能技术的迅猛发展,为智慧气象产品提供了技术支撑。由于气象信息系统数据类型多种多样,且来自多个部门、跨越多个系统平台,数据结构和格式也不相同,因此数据读取与处理是一项异常复杂的工程。为了解决该问题,开发了基于智慧气象的气象服务数据接口。基于智慧气象的数据接口,具有跨平台性、良好的响应速度、通用的数据交换格式,可使各种应用之间相互通信,并能创建新的应用。基于智慧气象的气象服务数据接口为RESTful风格,返回格式为JSON。数据接口的开发采用JAVA语言,基于Spring MVC+Spring Security Oauth2开发框架实现。数据存储采用Oracle数据库,分为冷、热两种数据。客户端对数据接口的访问,采用HTTP GET的方式发出数据请求,访问服务资源地址,获得JSON格式的数据返回结果。为加强数据接口访问的安全性,采用HTTPS POST方式访问授权接口获取访问令牌。基于智慧气象的数据接口,已为微信、微博、手机APP、网站等多个系统及保险公司、市政等多个单位提供数据支撑,且气象服务数据接口系统安全性高,具有较好的用户体验和兼容性。     

Storm流式技术在地面气象数据处理中的应用

地面自动站气象数据的量级、观测传输频次日益增长,传输方式从传统的文本方式发展到消息传输,对数据处理时效有了更高的要求。该文提出采用Storm流式技术进行地面自动站气象数据的解码和入库,使用Spout节点连接外部数据源,将数据转化为Tuple,传递给解码Bolt、入库Bolt和DI/EI消息Bolt,分别进行实时的入库和监控,且达到灵活调整系统资源的目的。该应用与传统的简约流程对比,稳定性、处理效率、拓展性都有了显著提高。     

面向CIPAS3.0的气候数据环境设计与实现

本文针对气候监测预测分析系统（CIPAS3.0）数据环境的系统架构、总体设计，提出系统实现的若干关键技术并进行深入分析。CIPAS3.0作为国家气候中心面向气候监测、预测、诊断业务的核心业务系统，其数据支撑环境已全面融入气象大数据云平台“天擎”，针对不同存储格式的数据源，建立了以GBASE和PostgreSQL底层存储架构为基础的气候专题数据库，采用基于配置文件的可插拔数据加工处理框架，并提供了具有数算一体能力的数据访问接口。CIPAS数据环境设计采用OBS（Object Storage Service）对象存储进行产品的管理，同时针对数据产品完整性和分布式集群管理建立了全流程的监控系统，实现了数据从采集、入库、存储、加工处理、访问、监控等各环节的支撑作用。目前，CIPAS3.0数据环境已投入业务使用，其建设成果在国家级业务单位和试点省份的试用显示出其在支撑业务应用能力与发展前景方面具备较好的基础。     

广东省气象卫星遥感数据资源池设计与应用

气象卫星数据是遥感应用的核心基石，遥感业务平台是遥感应用的重要技术手段。本文利用广东省气象局数据中心分布式NAS存储，分设FY 3D、FY 4A数据资源池，通过数据同步和用户管理技术，设计了面向桌面级业务应用的广东省气象卫星数据资源池V1.0。利用SMART和SWAP两大气象遥感应用系统，各级业务人员可快速制作气象卫星遥感监测和评估产品。通过上述“云+端”的遥感业务架构，有效解决气象遥感数据不易获取的难题和遥感应用的技术壁垒，为推进省、市、县级气象卫星遥感业务一体化提供了一定的应用示范和参考价值。     

“秦云工程”气象数据对接的设计与实现

依托以CIMISS为核心的省级集约化气象数据环境,通过架构分析、接口定制、数据同步、存储和数据服务等关键技术环节的研究,实现"秦云工程"气象云的数据对接。为开展其他行业大数据接入"秦云工程"并进行交换和共享,具有一定的指导与参考意义。     

贵州省自有数据接入CIMISS流程介绍

以SWAN产品接入为例,介绍将贵州省非结构化数据接入CIMISS系统平台,完善并丰富数据种类,为基础业务提供强有力的数据环境支撑。     

气象通信数据多维模型构建及OLAP应用初探

气象通信系统是国内和国际气象资料传输与交换的枢纽。为了从宏观上掌握气象通信系统资料的传输情况,有效管理数据、优化和梳理业务流程,根据通信系统数据量大、流程复杂、数据异构等特点,文章基于数据仓库技术构建气象通信数据的多维模型,为长时间序列的通信数据存储和分析提供解决方案。利用SQL Server Analy-sis Service,采用实时业务系统的真实数据展开多维数据模型构建的试验,在此基础上对多维模型进行了联机分析处理(OLAP),验证了多维模型在数据分析和展现方面的优势。     

GIS气象数据的管理与表达方法

将气象数据分为离散数据、格网数据和要素数据,在此基础上,建立了气象数据库,包括气象资料信息数据库、社会资料信息库、基础地理数据库和气象空间数据库,并详细分析了气象数据的组织结构、表达和处理方法,最后提出了基于GIS的气象数据管理与表达的处理方法.     

大城市气象服务信息系统数据存储体系框架设计与实现

海量气象数据的存储、管理以及信息服务的实现一直是气象信息处理中的关键问题。文章系统介绍了我国大城市气象服务信息系统技术框架中气象数据种类和数据格式、数据结构和数据存储体系以及各主要数据类型的管理和存取方式。