海洋大数据分级存储中迁移模型的研究

海洋数据具有规模庞大、种类繁多、结构复杂、时空特性明显等特征,如何高效地对海洋中的大数据进行存储是实现我国海洋数字化以及管理的科学化的关键。传统的数据存储系统面临着高扩展性、高可靠性、高安全性和低成本的挑战。阐述海洋数据的特征,制定海洋中大数据的生命周期;根据海洋中大数据的生命周期图,设计出一种适合于海洋大数据特征的迁移模型,解决了海洋中大数据在分级存储中的数据迁移问题,实现了海洋大数据的高效存储。     

海洋信息管理系统的设计与实现

为了解决海洋数据的多源异构问题,使用户对大量复杂的海洋数据进行有效管理,设计并实现一套海洋信息管理系统。首先介绍系统的体系结构,然后对各模块进行详细的阐述,并对海洋数据进行了详细的分析。针对海洋数据存在数据不一致、数据空缺和数据冗余等问题,使用基于累积变化量的时间序列异常检测方法,有效检测出海洋数据中的异常点,再对异常点进行修正,保证了海洋数据的质量,从而建立一套完善的海洋信息管理系统,使得海洋相关部门的业务流程更加科学化和规范化。     

一种分布式数字海洋云系统研究

海洋数据分布区域广泛且数据量庞大,现有数字海洋系统相对独立,海洋数据信息共享度低,制约了大规模海洋数据的高性能计算。为"数字海洋"系统提供有力的数据支持和计算服务。本文提出一种基于云的分布式数字海洋系统,把不同的海洋数据通过高速网络连接起来建立一个存储云,使用一个专用的网络服务协议,用于高性能广域网络连接的计算机集群所进行的大型分布式数据集的高性能计算。实验结果表明,与现有基于Hadoop分布式数字海洋系统相比,该系统的性能有显著提高、数据高度共享。     

驰骋数据海洋

浩瀚的数据海洋始终处于不断发展、变化的过程中，当企业数据的处理能力提高到一定程度时，给企业注入的活力和变革将不可限量。对于日交易额达到45亿元的支付宝来说，如何畅游于大数据海洋？     

大数据背景下海洋数据管理的挑战与对策

空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等特性为其管理带来了新的挑战。阐述了海洋数据的特点和海洋数据管理的基本架构,探讨了海洋数据在数据存储、数据质量、数据安全等环节面临的挑战,分析了相应的对策,为海洋科学与工程技术的研究提供了重要的参考与依据。     

IDL在海洋微波遥感数据处理中应用

针对海洋微波遥感数据的特点与处理存在的问题,介绍了基于交互式数据语言(IDL)进行应用程序的开发方式,提出IDL处理海洋微波遥感数据的过程与方法,并给出应用实例。结果表明,利用IDL处理海洋微波遥感数据是一种可行的技术方案,并且能够较好地平衡性能与开发周期之间的关系。     

一种针对海洋数据的空间抽样方法

抽样是提高海量海洋数据环境调研、数据挖掘、可视化展示等处理运算效率的有效手段。经典的抽样方法(简单、系统、分层、簇)是针对传统工业产品建立起来的,直接应用于海洋数据则存在效率低,信息冗余、空间分布不均等问题。针对这些问题,提出一种针对海洋数据的空间抽样方法,该方法首先利用海洋数据的相关性对研究区域分层;接着基于海洋数据的空间变异性,设计优化的系统空间抽样方法。实验结果表明,新的空间抽样方法在降低样本信息冗余的同时,兼顾了样本点的空间分布。该方法能有效地获取分布均匀的样本点位信息,且兼顾了样本点之间的变异性,较好地保留了区域内的特征变化信息。     

基于Hadoop的海量数据存储平台设计与开发

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.     

面向海洋的多模态智能计算：挑战、进展和展望

海洋是高质量发展的要地,海洋科学大数据的发展为认知和经略海洋带来机遇的同时也引入了新的挑战。海洋科学大数据具有超多模态的显著特征,目前尚未形成面向海洋领域特色的多模态智能计算理论体系和技术框架。因此,本文首次从多模态数据技术的视角,系统性介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。首先,通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。其次,在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。最后,针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测以及高性能计算4个关键科学问题中的挑战,并提出未来展望。     

基于多属性最优化的海洋监测数据副本布局策略

数据的完整性和可靠性是保证其能被高效访问的关键,尤其是在云存储环境中,数据副本策略是影响系统性能和保障数据可用性的核心。从数据副本布局的角度,提出了基于多属性最优化的数据副本布局策略(Data Replica Layout Strategy based on Multiple Attribute Optimization,MAO-DRLS)。该策略根据数据的访问热度和存储节点的关键属性特点,为每个数据设置动态的副本数,并选择合适的节点对副本进行布局。实验表明,MAO-DRLS策略能够有效地提升数据副本的利用率,缩短系统的响应时间。     

基于水声信道的海洋环境信息数据同化方法研究

水声信道的仿真与海洋中各参数密切相关。海洋参数获取的准确性在很大程度上决定了水声信道仿真的准确性。海洋参数的获取是关系到水声特性和信号传播研究的重要物理量。海洋环境参数的获取有多种方法,例如,浮标直接观测或根据以往资料和经验进行预测等。数据同化技术可以对不同方式获取的信息进行同化,并将不同性质的数据进行有效组合,以提高海洋参数估计的精度。研究了基于海洋环境信息的数据同化方法,对浮标观测直接获得的海洋温度数据集利用数据同化方法进行改进。考虑到获取观测数据的难度,采用Argo实时数据中心提供的数据集。通过仿真模拟分析了同化后的海温与直接获得的观测数据之间的差异,对直接观测得到的海温进行了修正,给出了同化后的结果。结果表明,数据同化技术能够综合考虑不同观测手段中各观测要素的不确定性,通过考虑数据获取时的误差,可以精准地估计海洋温度,为海洋温度的准确获取提供了有力的数据支撑。     

云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。     

基于叙词分类的海洋科技信息的数据转储

在研究叙词表分类的基础上,调研了国家海洋局第一海洋研究所海洋科技信息数据。根据这些电子资源的存储方式与存储结构,对其进行数据的转储,设计了标准的XML文件,以便数据资源的二次使用与共享。     

应用前景广阔的海洋一号卫星

我国第一颗海洋卫星 (HY- 1)于北京时间 2 0 0 2年 5月15日 9时 5 0分在太原卫星发射中心发射升空 ,按预定计划实施完成了 7次变轨 ,于 2 0 0 2年 5月 2 7日到达 798km的预定轨道。自 2 0 0 2年 5月 2 9日开始正式下传海洋水色扫描仪与 CCD成像仪所探测的数据 ,国家卫星海洋应用中心的北京、三亚地面站成功地接收到了第一轨海洋一号卫星遥感图像。此后海洋一号卫星地面应用系统每天实时接收处理卫星下传的遥感数据。卫星发射 10 0多天以来 ,HY- 1卫星与地面系统运行正常 ,国家卫星海洋应用中心负责牵头与卫星研制等单位一起 ,经全体参试…     

基于海洋综合观测平台的海洋智能预警的研究

在海洋综合观测平台上,提出一种基于模糊聚类的海洋灾害预警。该系统能对海洋监测的大量异构数据进行融合聚类,及时、准确地跟踪和反映海洋环境监测要素的变化状况,为管理决策者提供可靠的数据信息、科学的预报和预警信息,有助于我国海洋环境资源的保护、开发及利用。     

海洋数据质量检验方案中残差优化选择算法磁

随着信息化的快速发展,海洋数据的获取手段变得多种多样,海洋数据的“量”急剧增大,如何保证海洋大数据的质量问题成为热点。抽样检验是一个较成熟的课题,但适用于海洋数据特性的抽样方案研究较少。结合海洋数据的特点,利用 Skyline 的思想,提出了分批排序的优化抽样检验方案选择算法。通过各抽样检验方案残差的 Skyline 集合,选择优化的质量检验方案,提高海洋数据质量检验精度的同时保证海洋数据的检验费用。     

大数据时代：数值天气预报的机遇与挑战

随着地球观测系统及数值模拟方法的不断发展,数值天气预报研究进入以数据驱动为核心的新范式,大气科学也迈入了大数据时代,大数据技术赋能数值天气预报发展成为大气科学研究的热点方向。从气象海洋大数据的内涵、分类及其特征出发,概括和梳理了气象海洋大数据在数值天气预报的应用,从技术方面,对资料同化、物理过程参数化、数值预报产品订正,以及机理与数据融合的模式开发等问题进行分析,并对相关应用进行了深入探讨和展望,从而为气象海洋大数据与数值天气预报的融合发展提供重要参考依据。     

利用Hyperion数据提取海洋烃渗漏信息研究初探

海洋油气藏普遍存在着烃类渗漏现象,通过应用遥感数据检测海洋表面烃渗漏信息并最终确定油气藏位置,这一技术在国外已经比较成熟,并被广泛应用于海洋石油前期勘探。本文通过进行室内、室外油膜模拟试验,利用Hyperion高光谱数据进行了提取海域烃类异常信息的初步研究。图谱曲线分析结果显示烃渗漏异常区域与普通海水的图谱特征差异主要表现在可见光至近红外波段。运用光谱角度制图法(SAM)提取研究区的海面烃渗漏信息,将提取结果与已知油气地质资料对照分析,结果表明所提取的烃类异常信息与油气藏情况基本吻合。     

海洋灾害遥感元数据及数据系统设计

提出一个海洋灾害遥感元数据框架,用来对海洋灾害遥感数据进行描述、组织、存储和管理;在此基础上,建立了海洋灾害遥感数据系统,实现了卫星数据及灾害专题产品的网络发布、查询检索和数据获取,为国家灾害应急监测与灾后恢复重建等重大应急任务提供数据交换与数据共享服务。     

一种用于海洋大数据的低功耗数据采集器设计

为了对海洋环境进行实时监测,设计了一种对气压、气温、湿度、降水、风速、风向、潮汐和盐度等各类信息进行采集的低功耗数据采集器。首先对总体硬件框架进行了设计,然后对各组件的硬件组成进行了详细描述,即数据采集接口、存储器模块、通信模块、显示模块和时钟以及看门狗等硬件进行设计;同时对软件总体框架进行了设计,对软件的各组成部分如串口的初始化、传感器数据读取流程均进行了详细描述。最后,对海洋数据采集器在海洋监测系统中的应用进行了说明。为了验证数据采集器的功能,对所设计的采集器进行了测试,实验表明文中方法能对海洋环境信息进行实时监控,具有测试准确、成本低、功耗低以及布设简单优点。