Hadoop下海量遥感数据的处理

随着我国空间技术科学的发展,遥感数据正以指数级增长,由于遥感数据的地理信息特征,海量遥感数据的存储和处理成了近年的研究热点,本文采用在商业上取得出色成绩的hadoop云计算平台来对海量遥感数据进行并行化处理,完成了系统并行性能测试与分析,结果表明利用hadoop对海量遥感数据的并行化处理的可行性,并且还能满足海量遥感数据并行处理效率要求和高可用性。     

Hadoop整合Cassandra处理海量数据

Hadoop作为开源组织Apache的一个分布式计算开源框架,可高效的对海量数据进行运算和处理,可以应对互联网上数以千万计的并发处理和访问,但其不支持数据的实时读写和修改。Cassandra是一款面向列的功能强大的Key-Value分布式数据库系统,具有良好的实时读写性能和可扩展性,但缺乏对海量数据进行分析运算的能力。将Hadoop与Cassan dra结合起来,取长补短,就能为云计算模型的实施提供一个高效的切实可行的方案。该文首先阐述了Hadoop整合Cas sandra处理海量数据的必要性,然后提出了具体的整合方案和实现,最后总结了Hadoop整合Cassandra所遇到的主要问题。     

一种基于Hadoop的高分辨率遥感图像处理方法

随着海量、多源的高分辨率遥感数据的获取,耗时较多、效率低下的传统处理方式已经不能满足用户需求。针对上述问题,提出了一种基于云计算的高分遥感数据处理框架,利用Hadoop技术设计和改进了Meanshift图像边缘分割算法,并在Hadoop环境下进行了仿真实验。实验结果表明,在Hadoop环境下的高分辨率卫星图像数据处理速度有了明显的改善。     

Hadoop平台的海量数据并行随机抽样

在“信息爆炸”的当今社会,海量数据对数据挖掘提出新的挑战。在数据挖掘转向云计算平台实现并行化的同时,研究并行化数据随机抽样进一步降低处理的数据规模。提出一种单次扫描即可实现清理脏数据并实现等概率抽样的mapreduce并行抽样算法。在hadoop平台上实现并与普通随机抽样方法进行比较,得出其时间效率非常高,是一种行之有效的方法。为以后数据挖掘中的抽样研究和推动数据挖掘在海量数据下的发展奠定良好基础。     

海量遥感影像数据存储技术研究

介绍现有海量遥感影像数据的存储管理方式及其存在的不足,研究基于分布式文件系统的海量遥感影像数据存储技术,通过研制的D—MaRISS系统,说明所采用的分布式文件系统的结构和影像数据的组织方式。实验表明,该技术能高效地实现对海量遥感影像数据的存储管理。     

海量卫星遥感数据共享的关键技术

在对遥感数据共享的研究现状及其存在的难点问题进行综合分析的基础上,从元数据共享、标准数据产品共享、遥感信息共享3方面内容,分别对遥感数据共享到遥感信息共享的关键技术进行研究。并给出基于网络服务技术实现遥感信息共享与综合信息集成共享服务的框架结构和基本步骤。     

一种Hadoop海量电信数据云计算平台设计与实现

在科技迅猛发展的背景下,4G在我们的日常生活中应用得越发广泛,甚至在部分地区已经实现了5G信号全覆盖.实际问题也接踵而至,当前所采用的数据分析法性能略显不足,不能满足大批量电信数据的处理要求,于是人们将侧重点放在新型云计算平台的设计与实现上.Hadoop作为开源框架,除了具备大规模分布式计算能力,还拥有较强的可伸缩性....     

基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的CPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过 定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapReduce框架中,可高效处理海量数据。     

卫星遥感及图像处理平台发展

航天科技是国家综合国力和科技实力的重要体现,而卫星遥感则是航天科技转化为生产力最直接、最现实的途径之一。遥感数据获取与分发、数据处理与信息提取是卫星遥感应用的两个基本步骤。随着国家民用空间基础设施规划中的遥感卫星体系稳步推进,以及商业卫星遥感的蓬勃发展,我国的卫星遥感数据获取能力呈现质量齐升之势。但同时,作为卫星遥感应用的基础设施和关键工具,遥感图像处理系统平台逐渐成为制约自主卫星数据应用和空间信息业务发展的重要因素之一。本文围绕卫星遥感对地观测主题,从卫星遥感数据获取能力、卫星遥感数据处理系统平台两方面,对国内外现状进行综述,在此基础上分析了卫星遥感的发展趋势。     

海量遥感卫星数据存档方法的探讨

遥感卫星存档数据是整个遥感数据应用过程的基础。它具有数据量大、保存时间长、唯一性强的突出特点。近年来,随着遥感技术的发展,卫星下行数据的分辨率和采样率越来越高,如何能够高效的完成海量遥感数据的存档已成为一项急需解决的关键性问题。本文结合遥感卫星存档数据的特点,对数据存档的流程和目前的现状进行了介绍和分析,并根据计算机技术、数据存储技术的发展,探讨了海量遥感卫星数据存档方法的可能发展趋势。     

基于Hadoop的遥感影像业务管理系统设计

随着信息技术、航天技术的不断发展,遥感影像数据量呈现爆发性增长.针对陕西某测绘所管理影像数据时出现的存储需求量大、读取过程缓慢、图像处理耗时长等问题.本文基于LFU （Least Frequently Used）缓存算法,设计了三级缓存模块,用来高速缓存影像数据.同时结合Hadoop开源技术,设计了遥感影像业务管理系统.该系统具有高内聚,低耦合,扩展性强的特点.经过系统性能测试,该系统能有效解决影像存储瓶颈,同时能提升影像读取速度,缩短影像处理时间.     

一种基于Linux容器技术的大规模遥感数据云服务平台

遥感数据云服务平台是基于云计算技术,整合大规模遥感数据的存储资源和计算资源,实现资源共享和按需使用的服务模式的地理信息处理服务平台。我们基于分布式存储技术实现遥感数据的高效存储、Linux 容器技术实现快速部署和资源隔离、ownCloud 私有云技术实现高效共享和 IPythonnotebook 交互式技术实现方便易用交互,设计了一种稳定、高效的地理信息云服务平台。用户可通过Web的方式方便的访问大规模遥感数据,并利用云主机的计算、存储资源对所需的遥感数据进行分析和处理。     

基于流式计算的遥感卫星数据快视处理方法

随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。     

历史云量数据在遥感卫星区域化采集模型中的应用研究

本文从建立遥感卫星区域化采集模型的角度出发,研究了历史云量数据在遥感卫星区域化采集模型中的应用,提出了历史云量数据在遥感卫星区域化采集模型中的应用模型,并以风云气象卫星历史云量资料作为参考数据进行了试验。试验表明将历史云量数据引入遥感卫星区域化采集模型中加以应用,能够使规划区域化采集方案时偏向选择历史平均云量较小的成像条带,为提高光学遥感卫星数据采集效率提供一种有效的方法。     

Hadoop平台上的云会议研究

针对传统多媒体会议规模小、媒体可靠性差和系统鲁棒性弱等缺点,提出一种面向服务基于云计算的多媒体会议-云会议.该系统利用面向服务的思想,采用松耦合结构,将信令、媒体服务相分离;利用云计算的规模大、扩展性和计算能力强的特点,扩大会议规模、高效处理媒体;改进云计算开发平台Hadoop,使其满足多媒体会议需求.实验表明,云会议在规模、可靠性、鲁棒性各方面比现有多媒体会议表现更佳.     

基于贝叶斯网络的遥感数据处理软件

航空航天对地观测系统利用遥感数据获取地表信息的过程中,存在数据误差造成的不确定性和成像时间限制造成的不完整性。针对上述问题该文开发了一款以贝叶斯网络及其相关算法为基础的遥感数据处理软件——BayesNetEX,介绍BayesNetEX的体系结构及使用方法,以三时相北京市TM遥感影像为对象进行变化检测数据处理试验,说明该软件能有效地应用于遥感影像处理。     

近年来Hadoop国外研究综述

综合论述近年来Hadoop国外研究成果,从论文发表年代,来源国家,作者单位类型,论文来源企业和主题等方面进行文献计量分析,从理论研究和应用研究两方面进行内容分析,理论研究包括比较研究,任务调度,性能优化和功能扩展等,应用研究包括云存储,数据查询,数据分析,数据挖掘,关联广告等,希望以此为进一步研究提供参考.     

遥感大数据在水利中的应用及发展

首先回顾国内外遥感技术的发展历史;其次总结遥感数据在水利中的应用,尤其是在洪涝灾害监测评估中水体的动态监测、旱情灾害监测中土壤含水量监测、地表水源监测中水体边界和面积的提取及水土保持监测中植被覆盖度等环境因子的提取中的应用;最后结合现代信息技术手段,展望遥感大数据在水利应用中的前景,即形成由水利大数据到知识库,再到知识图谱,最终利用可视化应用服务水利行业的整体应用框架,利用微观宏观知识的融合,可服务于水利科学机理揭示,并提升水利管理的实时性、精准性、科学性和智能性,符合水利信息化的新时代要求。     

数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点. 遥感数据具有多源化、海量化特点,是名副其实的大数据. 研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法. 在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以“5并行1加速”的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试. 结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.