可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

分布式环境下矢栅一体化数据组织模型设计

随着地理信息技术与计算机网络技术的结合和发展,基于全球框架的地理信息服务对海量数据管理的要求越来越高,传统的单中心的关系数据库的管理模式已经不能满足要求。分布式文件系统、半结构化数据库和关系数据库技术优势互补,为海量数据高效管理提供了新的技术思路。本文提出了分布式环境下空间数据一体化存储管理架构,设计了矢量和栅格数据的数据逻辑组织和物理存储模型,通过统一的分层+分块的数据划分规则,实现了矢、栅数据分布式环境下的一体化管理。在该模型中,利用关系数据库和半结构化数据库的特点,对空间索引和实体数据分开管理,有效地提高了数据处理和访问效率。实验表明,该模型具有更高的数据管理能力,可为分布式环境下数据服务中心构建提供一个有效的解决方案。     

基于Shapefile的基态修正模型设计与实现

 本文通过对Shapefile文件进行扩展,使用改进的基态修正模型,构建了一种ArcGIS的时空数据模型,支持对时空变化过程的存储、分析和模拟,同时支持传统的GIS空间分析功能。本研究还设计和实现了一种基于多时态矢量数据集的时空数据变化过程发现和时空数据转换算法,此算法可以自动提取多个时态之间的变化过程,将多时态数据转换成基于Shapefile的时空数据模型存储。鉴于该数据模型,设计和实现了时空数据的快照恢复、变化查询、历史演化分析和数据更新方法,验证了模型的可应用性。     

基于TileStache的多源投影矢量数据瓦片生成技术研究

瓦片技术的出现改变了传统Web GIS的服务架构,提高了地图数据请求响应的效率。针对多种地图投影类型或地理坐标的矢量数据在瓦片划分过程中遇到的问题,本文基于OGR地理数据模型,设计了多投影数据转换Python模块,扩展至开源应用程序Tile Stache,得到适用于多源投影矢量地理数据的瓦片生成工具OTile Tool;从而实现矢量地理数据瓦片的快速生成,为网络地理信息系统提供了表达地理信息的Geo JSON格式瓦片数据。     

瓦片数据版权保护方法及应用研究

 随着"天地图"等网站的建设与不断发展,地理信息资源的共建共享得到了积极推动。然而,网络环境下瓦片数据非法下载、违法使用等安全问题日益严重和突出,如何保护网络环境下瓦片数据版权是当前迫切需要解决的问题。为了节省存储空间,海量瓦片数据存储方式往往采用索引机制,这种存储机制与常见的图像、栅格地图等数据对水印技术的要求不同。本文首先着重分析了采用索引机制存储的瓦片数据特征及其对水印技术的要求;在水印信息生成方面,采用了m序列生成无意义水印信息,而在水印嵌入方面,提出了映射机制的瓦片数据数字水印嵌入算法,采用红色和绿色通道生成的映射函数,将水印信息嵌入到蓝色通道中,其中水印检测为水印嵌入的逆过程;最后,实现了水印技术的瓦片数据实时版权保护系统,并通过了实例验证。     

基于MongoDB的矢量空间数据云存储与处理系统

近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。     

一种与地图服务结合的栅格瓦片计算模型

随着遥感影像数据的快速增长,对于栅格数据高效的信息处理和价值挖掘方式提出了更大的挑战,传统地图服务聚焦于内容的共享与可视化,缺乏对影像实时分析处理功能。本研究以地图服务的形式实现了对栅格瓦片数据实时分析处理能力,将云优化的GeoTIFF（Cloud Optimized GeoTIFF,COG）作为数据组织方式,设计了分布式协同预取策略,实现了栅格瓦片数据的冷热加载,优化了从云端读取影像数据的效率。在栅格瓦片数据高效加载的基础下,提出了一种基于表达式的栅格瓦片处理模型,通过对表达式转换建模为计算工作流,在地图服务的请求中实现对栅格瓦片的实时处理,对存储在云端的海量遥感数据进行快速分析,实现原始数据到数据产品的直接可视化转换。针对全量数据参与的场景,使用合适的重采样数据进行简化计算,以满足地图服务的实时性。使用了NDVI、地物分类、植被覆盖度三类不同复杂度模型,在地图服务中对Landsat 8影像进行了实时计算分析。实验结果表明,该处理模型能对栅格瓦片进行有效分析,且能进行分布式扩展,在高并发场景下能够提供稳定的地图服务能力,适应各层级尺度的计算,对未来地图服务的发展提供了一种新思路。     

基于 HBase的海量地理空间数据的空间索引模型构建与优化

传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不 足等困难.非关系数据库如 HBase等以其强大的扩展能力与计算能力为该问题提供了新的思·与方法.空间索 引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素.对 当前主要基于 HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结 合的 RowKey(行键),使空间数据在 HBase存储中得到很好的聚类效果,并针对要素重叠与边界划分等问题提出 了一种基于四叉树ＧR树的改进的空间索引模型.该模型基于四叉树结构将空间数据划分为多个子网格,为?一个 子网格构建 R树索引,利用 Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于 MapReduce的并行化索引构 建算法和相应的空间查询算法.经实验测试,该存储设计和空间索引模型具有较好的查询效率.      

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。     

国土资源大数据上云高效运行体系及关键技术研究——以山东省为例

基于山东省国土资源大数据上云系统建设和应用实践,在仿真实验的基础上,研究提高山东省国土资源大数据上云效率的运行体系和关键技术,为全省政务云建设提供参考。研究结果表明,通过高效运行体系构建和关键技术的应用,山东省国土资源上云系统快速显示、裁切、瓦片、数据挖掘等效率都得到不同程度的提高,其中上云系统并发性能耗时平均提速99.5%以上,矢量数据裁图效率同比提升17倍。研究结论:从功能设计、数据组织、硬件环境和拓扑结构四个方面统筹设计国土资源大数据上云系统高效运行体系,从数据处理、异构数据集成、分布式数据存储及挖掘、海量图库管理、灵活的搭建式开发等关键技术创新,可以大幅提高国土资源大数据上云运行效率。     

网络地图集成于 GIS桌面系统的方法及试验

网络地图可以快捷地提供海量空间数据,用户可通过其提供的API方便地将其嵌入到定制的网络应用中,同样,将其集成到功能丰富的GIS桌面系统中是必要的、有益的.但目前主流的网络地图如Google地图、Bing地图等,与主流GIS桌面系统所支持的OGC的WFS、WMS、WCS等空间数据服务发布规范不兼容,因而不能被GIS桌面系...     

一种面向现代GPU的大规模地形渲染技术

将地形数据均匀地划分为分页,通过基于视点的预加载方法和分页缓冲池管理技术实现海量地形数据的实时调度.沿用LOD算法基本思想,将已加载的分页再划分为若干个分块,以分块为单位进行批量渲染,并把不同细节等级分块之间的裂缝处理提前至预处理阶段进行,减少CPU的实时运算量.实验表明,该算法能使CPU与GPU之间更协调的工作,实现了大规模三维地形的高效渲染.     

基于GeoSOT-3D的空间对象快速可视化与实验分析

地球空间信息剖分组织,在全球海量、多源、多分辨率数据组织与管理方面表现出了极大的优越性。但全球尺度的空间数据往往数据量大、内容丰富,进行对象表达时需处理的数据量,远远超出计算机硬件的处理能力。鉴此,本文在GeoSOT-3D地球空间剖分框架下,借鉴已有三维快速可视化技术,并顾及GeoSOT-3D自身的全球多尺度划分、无缝无叠、二进制一维整形编码等特性,将现有三维快速可视化方法与GeoSOT-3D剖分框架特性相结合,提出了八叉树索引的空间对象裁剪和消隐策略,实现了GeoSOT-3D框架下空间对象的快速剖分表达。同时,以空间电磁场的表达为例,开发了试验系统,并对结果进行了分析,解决了GeoSOT-3D空间对象表达效率低下的问题。     

基于SVG的分布式遥感图像特征提取方法

在遥感图像网络化分布式特征分析与表达过程中,有很多需要栅格数据与矢量数据的混合模型的网络化表达与传输问题,而矢量数据的网络化表达、传输与显示问题则是影响遥感图像分布式处理效率的关键性因素之一。本文首先对SVG技术及其对矢量数据的表达特点作了简介,在介绍遥感图像分布式特征提取系统的运行流程的基础上,对其在遥感图像分布式处理中相关的网络化数据表达与显示问题给出了相应的解决思路,并给出了相应的实例与效果分析。     

基于中间件的瓦片地图服务设计与实现

为了对WebGIS遗留系统进行平滑升级,提高传统WebGIS服务器的响应速度和改善用户体验,设计并实现了一个瓦片地图服务中间件(Tile Map Service,TMS,又译为缓存服务)。通过分析其工作原理和体系结构,从瓦片空间索引、瓦片切图策略及系统部署等三个方面,给出了优化对策,并与传统WMS进行了性能对比。实验测试数据采用世界地图的第8缩放级别,在该缩放级别下地图瓦片总数为32768个,随机生成21000个包含3×3个瓦片的地图请求窗口,将随机生成的测试数据分成20组,每组依次包含100-2000个请求窗口。实验分别采用WMS请求和TMS请求两种请求方式,其中,WMS请求直接向GeoServer发送WMS数据请求,TMS请求采用多线程同时向瓦片地图服务中间件发送9个WMS瓦片请求。实验结果表明,该瓦片地图服务中间件比WMS的平均响应时间减少约46%,并具有很高的瓦片动态切图效率,对提高传统WebGIS的响应速度和平滑升级现有遗留系统具有重要的应用价值。     

基于条件生成对抗网络的电子地图可视水印去除方法

水印对于电子地图版权的保护十分重要,开展可视水印的去除研究有助于从攻防对抗的角度评价可视水印的有效性,进而提高电子地图可视水印的抗攻击研究水平。针对已有基于深度学习的可视水印去除方法存在训练样本量大、效率低、可视水印去除后有残留或要素丢失等问题,本文提出一种基于条件生成对抗网络(CGAN)的电子地图可视水印去除方法。该方法的模型主要由一个生成器和一个判别器组成,其中生成器采用U-Net结构,保证去除可视水印后生成的地图区域的真实性,判别器则采用基于区域判别的全卷积网络,通过对抗训练来区分生成的地图瓦片与真实地图瓦片之间的差异,使得可视水印去除后重建的电子地图更接近真实地图。实验表明,本文提出的方法简单易行,模型训练速度比基于全卷积网络的算法快4倍,能够去除文字、彩色图像及二者混合等模式的可视水印,可实现Google、高德、百度等国内外地图厂商提供的导航电子地图、遥感影像等多种地图瓦片上的可视水印批量去除,无需人工干预,且水印去除后的地图瓦片与原始真实地图瓦片有着良好的结构相似性。     

基于混合瓦片的海量DEM/DOM数据高效存储管理方法——以应急救灾数据库为例

针对传统DEM/DOM数据存储管理采用同一瓦片剖分导致大量DEM小文件入库效率极低的问题,在传统地形金字塔的数学基础上,建立DEM/DOM混合瓦片的金字塔模型。该模型考虑相同空间范围内DEM瓦片文件远小于DOM瓦片文件大小的数据特点,通过为DEM和DOM划分不同的瓦片范围,平衡瓦片文件大小;将空间相关的DEM瓦片打包,以减少文件数量,提高入库效率;设计了瓦片ID的编码方式,隐式存储非均衡瓦片范围的DEM瓦片和DOM瓦片的映射关系,支持无缝调度和浏览。以分布式数据库MongoDB为平台进行实验,验证了本文方法的可行性和有效性。     

基于ACE的海量三维空间数据通信研究

三维可视化已成GIS发展的潮流,这必然会导致空间数据量的激增,通过集群系统和并行数据库系统可以很方便地解决海量数据的存储管理问题。但是,在海量环境下,一般数据库管理系统提供的查询接口,仍然难以满足实时三维场景可视化的速度需求。因此研究C/S模式下海量三维空间数据的高效调度成为三维GIS发展亟须突破的难点。在数据库服务器端和客户端之间加上应用服务器端,提供数据缓存、预调度等功能,减少服务器端磁盘I/O所带来的时间消耗,可以明显加速数据调度。本文系统分析了这种客户端/应用服务器端/数据服务器端模式下三维空间数据通信的难点和主要设计挑战,并针对三维GIS的数据访问特征,设计了一套能满足三维GIS实时调度的通信应用层协议。以ACE中前摄器框架为基础,结合线程池技术提出分层策略,搭建了海量三维空间数据的通信架构,它是一种面向对象的构架,可以方便地进行功能的定制和扩展。