地理大数据聚合的内涵、分类与框架

地理大数据是地理对象所产生的“足迹数据”,而地理大数据挖掘就是通过反演分析地理对象的“足迹数据”,揭示其中蕴含的人地关系及其时空模式。近年关于地理大数据的重大研究进展显示,其研究结论的取得大多需要借助多种大数据的信息综合。为此,本文提出研究地理大数据聚合的必要性：代表新的研究范式、产生新的研究视角、提升研究的全面性,并将地理大数据聚合定义为：不同地理大数据之间通过转换形成面向研究对象的多维数据集合。在阐述地理大数据分类和特点的基础上,将地理大数据聚合分为：时空聚合、面向对象聚合、面向主题聚合以及面向模型聚合四种类型。地理大数据聚合作为地理大数据挖掘的重要组成部分,其过程大致可以分为：确定内核—信息溯源—反演汇聚3个步骤,而其中的关键科学问题包括：统一时空框架和基准、统一数据表达与存储、匹配同一观测对象的多数据源、统一多源数据的时空范围、调和不同对象之间不同的变化速率、解决数据共享与隐私保护、大数据与小数据的聚合等。地理大数据聚合方法与技术的发展,将会拓展地方的感知、土地功能的识别、对人群的观测与理解、功能与流动之间关系、地表复杂巨系统等新领域的研究。     

地理信息产业转型升级的驱动力

当前，地理信息产业的发展面临着转型升级的严峻挑战，同时也迎来了大好的发展机遇。“互联网+”、大数据、云计算、人工智能等新兴信息技术的迅速发展为地理信息产业的转型升级提供了强有力的支撑。在这种情况下，人们要认真思考和探索地理信息产业转型升级的背景、目标、途径和方法、驱动力等一系列问题。针对地理信息产业转型升级的背景问题，从如何认识地理信息产业和大数据入手，提出大数据的时空观和时空大数据的理论；针对地理信息产业转型升级的目标问题，提出时空大数据平台理论和“通用时空大数据平台+”模式，通过军民融合实现时空大数据产业化，使之成为地理信息产业的转型升级版；针对地理信息产业转型升级的途径和方法问题，提出构建时空大数据平台的技术体制和技术方法，探讨从基础研究起步的时空大数据产业化之路，构建由硬件产品、软件产品、软硬件集成产品和各类（种）数据产品组成的时空大数据产品体系；针对地理信息产业转型升级的驱动力问题，探讨人工智能技术将成为地理信息产业转型升级的核心驱动力，并分析人工智能的算法、数据和计算能力三要素在时空大数据产业化中的作用及三者之间的关系。     

基于时空数据挖掘的城市体检评估方法与实践——以无锡市为例

时空数据挖掘作为当前研究的热点之一,为城市研究提供了新的思路和技术手段。本文以无锡市为例,利用手机信令数据、车辆轨迹实时数据、基础地理信息等多源异构时空数据,构建相应的数据挖掘模型,进行了职住平衡、区域联系度、交通拥堵等城市特征的挖掘与分析,构建多源数据挖掘的城市评估体系,探索了时空数据挖掘在城市体检评估中的应用,为城市规划和运行管理提供了科学评估与决策。     

时空大数据处理的需求、应用与挑战

时空信息不仅是大数据的重要组成部分,更可被看成是大数据本身。从大数据时代时空信息处理面临的新需求出发,包括时空信息处理需要大数据平台、大数据库、新的快速计算模型和分析方法,以及时空信息安全和标准化等,阐述了时空信息和大数据相辅相成的紧密联系,并对当今时空大数据的应用和挑战举例分析,描述了现今时空大数据的典型应用及其处理技术存在的问题,并对如何解决和将来的发展方向提出了新的思路。     

大数据与广义GIS

普适计算基础设施和数据处理技术的发展催生了大数据概念,而大数据时空粒度的不断细化加速了地理空间信息的泛化过程。阐述了大数据时代地理空间信息泛化的显著特征,进而提出GIS概念广义化的迫切需求,从数据采集与整理、数据管理与集成、数据分析与计算三个方面分析了广义GIS所面临的技术挑战,重点探讨了互联网蕴含地理空间数据采集、移动对象数据库和异构动态数据管理、移动对象轨迹数据挖掘、复杂网络分析等方面的研究进展与存在的问题,并展望了广义GIS时代地理计算与城市计算、社会计算的融合趋势。     

浅谈大数据环境下地理国情监测的几点思考

地理国情监测作为大数据时代测绘地理信息事业发展的战略方向,是新时期党中央国务院赋予测绘地理信息部门的重要使命。为了理清地理国情监测与大数据资源之间的关系,本文以地理国情监测与大数据相结合为切入点,从地理国情监测大数据的来源、特征,以及空间分析与数据挖掘方面分析了地理国情监测的特点和重要性,探讨了新形势下测绘地理信息行业所面临的发展机遇与挑战。     

时空信息与数据科学专题导言

<正>新型感知手段、人工智能和大数据技术的快速发展,从时空数据获取、管理、分析和展示等不同维度深刻地催动地理空间信息技术和方法的变革。时空信息与数据科学作为交叉学科领域,涉及地理信息系统、遥感技术、地球观测技术、大数据分析技术、计算机科学、人工智能等多个学科和技术的交叉与融合。为推动时空信息与数据科学的全面发展和深入应用,支撑数字中国战略,同时庆祝我国空间信息与数字技术专业设立20周年和《地理空间信息》创刊20周年,组织了“时空信息与数据科学”专题。     

扩展流数据立方体的GIS时空大数据组织方法

针对大数据GIS面临的大规模数据的多源异构动态性与数据存储优化等问题,本文开展大数据背景下的地理时空数据组织与模型研究,提出了一种基于流数据的可扩展立方体处理框架,在典型的流数据二维数据序列基础上,构建增加垂直方向的非结构数据立方体;结合立方体数据组织模型的定义和特征,探讨扩展关系型数据库与协同非关系型数据库的GIS时空大数据组织方法;通过扩展数据源、数据类型及数据操作等属性,突出多源异构地理时空大数据的时空关系和演变过程关系等特征,对地理时空大数据进行数据一体化组织、存储和分析;进而解决地理信息时空大数据的大体量、异构与动态性在GIS数据管理与分析方面的技术瓶颈,并且对GIS时空大数据的有效管理提供科学性方法和解决策略。     

大数据处理技术在地理信息档案管理中的应用

分析了当前地理信息档案管理的现状及面临问题,介绍了HDFS文件管理系统、云存储、Elastic Search检索、非结构化数据、知识图谱等5种主流大数据处理技术,并针对当前大数据技术在省级地理信息档案资源大数据处理平台构建和基于地理信息档案的数据挖掘与知识发现这2方面的应用方向及带来收益进行了论述,得出大数据技术能够大幅提升地理信息档案资源管理的智能性。     

关于常态化地理国情监测的思考

常态化地理国情监测主要包括基础性地理国情监测和专题性地理国情监测两大方面。从常态化地理国情监测的目标出发,提出通过建立空天地众源动态观测网络,实现众源数据动态获取和观测,开展基础性、专题性地理国情监测,建成地理国情信息时空数据库,在其基础上开展时空分析与数据挖掘,进行网络化地理国情信息发布与服务,形成地理国情监测技术支撑体系和体制机制。     

政务地理空间大数据研究进展综述

近年来,地理空间大数据引起了产学研及政府部门的高度关注,甚至引发了许多变革。面向电子政务的地理空间大数据技术为政府信息管理和决策提供了新的手段。本文在阐述政务地理空间大数据的内涵及特点的基础上,重点梳理了政务地理空间大数据处理的关键技术,包括政务地理空间大数据整合、存储与管理、挖掘与分析、可视化以及决策支持服务技术,最后分析了当前和未来政务地理空间大数据所面临的机遇和挑战。     

多模态时空大数据可视分析方法综述

时空大数据可视分析是近年国际大数据分析与数据可视化领域研究的热点前沿,也是全空间信息系统的核心研究内容之一。本文针对时空大数据多源、多粒度、多模态和时空复杂关联的特点,按照描述性、解释性和探索性3个层次分类归纳了现有时空大数据可视分析方法,论述了时空大数据可视分析中多模态特征筛选、新型人机交互分析以及探索性可视推理等技术难点和主要发展动态。研究表明,以数据可视化为主的描述性可视分析研究相对成熟,以可视环境下交互式挖掘分析实现问题诊断为主的解释性可视分析已成为当前大数据分析的焦点,而面向复杂问题协同决策的探索性可视分析方法则是大数据分析有待突破的重要发展方向。     

时空大数据分布式增量IMSTDCA聚类方法研究

时空聚类分析是对时空大数据进行利用的一种有效手段,目前传统聚类算法存在着大规模分布数据难以处理,海量数据处理时间较长,确定参数困难,聚类质量较差等缺陷。因此,提出一种分布式增量聚类流程DICP,利用广域网分布增量聚类方法,避免大量数据的传输拷贝,有效提升聚类运算效率。对于DICP流程中的时空数据聚类算法本身,研究了一种大数据环境下的IMSTDCA时空数据聚类算法,借助密度聚类的思想,通过时空数据的聚集趋势预分析、时空数据聚类算法,以及时空数据聚类结果评价3个步骤完成聚类分析,实现时空大数据的快速高效信息挖掘。     

展望大数据时代的地球空间信息学

20世纪90年代,随着全球信息化和互联网的推进,地球空间信息学应运而生,推动了数字地球和数字城市的建设。21世纪以来,随着全球信息化与工业化的高度集成发展,出现了物联网和云计算,人类进入了大数据时代。本文论述大数据时代地球空间信息学的特点(无所不在、多维动态、互联网+网络化、全自动与实时化、从感知到认知、众包与自发地理信息、面向服务)和必须解决的主要关键技术问题(全球空天地一体化的非线性地球参考框架构建技术、星基导航增强技术、天地一体化网络通信技术、多源成像数据在轨处理技术、天基信息智能终端服务技术、天基资源调度与网络安全、基于载荷的多功能卫星平台设计与研制)。本文最后给出大数据时代地球空间信息学的新定义,即地球空间信息学是用各种手段和集成各种方法对地球及地球上的实体目标(physical objects)和人类活动(human activities)进行时空数据采集、信息提取、网络管理、知识发现、空间感知认知和智能位置服务的一门多学科交叉的科学和技术。从这个新定义出发,地球空间信息学将在构建智慧地球和智慧城市的大数据时代面临更多的发展机遇和艰巨的任务,必将为人类社会的进步和可持续发展作出更大的贡献。     

面向大数据的时空信息云平台建设研究

在大数据时代来临的背景下,传统数据处理和分析方法已无法满足时空大数据高效存取、实时处理、分析挖掘等需求。本文结合智慧广东时空信息云平台的项目建设案例,探讨了面向大数据的时空信息云平台的建设目标、总体架构、关键技术、应用情况等内容,为解决海量时空大数据处理与分析性能问题,推动地理信息服务高质量发展做了积极探索。     

一种路网拓扑约束下的增量型地图匹配算法

着眼于低频浮动车轨迹数据,对地图匹配问题进行了抽象,并分析了影响匹配结果的几何约束与拓扑约束。针对GPS采样的低频性和城市路网的复杂性,提出了一种路网拓扑约束下的增量型地图匹配算法（topology-constrained incremental matching algorithm,TIM）。选取北京市浮动车的GPS样例轨迹数据进行匹配,结果表明,该匹配算法在不同复杂程度的城市路网下均表现较好。     

A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

Spatio-temporal evaluation matrices for geospatial data

The global geospatial community is investing substantial effort in providing tools for geospatial data-quality information analysis and systematizing the criteria for geospatial data quality. The importance of these activities is increasing, especially in the last decade, which has witnessed an enormous expansion of geospatial data use in general and especially among mass users. Although geospatial data producers are striving to define and present data-quality standards to users and users increasingly need to assess the fitness for use of the data, the success of these activities is still far from what is expected or required. As a consequence, neglect or misunderstanding of data quality among users results in misuse or risks. This paper presents an aid in spatio-temporal quality evaluation through the use of spatio-temporal evaluation matrices (STEM) and the index of spatio-temporal anticipations (INSTANT) matrices. With the help of these two simple tools, geospatial data producers can systematically categorize and visualize the granularity of their spatio-temporal data, and users can present their requirements in the same way using business intelligence principles and a Web 2.0 approach. The basic principles and some examples are presented in the paper, and potential further applied research activities are briefly described.     

Terra Populus’ architecture for integrated big geospatial services

Big geospatial data is an emerging sub‐area of geographic information science, big data, and cyberinfrastructure. Big geospatial data poses two unique challenges. First, raster and vector data structures and analyses have developed on largely separate paths for the last 20 years. This is creating an impediment to geospatial researchers seeking to utilize big data platforms that do not promote heterogeneous data types. Second, big spatial data repositories have yet to be integrated with big data computation platforms in ways that allow researchers to spatio‐temporally analyze big geospatial datasets. IPUMS‐Terra, a National Science Foundation cyberInfrastructure project, addresses these challenges by providing a unified framework of integrated geospatial services which access, analyze, and transform big heterogeneous spatio‐temporal data. As IPUMS‐Terra's data volume grows, we seek to integrate geospatial platforms that will scale geospatial analyses and address current bottlenecks within our system. However, our work shows that there are still unresolved challenges for big geospatial analysis. The most pertinent is that there is a lack of a unified framework for conducting scalable integrated vector and raster data analysis. We conducted a comparative analysis between PostgreSQL with PostGIS and SciDB and concluded that SciDB is the superior platform for scalable raster zonal analyses.     

基于Spark的分布式空间数据存储结构设计与实现

Apache Spark分布式计算框架可用于空间大数据的管理与计算,为实现云GIS提供基础平台。针对Apache Spark的数据组织与计算模型,结合Apache HBase分布式数据库,从分布式GIS内核的理念出发,设计并实现了分布式空间数据存储结构与对象接口,并基于某国产GIS平台软件内核进行了实现。针对点、线、面数据的存储与查询,与传统空间数据库系统PostGIS进行了一系列对比实验,验证了提出的分布式空间数据存储架构的可行性与高效性。