城市道路交通数据可视分析综述

目的 交通是困扰现代大都市的世界性难题.近年来,可视分析技术在分析和利用交通大数据中扮演了越来越重要的角色,成为一项重要的智能交通技术.本文将全面回顾自信息可视化和可视分析兴起以来城市交通数据可视分析领域的研究现状.方法 从道路交通流量分析和其他交通问题分析两个方面,按照数据的类型及问题的分类探讨交通领域的可视化技术和可视分析系统,简单回顾近年来出现的研究新趋势.结果 早期研究注重对道路流量的可视化展示方案,主要方法有箭头图、马赛克图和轨迹墙等.随着可视分析手段的丰富,对城市道路交通流量的分析层次上升到交通事件层面,但是交通事件的定义仅局限于交通拥堵.应用可视分析的其他交通问题领域包括公共交通、交通事故和人群出行行为等.近年出现了挖掘和利用交通轨迹或交通事件的社会属性或称环境上下文信息的研究新趋势.结论 从对交通流量的可视化到交通事件的可视分析,从面向道路交通状况到与交通相关的其他社会性问题,从单纯反映路况的交通数据到富含社会性语义的多源数据,从传统的PC端可视化和交互范式到新型的可视化展示介质,交通数据可视化领域的研究在深度和广度上都得到大大拓展,未来该领域的研究趋势也体现于其中.     

鸟类卫星跟踪数据可视分析方法研究—以朱鹮为例

目的 鸟类跟踪技术的成熟发展使得鸟类专家可以轻松获得大量鸟类运动数据。然而，数据规模的增加使得传统方法难以有效完成数据检索和分析。研究如何辅助专家有效地分析这些数据，挖掘其中的有用信息，具有很强的实用价值。本文基于国家Ⅰ级重点保护物种朱鹮的卫星跟踪数据，从鸟类专家对数据分析的需求出发，提出了一种运动轨迹的可视分析方法。方法 基于二维地图进行多视图协同展示的交互布局方式，以及聚类分析方法等对朱鹮运动轨迹进行可视分析，挖掘朱鹮的生活状态和习性。在以上工作的基础上，设计实现了一个朱鹮运动轨迹可视分析系统。结果 本文提出的可视分析方法，允许用户从时空维度和时期（繁殖期、游荡期、越冬期）、状态（夜宿、觅食）等具有生态学意义的维度观察朱鹮运动轨迹，对运动数据进行统计分析，了解朱鹮运动行为。与现有朱鹮数据分析方法相比，本文提出的可视分析方法能够同时从多个不同维度对运动数据进行分析，针对朱鹮的生活状态和生活习性进行更深入的分析挖掘。结论 案例分析表明，基于本文提出的方法，鸟类专家可以从多个角度对朱鹮运动轨迹数据进行综合分析，达到对鸟类习性和状态进行研究挖掘的目的，并能够为其他鸟类跟踪数据分析工作提供思路和方法。     

MAP-Vis:基于MAP模型的时空点状大数据可视化方案

目的 对于大数据挖掘，可视分析是一种非常重要的研究手段，有助于快速、直观地理解分析大数据蕴含的价值信息。但因其海量、时空、高维等特征，大数据可视化存在内存消耗大、渲染延迟高、可视效果差等问题。针对上述问题，以海量时空点数据为例，采用预处理可视化方案，设计并实现了一套高可扩展的分布式可视分析框架。方法 借鉴瓦片金字塔模型提出一种多维度聚合金字塔模型（MAP），将瓦片金字塔的2D空间层级聚合扩展到时间/空间/属性多维度，同时支持时间、空间、属性的多维层级聚合。进而以Spark集群作为并行预处理工具，以HBase分布式数据库持久化存储MAP模型数据，实现了一套开源的分布式可视化框架（MAP-Vis）。结果 以纽约出租车数据集为例，本研究实验证明能够支持时间/空间/属性多尺度、多维度联动的交互式可视化，同时具有高可扩展的预处理能力和存储能力。结论 在分布式处理能力支持下，系统能实现亚秒级的查询响应，达到良好的交互式可视化效果，证明MAP-Vis是一种有效的大数据交互式可视化方案。     

数字图像反取证技术综述

目的 数字图像的真实性问题备受人们关注,被动取证是解决该问题的有效途径。然而,如果伪造者在篡改图像的同时利用反取证技术对篡改的痕迹进行消除或伪造,那么已有的大量被动取证技术都将失效。回顾图像反取证技术的研究现状（包括兴起原因、实现原理、技术特点以及应用前景）,并根据已有文献总结反取证技术面临的主要挑战和机遇。方法 由于现有的被动取证技术大都基于遗留痕迹和固有特征的异同来辨识图像真伪,因此本文以不同的取证特征为线索来评述和比较反取证技术的原理和策略。结果 根据取证特征的不同,将反取证技术归纳为遗留痕迹隐藏、固有特征伪造和反取证检测等三类,并展示了当前各类反取证技术面临的难点和挑战。结论 对数字图像反取证技术进行总结和展望,并指出其算法未来在通用性、安全性、可靠性等方面将有待进一步的深入研究。     

轨迹数据可视分析研究

轨迹数据大量产生于交通、气象、生态和移动服务等领域.有效地理解和利用这些数据不仅需要自动高效的分析方法,也需要直观生动的可视化;这两者相互结合形成了可视分析技术.文中概述了轨迹数据可视分析中的主要方法和交互技术,并介绍了一系列应用案例.最后,文中总结了轨迹数据可视分析研究中的问题和面临的挑战.     

高维数据聚类可视分析方法综述

数据聚类的可视分析方法利用可视化与交互技术帮助用户对聚类过程与结果进行 多角度分析,从而发现数据内部隐藏的结构和关系。但由于高维数据自身的“维度诅咒”问题 使得聚类分析面临着许多挑战,例如模型参数设定、数据特征捕捉、结果解释以及可视化展现 等。本文从高维数据聚类过程中遇到的问题出发,首先总结了高维数据聚类过程中常用的数据 处理方法并对其性能进行了比较,这些方法能够较好地解决“维度诅咒”问题,帮助用户挖掘 数据中存在的聚类模式。在分析和理解不同聚类结果中包含的数据内部结构和规律时,由于前 期采取的数据处理方法不同,因此需要采取不同的探索分析策略,所以本文将近10 年来高维数 据聚类的可视分析方法分为2 大类进行总结,即基于降维的聚类可视分析方法和基于子空间聚 类的可视分析方法。最后对该领域目前存在的机遇与挑战进行了讨论。     

平行坐标轴动态排列的地理空间多维数据可视分析

目的 平行坐标是经典的多维数据可视化方法,但在用于地理空间多维数据分析时,往往存在空间位置信息缺失和空间关联分析不确定等问题。对此,本文设计了一种有效关联平行坐标和地图的地理空间多维数据可视分析方法。方法 根据多维属性信息对地理空间位置进行聚类分析,引入Voronoi图和颜色明暗映射对地理空间各类区域进行显著标识,利用平行坐标呈现地理空间多维属性信息,引入互信息度量地理空间聚类与属性类别的相关性,动态地确定平行坐标轴排列顺序,进一步计算属性轴与地图之间数据线的绑定位置,对数据线的布局进行优化处理,降低地图与平行坐标系间数据线分布的紊乱程度。结果 有效集成上述可视化设计及数据分析方法,设计与实现一种基于平行坐标轴动态排列的地理空间多维数据可视化分析系统,提供便捷的用户交互模式,通过2组具有明显地理空间多维属性特征的数据进行测试,验证了本文可视分析方法的有效性和实用性。结论 本文提出的可视分析方法和工具可以帮助用户快速分析地理空间多维属性存在的空间分布特征及其关联模式,为地理空间多维数据的探索提供了有效手段。     

基于可视分析的训练数据质量提升综述

在机器学习应用中,由于数据来源渠道多以及部分标注者水平不足,训练数据质量很难得到保证.通过深度结合机器学习和可视化技术,可视分析技术将人融入数据质量分析与提升回路中,帮助提升训练数据质量,从而提高模型性能.文中首先总结了训练数据质量问题的三大类型:标注错,覆盖窄,标注缺;然后基于这些问题类型,介绍分析了相关的可视分析工作,包括标注错误修正方法,数据集偏离纠正方法和无标注数据质量提升方法;最后深入分析了基于可视分析的训练数据质量提升面临的机遇与挑战,包括在复杂任务、大语言模型、多模态数据、流数据等场景下的数据质量提升.     

智能数据可视分析技术综述

如何从海量数据中快速有效地挖掘出有价值的信息以更好地指导决策,是大数据分析的重要目标.可视分析是一种重要的大数据分析方法,它利用人类视觉感知特性,使用可视化图表直观呈现复杂数据中蕴含的规律,并支持以人为本的交互式数据分析.然而,可视分析仍然面临着许多挑战,例如数据准备代价高、交互响应高延迟、可视分析高门槛和交互模式效率低.为应对这些挑战,研究者从数据管理、人工智能等视角出发,提出一系列方法以优化可视分析系统的人机协作模式和提高系统的智能化程度.系统性地梳理、分析和总结这些方法,提出智能数据可视分析的基本概念和关键技术框架.然后,在该框架下,综述和分析国内外面向可视分析的数据准备、智能数据可视化、高效可视分析和智能可视分析接口的研究进展.最后,展望智能数据可视分析的未来发展趋势.     

空间语义增强下的城市交通事故数据可视分析

目的 海量城市交通事故数据可能蕴含有交通事故的空间模式，挖掘出交通事故的空间模式有助于开展交通事故的防治工作。目前交通管理部门虽然记录了交通事故发生地的空间位置信息，但没有对事故发生地进行空间语义描述，从而影响对交通事故空间模式的深入分析。因此，提出一种交通事故数据空间语义增强方法，并设计了一套可视分析系统。方法 基于城市兴趣点来增强交通事故数据的空间语义。以事故发生点为中心获取周围城市兴趣点，使用特征向量刻画兴趣点的数量、类别及其与事故发生点的距离，并称此向量为空间语义特征向量。将空间语义特征向量和相应的交通事故关联，以达到增强其空间语义的目的。然后，基于空间语义特征向量，使用自组织映射聚类算法对交通事故进行聚类分析，根据其空间语义特征将交通事故分为若干类别。最后，通过使用地图视图展示事故点数据、聚类视图和平行坐标视图展示聚类分析的结果及其空间语义特征的可视化方法，对交通事故的空间模式进行分析。结果 针对空间语义增强的交通事故数据以及相关分析任务，有效地使用上述数据分析方法与可视化技术，设计并实现了一套多视图关联的可视分析系统，提供了便捷的交互方式辅助用户分析。通过研发人员和交通警察共同对安徽省合肥市2018年的交通事故数据进行分析，将交通事故发生地划分9类并指出每类地点的空间语义特点，进一步分析出了事故高发区域的空间语义特性。结论 本文提出的交通事故数据空间语义增强方法和可视分析方法可以帮助用户揭示交通事故的空间语义模式，有助于深入分析和认识交通事故的成因，能为交通事故防治相关的城市建设工作提供建议。     

领域无关数据清洗研究综述

对领域无关数据清洗的研究进行了综述。首先阐明了全面数据质量管理、数据集成和数据清洗之间的关系,着重说明了领域无关数据清洗的特点。将领域无关数据清洗方法分为基于特征相似度的方法、基于上下文的方法和基于关系的方法分别介绍。最后对领域无关数据清洗的研究方向进行了展望。     

数据质量和数据清洗研究综述

对数据质量,尤其是数据清洗的研究进行了综述.首先说明数据质量的重要性和衡量指标,定义了数据清洗问题.然后对数据清洗问题进行分类,并分析了解决这些问题的途径.最后说明数据清洗研究与其他技术的结合情况,分析了几种数据清洗框架.最后对将来数据清洗领域的研究问题作了展望.     

中文数据清洗研究综述

针对中文数据清洗研究进行了综述。阐明了全面数据质量管理与数据清洗之间的关系,给出数据清洗的定义及对象;介绍中文数据清洗问题产生的背景、国内外研究现状与研究热点,并简介其基本原理、模型及已有算法;着重阐明了中文数据清洗的方法;总结中文数据清洗研究的不足,并对中文数据清洗的研究及应用进行了展望。     

一种可交互的数据清洗系统

对于各个领域的信息资源而言,数据质量一直是一个非常关键的问题,而现实世界中的数据往往存在着各种各样的质量问题,从简单的拼写错误到复杂的语义不一致错误。数据清洗的目标就是检测并去除数据中存在的各种错误和不一致,提高数据质量。在归纳总结数据质量问题和数据清洗相关研究的现状的基础上提出一个可交互的数据清洗框架的定义。系统提供了方便、易用的可视化的数据清洗流程定义环境。     

面向众包数据清洗的主动学习技术

传统方法多数采用机器学习算法对数据进行清洗.这些方法虽然能够解决部分问题,但存在计算难度大、缺乏充足的知识等局限性.近年来,随着众包平台的兴起,越来越多的研究将众包引入数据清洗过程,通过众包来提供机器学习所需要的知识.由于众包的有偿性,研究如何将机器学习算法与众包有效且低成本结合在一起是必要的.提出了两种支持基于众包的数据清洗的主动学习模型,通过主动学习技术来减少众包开销,实现了对给定的数据集基于真实众包平台的数据清洗,最大程度减少成本的同时提高了数据的质量.在真实数据集上的实验结果验证了所提模型的有效性.     

数据聚类中基于浓度噪音消除的可视化参数选择方法

可视化技术的发展极大地提高了传统数据挖掘技术的效率.通过结合人类识别模式的能力,计算机程序能够更有效的发现隐藏在数据中的规律和信息.作为聚类分析的重要步骤,噪音消除一直都是困绕数据挖掘研究者的问题,尤其对于不同领域的应用,由于噪音的模型和定义不同,单一的数据处理方法无法有效而准确地去除域相关的噪音.本文针对这一问题,提出了一个新型的可视化噪音处理方法CLEAN.CLEAN的独特之处在于它设计的噪音处理技术和提出的可视化方法有机地结合在一起.噪音处理算法为可视化模型生成所需数据,同时针对噪音处理算法选择可视化方法,从而达到提高整个数据处理系统性能的目的.这样不仅降低了噪音去除过程中主观因素的影响,还可以帮助数据挖掘程序去除领域相关的噪音.同时源数据的质量,算法参数的选择和不同噪音去除算法的精确性都可以在所使用的可视化模型中反映出来.实验表明CLEAN能够有效地帮助空间数据聚类算法在噪音环境下发现数据的自然聚类.     

基于局部时空特征方向加权的人体行为识别

目的 对人体行为的描述是行为识别中的关键问题,为了能够充分利用训练数据从而保证特征对行为的高描述性,提出了基于局部时空特征方向加权的人体行为识别方法。方法 首先,将局部时空特征的亮度梯度特征分解为3个方向(X、Y、Z)分别来描述行为, 通过直接构造视觉词汇表分别得到不同行为3方向特征描述子集合的标准视觉词汇码本,并利用训练视频得到每个行为的标准3方向词汇分布;进而,根据不同行为3方向特征描述子集合的标准视觉词汇码本,分别计算测试视频相应的3方向的词汇分布,并利用与各行为标准3方向词汇分布的加权相似性度量进行行为识别;结果 在Weizmann数据库和KTH数据库中进行实验,Weizmann数据库中的平均识别率高达96.04%,KTH数据库中的平均识别率也高达96.93%。结论 与其他行为识别方法相比可以明显提高行为平均识别率。     

Web数据清洗及其系统框架研究

数据清洗是提高数据质量的有效手段。分析了从Web上抽取的数据存在的质量问题或错误,针对错误类型,给出属性错误(包括不完整数据和异常数据)和重复与相似重复记录的描述,并提出相应的清洗方法;设计了一个数据清洗系统框架,该框架由数据预处理、数据清洗引擎和质量评估三大部分组成,可以针对不同的错误类型,完成不同的清洗任务。实验表明,该框架具有通用性和可扩展性。