大数据可视化的挑战与最新进展

大数据的来临增强了可视化的重要性。可视化分析挖掘人类对于信息的认知能力与优势,将人、机有机融合,借助人机交互高效洞悉大数据背后的信息与规律,是大数据分析的重要方法。针对大数据数据量大、维度高、多来源、多形态等特点论述了大规模数据、流数据、非结构和异构数据的可视化方法。首先讨论了大规模数据的可视化技术：1）采用分而治之的原则将大问题分解成较小的任务并采用并行处理的方式解决以提高处理的速度;2）通过聚合、采样、多分辨表示的方法进行数据约简;3）针对高维数据选择若干个视图,在多个角度下生成不同的可视化结果。然后针对监控型、叠加型两类流数据探讨了流数据的可视化过程。最后阐述了非结构化数据以及异构性数据的可视化技术。总之,可视化能够克服计算机自动化分析方法的劣势与不足,整合计算机的分析能力和人们对信息的感知能力,有效地洞悉大数据背后的信息与智慧,但其理论研究成果也非常有限,同时面临着数据规模大、动态变化、维度高、多源异构等方面的挑战,这些也逐渐成为今后的大数据可视化研究的热点与方向。     

基于分布式NoSQL数据库的档案大数据存储与检索方案研究

随着数字档案资源体系建设的不断加快,档案数据的种类日趋丰富,数量迅猛增长,呈现出大数据的特征。传统关系型数据库与集中式存储在档案大数据处理方面存在着适应性、可靠性和扩展性不足的问题。针对当前遇到的问题,通过分析传统档案数据存储模式的局限性,将分布式NoSQL数据库、分布式文件系统、分布式搜索引擎应用于档案大数据的管理。设计一套基于分布式NoSQL数据库的档案大数据存储与检索方案,并开发原型系统进行验证。     

城市交通GPS数据可视化分析

现阶段城镇化进程的不断加快和机动车数量的急剧增加导致道路交通压力不断增大,急需对产生的大量交通数据进行分析来指导市政道路规划和提高城市管理水平,从繁杂的交通数据中发现城市运行的规律。但交通数据具有海量,高维等特点,对其分析具有很大的难度。提出的可视化方法是解决该问题的有力手段,基本思想为通过一系列自动分析算法处理大数据和人脑对图像等可视化图形的先天认知优势,可以从海量复杂的数据中去伪存精,进而对关注的主题改进分析模型,最后获取结论。以山东省淄博市车辆GPS数据作为样例,首先对相关数据进行预处理,然后利用匹配技术还原车辆在道路上特定时刻的状态,再运用聚集计算等技术将车辆运行状态转化为道路通行信息,最后通过可视化界面呈现道路的交通运行情况。结果表明,该可视化方法能够反映淄博市道路通行状况。     

大数据可视化分析

人类利用形象思维获取视觉符号中所蕴含的信息并发现规律,进而获得科学发现。文章介绍科学可视化、信息可视化和数据可视化的内涵,阐述大数据可视化分析方法。     

基于可视化元数据配置的大数据治理方案

当下互联网运营竞争愈发激烈,中小企业急需大数据系统支持业务运营,但普遍缺乏大数据人才,并且实施大数据营销的成本较高。针对中小企业的业务场景,设计一套可视化的大数据治理方案,通过流程调度系统和大数据计算平台,实现大数据模型自动化计算,同时利用容器化技术实现快速部署,满足大数据场景。方案全部采用开源工具,大大降低了使用和维护成本,平台扩展性强,系统稳定性高,支持数据可视化,投入较低的成本就能满足中小企业的大数据运营需求。     

基于VR的大数据可视化教学系统设计与实现

提出一种基于VR的大数据可视化教学系统的实现方法。给出了大数据可视化教学系统设计原则,基于并行实时渲染的大规模无缝拼接显示技术、数据可视化的多体感交互技术、大屏的视频点播技术、面向大数据可视化的全景拼接与显示等,提出了大数据可视化教学系统架构;给出了大数据分析过程的认知模型、高维数据的分析及呈现方法,以及基于可视化的数据理解与可用性分析评估。利用Unity3D技术,通过C#等开发了大数据可视化虚拟课堂。实践证明,该系统可有效提高学生的学习兴趣及效率,增强学生对于大数据本质的洞察和理解。     

教育大数据可视化研究综述

教育大数据可视化分析对于复杂教育规律的理解与挖掘具有重要作用,已成为当前教育信息科学研究领域的重要课题。首先归纳了教育大数据的典型特征,从促进学生元认知发展、辅助教师监督学习过程及提升管理者科学决策水平三个角度介绍了教育大数据应用的最新研究成果,并简述了利用教育大数据实施可视化分析的基本流程。然后重点对文本数据可视化、多维数据可视化、网络数据可视化、时间序列数据可视化以及地理空间数据可视化等五种主流的教育大数据可视化呈现方法进行特征描述,并给出具体的应用场景。随后介绍了动态查询与过滤技术、可缩放/变形界面技术和多视图联动技术三个实施教育大数据可视化的关键交互技术方法。最后依据最新研究动态,从多模态教育数据融合、人机交互、人机协同范式以及教育数据可视化设计的标准规范和评价体系四方面对教育大数据可视化未来研究方向进行了展望。     

基于Web的大数据可视化系统

随着互联网技术的不断发展,各行业数据呈爆发式增长。为了使企业更加方便有效利用这些数据,数据可视化系统应运而生。但是,现有的数据可视化系统大部分针对特定场景开发,易用性差、学习曲线长、维护成本较高。笔者提出的基于Web的大数据可视化系统,具有灵活的交互方式,使用户在丰富图表类型的基础上,快速实现数据可视化,并支持本地CSV上传和JDBC数据源连接。该系统以组件化的方式进行开发,提高了开发效率和系统可维护性。     

医学大数据可视分析研究

可视化分析可以提高科研人员对数据隐藏信息的洞察力。本文将医学数据源分为普通数据、高维数据、公共卫生数据、管理数据、评估数据五种类型,分析了每种类型数据的集成转换方法和交互呈现方式。但不容忽视的是,医学数据可视分析还面临数据不一致、人机交互普及性较差和可视技术不丰富等问题,有待进一步研究和探讨。     

质量度量指标驱动的数据聚合与多维数据可视化

以多维数据可视化为研究对象,在质量度量模型下,采用数据聚合为基本手段,来提高多维数据可视化的图像质量.在质量度量指标驱动的框架下提出了均分 K-means++数据聚合算法,在传统 K-means算法的基础上,专门以数据可视化为目的对算法进行了改进,使得算法聚合得到的数据既能够较好地保持原数据的大部分特性,又能显著地提高可视化后的图像质量.仿真实验证明,在不同的数据抽象级别DAL下,无论是图像质量指标还是质量度量指标HDM（直方图差值度量）、NNM（最近邻距离度量）,算法都表现出了较好的仿真结果.     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

江苏核电大数据可视化分析平台的建设与应用

为解决大量数据无法快速进行可视化分析挖掘的问题,江苏核电基于开源技术进行定制化开发,按照层次化功能架构设计,对平台的数据层、逻辑层和展示层的功能进行开发,快速构建大数据可视化平台,有效解决对数据进行可视化分析的问题。文章从功能特点、建设要求、经济性等维度对大数据可视化产品和传统商务智能产品进行对比,阐述建设可视化分析平台的优点和必要性;梳理与建立基于平台的数据可视化分析的服务的管理流程和职责分工,平台成果应用于物资编码检查分析与可视化业务看板等方面,在支撑管理决策、提升管理水平、提高业务运营效率和改进优化业务四个方面体现了平台的价值。文章介绍的大数据可视化分析平台的建设思路和方法可有效提升数据分析的工作效率。     

P-DOT: a model of computation for big data

In response to the high demand of big data analytics, several programming models on large and distributed cluster systems have been proposed and implemented, such as MapReduce, Dryad and Pregel. However, compared with high performance computing areas, the basis and principles of computation and communication behaviour of big data analytics is not well studied. In this paper, we review the current big data computational model DOT and DOT Advanced, and propose a more general and practical model p-DOT (p-phases DOT). p-DOT is not a simple extension, but with profound significance: for general aspects, any big data analytics job execution expressed in DOT model or bulk synchronous parallel model can be represented by it; for practical aspects, it considers I/O behaviour to evaluate performance overhead. Moreover, we provide a cost function of p-DOT implying that the optimal number of machines is near-linear to the square root of input size for a fixed algorithm and workload, and certify that the processing paradigm of p-DOT is scalable and fault-tolerant. Finally, we demonstrate the effectiveness of the model through several experiments.     

时空轨迹大数据分布式蜂群模式挖掘算法

针对时空轨迹大数据的蜂群模式挖掘需求,提出了一种高效的基于MapReduce的分布式蜂群模式挖掘算法。首先,提出了基于最大移动目标集的对象集闭合蜂群模式概念,并利用最小时间支集优化了串行挖掘算法;其次,提出了蜂群模式的并行化挖掘模型,利用蜂群模式时间域无关性,并行化了聚类与子时间域上的蜂群模式挖掘过程;第三,设计了一个基于MapReduce链式架构的分布式并行挖掘算法,通过四个阶段快速地实现了蜂群模式的并行挖掘;最后,在Hadoop平台上,使用真实交通轨迹大数据集对分布式算法的有效性和高效性进行了验证与分析。     

基于Python的大数据分析与可视化“理实一体”教学模式的探索与实践

如今,大数据技术已经应用到各行各业,发挥着不可替代的作用,创造着不可估量的价值。传统的“(理论课)黑板+粉笔+多媒体+(实验课)实践”教学模式已经严重不符合课程教学要求。因此,文章对基于Python的大数据分析与可视化“理实一体”教学模式进行了探索与实践,提出在课堂实施“理论讲解+案例演示+操作实践+课堂小测”四个教学环节,其中“案例演示+操作实践”循环进行,实现理中有实,实中有理。把理论、练习、实践融于一体,激发了学生的主动性、积极性,在增强学生的动手能力和解决问题的能力方面具有重要意义。本文对教学环境的搭建、教学内容的选择与组织、教学过程设计、教学实效四个方面进行了详细阐述,希望为“基于Python的大数据分析与可视化”的教育教学提供参考与借鉴。     

基于区块链技术的物流大数据可视化平台构建

针对传统物流大数据可视化平台缺少共享机制,可视化结果并不理想的问题,提出了基于区块链技术的物流大数据可视化平台构建方法。在区块链技术的基础上构建物流大数据管理平台,将大数据、云计算、移动互联网等新信息技术融入到平台构建中,在分层式的体系结构设计的基础上保证平台各个分层拥有适度的可扩展性与适应性。使用ML-T80型号电子标签,对货物所在位置进行实时跟踪,采用Symbol LS2208AP型号条码扫描器,实现手持模式和免提模式轻松地切换。根据用户展示端电路连接图,使用户在外界受到电磁干扰的情况下依旧能够直接查阅到想要的信息。规划服务范畴,设计数据管理功能、物流信息服务功能、物流资源交易功能和智能辅助决策功能模块。由实验结果可知,该平台共享周期短,最高共享效果可达到93%,以此实现物流大数据共享价值最大化。     

基于AP聚类的不完整大数据填充

不完整数据的分析与填充一直是大数据处理的热点研究课题,传统的分析方法无法对不完整数据直接聚类,大部分方法先填充缺失值,然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充,使得填充值容易受到噪声的干扰,导致填充结果不精确,进而造成聚类精度很低。提出一种不完整数据聚类算法,对不完全信息系统的相似度公式进行重新定义,给出不完整数据对象间的相似度度量方式,进而直接对不完整数据聚类。根据聚类结果将同一类对象划分到相同的簇中,通过同一类对象的属性值对缺失值进行填充,避免噪声对填充值的干扰,提高填充结果的精确性。实验结果表明,提出的方法能够对不完整数据进行聚类,并有效提高缺失数据的填充精度。     

大数据与可视化在电力设备管理中的创新应用——以设置财务分析指标体系为例

本文针对当下智能电网技术蓬勃发展和电力设备管理不尽人意的矛盾而展开研究,目的是找出一条可以快速实现电力设备的安全和高效运行的道路。本文所使用的理论和对象,均已获得业内普遍认可,包括以往电力设备的管理和检修策略、智能电网时代的电力设备检测技术方法以及大数据和可视化技术的发展现状和趋势等,因而具有坚实的理论和实践基础。通过定性与定量研究、经验比较与描述性研究、跨学科与探索性研究等方法,得出结论,随着信息技术的迅速发展和大数据时代的到来,电力设备管理一直无法实现突破的障碍已经被打破。进而提出,只有结合电力行业大数据特征设置关键性指标,并以此为核心打造内在数据逻辑体系和外在可视化体系,才能实现电力设备管理的迭代。文章最后对新时代电力设备管理进行了展望,并以设置财务分析指标体系为例,对电力设备管理智能系统进行了框架性构建。