数千上万核上模拟结果的并行可视化

在科学与工程计算中,在数千上万核上,模拟包含上亿网格单元的模型通常输出TB量级的时变数据集。这些数据集包含多个时刻的数据,每个时刻的数据分布存储在数千个文件,单时刻的数据量达到几GB甚至几十GB。为了并行地可视化这种时变数据集,本文设计了基于网格片的层次化数据结构,基于该数据结构改进和优化了并行可视化流程和数据通信算法。在集成到可视化软件后,实现了两个应用的模拟结果可视化。实测数据表明,对于单时刻5GB和32GB的数据,在数十上百个处理器核上,从数据读入到获得体绘制结果的时间分别为19秒和80秒,交互操作为2秒到10秒;三维面绘制在数秒钟内,切片分析在2秒以内。     

工业大数据云 利用大数据集推动创新、竞争和增长

引言工业企业已进入了"大数据"时代,企业所管理数据的规模、种类和复杂度都在以前所未有的速度呈爆炸式增长。据麦肯锡咨询公司统计,"制造业的数据存储量高于其它行业——2010年的新数据存储量接近2EB"。大数据源自各种系统、设备和应用程序数据量的激增,使用传统软件解决方案,在可以接受的时间内完成这些数据的采集、管理和处理会非常困难。一个数据集内的大数据规模从几十TB到     

浅谈大数据

大数据是这两年非常热门的词汇,大数据应用已经开始被人们所关注。本文试着介绍大数据的由来、大数据的特点以及大数据的应用,并对大数据给信息技术带来的问题及大数据的发展趋势进行分析。     

基于递归模式技术的股票数据可视化

可视化技术对于分析和探究大规模的多维数据集变得越来越重要，其中最重要的一种可视化技术是一种面向像素的可视化技术，其基本原理是将数据集中的每个数据值映射成屏幕上的一个像素并对这些像素按一定的规则充分地加以排列，以便将尽可能多的数据对象以人们熟悉的图形图像展现在屏幕上。递归模式技术是面向像素的可视化技术的一种，它基于简单地来回排列，允许用户参与定义结构和设置参数，主要适用于有自然顺序的数据集。在股票数据分析中，利用递归模式技术比较容易描述交易数据库中股票价格的变化情况，并预测股票的走势。     

网络测量中的性能数据空间分析

如何从巨量性能数据提取出特征数据是网络测量中的一项非常困难的工作。首先定义了性能数据的特征，按指标类型、获取方式或流动特性将其划分成不同的数据集，并建立了性能数据空间。通过对数据的深入分析，将复杂的性能数据分析过程分为完备化和抽象化两个阶段，提高了数据分析的效率。最后根据性能数据空间和数据集的分析，设计和实施了一个分布式数据分析体系结构。     

基于不完备数据聚类的缺失数据填补方法

缺失数据的处理是数据挖掘领域进行数据预处理的一个重要问题.传统的缺失数据填补方法大部分是基于概率分布等一些统计假设,对于大数据集的数据挖掘不一定是最适合的方法.受不完备数据分析(ROUSTIDA)未采用传统的概率统计学方法启发,提出基于不完备数据聚类的缺失数据填补方法(MIBOI),针对分类变量不完备数据集定义约束容差集合差异度,直接计算不完备数据对象集合内所有对象的总体相异程度,以不完备数据聚类的结果为基础进行缺失数据的填补.采用UCI机器学习基准数据集进行实验表明,MIBOI对缺失数据的填补是有效可行的.     

大数据计算的关键技术浅议

移动互联以及物联网产生的海量的数据,被称为大数据,大数据通过收集、存储、计算可以分析出重要的一些数据,从海量的数据中挖掘出有用的数据是大数据计算的根本目的.本文介绍了大数据计算的几个关键技术.     

百G大容量硬盘选购全攻略

当今随着游戏、软件程序、数码照片以及数字影象等巨大数据量的增加，加之宽带网络的普及，人们对数据存储量的要求越来越大，几十G容量的硬盘经常让某些用户感到不够用，大容量硬盘也就顺理成章地进入到了越来越多的用户视野当中。让我们庆幸的是，目前200GB容量以上硬盘价格正在逐步走低，如果你在数据存储方面有更多要求，不妨提前享受一下超大容量硬盘带来的好处!     

数据质量分析及应用

随着信息系统的广泛应用，人们在获得海量信息的同时，越来越被数据的质量问题所困扰。自从数据库管理系统（DBMS）出现后，数据已不再是程序的附属品，转而成为一种独立的产品。在应用程序升级换代的过程中，数据不但贯穿始终，而且变得越来越宝贵。文中以税务行业为应用背景，从实践角度探讨了分析数据质量的若干途径。阐述了数据质量的定义；针对定义的各项标准，分别阐述采用的解决方法；最后对数据质量分析的未来发展进行了展望。     

高可伸缩性海量数据挖掘技术

挖掘海量数据从中发现有用的信息与知识是人们面临的重大挑战，而目前大多数挖掘算法对于海量数据的可伸缩性较差。针对频繁模式与关联规则挖掘问题，提出了数据集削减法，设计了相应的缓冲管理模型，将宽度与深度挖掘相结合，用于扩展Apriori和OpportumeProject两个算法。实验表明，扩展后的算法不仅可伸缩性大大提高，而且时间效率的提高也非常显著。