舆情可视化分析系统设计与实现

在网络信息爆炸的今天，对海量的网络舆情数据进行可视化分析展示具有重要意义。文章从文本内容、情感倾向、数据来源结合时间和空间维度，对网络舆情进行多维度关联可视化分析。基于ECharts可视化图表库完成网络舆情可视化分析系统的开发。该系统用丰富的图表展示用户关心的舆情信息，支持用户创建事件、图表切换、报告下载等功能。通过该系统能够帮助用户掌握舆情分布、发展态势和演进规律，辅助用户做出决策，避免舆论危机发生。     

基于Web的大数据可视化系统

随着互联网技术的不断发展,各行业数据呈爆发式增长。为了使企业更加方便有效利用这些数据,数据可视化系统应运而生。但是,现有的数据可视化系统大部分针对特定场景开发,易用性差、学习曲线长、维护成本较高。笔者提出的基于Web的大数据可视化系统,具有灵活的交互方式,使用户在丰富图表类型的基础上,快速实现数据可视化,并支持本地CSV上传和JDBC数据源连接。该系统以组件化的方式进行开发,提高了开发效率和系统可维护性。     

基于Web的信息可视化系统的设计与实现

可视化技术的发展能够帮助我们加深对大规模复杂数据和信息间相互关系的理解,因此人们针对不同领域开发出各种功能的可视化系统。以高等级生物安全实验室协同工作平台CBL项目为背景,根据生物安全实验室环境监控和生物安全知识库的可视化需求,设计并开发了CBL信息可视化系统。该系统采用基于Web的B/S三层架构,利用MVC设计模式,根据需求分别采用合适的可视化模型开发可视化组件,并根据可视化界面与用户交互的不同方式采用相应的Web客户端技术,方便用户更加高效地获取和理解信息。     

高性能计算数据远程交互可视化系统研究

针对现有可视化服务平台用户接口简单、实时性差的问题,提出了一种新的远程交互可视化平台系统。基于多任务协同和并行计算构建远程可视化服务平台框架,应用远程可视化和实时交互技术实现客户端用户对远程服务器端大规模计算数据及可视化工具的实时交互操作,从而为异地用户提供具有实时交互功能的可视化环境。应用结果表明,平台操作简便、实时性好,能支持多种可视化工具对多种计算数据进行远程操作。     

基于Nagios的监控数据分析展示平台

基于Nagios已设计开发了中国科学院超级计算环境监控平台,通过监控平台可获取集群的相关运维信息,及时了解各服务器的状况,针对出现的故障问题做出快速响应。监控平台获取的数据受存储方式等因素的限制无法方便地提供给外部使用,本文针对获取的集群数据加工处理并设计开发了获取这些数据的相应接口。开发人员可方便地利用这些接口获取数据并根据自己的需求通过不同的方式进行可视化展示。基于监控接口我们开发实现了一个用于展示超级计算环境运行状况的Show平台。用户或系统管理员可通过科技网通行证登录此平台查看中科院超级计算环境的整体运维信息,同时各管理员可查看自己集群的运维数据。Show平台为用户了解环境以及各集群的运行状况提供了方便的途径。     

基于Unity3D的虚拟博物馆信息可视化系统

信息可视化技术可以帮助我们加深对大规模复杂数据和信息间相互关系的理解, 而三维技术为信息可视化领域带来了新思路. 本文根据杭州工艺美术博物馆虚拟博物馆三维展厅浏览和藏品知识点信息浏览的可视化需求, 设计并实现了藏品信息可视化系统. 该系统基于Unity3D开发平台搭建, 根据杭州工艺美术博物馆虚拟博物馆藏品信息可视化需求分别设计实现相应的三维可视化组件, 通过Web3D客户端技术实现了用户通过浏览器高速、便捷地浏览博物馆三维可视化信息的功能需求.     

基于C++的变电站可视化系统的开发

随着变电站的发展,可视化软件的开发变得尤为重要,尤其是随着基于信息一体化技术的发展,柱状图或饼图的信息可视化图形已经得到了普遍发展和应用。但是随着图形技术的发展,如何将信息转换成为立体图形与常规的二维信息图形进行融合成为了变电站图形可视化的重要发展方向。本文通过VS平台,以C++为主要开发语言进行数据图形的立体展示模型开发,最终实现了全新监控系统与二维监控系统的配合。     

气象格点数据在线可视化平台的设计与开发

气象格点数据是气象数值预报、数据融合、再分析等产品的主流格式,而该类数据的处理及可视化工具使用中存在专业性强、运行环境配置繁琐等问题,导致该类数据通常仅在气象行业内部使用,应用范围受到极大的限制,已不能满足科研、商业以及社会用户对气象格点数据使用需求。针对以上问题,该平台采用B/S、Node.js开发框架、集成WebGIS、D3.js等技术,实现了免安装、在线数据交互、融合可视化展示等功能。除了传统色斑图,还叠加了动态流场,实现了气象格点数据的综合动态展示。文中利用T639数值预报数据对该平台进行了检验,结果表明该系统能够准确客观地展示数据信息,同时其动态风场展示功能更有利于用户理解和应用数据。该平台的开发提升了气象格点数据的展示能力和效率,为格点数据的空间区域及多要素等关联可视化分析,提供了实用、便捷、有效的工具;同时结构化的开发,可为数值预报、再分析等系统的可视化集成提供开放的对接渠道。     

基于Flask的AIS大数据地理信息系统研究与开发

针对AIS大数据的信息挖掘及可视化等相关问题,研究并开发了一款前后端分离的大数据地理信息系统。本文对该系统的整体结构和技术方法进行了介绍,后端的数据和计算服务基于Flask框架,前端界面基于JavaScript语言进行开发,实现了地图基本功能、大数据统计查询可视化以及聚类分析等功能。系统运行结果表明,该系统对于进一步挖掘AIS大数据的内在时空信息及其数据内容提供了重要的保障和技术支持。     

海上平台水文气象数据监测系统的设计与实现

基于.NET开发平台和云存储、并行计算、多线程和应用程序托管等技术设计并实现了面向海上平台水文气象数据的监测系统。系统集海量数据的采集、发送、处理、管理和可视化于一体,解决了海上平台的风、海流、波浪、泥温和盐度等海量水文气象数据难以采集、无法远程快捷智能传输、难以进行有效处理和挖掘以及难以可视化的问题。为长期有效获得并处理海量连续水文气象观测数据,进而提供有效水文气象信息指导给出了解决方案。     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...