基于云计算平台的电力全业务数据中心建设研究

针对电力全业务数据中心建设过程中,传统数据中心普遍存在的成本高、不易扩展、数据存储和处理等方面缺陷,提出基于云计算平台的电力全业务数据中心建设,将云计算平台框架与电力全业务数据框架结合,充分利用云平台的数据存储、数据计算、以及数据分析处理优势,对电网公司的全类型业务数据通过接入、采集和过滤,构造出全业务数据模型,进行数据分析挖掘,从而优化公司各类业务、管理及决策,有效实现电网公司全业务数据中心的建设和治理。     

物联网环境下云数据存储安全及隐私保护策略研究

物联网依托云计算强大的数据处理能力实现信息智能,而目前云计算对数据和服务的管理并不值得用户完全信赖。针对物联网环境下云数据安全性问题,在云计算中为了保证用户数据的准确性和隐私性,提出了一种物联网环境下云数据存储安全及隐私保护策略。实验结果表明该方案有效、灵活,且能抵御Byzantine失效、恶意修改数据甚至是服务器共谋攻击。     

基于物联网的公共安全云计算平台

将物联网技术引入到公共安全领域,重点研究了分布式计算和虚拟化存储及云计算的技术特点和应用,针对目前公共安全平台的不足,设计了5层的物联网公共安全平台架构,为以后警用物联网的建设提供了新的思路,同时结合该架构,提出了一种基于云计算的数据支撑平台,为该公共安全平台提供虚拟化的数据存储和管理,以实现各业务数据的共享和安全,提高了物联网应用的安全和计算能力。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于云计算的日光温室群物联网服务平台

以建设智能化日光温室物联网为目标,提出日光温室群物联网服务平台设计方案。该平台包括感知操作层、采集控制层、组网传输层、门户服务层和后台云支撑层5个层次,实现了温室群的数据存储、管理控制和云数据分析等功能。设计面向日光温室生产动态过程的实时云预警技术及云分析建模系统,提高日光温室生产的精细化作业水平。应用结果表明,该平台能扩大日光温室的管理规模,降低物联网系统建设和运行成本,提高日光温室群物联网的大数据存储和数据分析能力,并且具有良好的可扩展性、安全性和稳定性,在农业信息化领域有较好的推广前景。     

监控视频云存储系统

非结构化数据呈爆炸态势增长, 传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进, 通过分析安保视频数据存储的问题, 设计一种云计算架构下的安保视频监控存储系统, 基于框架技术搭建了对等架构的云计算环境, 并对其中的云存储策略进行了设计和建模. 实现在廉价不可信节点上存储海量私有化只读视频数据, 并提供高效可靠地访问. 仿真结果显示, 系统的存储性能可靠度高且易于扩展, 可提供效能较高的视频云存储服务.     

感知矿山物联网愿景与发展趋势

给出了矿山物联网的愿景,即实现矿山物与物相连,减少甚至消除监测盲区,运用云计算和大数据技术提取有用的监测信息,真正实现本质安全矿山;从技术和服务模式2个方面梳理了矿山物联网的发展趋势,阐述了雾计算技术、网络分形结构、矿山物体的本体描述与知识化、云计算与大数据技术等概念及其在矿山物联网中的应用与发展,对协同工作模式和购买服务模式进行了展望。     

大数据管理:概念、技术与挑战

云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来.数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用大数据已经成为普遍关注的话题.大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生.对大数据的基本概念进行剖析,并对大数据的主要应用作简单对比.在此基础上,阐述大数据处理的基本框架,并就云计算技术对于大数据时代数据管理所产生的作用进行分析.最后归纳总结大数据时代所面临的新挑战.     

云计算及云数据管理技术研究初探

云计算及云数据管理技术是在传统的数据存储、分布式计算和网络技术等计算机技术的基础之上发展而来的,它旨在分布式存储和处理海量数据,以方便人们按需及时获取相应服务。云计算及云数据管理技术的实现和发展日益显现出了它的强大存储计算能力和广泛应用前景。本章介绍了云计算的概念及特征,分析了云计算及云数据管理技术的服务模式和系统结构,总结了云计算及云数据管理技术的关键技术,主要平台的实现,阐述了其面临的挑战,介绍并展望了以后的发展应用及其广阔前景。     

移动边缘计算资源分配综述

在万物互联的物联网时代,云计算凭借超强的计算能力和存储能力提供了主流的大数据处理方案。随着5G的正式商用,面对5G+物联网呈爆炸式增长的终端设备以及低时延、低功耗的用户需求,基于云计算的大数据处理方案逐渐显露弊端。分布式的面向移动终端的大数据处理方案——移动边缘计算呼之欲出。本文通过对比云计算、边缘计算和移动边缘计算的概念和相关特征,引入移动边缘计算的定义及八大典型应用场景,进一步列举出移动边缘计算的发展历程。随后,归纳出移动边缘计算的几种国际标准模型以及框架设计的相关研究,结合移动边缘计算资源分配的关键问题进行梳理。最后,提出移动边缘计算的未来的研究方向和挑战。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.