基于网络编码的WSNs数据收集方法

无线传感器网络(WSNs)监测数据的收集方式方法是目前的研究热点,而无线传输的广播特性又使得网络编码非常适合于无线网络。在介绍网络编码原理、核心思想以及在WSNs应用现状的基础上,提出了一种基于部分网络编码的自适应WSNs数据收集方法,该方法针对簇网络拓扑结构,簇成员节点把网络编码数据发送给簇头节点,簇头节点利用随机网络编码的方式把数据传输到Sink节点。实验结果表明:该机制具有能耗较低和汇报数据较准确的特点。     

无线传感器网络中基于压缩感知的分簇数据收集算法

针对无线传感器网络(WSNs)能量有限、通信链路不可靠的特点,提出一种基于稀疏分块对角矩阵进行压缩感知的分簇(SBDMC)数据收集算法.该算法以稀疏分块对角矩阵作为观测矩阵以减少参与收集节点数目;采用分布式分簇路由实现数据的分布式收集;通过分析能耗模型得到最优簇头数目以减少网络能耗.在此基础上,给出一种有效的分簇路由数据收集算法.仿真分析表明:提出的算法较之已有算法可以减少通信能耗、延长网络寿命,同时均衡能耗负载.     

面向可靠性和能耗优化的可压缩数据收集方案

现有的无线传感器网络（ WSNs）数据收集方法无法在耗费较低开销的同时保证数据收集的可靠性。基于压缩感知（ CS）理论,设计了基于指数核函数的稀疏矩阵和基于准循环低密度奇偶校验（ LDPC）码的测量矩阵来用于节点的数据采集,以最大化网络生命周期为目标,将测量值传输问题建模为汉密尔顿回路问题,并提出了一种基于树分解的数据收集路径优化算法。仿真实验结果表明：所提方案在数据重构误差和能耗方面的性能要优于目前典型的数据收集方法。     

张量表达下的多模态交通缺失数据补全算法

来自多源感知设备所采集的多模态交通数据,由于探测设备、网络、数据传输等错误往往存在丢失.交通数据的缺失对交通网络智能规划、避免拥堵等会产生重大的负面影响.同时,来自于不同平台数据的编码方式、标识存在差异,很大程度上影响了交通数据的利用.基于此,本文针对交通监控视频与车流量探测数据,结合张量理论,建立了用以描述多模态交通数据的张量模型,并提出了基于Tucker-Crossover的多模态数据补全算法(Tucker-Crossover based Multimodal Data Imputation Algorithm,TCM D-IA),用于多模态交通缺失数据的补全.该方法利用Tucker分解后不同阶的因子矩阵和核矩阵进行相关性融合,从而提高缺失值估计效果.在真实交通数据集上的实验表明,TCMD-IA的多模态交通缺失数据补全效果优于其他方法,且具有较好的鲁棒性.     

无线传感器网络中数据安全聚合方法

无线传感器网络(WSNs)中现有的具有隐私保护的数据聚合方法并无法满足安全性和节能性的需求.针对WSNs中数据安全聚合问题,提出了一种基于同态加密和聚合签名技术的数据安全聚合方法.经实验分析结果表明:所提方法能够有效降低传感器的计算和通信开销,同时也能保证数据的机密性和完整性.     

无线传感器网络网内数据融合的研究

针对目前无线传感器网络(WSNs)网内数据融合所面临的一些挑战,提出了一种基于无线传感器网络分布式K-平均聚类(DKCWSNs)算法的WSNs节点传感数据的分组策略,并采用基于自适应加权的数据融合方法对分组后的感知数据进行融合处理,从而获得更合理的结果.最后,通过实例验证了该方法的有效性.     

多源多汇WSNs中基于概率路由的数据融合方法

针对传统多对一数据融合方法无法有效支持多源多汇无线传感器网络(WSNs)应用场景,难以适应网络动态性和可扩展性等问题,提出了一种基于概率路由的分布式多对多数据融合方法。在无需全局知识的前提下,多个汇聚节点能同时高效地收集来自多个源节点的感知数据。新方法使用混沌蚁群优化指导数据传输方向,结合数据融合和多播技术降低通信负载。当网络环境保持稳定时,路由结构逐渐收敛为近似最优数据融合结构,如果网络环境发生变化,路由结构也会迅速调整。通过与现有方法的比较,实验仿真验证了新方法的可行性和高效性。     

基于无线传感器网络节点的单兵鞋设计

无线传感器网络(WSNs)定位是传感器定位方法中比较实用、可靠的一种技术.为满足单兵作战环境需要,传感器定位技术只能采用无线、可靠、低功耗的技术.在基于WSNs背景下,将传感器定位系统安装鞋底,并通过定位系统自身感知、处理能力将周围环境定位结果实时显示在单兵作战头盔上.无线传输方式可以将战场环境信息实时返回到指挥中心,方便指挥员根据实时战场环境做出正确判断.     

基于稀疏表示的电力负荷数据补全

数据缺失在电力负荷数据采集过程中经常发生,对提高算法的预测精确度带来了不利影响。现有的缺失数据补全算法只适用于缺失数据量较少的情况,而对于缺失数据较多的情况表现不佳。面对严重数据缺失的挑战,文中提出了一种基于稀疏表示的电力负荷缺失数据补全方法。首先以数据随机缺失为前提,将训练数据中假定缺失后的数据与完整的训练数据上下拼接构成训练矩阵;其次,利用离散余弦变换(Discrete Cosine Transform,DCT)生成一个过完备字典,并根据训练矩阵对其进行学习,旨在通过调优得到一个合适的字典,能对训练矩阵中的样本进行最好的稀疏表示。最后,在测试阶段,先利用学习后字典的上半部分获得测试集缺失数据的稀疏表示,然后利用稀疏表示和学习后字典的下半部分重构出无缺失的完整数据。实验结果表明,使用该方法对电力负荷数据缺失值进行补全,可以获得比传统插值方法、基于相关性的KNN算法、时空压缩感知估计算法以及时序压缩感知预测算法更高的精度。即使数据缺失率高达95%,该方法依然可以有效地补全缺失数据。     

一种基于数据补全的大象流检测方法

由于在网络测量中存在不可避免的数据损失,网络监测数据通常是不完备的甚至是稀疏的,这使得大象流的精确检测成为一个具有挑战性的问题.本文提出了一种基于数据补全的离线大象流检测方法.为实现对于大象流的精准检测,首先实现了一个基于矩阵分解的数据补全算法,将流量数据补全问题转化为一个低秩矩阵奇异值分解问题.其次,在此基础上进行高阶扩展,引申出张量补全模型,利用张量CP分解实现数据补全,将原问题转化为通过最小化张量秩来恢复缺失条目的张量补全问题.最后对上面使用的矩阵补全算法和张量补全算法进行了仿真实验,对比了各算法精准度,评估了超参数,并展示了张量补全算法的时间开销.实验结果证明该方法取得了较好的效果.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.