基于业务规则的错误数据清理方法

针对数据源中出现的错误数据,分析了业务规则在错误数据清理中的重要作用,提出了一种基于业务规则的错误数据检测方法,并研究了如何采用业务规则来检测这些错误数据。最后,以一个实例介绍了该方法的应用。     

数据仓库中数据质量若干问题的研究

数据质量是数据仓库建设成败之关键。本文对数据质量问题进行了分类 ,给出了数据清理的一般过程。在此基础上 ,介绍了保证数据质量的一些关键方法 :单数据源中孤立点的检测、多数据源中模式的重构和冗余数据的清除。     

数据清理及其在数据仓库中的应用

数据仓库是为决策服务的，这里的数据是从各种并构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性，因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改，发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。     

一种基于密度偏差抽样的孤立点检测算法

孤立点检测是一项有价值的、重要的知识发现任务。在对大规模数据集中的孤立点数据进行检测时．样本数据集的选择技术至关重要。本文提出了一种新的基于密度的偏差抽样技术作为数据约简的手段．并给出了基于密度偏差抽样的孤立点检测算法，该算法可以用来识别样本数据集低密度区域中的孤立点数据，并从理论和实验两个方面对其进行分析评估，分析与实践证明该算法是有效的。     

基于层次聚类的孤立点检测方法

孤立点检测是数据挖掘过程的重要环节,提出了基于层次聚类的孤立点检测（ODHC）方法。ODHC方法基于层次聚类结果进行分析,对距离矩阵按簇间距离从大到小检测孤立点,可检测出指定离群程度的孤立点,直到达到用户对数据的集中性要求。该方法适用于多维数据集,且算法原理直观,用户友好,对孤立点的检测准确率较高。在iris、balloon等数据集上的仿真实验结果表明,ODHC方法能有效地识别孤立点,是一种简单实用的孤立点检测方法。     

基于逆向清理的实时异构数据整合模型研究

为解决异构数据整合过程中数据源本身的质量及目标数据的实时更新问题,在适配器、XML和逆向清理等技术的基础上,提出一种基于逆向清理的异构数据整合模型。从两方面对异构数据进行处理,一方面利用实时线程对新增或修改的原始数据进行抽取、清洗并保存,达到数据的实时更新,另一方面利用平台上或整合后的有效数据,采用逆向清理过程反向修复原始数据中的错误和缺失。实验结果证明,该模型能同时提高原始数据和目标数据的质量。     

基于联邦学习的跨源数据错误检测方法

随着海量数据的涌现和不断积累,数据治理成为提高数据质量、最大化数据价值的重要手段.其中,数据错误检测是提高数据质量的关键步骤,近年来引起了学术界及工业界的广泛关注.目前,绝大多数错误检测方法只适用于单数据源场景.然而在现实场景中,数据往往不集中存储与管理.不同来源且高度相关的数据能够提升错误检测的精度.但由于数据隐私安全问题,跨源数据往往不允许集中共享.鉴于此,提出了一种基于联邦学习的跨源数据错误检测方法 FeLeDetect,以在数据隐私保证的前提下,利用跨源数据信息提高错误检测精度.为了充分捕获每一个数据源的数据特征,首先提出一种基于图的错误检测模型GEDM,并在此基础上设计了一种联邦协同训练算法FCTA,以支持在各方数据不出本地的前提下,利用跨源数据协同训练GEDM.此外,为了降低联邦训练的通信开销和人工标注成本,还提出了一系列优化方法.最后,在3个真实数据集上进行了大量的实验.实验结果表明:(1)相较于5种现有最先进的错误检测方法,GEDM在本地场景和集中场景下,错误检测结果的F1分数平均提高了10.3%和25.2%;(2) FeLeDetect错误检测结果的F1分数较本地场景...     

基于KNN图的两阶段孤立点检测及应用研究

针对两种基于KNN图孤立点检测方法：入度统计法（ODIN）和K最邻近（K-nearest Neighbor,RSS）算法的不足,提出了一种新的改进方法：两阶段孤立点检测方法,并进行了适当扩充使之适用于数据集中孤立点数目未知情况下的孤立点检测。算法应用于“小样本,高维度”的基因微阵列数据集进行样本孤立点检测取得了很好效果,证明了此方法的有效性。     

基于划分和孤立点检测的审计证据获取研究*

为了改进传统的仅仅是把手工审计流程计算机化的计算机辅助审计方法和发现被审计数据中的隐藏信息和更多的审计证据,提出了一种先对海量数据进行数据划分,然后采用改进的孤立点检测技术的审计证据获取方法。该方法首先利用改进粒子群算法对被审计数据进行划分优化,找到高内聚、低耦合的数据划分;然后使用基于距离的改进孤立点检测技术,查找出孤立点数据;最后通过分析发现审计线索。通过相关对比实验表明,该方法易发现海量被审计数据中的隐藏信息,孤立点检测效率也有很大提高,从而提高了审计效率。     

一种基于概率的孤立点检测方法

现有孤立点检测方法大多数都需要预先设定孤立点个数,若设定不准确将降低孤立点检测的准确性。针对该问题,提出一种基于概率的孤立点检测方法。结合基于密度的DBSCAN算法与中位数求方差的方法,对待检测数据集进行聚类,提取出不包含在任何聚类中的可疑孤立点并进行分析,从而确定最终孤立点。该方法所检测的数据与时间因素线性无关,不必预先设定孤立点个数及聚类数,并且对噪声数据具有较强的抗干扰能力。IRIS测试数据集上的实验结果表明,该方法能够有效地识别孤立点。     

基于局部相关维度的流形离群点检测算法

传统的离群点检测算法不适合检测流形离群点,目前专门针对流形离群点检测的算法报道较少。为此,基于实验观察的启示,提出用流形局部相关维度检测流形离群点的算法。首先探讨内在维度的性质,并基于实验观察提出用流形局部相关维度来度量流形离群点,然后证明流形局部相关维度可表征数据样本离群的性质,最后基于此性质提出流形离群点检测算法。在人工数据与真实数据上的实验表明本算法可检测流形离群点,且本算法比最近报道的流形除噪算法具有更优的性能。     

一种基于属性的异常点检测算法

异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。     

一种提高相似重复记录检测精度的方法

如何消除数据源中的相似重复记录是数据清理研究中的一个重要问题。为了提高相似重复记录的检测精度，在相似重复记录检测算法的基础上，采用等级法为记录各字段指定合适的权重，从而提高了相似重复记录的检测精度。最后，以一个实例验证了该方法的效果。     

数据清理综述

由于各种原因 ,数据中存在这样或那样的脏数据需要清理 (净化 )。特别是数据仓库、KDD及TDQM(综合数据质量管理 )中 ,必须对数据进行清理。介绍了数据清理的有关内容、技术与实现方案 ,着重介绍了目前的两个重点研究、应用内容 :异常发现与记录重复     

基于自编码器和集成学习的半监督异常检测算法

异常检测用来预处理数据,挖掘异类数据信息,是数据挖掘的一种重要方法。近年来由于维度灾难问题,高维异常数据检测显得十分困难,针对上述问题提出一种基于自编码器和集成学习的半监督异常检测算法。首先利用自编码器降维,在编解码过程中异常数据的异常程度被增大,然后在AdaBoost提升框架中融合iforest、LOF、K-means算法,基于3种算法对于不同异常类型的敏感性,提升异常检测的准确性。选取UCI机器学习库中的高维异常数据集进行实验。实验结果表明,该模型的准确性相较于目前主流的异常检测算法有显著提升。     

一种电力感知数据的离群点检测方案

鉴于离群点引发的数据质量问题给电力应用造成的不良影响,对电力感知数据的特征进行了分析,并基于电力感知数据的时间特征和异常检测技术的易用性需求,提出一种电力感知数据的离群点检测方案。该方案由异常检测服务框架和离群点检测方法构成。异常检测服务框架借鉴Web服务的思想,基于大数据技术,能够支持电力感知数据的存储和计算,并且以服务的形式提供电力感知数据的异常检测能力。离群点检测方法是基于聚类算法和考虑时间属性的数据分段方法来检测电力感知数据中的离群点异常。通过实验验证了该方法的可行性和有效性,结果表明该方法能够有效识别具有时间相关性和连续性的电力感知数据中存在的离群点,且在数据规模增大时,具有良好的并行性和可扩展性。     

Outlier Detection and Data Cleaning in Multivariate Non-Normal Samples: The PAELLA Algorithm

A new method of outlier detection and data cleaning for both normal and non-normal multivariate data sets is proposed. It is based on an iterated local fit without a priori metric assumptions. We propose a new approach supported by finite mixture clustering which provides good results with large data sets. A multi-step structure, consisting of three phases, is developed. The importance of outlier detection in industrial modeling for open-loop control prediction is also described. The described algorithm gives good results both in simulations runs with artificial data sets and with experimental data sets recorded in a rubber factory. Finally, some discussion about this methodology is exposed.     

基于相关子空间的多源离群检测算法

传统的离群检测方法多数源于单个数据集或多数据源融合后的单一数据集,其检测结果忽略了多源数据之间的关联知识和单数据源中的关键信息。为了检测多源数据之间的离群关联知识,提出一种基于相关子空间的多源离群检测算法RSMOD。结合[k]近邻集和反向近邻集的双向影响,给出面向多源数据的对象影响空间,提高了离群对象度量的准确性;在影响空间基础上,提出面向多源数据的稀疏因子及稀疏差异因子,有效地刻画了数据对象在多源数据中的稀疏程度,重新定义了相关子空间的度量,使其能适用于多源数据集,并给出基于相关子空间的离群检测算法;采用人工合成数据集和真实的美国人口普查数据集,实验验证了RSMOD算法的性能并分析了源于多数据集的离群关联知识。