位置编码在数据仓库ETL中的应用

为了保证数据仓库中数据的质量，在数据挖掘前必须进行数据清洗。ETL是构建数据仓库的重要环节，数据清洗就包含在其中。而检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的关键问题之一。该文将位置编码技术引入到数据仓库ETL中，提出了一种相似重复记录的检测算法，并给出了不同级别匹配阈值的动态确定方法。通过实验表明该算法具有较好的检测效果。     

一种提高相似重复记录检测精度的方法

如何消除数据源中的相似重复记录是数据清理研究中的一个重要问题。为了提高相似重复记录的检测精度，在相似重复记录检测算法的基础上，采用等级法为记录各字段指定合适的权重，从而提高了相似重复记录的检测精度。最后，以一个实例验证了该方法的效果。     

应用量子粒子群算法优化神经网络的数据库重复记录检测

神经网络的连接阈值以及权值直接影响数据库重复记录的检测效果,当前方法无法找到最优的神经网络的连接阈值和权值,导致数据库重复记录检测偏差比较大,并且数据库重复记录检测效率低,为了获得更优的数据库重复记录检测结果,提出了量子粒子群算法优化神经网络算法的数据库重复记录检测方法。首先分析当前数据库重复记录检测研究进展,并提取数据库重复记录检测特征向量,然后采用BP神经网络对数据库重复记录检测训练样本进行学习,采用量子粒子群算法确定最优连接阈值和权值,建立理想的数据库重复记录检测模型,最后进行了数据库重复记录检测仿真实验。结果表明,这种方法是一种准确率高、效率高的数据库重复记录检测方法,数据库重复记录检测效果要明显优于其它方法。     

基于内码序值聚类的相似重复记录检测方法*

检测和消除相似重复记录是数据清理和提高数据质量要解决的关键问题之一,针对相似重复记录问题,提出了基于内码序值聚类的相似重复记录检测方法。该方法先选择关键字段或字段某些位,根据字符的内码序值,利用聚类思想将大数据集聚集成多个小数据集;然后,通过等级法计算各字段的权值,并将其应用在相似重复记录的检测算法中;最后,在各个小数据集中检测和消除相似重复记录。为避免关键字选择不当而造成记录漏查问题,采用多趟检测方法进行多次检测。通过实验表明,该方法具有较好的检测精度和时间效率,能很好地应用到中英文字符集,通用性很强,     

一种检测汉语相似重复记录的有效方法

消除重复记录可以提高数据质量。提出了按字段值种类数选择排序字段的方法。在相似重复记录的检测中,用第1个排序字段建立存储相似重复记录的二维链表,然后再用第2、第3个排序字段对二维链表中的记录进行排序-比较,以提高检测效果。为了正确地匹配汉字串,研究了由于缩写所造成的不匹配和读音、字型相似造成的输入错误。通过查找“相似汉字表”解决部分输入错误的问题,计算相似度函数判断被比较的记录是否是重复记录。实验表明,提出的方法能有效的检测汉语相似重复记录。     

一种在高维空间中聚类检测重复记录的新方法

数据清理是构建数据仓库中的一个重要研究领域。检测相似重复记录是数据清洗中一项非常重要的任务。提出了一种聚类检测相似重复记录的新方法,该方法是基于N-gram将关系表中的记录映射到高维空间中,并且通过可调密度的改进型DBSCAN算法IDS来聚类检测相似重复记录。并用实验证明了这种方法的有效性。     

自适应模型和固定模型结合的肤色分割算法

由于受环境、光照、人种等因素影响,不同图像中的肤色分布并不一样。在复杂背景情况下,采用固定的阈值边界模型进行肤色分割将导致较大的漏检或误检。基于YCbCr颜色空间,在固定阈值边界模型分割的基础上,运用简化的期望最大化(EM)算法计算出针对特定图像的自适应肤色高斯模型;然后综合考虑固定阈值边界模型以及自适应肤色高斯模型在不同颜色区域上划分的准确性,给出最终的肤色分割结果。实验结果表明,该方法相比固定阈值边界模型的分割方法,能同时降低误检率和漏检率,从而提高肤色识别的准确率。     

基于优化加权参数的AdaBoost人脸检测算法

针对在已有人脸检测方法中采用单阈值所导致的误检率太高的问题,提出一种基于优化加权参数的快速AdaBoost训练检测算法。算法通过改变弱分类器加权参数求解公式的方法,保证了在低误检率的前提下也能获得低误警率;通过特征值曲线自适应得到双阈值,然后构造双阈值弱分类器并进行集成,形成强分类器。实验结果表明,该算法不仅能够有效地提高检测精度,而且,由于双阈值能够减少搜索次数,从而使训练和检测时间也有明显的改进。     

一种相似重复记录检测算法的改进研究

相似重复记录检测是数据清洗领域中的一个重要方面.文中研究了在数据模式与匹配规则不变的前提下,数据集动态增加时近似重复记录的识别问题,针对基于聚类数算法精度不高、效率低下等问题提出一种改进算法.该算法运用等级法给属性赋予相应权重并约减属性,通过构造聚类树对相似记录进行聚类,增设了一个阈值以减少不必要的相似度比较次数,提高了算法的效率和准确率.最后通过实验证明了该算法的有效性,并提出了进一步的研究方向.     

一种大数据量的相似记录检测方法

大数据量的相似重复记录检测是数据清洗中的一个重要问题,提出一种基于q-gram层次空间的聚类检测方法：它首先将数据映射成q-gram空间中的点,并根据q-gram空间中的相似性度量采用层次聚类方法将相似的重复记录检测出来．它克服了传统的“排序＆合并”方法由于字符位置敏感不能将相似记录字符串排在邻近位置的不足和大数量外排序引起I／O代价过大的问题．理论分析和实验表明,方法不仅具有好的检测精度,且有好的伸缩性,能够有效地解决大数据量的相似重复记录检测．     

基于长度过滤和有效权值的SNM改进算法

异构数据库集成中产生了相似重复记录,但数量是有限的,采用传统的SNM算法进行检测,需要在窗口内对所有记录进行比对,效率不高。针对这一缺陷,提出一种基于长度过滤和有效权值的SNM改进算法,在窗口内根据两条记录的长度比例首先将不可能构成相似重复记录的数据排除在外,减少了记录比较的次数,提高了检测效率;进一步通过设置属性有效性因子和权重比例计算有效权值,利用有效权值进行检测,提高了查全率和查准率。实验证明改进算法在各种性能上均优于SNM算法。     

一种高效的检测相似重复记录的方法

如何消除数据库中的重复信息是数据质量研究中的一个热课题。文中提出了一种高效的基于N－Gram的检测相似重复记录的方法,主要工作有：（1）提出了一种高效的基于N－Gram的聚类算法,该算法能适应常见的拼写错误从而较好地聚类相似重复记录,复杂度仅为O（N）;同时提出该算法的改进形式,使其在检测的同时能自动校正单词的插入、删除错误、提高检测精度。（2）采用了一种高效的应用无关的Pair-wise比较算法,该算法以单词间的编辑距离为基础,通过计算两记录中单间的编辑距离来判断记录的相似与否。（3）给出了一种改进的优先队列算法来准确地聚类相似重复记录,该算法使用固定大小的优先队列顺序扫描已排序的记录,通过比较当前记录和队列中记录的距离来聚类相似重复记录,此外,该文构造了合适的实验环境并作了大量的算法实验,在此基础上,文中分析了大量、翔实的实验结果从而验证了算法的科学性。     

An n-gram-based approach for detecting approximately duplicate database records

Detecting and eliminating duplicate records is one of the major tasks for improving data quality. The task, however, is not as trivial as it seems since various errors, such as character insertion, deletion, transposition, substitution, and word switching, are often present in real-world databases. This paper presents an n-gram-based approach for detecting duplicate records in large databases. Using the approach, records are first mapped to numbers based on the n-grams of their field values. The obtained numbers are then clustered, and records within a cluster are taken as potential duplicate records. Finally, record comparisons are performed within clusters to identify true duplicate records. The unique feature of this method is that it does not require preprocessing to correct syntactic or typographical errors in the source data in order to achieve high accuracy. Moreover, sorting the source data file is unnecessary. Only a fixed number of database scans is required. Therefore, compared with previous methods, the algorithm is more time efficient. Published online: 22 August 2001     

一种基于条件概率分布的近似重复记录检测方法

数据集成往往会形成一些近似重复记录 ,如何检测重复信息是数据质量研究中的一个热门课题 .文中提出了一种高效的基于条件概率分布的动态聚类算法来进行近似重复记录检测 .该方法在评估两个记录之间是否近似等价的问题上 ,解决了原来的算法忽略序列结构特点的问题 ,基于条件概率分布定义了记录间的距离 ;并根据近邻函数准则选择了一个评议聚类结果质量的准则函数 ,采用动态聚类算法完成对序列数据集的聚类 .使用该方法 ,对仿真数据进行了聚类实验 ,都获得了比较好的聚类结果     

优化四位数的四则运算算式组合库

用编程实现对四则运算算式组合库的重复算式进行检测和消除,提出了查找重复记录的检测方法。该方法先提供一组特殊数据,通过计算每个算式值,然后检测和消除功能相同的重复记录,为避免误查,再选择另外三组特殊数据对重复算式进行多次检测。理论分析和实验表明,能够有效地解决大数据量功能相同的重复记录检测问题。     

一种基于二分图最优匹配的重复记录检测算法

信息集成系统中存在重复记录,重复记录的存在为数据处理和分析带来了困难.重复记录检测已经成为当前数据库研究中的热点问题之一.目前的方法主要集中在计算具有同样数据类型属性的相似性上,而现实系统中存在大量具有不同数据类型、不同模式的记录.针对具有多种类型不同模式数据的重复记录检测问题,提出了一种基于二分图的最优匹配的记录相似度计算方法,并基于这种记录相似性提出了重复记录检测算法.理论分析和实验结果都表明了方法的正确性和有效性.     

一种应用于Deep Web环境下的重复记录识别模型

随着Web数据库数量和其蕴含数据量飞速的增长,对Deep Web数据的集成越来越成为研究领域关注的问题.然而由于Web上的信息以半结构化及无结构化的数据信息居多,导致了抽取的结果中包含诸多的不确定性.如有噪音数据、重复字符、简写与全称混合等问题.这给识别重复记录带来了很大不便,导致传统的去重算法无法达到很好的效果.为此,提出了一种面向deep Web结果整合的重复记录识别模型.在该模型中,提出了一种基于编辑距离的改进算法,基于该算法实现字符串匹配;通过构建属性匹配图,并采用二次确认机制实现识别重复记录.应用该模型,既提高了识别效率又保证了识别精确度,并通过实验证明了提出的算法和模型的可行性.     

对基于MPN数据清洗算法的改进

相似重复记录的清除是数据清洗领域中的一个很重要的方面,它的目的是清除冗余的数据.介绍了该问题的流行算法-多趟近邻排序算法MPN(Multi-Pass Sorted Neighborhood),该算法能较好地对相似重复记录进行清除,但也有其不足:一是在识别中窗口大小固定,窗口的大小选取对结果影响很大.二是采用传递闭包,容易引起误识别.提出了基于MPN算法的一种改进算法,试验结果证明改进算法在记忆率和准确率上优于MPN算法.