条件函数依赖及其在领域无关数据清洗中的应用

条件函数依赖(Conditional Functional Dependeny,CFD)是对函数依赖(Functional Depencency,FD)加入语义约束扩展而来,它在数据库一致性检测、数据清洗方面更优于后者.讨论了条件函数依赖的相关概念及其基本性质,讨论如何将它应用于数据清洗,并对已提出的基于CFD的数据清洗方案提出改进措施,并通过实验说明改进措施的可行性.     

一种发现函数依赖集的方法及应用

介绍了一种发现最小函数依赖集的方法.这种方法基于一致集的概念,根据一致集导出最大集及其补集,然后生成最小非平凡函数依赖集.通过使用带状划分数据库减少求一致集的运算次数,使用逐层求精的算法来计算最小非平凡函数依赖集的左部.其结果可用于数据库的重新组织和设计、属性约简、聚类、关联规则提取等知识发现工作中.     

动态检测非函数依赖程序不变量

文章对函数依赖程序不变量和简单非函数依赖程序不变量动态生成理论、方法和技术进行了阐述,提出了一种新的简单非函数依赖程序不变量动态检测的方法.该方法利用数据库中提供的SQL强大查询功能,灵活多变地检测各种常见类型的简单非函数依赖程序不变量,并且可以根据用户的实际需要随时指定新的程序不变量查询条件.     

基于数据依赖的数据修复研究进展

介绍了数据依赖理论及如何基于数据依赖修复不一致数据,提高数据质量。首先介绍了数据依赖理论;给出了数据修复的语义假设及对应的修复操作;总结了基于数据依赖修复不一致数据的方法;最后讨论了基于数据依赖修复不一致数据的未来发展方向。     

非函数依赖程序不变量动态检测技术研究

讨论了程序不变量的内涵,研究并建立了程序不变量动态生成系统的理论模型。在该模型中,针对非函数依赖程序不变量动态生成理论、方法和技术进行了阐述。基于数据库的理论提出了一种新的非函数依赖程序不变量动态检测技术,针对各种常见非函数依赖程序不变量类型建立了一系列检测方法。此不变量检测技术通过数据库中提供的SQL条件查询功能,灵活地检测各种常见类型的非函数依赖程序不变量,并且可以根据用户的实际需要随时指定新的程序不变量查询条件。该方法和Daikon等现有的程序不变量检测工具检测方法比较具有明显的特色和优势：第一,基于关系数据库技术,具有良好的可扩展性;第二,使用SQL条件查询功能实现非函数依赖程序不变量检测,检测方法具有很好的灵活性。     

函数依赖最小覆盖集求解算法——在数据库设计中的应用

本文给出了求解函数依赖最小覆盖集算法在计算机上的具体实现并把它应用到关系数据模式求解中去，成功地开发了关系数据库模式生成算法，向数据库设计自动化的具体实现迈进一大步。     

基于相关性分析的不完整数据函数依赖挖掘方法

函数依赖（FD）挖掘方法通常专注于发现所有满足函数依赖语法特征的结果,在数据不完整的情况下常导致大量成立但无意义的FD。针对挖掘无效FD的问题,提出基于相关性分析的不完整数据FD挖掘方法。利用概率图模型构建具有缺失值属性的概率分布,通过相关性分析捕捉属性之间的关联关系,避免枚举所有可能性,以挖掘具有统计学意义的FD。实验结果表明,提出方法可以更准确的定位到有意义的FD,与最先进的FD发现方法相比F1分数平均提高1.5倍。     

不一致数据上精确决策树生成算法

近年来,随着现实生活中数据量的不断增大,不一致数据的出现也越发频繁,这使得人工修正不一致数据变得更加耗时.而且,人工修正数据方法本身也存在着不可避免的人为操作错误,因此,这种修正方法不再可行.如何不提前修复不一致数据,直接在不一致数据上进行分类,是该文的核心研究内容.对决策树生成算法的目标函数进行改进,使其能够直接对不一致数据进行分类,并得到较好的分类结果.对约束条件中的特征对分类结果的影响进行了多方面衡量,从而调整该特征的影响因子,使得决策树的节点分割更加精确,分类效果更优.     

L-SMOTE与SVM结合的不平衡数据集分类研究

针对不平衡数据集的低分类效率,基于L-SMOTE算法和混合核SVM提出了一种改进的SMOTE算法（FTL-SMOTE）。利用混合核SVM对数据集进行分类。提出了噪声样本识别三原则对噪声样本进行精确识别并予以剔除,进而利用F-SMOTE和T-SMOTE算法分别对错分和正确分类的少类样本进行采样。如此循环,直到满足终止条件,算法结束。通过在UCI数据集上与经典的SMOTE等重要采样算法以及标准SVM的大量实验表明,该方法具有更好的分类效果,改进算法与L-SMOTE算法相比,运算时间大幅减少。     

基于最小覆盖集的WSN数据聚集算法

针对无线传感器网络(WSN)能量有限且网内聚集错误检测率较低的问题,提出一种基于最小覆盖集的WSN数据聚集算法。构造一颗以汇聚节点为根并包含最少中间转发节点的树,其中间转发节点为树的最小覆盖集。在中间转发节点中引入读向量的相似性判断,以去除网内冗余及错误数据。实验结果表明,该算法能减少网内通信能耗,提高收集数据的准确性。     

深度自编码器在数据异常检测中的应用研究

针对自编码器网络（AE）需要正常数据进行训练的局限性,结合主成分分析方法,将AE的每次重建输出与输入数据进行求差,隔离出异常数据部分,即将输入数据分为正常与异常部分,正常部分由AE重建输出,异常部分由近端法进行优化输出,最后采用交替方向乘子法训练整个模型并达到预定训练次数再输出结果,实现了一种基于深度自编码网络（DAE）模型的无监督数据异常检测方法。在7个真实数据集与8种机器学习模型和AE模型进行了对比实验,结果表明,DAE模型无需输入正常数据就可以有效进行模型训练,且可以防止模型的过拟合,其综合表现高于传统机器学习模型和AE模型,AUC值在4个数据集中达到最优。在mnist数据集中,DAE模型的AUC值相比于孤立森林（IF）方法提高了10.93%。     

动态故障树割序集分析的模块化方法

针对割序集模型较高的复杂度,提出静态子树模块化和动态子树模块化2种简化方法。利用模块化方法将动态故障树划分为多个静态子树和动态子树。对完全由静态门构成的静态子树采用二叉决策图计算其发生概率;对动态子树采用割序集模型进行分析,将其中包含的静态子树作为一个整体进行处理。通过实例阐述模块化方法的应用过程,算例分析结果表明,该方法能有效降低割序集模型的复杂度。     

FCBLUP模型在高频金融数据中的应用

将函数延拓最优线性无偏估计(FCBLUP)引入高频金融数据挖掘中,对离散观测值序列建立函数数据模型,并进行预测。选取上证收盘价格为实验数据,建立FCBLUP模型。为能对预测效果进行有效的评价与定位,设立基于ARMA模型的预测组。实验结果表明,FCBLUP预测效果较ARMA模型更理想,FCBLUP预测误差除在小段预测区间略大于ARMA外,其余时刻均低于ARMA预测。     

k-匿名数据中的数据依赖问题研究

k-匿名隐私保护模型在隐私保护过程中会产生大量k-匿名数据.为研究k-匿名数据中的数据依赖问题,提出一种扩展函数依赖,将经典函数依赖中的被决定属性取值相等这个条件进行扩展,使其取值来自于同一个指定集合.应用结果表明,该扩展函数依赖不仅包括经典函数依赖、垂直函数依赖、水平函数依赖、度量函数依赖的特性,而且可以从数据完整性的角度描述k-匿名数据的约束条件及指导k-匿名隐私保护模型中准标识符的选取.     

改进生成对抗网络在图片数据生成中的应用

图片数据生成旨在根据现有的图片数据,产生与原始图片数据分布相似的图片数据。当前主流的生成对抗网络模型（generative adversarial networks,GAN）产生的图片数据质量较差,模型的训练总是遇到调试困难、训练不稳定、梯度消失、模式崩溃等一系列问题。根据稀疏表达结构和残差结构组合而成的生成器,残差结构组成的辨别器,提出了一种能够生成高质量图片的GAN模型。根据分支网络模型构成的生成器,设计了多种类图片数据生成模型,可以使用一个模型同时训练生成多种类型的图片数据。为了更好地对数据进行训练,设计了一种动态匀速下降学习率,能够根据运行时间对学习率的衰减进行指导。在各个数据集上的实验结果表明,改进模型结构在图像数据生成上比其他算法更加稳定、鲁棒,能够生成更高质量的图片数据。     

信息熵在数据集分割中的应用研究

针对现行数据集分割方法中的不足，从信息学的角度出发，引用信息熵理论，提出了一种简单可行的数据集分割方法，即选择使数据子集的总体熵较小的分割方式，实验结果证明了这种方法的有效性。     

信息熵在数据集分割中的应用研究

针对现行数据集分割方法中的不足,从信息学的角度出发,引用信息熵理论,提出了一种简单可行的数据集分割方法,即选择使数据子集的总体熵较小的分割方式,实验结果证明了这种方法的有效性。     

侧扫声纳图像的NSCT域模极大值边缘检测

侧扫声纳图像边缘检测较困难,为此,提出一种针对该图像特点的多尺度边缘检测方法。对侧扫声纳图像进行非下采样Contourlet变换(NSCT)分解,根据斑点噪声在NSCT域的分布特点,进行局部自适应去噪。通过各方向子带沿边缘方向的插值和非极大值抑制寻找模极大值点。通过类内方差最小化法自适应确定阈值,由阈值处理得到各子带的边缘。经边缘融合实现完整的边缘图。实验结果表明,该方法具有边缘检测完整、定位准确、伪边缘点少等优点。