基于高维数据流的异常检测算法

传统基于欧氏距离的异常检测算法在高维数据检测中存在精度无法保证以及运行时间过长的问题。为此,结合高维数据流的特点运用角度方差的方法,提出一种改进的基于角度方差的数据流异常检测算法。通过构建最佳数据集网格和最近数据网格的小规模数据流计算集,以快速即时地衡量最新数据点的异常程度,将改进的算法用于无线传感器网络采集的电梯真实数据流检测,实现电梯故障检测。实验结果表明,与ABOD、HODA等算法相比,改进算法能有效识别高维数据流中的异常点,可适用于实时性要求高的传感器高维数据流。     

基于R-tree的高效异常轨迹检测算法

异常检测是一种流行的数据挖掘任务,但是轨迹数据的异常检测的研究比较少,而且存在的算法也较有局限性,因此J.-G Lee等人提出了TRAOD算法。该算法能够有效地检测出异常的轨迹,但是也存在着缺陷。它的复杂度和准确度比较难平衡,在参数的选取上也比较难,算法的运行时间较长。基于TRAOD的问题,提出一种基于R-tree的高效的异常轨迹检测算法R-TRAOD。该算法通过R-tree对轨迹点进行索引搜索其领域内的轨迹点,然后根据TRAOD算法对R-tree索引出来的轨迹点进行异常轨迹的检测,这样可以提高算法的运行速度。真实数据实验测试表明,该算法比最新的TRAOD异常轨迹挖掘算法效率要高。     

基于多分辨率网格的异常检测方法

作为一种重要的数据挖掘手段,异常检测在数据分析领域有着广泛的应用。然而现有的异常检测算法针对不同的数据,往往需要调整不同的参数才能达到相应的检测效果,在面对大型数据时,现有算法检测的时间效率也不尽如人意。基于网格的异常检测技术,可以很好地解决低维数据异常检测的时间效率问题,然而检测精度严重依赖于网格的划分尺度和密度阈值参数,该参数鲁棒性较差,不能很好地推广到不同类型数据集上。基于上述问题,提出了一种基于多分辨率网格的异常检测方法,该方法引入一个鲁棒性较好的子矩阵划分参数,将高维数据划分到多个低维的子空间,使异常检测算法在子空间上进行,从而保证了高维数据的适用性;通过从稀疏到密集的多分辨率网格划分,综合权衡了数据点在不同尺度网格下的局部异常因子,最终输出全局异常值的得分排序。实验结果表明,新引入的子矩阵划分参数具有较好的鲁棒性,该方法能较好地适应高维数据,并在多个公开数据集上都能得到良好的检测效果,为解决高维数据异常检测的相关问题提供了一种高效的解决方案。     

基于密度的不确定数据离群点检测研究

针对不确定数据集进行离群点检测,设计了基于密度的不确定数据的局部离群因子(Uncertain Local Outlier Factor,ULOF)算法.通过建立不确定数据的可能世界模型来确定不确定对象在可能世界中的概率.结合传统的LOF算法推导出ULOF算法,根据ULOF值判断不确定对象的局部离群程度;然后对ULOF算法的效率性和准确性进行了详细分析,提出了基于网格的剪枝策略、k最近邻查询优化来减少数据的候选集;最后通过实验证明了ULOF算法对不确定数据检测的可行性和效率性,优化后的方法有效地提高了异常检测准确率,降低了时间复杂度,改善了不确定数据的异常检测性能.     

NLOF：基于网格过滤的两阶段离群点检测算法

现有的离群度检测算法因没有对原数据进行处理导致计算时间复杂度过高,检测效果不理想。提出一种基于网格过滤的两阶段离群点检测算法NLOF。首先使用网格过滤对原数据进行初步筛选,将密度小于特定阈值的数据放入候选异常子集中;然后为了进一步优化基于密度的算法,基于k邻域,根据邻域中数据点的个数与邻域所组成圆的面积之比,作为数据点密度计算的依据,进行离群点检测以获得更准确的离群点集。在多种公开数据集上进行实验,实验表明,该方法可以在异常检测中取得良好的性能,同时降低了算法的时间复杂度。     

面向飞腾处理器的高精度求和与点乘算法实现和优化

在大规模和长时程数值计算中,浮点运算的舍入误差的累积效应可能导致数值结果不可信。求和与点乘是浮点数值计算中最为基础的运算,在大规模科学计算过程中被频繁调用,其数值结果精度至关重要。面向国产飞腾处理器,基于OpenBLAS,采用无误差变换技术设计了高效的汇编内核函数,实现并优化了高精度的求和与点乘算法。数值实验显示,该高精度算法的数值结果精度同原始算法在双倍工作精度下得到的数值结果精度相同,验证了本文算法的有效性;本文算法在单线程情况下运行时间分别是原始算法运行时间的1.57倍和1.76倍,在保证精度提升的同时效率没有明显的降低;在多线程情况下,同原始算法具有近乎相同的运行时间,体现了算法的高效性。理论误差分析进一步表明了本文算法的可靠性。     

失稳网络医保信息欺诈检测算法研究

传统医保信息欺诈检测算法存在运行时间长、效率低的问题,无法保障患者医保信息安全,为了解决该问题,采用基于随机森林算法对失稳网络医保信息欺诈行为进行检测。通过混合抽样可抽取在失稳情况下的数据,并建立非平衡数据分类算法抽样机制;进行迭代随机森林数据计算,采用多数投票法构建基分类器,并以此为基础筛选异常数据;利用模型实现该算法对医保信息欺诈检测。设计对比实验,验证该算法有效性。通过实验结果可知,基于随机森林算法运行时间较短、效率高。     

基于自适应阈值的船舶轨迹异常点检测算法

定位技术的快速发展催生了轨迹大数据,轨迹数据中总是存在着明显偏离轨迹的异常点。检测出轨迹中的异常点对提高数据质量和后续知识发现精度至关重要。目前轨迹异常点检测算法主要为恒定速度阈值法,没有考虑目标在不同时刻运动状态的变化,仅能检测出速度超出指定阈值的一部分异常点,甚至出现检测错误的情况,算法鲁棒性较差。针对现有问题,本文提出一种基于自适应阈值的轨迹异常点检测算法（Trajectory Outlier Detection Algorithm based on adaptive Threshold, TODAT）。TODAT算法充分考虑了目标在一段时间内的运动信息和观测噪声的影响,采用局部阈值窗和均值滤波窗来计算阈值和速度,同时又引入了经济航速阈值和连续异常点放回机制。基于真实船舶数据的实验结果表明,本文算法可根据轨迹数据得到自适应的阈值,有效检测出全部异常点,大幅度提高轨迹数据的质量。     

基于密度的异常数据检测算法GSWCLOF

为改善有关数据流的异常数据检测方法中存在的检测准确度低和执行效率低等问题,根据数据挖掘技术理论,提出了一种新的基于密度的异常数据检测算法GSWCLOF。该算法引入滑动时间窗口和网格的理念,在滑动时间窗口内利用网格将数据细分,同时利用信息熵对所有网格内的数据进行剪枝和筛选,从而剔除绝大部分正常的数据,最后再利用离群因子对剩下的数据进行最终判断。实验结果表明,该算法有效地提高了检测准确度和执行效率。     

基于密度偏倚抽样的局部距离异常检测方法

异常检测是数据挖掘的重要研究领域,当前基于距离或者最近邻概念的异常数据检测方法,在进行海量高维数据异常检测时,存在运算时间过长的问题.许多改进的异常检测方法虽然提高了算法运算效率,然而检测效果欠佳.基于此本文提出一种基于密度偏倚抽样的局部距离异常检测算法,首先利用基于密度偏倚的概率抽样方法对所需检测的数据集合进行概率抽样,之后对抽样数据利用基于局部距离的局部异常检测方法.对抽样集合进行局部异常系数计算,得到的异常系数既是抽样数据的局部异常系数,又是数据集的近似全局异常系数.之后对得到的每个数据点的局部异常系数进行排序,异常系数值越大的数据点越可能是异常点.实验结果表明,和已有的算法相比,本算法具有更高的检测精确度和更少的运算时间,并且该算法对各种维度和数据规模的数据都具有很好的检测效果,可扩展性强.     

基于层次聚类的孤立点检测方法

孤立点检测是数据挖掘过程的重要环节,提出了基于层次聚类的孤立点检测（ODHC）方法。ODHC方法基于层次聚类结果进行分析,对距离矩阵按簇间距离从大到小检测孤立点,可检测出指定离群程度的孤立点,直到达到用户对数据的集中性要求。该方法适用于多维数据集,且算法原理直观,用户友好,对孤立点的检测准确率较高。在iris、balloon等数据集上的仿真实验结果表明,ODHC方法能有效地识别孤立点,是一种简单实用的孤立点检测方法。     

基于变宽直方图的无线传感器网络异常数据检测算法

数据的准确性是衡量无线传感器网络(WSN)性能的重要指标,异常数据检测是无线传感器网路面临的关键问题和主要挑战。提出了一种基于变宽直方图的异常数据检测算法,通过数据聚合的方式将网络中的动态感知数据聚合成变宽的直方图来准确检测出异常数据,同时避免不必要的数据传输。对算法的性能进行了理论分析,并基于真实大规模无线传感器网络系统数据进行了实验评估,结果表明算法具有很高的准确率,并有效降低了网络通信开销。     

基于信息熵加权的局部离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,可以从大量数据中发现少量与多数数据有明显区别的数据对象。在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术。为了提高离群点检测准确度,文中在局部离群测度（SLOM）算法的基础上,作了一些改进,提出了一种基于密度的局部离群点检测算法ESLOM。引入信息熵确定数据对象的离群属性,并对对象距离采用加权距离,以提高离群点检测准确度。理论分析和实验表明该算法是可行有效的。     

Incremental rare pattern based approach for identifying outliers in medical data

Outlier detection is an imperative field of data mining that has several applications in the field of medical research. Mining outliers based on the notion of rare patterns can be a promising solution for medical diagnosis as it attempts to identify the unconventional and abnormal risk patterns present in medical data. A crucial issue in medical data analysis is the continuous growth of medical databases due to the addition of new records. Existing outlier detection techniques are capable of handling only static data and thus re-execute from scratch to identify the outliers from incremental medical data. This paper introduces an efficient rare pattern based outlier detection (RPOD) method that identifies outliers by mining rare patterns from incremental data. To avoid multiple database scans and expensive candidate generation steps performed by existent rare pattern mining techniques and facilitate incremental mining, a single pass prefix tree-based rare pattern mining technique is proposed. The proposed rare pattern mining technique is a modification of the well-known FP-Growth frequent pattern mining algorithm. Furthermore, to identify the outliers based on the set of generated rare patterns, an outlier detection technique is also presented. The significance of proposed RPOD approach is demonstrated using several well-known medical datasets. Comparative performance evaluation substantiates the predominance of RPOD approach over existing outlier mining methods.     

NJW在离群数据挖掘中的应用研究

最近几年,谱聚类思想开始用于数据挖掘领域,并取得了较好的效果;离群数据挖掘是对离群点进行检测,发掘出有用知识。将谱聚类中的NJW算法成功应用到离群数据挖掘领域,并结合离群指数的概念,提出了一种适合离群数据挖掘的谱聚类算法。与原有的基于聚类的离群检测算法相比,具有更好的效率和适应性。实验验证了所提算法的有效性和可行性。     

一种基于LLM的高维时间序列数据异常检测方法

以国家重大建设项目稽察中的数据一致性判别问题为应用背景,针对时间序列型高维数据提出了一种基于局部线性映射(Local Linear Mapping,LLM)的数据变换方法,该方法将各高维数据点通过其相邻点的线性重构映射至低维空间,从而很好地保留了高维空间中各数据点与相邻数据点的相关性。基于LLM的映射特性,提出了三种异常指标,并将其应用于面向国家重大建设项目稽察数据一致性判别问题的高维时间序列数据异常检测中。数值计算表明,所提出的方法对时间序列异常检测具有很好的效果,适合于较大规模高维时间序列数据的异常检测应用。     

数据挖掘中孤立点的分析研究在实践中应用

介绍了孤立点的定义和三种挖掘算法,即基于统计的方法、基于距离的方法和基于偏离的方法，在这个基础上,尝试了利用孤立点检测方法对教务管理系统中积累的数据进行分析,并验证了基于距离和的孤立点检测算法的有效性，通过实验,结果分析表明：基于距离和的算法降低了检测过程对用户设置阈值的要求,在时间复杂度上,稍微优于循环嵌套算法。     

一种基于邻域粒度熵的离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,其目的是找出数据集中与其他数据对象显著不同的一小部分数据。离群点检测在网络入侵检测、信用卡欺诈检测、医疗诊断等领域有着非常重要的应用。近年来,粗糙集理论被广泛用于离群点检测,然而,经典的粗糙集模型不能有效处理数值型数据。对此,本文利用邻域粗糙集模型来检测离群点,在邻域粗糙集中引入一种新的信息熵模型——邻域粒度熵。基于邻域粒度熵,提出一种新的离群点检测算法OD_NGE。实验结果表明,相对于已有的离群点检测算法,OD_NGE具有更好的离群点检测性能。     

基于KNN图的两阶段孤立点检测及应用研究

针对两种基于KNN图孤立点检测方法：入度统计法（ODIN）和K最邻近（K-nearest Neighbor,RSS）算法的不足,提出了一种新的改进方法：两阶段孤立点检测方法,并进行了适当扩充使之适用于数据集中孤立点数目未知情况下的孤立点检测。算法应用于“小样本,高维度”的基因微阵列数据集进行样本孤立点检测取得了很好效果,证明了此方法的有效性。