离群点挖掘方法综述

离群点挖掘可揭示稀有事件和现象、发现有趣的模式,有着广阔的应用前景,因此引起广泛关注。首先介绍离群点的定义、引起离群的原因和离群点挖掘算法的分类,对基于距离和基于密度的离群点挖掘算法进行了比较详细的讨论,指出了其优缺点和发展方向,重点对当前研究的热点——高维大数据量的挖掘、空间数据挖掘、时序离群点挖掘和离群点挖掘技术的应用进行了讨论,指出了进一步研究方向。     

离群点挖掘研究

随着人们对欺诈检测、网络入侵、故障诊断等问题的关注,离群点挖掘研究日益受到重视。在充分调研国内外离群点挖掘研究成果的基础上,介绍了数据库领域离群点挖掘的研究进展,并概要地总结和比较了已有的各种离群点挖掘方法,展望了离群点挖掘研究的未来发展方向和面临的挑战。     

基于空间约束的离群点挖掘

由于现有的空间离群点检测算法没有很好地解决空间数据的自相关性和异质性约束问题,提出用计算邻域距离的方法解决空间自相关性约束问题,用计算空间局部离群系数的方法解决空间异质性约束问题。用离群系数表示对象的离群程度,并将离群系数按降序排列,取离群系数最大的前m个对象为离群点,据此提出基于空间约束的离群点挖掘算法。实验结果表明,所提算法比已有算法具有更高的检测精度、更低的用户依赖性和更高的效率。     

基于邻域密度的异构数据局部离群点挖掘算法

由于数据集规模、维数,以及复杂程度的不断提高,导致对其离群点的挖掘难度越来越大,提出了基于邻域密度的局部离群点挖掘算法.首先依据节点计算性能对高维数据进行区域分割,通过各个维度的数据分布来评价区域分割的效果.然后采取核密度来描述局部密度,根据高斯分布得到数据出现次数,进一步计算出数据邻域密度.再由邻域及密度关系计算得到各数据离群度,从而判断异构数据中的离群点.最后针对可能存在的离群误判情况,采取离群分数计算,为增强此过程的检测性能,利用权重进行剪枝处理.人工与UCI数据集上的仿真结果表明,当数据量和数据维数改变时,算法对离群点挖掘的准确度几乎不受影响,挖掘时间和覆盖率指标也显著优于其它方法;同时对于不同类型和复杂度的异构数据,算法仍然保持良好的挖掘准确度和效率.     

基于RFID的冷链物流监测系统的设计

低温物流运输车在食品之冷链中扮演着非常重要的角色,主要功能则是在冷冻冷藏车内所载运的食品运送的过程中,食品的温度必须保持在法规规定的范围内,严格有效地控制在特定温度下运作,才能确保产品的质量。为解决以上问题,提出一种基于RFID的低温食物冷链温度监测系统,通过放置在食品包装袋或冷藏箱内的带有温度传感器的RFID标签来实时地采集环境温度信息,并在到达仓库或者配送中心后,将数据通过RFID读取器传送至后台处理程序,利用程序对各个食品的温度数据进行监测和处理。该系统可以有效稳定地对冷链温度进行监测,以保证食品的质量。     

基于信息论的高维海量数据离群点挖掘

针对高维海量数据集离群点挖掘存在“维数灾难”的问题,提出了基于信息论的高维海量数据的离群点挖掘算法。该算法采用属性选择,去除冗余属性降维。利用信息嫡作为离群点判断的度量标准,消除距离和密度量纲的弊端。在真实数据集上的实验结果表明,算法对高维海量数据离群点挖掘是有效可行的,其效率和精度得到了明显提高。     

基于混合式聚类算法的离群点挖掘在异常检测中的应用研究

为了提高异常检测系统的检测率,降低误警率,解决现有异常检测所存在的问题,将离群点挖掘技术应用到异常检测中,提出了一种基于混合式聚类算法的异常检测方法(NADHC)。该方法将基于距离的聚类算法与基于密度的聚类算法相结合从而形成新的混合聚类算法,通过k-中心点算法找出簇中心,进而去除隐蔽性较高的少量攻击行为样本,再将重复增加样本的方法结合基于密度的聚类算法计算出异常度,从而判断出异常行为。最后在KDD CUP 99数据集上进行实验仿真,验证了所提算法的可行性和有效性。     

基于离群指数的时序数据离群挖掘

离群数据挖掘(0utlier mining,简称离群挖掘)是数据挖掘的重要内容.该文针对时序数据进行离群数据挖掘方法的研究,提出了离群指数的概念,在此基础上设计了时序数据离群数据挖掘算法,并对某钢铁企业电力负荷时序数据进行离群数据挖掘,结果表明了算法的有效性.     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

基于WSN的冷链物流监控系统设计

随着物联网技术的发展,WSN和RFID得到了广泛的应用.构建一个冷链物流监控系统,将冷链物流的生产、管理平台提升到一个新的水平,可以使物流企业在进行对温度要求较高的物品运输的过程中,发挥较好的监控作用.     

基于距离的分布式RFID数据流孤立点检测

RFID技术已广泛应用于实时监控、对象标识及跟踪等领域,及时发现被监控标签对象的异常状态显得十分重要.然而,由于无线通信技术的不可靠性及环境因素影响,RFID阅读器收集到的数据常常包含噪声.针对分布式RFID数据流的海量、易变、不可靠及分布等特点,提出了基于距离的局部流孤立点检测算法LSOD和基于近似估计的全局流孤立点检测算法GSOD.LSOD需要维护数据流结构CSL来识别安全内点,然后运用安全内点的特性来节省流数据的存储空间和查询时间.根据基于距离的孤立点定义,在中心节点上的全局孤立点是位于每个分布节点上孤立点集合的子集.GSOD采用抽样方法进行全局孤立点近似估计,以减少中心节点的通信量及计算负荷.实验表明,所给出的算法具有运行时间短、占用内存小、准确率高等特点.     

基于主动学习的离群点集成挖掘方法研究

离群点检测任务通常缺少可用的标注数据，且离群数据只占整个数据集的很小一部分，相较于其他的数据挖掘任务，离群点检测的难度较大，尚没有单一的算法适合于所有的场景。因此，结合多样性模型集成和主动学习思想，提出了一种基于主动学习的离群点集成检测方法OMAL（Outlier Mining based on Active Learning）。在主动学习框架指导下，根据各种基学习器的对比分析，选择了基于统计的、基于相似性的、基于子空间划分的三个无监督模型作为基学习器。将各基学习器评判的处于离群和正常边界的数据整合后呈现给人类专家进行标注，以最大化人类专家反馈的信息量；从标注的数据集和各基学习器投票产生的数据集中抽样，基于GBM（Gradient BoostingMachine）训练一个有监督二元分类模型，并将该模型应用于全数据集，得出最终的挖掘结果。实验表明，提出方法的AUC有了较为明显的提升，且具有良好的运行效率，具备较好的实用价值。     

基于信息熵加权的局部离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,可以从大量数据中发现少量与多数数据有明显区别的数据对象。在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术。为了提高离群点检测准确度,文中在局部离群测度（SLOM）算法的基础上,作了一些改进,提出了一种基于密度的局部离群点检测算法ESLOM。引入信息熵确定数据对象的离群属性,并对对象距离采用加权距离,以提高离群点检测准确度。理论分析和实验表明该算法是可行有效的。     

基于孤立点检测的工作流研究

信息系统中的工作流程设计将影响企业营运绩效及企业策略的正常发挥。该文以工作流的发生频率,结合以距离为基础的孤立点检测概念,使用经验规则和穷举法方式,挖掘出3种类型的异常工作流,包括各流程中较少发生的异常工作流、整体流程里较少发生的异常工作流以及整体流程中从未执行过的异常工作流。     

基于蚁群聚类算法的离群挖掘方法

离群挖掘是数据挖掘研究的重要内容,在实际生活中获得广泛应用。该文首先给出了离群数据的量化定义,并用基于蚁群的聚类学习方法,产生了状态空间的整体特征。然后结合具体的设备对象,提出了离群数据的挖掘方法。最后进行了实验验证,结果表明该文提出的方法是有效的。     

基于灰色关联分析的孤立点挖掘算法

孤立点挖掘是数据挖掘的重要研究方向之一,其目标是发现数据集中不具备数据一般特性的数据对象。传统孤立点挖掘算法通常基于项集属性,不适用于多目标决策和综合评价。该文提出一种基于灰色关联分析的孤立点检测算法OMGRA,通过总评价判断数挖掘孤立点集,避免人工确定阈值。实例分析表明,该算法能有效检测数据集中的孤立点,挖掘出的孤立点符合实际情况。     

基于孤立点检测的入侵检测方法研究

本文提出了一种基于孤立点检测的核聚类入侵检测方法。方法的基本思想是首先将输入空间中的样本映射到高维特征空间中,并通过重新定义特征空间中数据点到聚类之间的距离来生成聚类,并根据正常类比例Ｎ来确定异常数据类别,然后再用于真实数据的检测。该方法具有更快的收敛速度以及更为准确的聚类,并且不需要用人工的或其他的方法来对训练集进行分类。实验采用了KDD99的测试数据,结果表明,该方法能够比较有效的检测入侵行为。     

基于基尼指标加权的离群子空间与离群数据挖掘方法

针对大多数离群数据检测方法依赖于用户确定参数以及维灾现象,给出了一种基于基尼指标加权的离群子空间与离群数据挖掘方法。该方法通过计算各个维上去一划分的基尼指标值来生成数据对象的离群子空间及属性权向量,在子空间中采用基于统计离群数据挖掘的思想来挖掘离群数据;不需输入参数,结果更具客观性,并且能够适应高维离群数据挖掘;最后采用恒星光谱数据集,验证了可行性和有效性。     

基于孤立点挖掘的入侵检测技术

基于孤立点挖掘,探讨了异常检测的可行性,将孤立点挖掘方法应用到入侵检测中,采用编码映射方法对符号型数据进行处理,利用主成分分析对编码映射后扩展的属性进行降维。仿真实验验证了该方法的可行性。