时空数据异常探测方法

以“k倍标准差”准则为基础,提出一种专题属性双重偏离的时空异常检测方法,在每个要素的空间邻近域里采用“k倍标准差”准则探测各时刻的空间异常数据,在每个空间异常数据的时间邻近域中,再次使用该准则判断该要素是否为时序异常,并将所有空间和时间邻近域上均表现为异常的数据定义为时空异常。实验结果表明,该方法是有效可行的。     

基于时间序列相似性的自动观测数据时空异常探测方法研究

针对野外无线传感器获取的时空数据的特点,总结常见的时空异常探测方法,提出了一种根据时间序列相似性度量时空邻域的时空异常探测方法,用于准确检测时空数据的异常情况。采用2012年7月15日黑河流域生态水文无线传感器观测网中13个观测节点的数据进行验证,结果表明:该算法能够有效地探测到无线传感器网络时空数据中的异常,并能识别由于灌溉或降雨造成的伪异常,对其他数据处理探索研究有一定指导意义。     

一个基于小波的时序数据异常探测新算法

本文针对时序数据提出了一种基于小波的异常探测算法。首先应用小波变换将时域空间的时序数据分解成不同的频率成份,通过低频信号的特性缩短待处理的数据处理。对于变换后的数据,再采用基于密度的LOF异常探测方法挖掘异常数据。最后,对某烟草公司的烟叶收购数据序列进行了实验,结果表明了该算法的有效性。     

基于异常因子的异常模式探测算法

时间序列挖掘中不同的数据集中的异常模式的长度未必相同.提出的算法使用异常因子作为模式的异常度量,利用模式的k-距离和中位数来计算异常因子,使用二次回归算法来探测时间序列中的所有模式和其长度范围,在这个范围内使用变长方法来判断一个模式是否异常,然后合并相邻的异常模式.为了验证算法的有效性和健壮性,使用人工合成数据和标准数据集对算法进行了测试,得到了较为满意的效果.     

基于时空大数据的异常车辆检测

针对传统人工检查黑车的方式不但耗时耗力而且效率低下的问题,提出一种新的自动检测黑车的方法。在Hadoop平台上,对物联网技术采集的全疆车辆加气数据进行分析;抽取车辆加气的时间特征和空间特征;利用随机森林算法研究车辆与驾驶员、加气站间的关系,从而发现具有异常加气模式的黑车车辆。在大规模真实数据集上的实验表明:提出的方法在黑车发现问题上有较高的准确率,可以用于帮助有关部门提高黑车检测的效率。     

基于时空轨迹数据的异常检测

伴随着智能设备的普及和无线通信技术的发展,用户在使用无线网络满足各种需求时,无线网络也记录下了用户上网留下的大量时空轨迹数据.针对时空轨迹数据的异常检测已经成为数据挖掘领域一个新的研究热点.为了更好地关注学生健康发展,促进校园信息化建设,以真实校园上网数据为例,提出了一种基于多尺度阈值和密度相结合的谱聚类算法(Spec...     

异常挖掘方法研究

该文首先简单介绍了与异常挖掘有关的几个问题,然后详细介绍了异常挖掘的各种方法,最后对各种方法的优缺点进行了比较。     

基于时空注意力克里金的边坡形变数据插值方法

山体滑坡每年都会对人们的生命财产安全造成重大损失,是常见的地质灾害之一。为了对山体滑坡进行防控,需要广泛地监测山体表面的沉降过程,但是由于恶劣气候和监测成本等难以克服的困难,山体沉降数据的收集呈现出局部数据不完整、数据采样不均衡和监测点动态变化等特点,使得山体滑坡的防控研究受到阻碍,给数据的采集和分析工作提出了新的要求。现有方法从空间角度对缺失进行补充,但忽略了时间维度的依赖关系。为了解决上述问题,对不完整的INSAR数据填充进行了研究,利用时空掩码矩阵对时空依赖关系进行建模,利用多头注意力对多层次的空间关系进行综合学习,并在克里金法(Kriging)的基础上提出了新的使用时空注意力的克里金插值法,实现了对复杂时空特征的深层理解。在真实数据集上的数据恢复实验验证了该算法可以有效地学习复杂的时空特征,并在3种不同的数据缺失情景下都取得了优于现存插值算法的表现。     

时空聚类分析的普适性方法

时空聚类分析是时空数据挖掘领域近年来研究的热点问题,对于揭示时空要素的发展变化趋势、规律以及本质特征具有重要意义.目前,时空聚类分析的研究仍还初步,缺乏具有普适性的时空聚类分析方法.为此,本文首先建立了一套时空聚类分析的普适性理论方法框架.进而,借助时空统计学、智能计算等工具,提出了一种时空一体化的时空聚类方法.该方法很好地顾及了时空数据的时空耦合、时空相关与时空异质特征,避免了过多人为主观因素的干扰,时空聚类结果具有较好的可靠性.通过采用中国陆地区域42年(1951～1992)年平均气温时空数据进行分析,验证了本文提出的理论与方法的可行性与有效性.     

一种基于数据融合和方法融合的时空综合预测算法

时空数据挖掘是数据挖掘中的重要研究内容,其中时空预测的应用领域最为广泛.针对目前时空预测方法中的不足,提出了一种基于数据融合和方法融合的时空综合预测算法.该方法首先采用统计学原理对目标对象本身的时序进行预测;然后通过神经网络解算相邻对象的空间影响,继而对混合数据序列使用时空自回归预测模型;最后使用线性回归将单个的时间预测、空间预测和时空预测有效地融合在一起,得到综合预测结果.应用该方法预测铁路客流,突破了传统铁路客流预测方法的局限,实验结果表明了算法的有效性.     

一种基于属性的异常点检测算法

异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。     

基于孤立点检测的错误数据清理方法

针对数据源中出现的错误数据,分析了孤立点检测方法在数据清理中的重要性,提出了一种基于孤立点检测的错误数据清理方法。在对常用孤立点检测方法进行比较、分析的基础上,采用一种有效的孤立点检测方法来检测数据源中的孤立点。最后,以一个实例验证了该方法的效果。研究表明：基于孤立点检测的错误数据清理方法能有效地检测数据源中的错误数据。     

分类异常点检测算法及在IDS模型中的应用

在分析了各种异常点检测算法的基础上,提出了一种分类异常点检测算法,该方法能够对数据在各个方面表现出的异常情况进行全面检测,精确度高、时间消耗少。提出了一个入侵检测系统模型,包括异常检测层和误用检测层,在异常检测中应用了分类异常点检测方法,该模型可以明显减少系统的漏报率。     

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。     

基于离群指数的时序数据离群挖掘

离群数据挖掘(0utlier mining,简称离群挖掘)是数据挖掘的重要内容.该文针对时序数据进行离群数据挖掘方法的研究,提出了离群指数的概念,在此基础上设计了时序数据离群数据挖掘算法,并对某钢铁企业电力负荷时序数据进行离群数据挖掘,结果表明了算法的有效性.     

一种基于密度近邻的增量式孤立点发现算法

为了解决数据集更新时孤立点增量发现问题,提出一种基于密度近邻的增量式孤立点发现算法.当数据集更新时,该算法在确定出受影响的对象后,根据对象和其近邻间k-密度变化,建立对象的密度近邻序列.然后依据对象的密度近邻序列代价和其k-距离邻域的平均密度近邻序列代价,计算出受影响对象的增量异常因子(IOF)来表征对象的孤立程度,从而提高增量孤立点发现的效果.此外,由于只需重新计算这些受影响对象的IOF值,该算法还提高孤立点发现的速度.实验表明,该算法不仅在孤立点增量发现的效果上高于以往算法且减少算法的运行时间.     

基于异类挖掘的网络入侵检测方法

针对目前基于异常入侵检测方法所存在的问题，提出了一种基于异类挖掘的聚类方法，该方法通过对采用多种不同类型描述的连接记录对象进行异类数据挖掘，从而实现从大流量网络活动记录数据中快速检测出与正常系统与网络活动相异的已知或未知入侵行为。最后利用KDD ’99入侵检测大赛的数据对所提方法进行了检验，实验结果表明了此方法是有效的。     

异常点检测算法在入侵检测中的应用研究

在对入侵检测技术研究的基础上,分析了数据挖掘技术在入侵检测中应用的可行性.并且建立了一种基于数据挖掘的IDS模型.经过分析入侵检测中应用的几种异常点检测算法,归纳和总结了它们的特点,为其他研究者提出新的算法提供了依据.     

基于图上随机游走的离群点检测算法

离群点检测算法在网络入侵检测、医疗辅助诊断等领域具有十分广泛的应用。针对LDOF、CBOF及LOF算法在大规模数据集和高维数据集的检测过程中存在的执行时间长及检测率较低的问题,提出了基于图上随机游走(BGRW)的离群点检测算法。首先初始化迭代次数、阻尼因子以及数据集中每个对象的离群值;其次根据对象之间的欧氏距离推导出漫步者在各对象之间的转移概率;然后通过迭代计算得到数据集中每个对象的离群值;最后将数据集中离群值最高的对象判定为离群点并输出。在UCI真实数据集与复杂分布的合成数据集上进行实验,将BGRW算法与LDOF、CBOF和LOF算法在执行时间、检测率和误报率指标上进行对比。实验结果表明,BGRW算法能够有效降低执行时间并在检测率及误报率指标上优于对比算法。