一种高效的高维异常数据挖掘算法

针对高维异常数据的挖掘问题,提出一种基于最大间隔准则和最小最大概率机的高维异常数据挖掘算法。利用最大间隔准则算法将高维数据投影到低维特征空间,再利用最小最大概率机进行异常数据的挖掘。实验结果表明,该算法检测准确率较高。     

高维数据的频繁封闭模式挖掘算法研究综述

挖掘频繁模式是数据挖掘领域一个重要且基础的问题.频繁封闭项集挖掘可以提供完全的无冗余的频繁模式.随着生物信息学的兴起,产生了一类具有较多列数的特殊数据集,这种高维数据集对以前的频繁封闭模式挖掘算法提出了新的挑战.对高维数据的频繁封闭模式挖掘算法进行了综述,按照算法的特性对这些算法进行了分类,比较了基于行计数的两类挖掘算...     

浅谈高维数据挖掘的现状与方法

数据挖掘出现于20世纪80年代后期,是数据库研究中一个很有应用价值的领域.随着大数据出现,高维数据的挖掘成为了热点和难点。本文在介绍传统数据挖掘的基础上,介绍了高维数据的特点以及目前面临的问题,高维数据挖掘最新研究的情况,并在此基础上进行了总结和展望。     

基于单元格和属性权重的离群点检测

离群点检测是数据挖掘领域的一个重要的研究方向.针对高维数据空间中离群数据的挖掘速度和准确度的问题,提出一种基于单元格的离群点检测算法.该算法在高维数据空间中对数据进行降维,并且将数据依据属性权重划分成若干空间单元,从而减少查询次数,提高离群数据的挖掘速度.另外,通过对属性的加权处理能够更有效地突出属性的特殊性,从而提高挖掘的准确度.理论分析和实验结果表明了该方法是有效可行的.     

VISDMiner：一个交互式数据挖掘过程可视化系统

针对数据挖掘中挖掘过程不透明以及用户交互少的问题,本文设计并实现了VISDMiner系统。VISDMiner系统将可视化技术和数据挖掘技术结合在一起,提供对挖掘过程中各阶段产生的可视化子结果集的分析。用户可根据自己的领域知识和经验去调整数据挖掘算法模型的参数和可视化模型的参数,促进算法和挖掘分析过程的有效调优。为了处理高维数据集,VISDMiner系统采用一种基于最大信息系数的主成分分析改进算法MIC-PCA,该算法主要是针对传统PCA算法降维能力和分类准确率低的问题进行改进。实验结果表明,VISDMine不仅实现了数据挖掘过程的可视化,还提高了用户对数据挖掘〖JP2〗执行结果的可理解性,其采用的改进的MIC-PCA算法提高了PCA算法的降维能力和分类准确率。     

对随机投影算法的离群数据挖掘技术研究

[d]维点集离群数据挖掘技术是目前数据挖掘领域的研究热点之一。当前基于距离或最近邻概念进行离群数据挖掘时,在高维数据情况下的挖掘效果不佳,鉴于此,将基于角度的离群因子应用到高维离群数据挖掘中,提出一种新的基于随机投影算法的离群数据挖掘方案,它只需要用接近线性时间的方法就能预测所有数据点的基于角度的离群因子。该方法可以用于并行环境进行并行加速。对近似质量进行了理论分析,以保证算法的可靠性。合成和真实数据集实验结果表明,对超高维数据集,该方法效率高、可伸缩性强。     

高维数据挖掘技术研究

数据挖掘是致力于数据分析和理解,揭示数据内部蕴藏知识的技术。它是未来信息技术应用的重要目标之一。而高维数据在实际应用中的使用,使得对高维数据挖掘的研究有着非常重要的意义。文章介绍了高维数据挖掘对数据挖掘的挑战及应对策略,提出了一些挖掘模型的创新点。     

基于大云数据快速挖掘过程的研究与仿真

研究大云数据快速挖掘优化控制问题.在大云数据环境下,产生的海量数据通常是地理上分布、异构、动态的,复杂性也越来越高,若用传统的集中式云计算算法对数据进行挖掘处理,会使算法陷入无穷对比的境地,造成算法不收敛,复杂度高的弊端.为解决上述问题,提出了一种并行Apriori算法的大云数据挖掘方法.对大云数据进行简化处理,去除其中的冗余数据,为大云数据快速挖掘提供数据基础.计算大云数据中的关联规则,从而获取大云数据之间的相关性.对大云数据进行处理,实现大云数据挖掘.实验结果表明,利用改进算法进行大云数据挖掘处理,能够有效提高数据挖掘的速度,存在较强的优越性.     

基于数据挖掘的网络信息安全策略研究

随着网络应用越来越普及,网络数据越来越庞大,网络信息安全问题日益严重,面对庞大的互联网数据安全提出了基于数据挖掘的网络信息安全策略,并对网络信息安全数据挖掘方法、挖掘对象、实施过程、挖掘算法进行论述,设计了网络安全分析模型,对静态和动态流量数据进行分析,给出了基于数据挖掘的网络信息安全分析算法的静态网络安全数据分析模型算法和动态流量数据及态势分析算法。     

无线传感器网络中分布式数据挖掘算法研究

研究无线传感器网络中数据挖掘问题.针对大量高维冗余且不确定的无线传感器网络监测数据传送到中央服务器上使用传统的数据挖掘方法进行挖掘的缺点相当明显,导致耗费了珍贵的网络能量.为解决上述问题,提出在每个传感器节点上进行基于粗糙集与遗传BP网络相结合的分布式数据挖掘算法,利用GA来训练BP网络的阈值和权值来构成遗传BP网络(GABP),克服BP网络的某些不足;利用粗糙集RS在消除冗余信息、处理不确定性数据等方面的优势,缩减训练数据输入BP网络的维度.仿真结果表明,改进算法能有效地实现对无线传感器网络中的数据进行分类,取得了较理想的效果.     

基于变量相关性的多元时间序列特征表示

针对高维特性对多元时间序列数据挖掘过程和结果的影响,以及传统主成分分析方法在多元时间序列数据特征表示上的局限性,提出一种基于变量相关性的多元时间序列数据特征表示方法。通过协方差矩阵描述每个多元时间序列的分布特征和变量相关关系,利用主成分分析方法对综合协方差矩阵进行主元分析,进而实现多元时间序列的数据降维和特征表示。实验结果表明,所提出的方法不仅能提高多元时间序列数据挖掘的质量,还可以对不等长多元时间序列进行快速有效的挖掘。     

基于策略模式的中医数据挖掘平台

随着数据挖掘技术的发展和中医信息化的逐渐深入,很多数据挖掘方法被应用到中医研究领域。针对面向对象软件设计模式中的策略模式在数据挖掘科研软件平台设计开发上的应用进行了研究,并提出了平台设计概要。在此基础之上,提出了一种中医数据挖掘研究的思想方法：将中医问题（数据）封装、将数据挖掘方法（算法）封装,实现统一的接口,从而实现在某一类中医问题中尝试不同的数据挖掘方法、将某一种数据挖掘方法应用于不同的中医问题。基于上述思想方法,实现了中医数据挖掘平台,用于中医相关领域的数据挖掘研究。     

基于T统计量的一种改进关联规则挖掘方法*

数据挖掘的一个重要任务便是从数据库中挖掘出有趣的关联规则。传统的关联规则挖掘方法一般基于支持度-置信度体系,时常会挖掘出虚假规则或忽略掉有用的规则。针对这一问题,本文借鉴对照实验的思想,提出基于T统计量的关联规则挖掘方法,用显著度代替置信度,使挖掘出的规则更具有统计显著性。算例分析和数据实验表明,这种方法可以解决传统关联规则方法存在的上述问题,提高关联规则的有效性。     

高维数据中的相似性度量算法的改进

高维数据之间的相似性度量问题是高维空间数据挖掘中所面临的问题之一。为了有效解决高维效应给相似性度量带来的种种问题,首先分析传统相似性度量算法,得出其局限性。再通过对传统度量算法进行改进,提出新的Close函数,以弥补传统相似性度量算法应用在高维空间时的不足。提出Close函数后,将其与几种传统的相似性度量算法作比较,得出新算法在高维空间相似性度量方面的优越性。文中最后用Matlab对该函数做了定量分析,实验证明该函数在高维空间中能有效避免噪声和维灾效应的影响。     

粒子群优化算法在关联规则挖掘中的研究综述

关联规则挖掘是数据挖掘中的重要领域,考虑到当前数据的大规模、高维度、模态多样及类型复杂等特性,传统关联规则挖掘算法已无法适应大数据的需求,粒子群优化算法作为一种高效的智能优化算法,为其提供了一种全新的解决方案,近年来被广泛应用于该领域。首先对粒子群优化算法的基本原理及关联规则的基本概念进行了详细介绍,回顾了粒子群优化算法的研究进展,分析了粒子群优化算法在关联规则挖掘中的研究,包括常用的数据转换方法、编码方式及评估指标,并与其他在关联规则挖掘中被广泛应用的算法进行了对比,总结了各自的优缺点及适用场景。然后对已有改进方法进行了较为系统的分类,即分为基于参数、基于变异机制和混合其他算法的改进。接着梳理归纳了粒子群优化算法在关联规则挖掘中的应用领域,阐述了该算法在购物篮、金融、医疗、工业生产及风险评估领域中的应用优势。最后在介绍这一领域的最新研究进展的基础上,通过对现存问题进行分析,讨论了进一步的研究方向。     

基于H-tree的多维序列模式挖掘算法

提出了一种基于H-tree的多维序列模式挖掘算法,首先在序列信息中挖掘序列模式,然后针对每个序列模式,根据包含此模式的所有元组中的多维信息构造H-tree树,挖掘出相应的多维模式,从而得到了多维序列模式。该算法将多维分析方法与序列模式挖掘算法有效地结合在一起,当维度较高时具有较高的性能。     

基于Canopy的K-Means并行化算法

针对大数据带来的海量信息,传统的数据挖掘方法已经不再适用。近些年来很多学者提出新的数据挖掘方式,或者在传统的方法上进行改进,但是还远不足以处理这些海量信息。在总结已有方法的基础上,提出一种基于C anopy的K-M eans并行化算法。与传统的K-M eans算法相比,本文提出的改进方法会通过密度确定初始中心,然后在H adoop分布式集群上运行K-M eans算法。实验证明,该方法在保证精度的情况下,能降低运算复杂度从而提高计算效率。     

面向数据特征的分布式数据挖掘研究

在众多提高数据挖掘效率的方法中,并行数据挖掘是一个从根本上解决该问题的有效途径.首先指出在数据挖掘过程中,不论采用顺序挖掘还是并行挖掘,都必须以数据挖掘的最终目的为前提,即尽可能多地发现数据中所含有的有用的知识,然后在此基础上提高数据挖掘的较率.在该想法基础上,提出了面向数据特征的数据划分过程,并进一步提出了加权式的并行数据挖掘基本方法.在这种数据挖掘过程中,可以得到相对于部分数据的知识,在很大程度上提高了数据挖掘的动态性能.     

WEB数据挖掘在电子商务中的研究应用

WEB数据挖掘旨在从大量的WEB数据信息中发现有用的模式和隐藏的信息,从而为决策者提供决策支持,优化市场策略,有效地解决当今互联网信息膨胀的问题。WEB数据挖掘的一个重要应用就是电子商务。电子商务是一个基于网络平台的现代化的商业模式,目前电子商务发展势头强劲,WEB数据挖掘在电子商务中必定有广阔的应用前景。本文将WEB数据挖掘与电子商务相结合,介绍了在电子商务平台中进行WEB数据挖掘的方法,从而为电子商务从业人员提供借鉴,以便更好地分析数据间的隐藏关系和模式,掌握用户喜好,为电子商务平台的市场决策提供决策支持,减少风险。     

浅谈基于云计算的数据挖掘技术

21世纪是信息的时代,然而在这个信息大爆炸的时代,数据无疑是这个时代的主宰者,尤其对于一个企业而言,能否挖掘出潜在的有价值的数据在一定程度上将决定一个企业的经济命脉,因此数据挖掘也变得尤为重要。可是随着信息技术的发展,传统的挖掘方式已经不能满足海量数据的挖掘,而云计算的出现使解决这一难题成为可能,可以说云计算的到来给数据挖掘技术带来了一场革命性的改变。本文介绍了云计算的定义、特点以及应用于数据挖掘中的优势,并简单讨论了基于云计算的数据挖掘技术热点问题以及数据挖掘技术所面临的挑战。最后畅谈了基于云计算的数据挖掘技术的未来发展趋势以及自己的感想。