一种不确定数据流聚类算法

提出了EMicro算法,以解决不确定数据流上的聚类问题.与现有技术大多仅考虑元组间的距离不同,EMicro算法综合考虑了元组之间的距离与元组自身不确定性这两个因素,同时定义新标准来描述聚类结果质量.还提出了离群点处理机制,系统同时维护两个缓冲区,分别存放正常的微簇与潜在的离群点微簇,以期得到理想的性能.实验结果表明,与现有工作相比,EMicro的效率更高,且效果良好.     

一种不确定数据流子空间聚类算法

针对不确定数据流上的聚类问题提出一种不确定数据流子空间聚类算法UDSSC.该算法使用滑动窗口机制接收新到达的数据,剔除陈旧的数据;还引入子空间簇生成策略和新型离群点机制;系统建立了三个缓冲区分别存储新到来的元组、要进行聚类的元组和离群点元组,以此获得高质量的聚类结果.实验表明,UDSSC算法与同类型算法相比,具有更好的聚类效果、更低的时间复杂度和更强的扩展性.     

基于免疫原理的不确定数据流聚类算法

提出一种基于免疫原理、对不确定数据流进行聚类的算法——IUMicro。IUMicro针对不确定数据流上元组级不确定性问题,引入动态更新以适应数据变化的免疫模型,其中包括一种有效的在线收集数据流统计信息的B细胞特征结构及其更新策略。为兼顾元组存在概率与元组间的距离两方面因素,定义概率识别半径,为每个不断到达的数据元组找到合理的候选簇。离线聚类根据免疫细胞识别区域的空间关系,进行任意形状的无监督聚类。实验结果表明,IUMicro能有效抑制噪声,具有良好的聚类质量和较快的处理速度。     

基于粗糙模糊集的不确定数据流聚类算法??

为解决高维和高不确定级别的数据流聚类问题,提出了一种针对不确定数据流的聚类算法HFMicro。引入粗糙模糊集理论,定义了一种新的不确定数据流模型,并利用隶属程度的上、下近似来描述微簇。根据粗糙模糊集间的相似程度来选择最合适的微簇。使用动态衰减窗口模型提高算法的效率和聚类效果。由于采用了离线聚类模式,使得算法具有较好的实时性。实验结果表明,该算法能够很好地处理高维和高不确定级别的数据流,同时兼容存在级不确定性和属性级不确定性,与现有算法相比效果更好。     

一种联系数表达的位置不确定数据流聚类算法

在不确定数据流聚类算法的研究中,位置不确定性是一种新的不确定数据类型.已有的不确定数据模型不能很好地描述和处理位置不确定数据.鉴于此,在提出基于联系数的位置不确定数据模型、联系距离函数、微簇密度可达性等主要概念的基础上,提出了一种联系数表达的位置不确定数据流聚类算法--UCNStream.数据流聚类算法采用在线/离线两级处理框架,使用基于密度峰值思想的初始化策略,定义了新的可动态维护的微簇聚类特征向量.利用衰减函数和微簇删除机制对微簇进行在线维护,准确地反映了数据流的演化过程.最后,分析了算法的计算复杂性,并通过对实际数据集上的实验与几种优秀的聚类算法进行了比较,实验结果表明,UCNStream算法具有较高的聚类精度和处理效率.     

不确定度模型下数据流自适应网格密度聚类算法

随着计算机技术及感知技术的发展及应用,各个领域普遍出现不确定性数据流形态的新型数据,吸引了众多研究者的关注.现有的数据流聚类技术普遍忽略不确定性特征,常导致聚类结果的不合理甚至不可用.为数不多的针对不确定性特征的聚类方法片面考察不确定性,且大多基于K-Means算法,具有先天缺陷.针对这一问题展开研究,提出了不确定度模型下数据流自适应网格密度聚类算法(adaptive density-based clustering algorithm over uncertain data stream, ADC-UStream).对于不确定性特征,该算法在存在级和属性级不确定性统一策略下,构建熵不确定度模型进行不确定性度量,综合考察不确定性.采用网格-密度的聚类算法,基于衰减窗口模型设计时态和空间的自适应密度阈值,以适应不确定性数据流的时态性和非均匀分布特征.实验结果表明,不确定模型下的数据流网格密度自适应聚类算法ADC-UStream在聚类结果质量和聚类效率方面都具有较好的性能.     

衰减窗口中的不确定数据流聚类算法

针对现实不确定数据流具备分布非凸性和包含大量噪声等特点,提出不确定数据流聚类算法Clu_Ustream(clustering on uncertain stream)来解决对近期数据进行实时高效聚类演化问题.首先,在线部分利用子窗口采样机制采集滑动窗口中的不确定流数据,采用双层概要统计结构链表存储概率密度网格的统计信息;然后,离线聚类过程中通过衰减窗口机制弱化老旧数据的影响,并定期对窗口中的过期子窗口进行清理;同时采用动态异常网格删除机制有效过滤离群点,从而降低算法的时空复杂度.在模拟数据集和网络入侵真实数据集上的仿真结果表明,Clu_Ustream算法与其他同类算法相比具有较高的聚类质量和效率.     

一种新的不确定树模式聚类算法

不确定树模式聚类是数据挖掘领域中的一个重要问题,提出了一种新的不确定树模式聚类算法,有效地解决了因数据的不确定性而导致的无法聚类的问题.为了更加准确地度量树模式之间的相似性,提出了一种语义相似度计算方法与结构相似度计算方法.设计了一个动态聚类过程,自适应获取聚类阈值,较大程度上减少了人为干扰导致聚类结果不准确的影响,使得具有相似结构的子树聚集在同一个相似分组中,不同分组之间的子树相似度达到最小化.通过模拟数据和真实环境两部分实验表明,算法有效可行,聚类结果较准确且具有较好的运行效率.     

基于近邻传播的不确定数据流演化聚类算法*

鉴于现有算法缺乏从时序演化角度解决不确定数据流聚类问题,提出基于近邻传播的不确定数据流演化聚类算法。考虑不确定数据流在线形成微簇时的变化因素对离线聚类的影响,提出不确定微簇变化率的概念。从不确定数据流演化的角度衡量微簇之间的相似程度,提出不确定微簇关联度的概念,并以此为基础构造不确定相似度矩阵,结合近邻传播思想实现不确定数据流演化聚类。通过实验证明文中算法的有效性和良好的聚类效果。     

一种基于网格和密度的数据流聚类算法

在"数据流分析"这一数据挖掘的应用领域中,常规的算法显得很不适用.主要是因为这些算法的挖掘过程不能适应数据流的动态环境,其挖掘模型、挖掘结果不能满足实际应用中用户的需求.针对这一问题,本文提出了一种基于网格和密度的聚类方法,来有效地完成对数据流的分析任务.该方法打破传统聚类方法的束缚,把整个挖掘过程分为离线和在线两步,最终通过基于网格和密度的聚类方法实现数据流聚类.     

一种有效的密度有偏采样算法

密度有偏采样技术是针对不一致数据集提出的一种采样技术,现有密度有偏采样方法在寻找聚类时容易受异常点的影响而产生错误的聚类.基于这一缺陷,提出了一种新的密度有偏采样--DOSP,在寻找聚类时,该算法可以利用密度有偏采样存在的空间划分,在计算子空间密度的同时搜寻异常子空间,并屏蔽对异常子空间的采样,从而有效地消除异常点的影响.实验证明该算法不仅有效地消除了异常点的干扰,而且在高噪声情况下,算法的计算代价明显降低.     

结合用户交易情况的改进聚类算法

对通过URL-UserID关联矩阵得到页面聚类和用户聚类的算法进行了研究.指出了可以结合用户的交易结果来评价用户对商品页面的兴趣度,并给出了改进后的算法和计算过程,从而关联矩阵元素的权值能够更准确地反映用户对商品页面的感兴趣程度,使聚类分析结果更佳.     

一种基于相似性度量的高维数据聚类算法的研究

针对传统基于距离度量的聚类算法难以适合高维数据聚类以及高维数据之间相似度难定义的问题,提出了一种新的高维数据聚类算法.该算法基于一个能够更准确地表达出高维对象之间相似性的度量函数,首先计算对象两两之间的相似度并得出一个相似度矩阵,然后根据该相似度矩阵和阈值大小自底向上对数据进行聚类分析.实验结果显示,该算法能够获得质量更高的聚类结果,并且不受孤立点影响,对输入数据顺序也不敏感.     

一种改进的k-均值聚类算法

针对k-均值(k-means)聚类算法中随机选取初始聚类中心的缺陷,提出了一种新的基于数据样本分布选取初始聚类中心的方法.实验结果表明,改进后的算法能改善其聚类性能,并能取得较高的分类准确率.     

实时数据流聚类等方法在钢铁质量监控中的应用

实时数据流独特的特点,给传统数据的处理方法带来了很大的挑战,利用聚类方法挖掘其中的有用知识则显得非常有优势。针对某钢铁企业在生产过程中出现的信息不通、产品质量无法跟踪的问题,设计开发一个钢铁产品生产过程实时监控系统。同时结合在仿真数据集上具有良好表现的基于密度维度树的增量式网格聚类算法(IGDDT),对产品工艺实时数据流进行分析。实现了企业对产品质量的实时监控,以及对关键工艺的改进,优化了钢铁产品生产过程和产品管理,有利于提高钢铁产品质量。     

应用摘要层次结构的数据流聚类算法

数据流具有数据量无限且流速快等特点,使得传统的聚类算法不能直接应用于数据流聚类问题.针对上述问题,提出了一种可以聚类单数据流和多数据流的聚类算法.此算法现阶段应用了两种概化技术,基于小波的技术和基于回归的技术来构造摘要层次结构.基于回归的拟合模型可以得到较精确的摘要层次结构,而基于小波的拟合模型可以快速地建立摘要层次结构并且所需的存储空间比较小.     

一种综合多种聚类结果的算法

在简要介绍了SAMARAH模型中定义的不同聚类结果的类别之间的相似度及其不足的基础上,提出了一种多种聚类结果的算法步骤,重点介绍对两个不同聚类结果间的相似度最大的两个类别所对应的四种不同情况的调整策略。以综合模糊C均值聚类结果和K均值聚类结果为例,说明了提出的综合多种聚类结果的算法具有实用性,并得出该算法的一些结论。     

一种基于小波概要的数据流量子聚类算法

针对传统的聚类分析技术面对长度无限且随时变化的海量级数据流无法直接使用或使用缺陷突出等问题,从数据流自身特性出发,结合小波变换与量子理论,提出一种新的数据流量子聚类算法。该算法首先采用离散小波变换,从每个数据流中动态分层地提取出其概要结构作为其相应的特征属性,同时计算出每个数据流到聚类中心的近似距离,结合量子理论估算出较优的核宽度调节参数进行类调整,最终获得一个较为理想的聚类效果。实验表明,该算法较好地解决了传统聚类方法无法良好解决的多数据流并行聚类问题,并表现出较好的聚类性能。     

不确定数据流中频繁模式的并行挖掘算法

不确定数据集中频繁模式挖掘的研究热点之一是挖掘算法的时空效率的提高,特别在目前数据量越来越大的情况下,实际应用对挖掘算法效率的要求也更高。针对动态不确定数据流中的频繁模式挖掘模型,在算法AT-Mine的基础上,给出一个基于MapReduce的并行挖掘算法。该算法需要两次MapReduce就可以从一个滑动窗口中挖掘出所有的频繁模式。实验中,多数情况下通过一次MapReduce就可以挖掘到全部频繁项集,并且能按数据量大小均匀地把数据分配到各个节点上。实验验证了该算法的时间效率能提高1个数量级。     

基于流数据的模糊聚类算法

对流数据进行有效聚类是一个吸引研究者很大注意力的问题.传统的聚类挖掘算法只能适用于纯数值属性数据或纯分类属性数据,很难适用于混合属性的数据.针对混合属性数据的特点,在借鉴AcluStream算法的基础上,提出了一种模糊聚类算法.算法对流数据的相异度分类度量,定量属性使用欧氏距离和曼哈坦距离度量,定性属性可以采用hamming距离度量.模糊聚类算法的主要步骤有两步:第一步,运用最小距离聚类算法进行聚类,构成一个初始类.第二步,对基于最小距离聚类算法进行聚类所得到的初始簇,运用密度聚类方法进行聚合或分割,使得聚类集合稳定.实践证明:该算法是快速地有效的.