双层聚类模型在日志数据分析中的应用

提出了一种基于自组织特征映射(SOM)神经网络和模糊c-均值(FCM)的双层聚类方法,对Web日志中的日志数据集进行聚类.第一层是无监督SOM神经网络聚类方法,它所产生的类的个数大大减少了原始数据集的个数,降低了FCM对类初始中心点的依赖;然后利用FCM聚类算法的优势对第一层中产生的类的中心点进行聚类,从而大大减少了聚类的时间复杂度;最后通过平行坐标技术可视化展示聚类前后的日志数据集,方便对日志数据进行分析.     

双层聚类模型在日志数据分析中的应用

提出了一种基于自组织特征映射( SOM)神经网络和模糊c-均值( FCM)的双层聚类方法,对Web日志中的日志数据集进行聚类。第一层是无监督SOM神经网络聚类方法,它所产生的类的个数大大减少了原始数据集的个数,降低了FCM对类初始中心点的依赖;然后利用FCM聚类算法的优势对第一层中产生的类的中心点进行聚类,从而大大减少了聚类的时间复杂度;最后通过平行坐标技术可视化展示聚类前后的日志数据集,方便对日志数据进行分析。     

基于特征加权理论的数据聚类算法

针对数据挖掘过程中数据聚类操作的初始聚类数目和初始聚类中心确定困难的问题,提出了一种软子空间结合竞争合并机制的模糊加权聚类算法.通过对软子空间聚类算法的目标函数进行改写,并结合数据簇势的大小对各数据簇进行竞争与合并操作,实现了对数据的聚类处理.结果表明,该算法能够准确地对数据样本进行聚类,并且聚类结果与初始数据簇数目和初始聚类中心无关,能够满足对高维数据聚类处理的需要,具有较好的实际应用价值.     

一种新的混合遗传聚类算法

为了有效地从W eb日志数据中提取出相似用户的浏览模式,提出了一种应用于W eb日志挖掘中用户聚类的新的混合遗传聚类算法。这种算法是遗传算法和K-中心点聚类算法的有机结合。该算法是一个具有全局最优解的聚类算法,其结果明显优于模糊聚类算法和简单遗传聚类算法。该算法能够有效地剔除噪音,得到较好的用户聚类的效果,为网站设计者优化网站结构,提高信息服务质量提供了有效的决策依据。     

网站个性化服务的研究

利用Web数据挖掘技术，对用户未来的访问进行预测和推荐，是实现网站柔性个性化服务的研究方向之一．笔者通过对网站个性化服务相关技术的研究，改进了对Web服务器用户访问日志信息进行聚类分析的关联数据竞争聚类(competitive agglomeration for relation data，CARD)算法，并在此基础上构建了相应的实验模型．CARD算法是CA算法的一种改进算法，适合于处理没有明显特征的Web数据．试验是建立在真实的Web日志上的，实验证明该算法具有较好的聚类效果和适用度．     

一种查询日志匿名化算法

查询日志的发布会泄露用户的隐私。提出一种基于差分隐私的查询日志匿名化算法:首先构建用户查询项模型进行相似度计算并利用所求结果对用户查询项模型进行聚类,其次在聚类过程中添加指数噪音来满足差分隐私,最后发布匿名化数据。实验表明:该算法有效地提高了查询日志的实用性和隐私保护程度。     

彩色图像数据库中目标特征数据挖掘方法

针对由于彩色图像数据特征较多使得目标特征挖掘容易出现不确定性的问题,提出一种新的彩色图像数据库中目标特征数据挖掘方法.采用减法聚类算法对彩色图像数据进行聚类,采用离群点检测技术对聚类数据进行分类处理,采用量子行为粒子群优化方法选取最优目标图像特征数据,并与结构相似度计算方法相结合,实现对最优目标图像特征数据的挖掘.结果证明,该方法相比传统的挖掘方法,其挖掘召回率降低了约17%,挖掘精确度提高了约28.6%.     

面向Web活跃用户的树型访问模式挖掘算法

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAPBUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析.     

Web日志挖掘中模糊C均值聚类研究

Web日志挖掘就是通过一定的方法分析Web日志数据,发现用户的访问习惯,帮助管理人员改进Web站点的性能和结构,提高用户获取知识的质量和速度。笔者首先在Web日志挖掘的背景下分析了模糊C均值聚类算法的缺陷,针对其的不足,在粗糙集理论的支持下,介绍属性信息量的概念,并通过计算待聚类对象的属性权值,区分重要性属性和噪音属性对聚类结果的影响,实验证明该方法提高了模糊C均值聚类算法的准确率。     

Web 日志挖掘中模糊C均值聚类研究

Web日志挖掘就是通过一定的方法分析Web日志数据,发现用户的访问习惯,帮助管理人员改进Web站点的性能和结构,提高用户获取知识的质量和速度.笔者首先在Web日志挖掘的背景下分析了模糊C均值聚类算法的缺陷,针对其的不足,在粗糙集理论的支持下,介绍属性信息量的概念,并通过计算待聚类对象的属性权值,区分重要性属性和噪音属性...     

基于Chameleon聚类的Linux日志取证算法研究

为提取计算机非法入侵的证据,选取了日志作为证据来源。由于日志记录的容量通常都较大,所以结合了数据挖掘和模糊数学的相关知识,对基于Chame-leon聚类的日志分析算法进行了探讨和研究。然后根据Linux系统日志文件的特性,提出了具体的日志特征提取算法,并从日志采集性能上进行了模拟入侵测试和分析。     

复合型日志的模板提取方法

为了解决目前复合型日志无法被模板提取算法正确解析的问题,设计新的模板提取算法CLEA来处理复合型日志的模板提取. 该算法使用符号将所有日志划分为集群,基于Drain模板提取算法提取每个集群各自的日志模板,存储并缓存模板提取结果,在更新集群的同时更新缓存的模板;将差异度计算引入简单共有词算法中,增强简单共有词算法对模板中不同词语的敏感度,计算模板之间的相似度;设计BMerge算法,利用该算法对相似度大于阈值的模板进行合并,获取并输出合并日志作为最终结果. 在相似度算法中引入差异度计算,增强算法对模板中不同词语的敏感度,并设计BMerge算法对模板进行合并,输出无损日志作为结果. 所提方法适用于处理复合型日志,且正确率较高.     

Mercer Kernel Based Fuzzy Clustering Self-Adaptive Algorithm

A novel mercer kernel based fuzzy clustering self-adaptive algorithm is presented. The mercer kernel method is introduced to the fuzzy c-means clustering. It may map implicitly the input data into the high-dimensional feature space through the nonlinear transformation. Among other fuzzy c-means and its variants, the number of clusters is first determined. A self-adaptive algorithm is proposed. The number of clusters, which is not given in advance, can be gotten automatically by a validity measure function. Finally, experiments are given to show better performance with the method of kernel based fuzzy c-means self-adaptive algorithm.     

MR-CLOPE: A Map Reduce based transactional clustering algorithm for DNS query log analysis

DNS(domain name system) query log analysis has been a popular research topic in recent years. CLOPE, the represented transactional clustering algorithm, could be readily used for DNS query log mining. However, the algorithm is inefficient when processing large scale data. The MR-CLOPE algorithm is proposed, which is an extension and improvement on CLOPE based on Map Reduce. Different from the previous parallel clustering method, a two-stage Map Reduce implementation framework is proposed. Each of the stage is implemented by one kind Map Reduce task. In the first stage, the DNS query logs are divided into multiple splits and the CLOPE algorithm is executed on each split. The second stage usually tends to iterate many times to merge the small clusters into bigger satisfactory ones. In these two stages, a novel partition process is designed to randomly spread out original sub clusters, which will be moved and merged in the map phrase of the second phase according to the defined merge criteria. In such way, the advantage of the original CLOPE algorithm is kept and its disadvantages are dealt with in the proposed framework to achieve more excellent clustering performance. The experiment results show that MR-CLOPE is not only faster but also has better clustering quality on DNS query logs compared with CLOPE.     

基于统计学习的自适应文本聚类

针对文本数据的高维性和稀疏性从而使传统的聚类算法在文本聚类应用中的表现不能让人满意的问题,通过计算文档相似度矩阵,在聚类过程中动态地统计学习已划分和未划分文本集合的相关信息,探测剩余未划分的数据集中的与已划分类簇覆盖度较小的最大密集区域,逐步生成预定数目的初始聚类中心集合,最后将剩余文档划分到最相似的初始聚类中心集合完成聚类,从而有效地减小了划分聚类算法对初始聚类中心的敏感性。算法中的一些阈值参数均通过在聚类过程中动态地对数据集进行统计学习得到,避免了多数聚类算法通过经验或实验设定阈值参数的盲目性,在不同     

基于进化思想的聚类算法及其类簇融合算法

针对K均值聚类算法对类簇数目预先不可知及无法处理非凸形分布数据集的缺陷, 提出基于进化思想的聚类算法及其类簇融合算法, 该算法将K均值聚类算法嵌入进化聚类算法框架中, 通过调整距离倍参, 将数据逐渐划分, 在此过程中自动确定类簇数目, 提出基于最近距离的中间圆密度簇融合算法和基于代表类的中间圆密度簇融合算法, 将相似度大的类簇进行融合, 使得k值逐渐趋向真实值. 实验表明, 该方法具有良好的实用性.     

Improved Siamese network based object tracking combined with the deep contour feature

The existing Siamese object tracking algorithms easily lead to tracking drift under the influence of object deformation and occlusion, this paper proposes an improved object tracking algorithm based on deep contour extraction networks to achieve stable detection and tracking of any object under complex backgrounds. First, the contour detection network automatically obtains the closed contour information on the object and uses the flood-filling clustering algorithm to obtain the contour template. Then, the contour template and the search area are input into the improved Siamese network so as to obtain the optimal tracking score value and adaptively update the contour template. If the object is fully obscured or lost, the Yolov3 network is used to search the object in the entire field of view to achieve stable tracking throughout the process. A large number of qualitative and quantitative simulation results show that the improved model can not only improve the object tracking performance under complex backgrounds, but also improve the response time of airborne systems, which is suitable for engineering applications.     

基于粒子群优化模糊核聚类的电梯群交通模式识别

为了改善电梯群控系统的性能,使电梯群节能并高效运行,针对不同的交通模式采用合理的调度算法对电梯群进行优化调度,提出一种基于粒子群(PSO)的模糊核聚类算法(KFCM)的电梯交通流模式识别方法．利用基于梯度下降的粒子群优化算法代替KFCM算法的迭代过程,可使算法具有较强的全局搜索能力和局部搜索能力,并降低了KFCM算法对初始值的敏感度．利用核方法将低维特征空间的样本映射到高维特征空间,增加对样本特征的优化,并使样本特征在高维特征空间线性可分,更加容易聚类．采用在某办公楼采集的电梯交通流数据作为测试样本,仿真结果表明,与FCM聚类算法相比,该算法具有良好的性能指标,对电梯交通流的聚类效果更准确．