基于多密度峰值的CFSFDP算法改进

CFSFDP(Clustering by Fast Search and Find of Density Peaks)算法在单个簇中存在多个密度峰值时,使用决策图难以确定聚类中心数量,导致聚类效果不佳的情况。对此提出将所有密度大于当前位置的数据点以及与当前位置的最小距离各归为一个集合,并对高斯核求得的局部密度排序。当存在多个密度峰值时,只选择第一个点作为聚类中心,同时利用归一化的γ值分布图确定聚类中心数。人工数据集和UCI数据集的数值模拟实验表明,改进CFSFDP算法在调整兰德系数、同质性、完整性、V-measure和标准互信息评分等各指标值均优于CFSFDP算法、DBSCAN算法和k-means算法。该算法弥补了CFSFDP算法对多密度峰值不能很好聚类的缺陷,适用于对较低维度的任意形数据集的聚类。     

主题模型在短文本上的应用研究

针对短文本上以LDA为主的传统主题模型易受特征稀疏、噪声以及冗余影响的问题,首先梳理了文本特征表示法的变化以及短文本上主题模型的发展现状,并系统地总结了LDA模型和狄利克雷多项混合模型(DMM)各自的生成过程和相应的吉布斯采样参数推导。关于主题模型最优主题数,选取常见的4种优化指标进行了详细的对比说明。最后分析了近2年主题模型的扩展研究和其在网络舆情上的简单应用,并以此指明了未来主题模型的研究方向和侧重点。     

基于主题模型及其扩展的短文本算法评述

随着短文本网络舆情的快速传播和流行,传统主题模型的重心实现了从长文本到短文本的转变。针对潜在狄利克雷模型(Latent Dirichlet Allocation,LDA)在短文本上效果不佳的问题,系统地阐述文本特征表示法的变化、常见短文本处理方式和主题模型调整方案;总结LDA和狄利克雷多项混合模型(Dirichlet Multinomial Mixture,DMM)在生成过程、参数估计以及潜在主题个数确定上的发展现状及相应的扩展研究;对主题模型在网络舆情话题演化与深度学习在短文本上的相关应用进行分析,并指出未来主题模型的研究及应用方向。