基于关键词共现分析的检索结果聚类研究

随着互联网规模的急剧扩张,提升信息检索的效用变得相当困难.本文首先通过特定算法提取每篇文档的关键词,然后运用统计方法计量不同文档的共现关键词并形成相应的共现关键词标签矩阵,最后利用层次聚类算法对共现关键词标签进行聚类并形成相应的层次标签树来构造文档聚类束.该方法可以对源搜索引擎返回的结果进行有效的分类,使用户在更高主题层次上查看检索词的相关信息,准确地找到感兴趣的信息.通过与Lingo算法的比较,显示本文算法所得的标签更具可读性和概括性,同时F-measure评价指标也表明本算法在文本聚类的质量上有了一定的提升.     

基于率失真理论的模糊聚类模型与算法

本文从信息论的角度考虑了聚类问题,将聚类看成是有损信息压缩的过程.首先运用率失真理论建立了模糊聚类的优化模型,与经典的模糊聚类模型相比,模型的目标函数中多了一个描述聚类过程复杂度的指标.同时为了估计聚类数目,还提出了一个新的聚类有效性指标.其次通过求解优化模型得到基于率失真理论的模糊聚类算法.最后将基于率失真理论的模糊聚类算法与经典模糊C均值算法进行了数值实验比较.数值实验结果表明基于率失真理论的模糊聚类算法能够自动确定聚类数目,在运行时间上比模糊C均值算法有一定减少,且最终的模糊划分矩阵与模糊C均值算法相比有较少的模糊性,因而聚类结果更加明确可靠.     

K-means算法研究综述

对聚类分析中的基本算法K-means算法中的K值确定、初始聚类中心选择以及分类属性数据处理等主要问题进行综述,理清K-means算法的整个发展脉络及算法研究中的热点和难点,提出改进K-means聚类算法的思路。     

基于复合词生成的网络热点话题识别及描述算法

[目的/意义]在海量网络新闻和微博等新媒体文本中自动识别网络热点话题并抽取有意义词串来描述热点事件,对自动识别和描述网络舆情具有重要的研究意义。[方法/过程]在现有热点描述词抽取方法中,利用关联规则或多元词组合方法在抽取过程中存在噪音词较多和特征词语义被放大或转移等问题。本文提出一种基于复合词生成的描述词抽取方法,在所提取的语义更为精确的描述词集合上使用一趟聚类算法对新闻文本进行聚类,自动识别网络热点话题并对热点话题进行排名。[结果/结论]对腾讯新闻事件文本数据集所做的实验结果表明,本文所提出的方法较传统的词特征抽取方法在聚类结果上具有更好的话题簇识别能力和簇描述能力。     

基于带语义差别的模糊Taxonomy的交易数据库关联规则聚类

关联规则聚类是大量关联规则的一种有效组织方式,本文针对基于商品分类信息的规则聚类方法存在的不足进行了改进,同时考虑了不同层次间的项目语义差别,以及具有不同隶属度的项目细致语义差别,将商品分类树改进为模糊Taxonomy的有向无环图结构,该结构可以处理一个项目同时属于多个父结点的情况.我们充分考虑了有向无环图的性质,提出了带细致语义差别的模糊Taxonomy结构构建方法和相应的规则距离计算方法,其中,规则距离计算过程中的项集距离计算方法无需计算最佳匹配,因此,具有较小的时间开销.规则距离计算和聚类可视化试验结果表明了该方法的可扩展性和有效性,在规则的聚类计算上取得了较为满意的结果.     

面向聚类主题的文本特征描述

本文提出一种面向聚类主题的文本特征表示方法,即以聚类的主题概念来刻画文本的特征向量,将文本描述提升至语义层次.首先,通过聚类,形成一组以向量形式表达的隐含主题概念,再将基于词条空间的文本特征向量投影至这组主题概念,以隐含的主题概念来描述文本.实验分析表明,建立在概念空间之上的文本向量实质上是文本矢量与主题概念的关联度,能够突出表现文本内容的主题特征,更好地反映文本的语义内容,从而有效提高模型在文本检索与分类等领域的应用性能.而基于聚类形成的概念空间的维数由于可主观调整,又能有效地约减概念空间的维数,提高模型的应用实效.     

基于时间序列分析的SNS开放平台应用研究

介绍SNS开放平台及其应用的相关概念,分析开放平台应用现状和运营模式,基于国内此类软件的统计数据,采用DTW算法度量变长时序数据的形状相似性,使用一维序列变换改进K中心点聚类的簇中心计算方法,并对数据进行时间序列聚类挖掘,最后使用产品生命周期理论分析聚类结果。     

基于聚类的网络舆情热点发现及分析*

根据对网络舆情分析的需求,构建出基于聚类的网络舆情热点发现及分析系统。通过对样本网页文本的特征提取,构建向量空间模型,使用OPTICS算法获取网页热点簇,根据热点簇特征向量对网页进行二次聚类,从而获取关于舆情的时间演变模式,为相关领域研究提供决策支持。通过二次聚类,提高舆情网页相关度的质量,使网络舆情分析更为准确可靠。     

基于搜索时间序列聚类的网络用户搜索策略识别

[目的/意义] 搜索引擎是用户访问网络资源的重要入口,识别用户搜索策略有助于发现用户搜索的认知规律,让搜索引擎更好地理解用户搜索。[方法/过程] 采用Microsoft顺序分析与聚类分析算法对用户搜索日志中的搜索时间进行分析,识别用户利用搜索引擎时普遍采用的搜索策略,并概括不同类型搜索策略的特征。[结果/结论] 用户在搜索中存在“快速消费”策略、“试探”策略、“探索”策略和“终止与确认”策略,不同策略在搜索时间、浏览次数、用户认知过程等方面表现出明显的差异。     

一种个性化信息检索服务界面的设计与实现

设计一种个性化的信息检索服务界面,介绍实现该界面的主要支撑模块,阐述数据异步处理、聚类计算方法、检索日志挖掘以及相关文献推荐技术的应用,给出界面的实现形式。在具体实现中,采用后台脱机计算和前台联机计算相结合的方式,并使用异步处理技术,减少时间延迟,保证实用性。