基于Hadoop平台下的Canopy-Kmeans高效算法

介绍了Hadoop平台下MapReduce的编程模型;分析了传统聚类Kmeans和Canopy算法的优缺点,并提出了基于Canopy的改进Kmeans算法。针对Canopy-Kmeans算法中Canopy选取的随机性问题,采用“最小最大原则”对该算法进行改进,避免了Cannopy选取的盲目性。采用MapReduce并行编程方法,以海量新闻信息聚类作为应用背景。实验结果表明,此方法相对于传统Kmeans和Canopy算法有着更高的准确率和稳定性。     

基于有意义串聚类的微博热点话题发现方法

针对微博数据特征稀疏、内容碎片化的特点,提出一种基于有意义串聚类的热点话题发现方法。结合重复串计算、上下文邻接分析和语言规则过滤多种策略,提取能够表达独立完整语义的有意义串,并将微博数据建模在相对较小的有意义串空间,通过聚类产生候选话题,根据热度排序发现热点话题。微博数据实验结果表明,该方法在一定程度上实现对微博高维稀疏空间的降维,对于微博空间的热点话题发现有效可行。     

基于MapReduce的改进k-means文本聚类算法

针对传统k-means文本聚类算法在处理大规模文本数据时扩展性不足的问题,提出了基于MapReduce编程模型的并行k-means文本聚类算法。通过删除离群点和采用高效的初始质心选择策略提高k-means聚类效果,并设计基于MapReduce框架的大规模文本并行聚类模型提高算法的可扩展性。实验证明,该算法在大规模文本聚类中具有良好的聚类效果和可扩展性。     

基于MapReduce的网络舆情分析系统的设计与实现

设计并实现了一个基于MapReduce的网络舆情分析系统。系统采用HDFS和HBase双存储机制存储数据。通过实验分析与效果比对,选用MMSeg4j为系统进行中文分词。改进了Canopy—Kmeans算法实现文本自动聚类,提高了系统的聚类准确度及效率。目前,该系统已应用于某部队舆情分析系统中,能够实时发现热点话题、准确把握舆情趋势,为应对舆论危机、制定舆论政策提供了科学系统的信息支持。     

基于改进K‒均值的微博热点话题发现方法

微博文本数据高维度、同义、多义特征明显,传统基于向量空间模型(VSM)联合K-均值的热点话题发现方法存在准确率低,计算复杂,聚类中心难以确定等问题。提出一种相关向量机(RVM)优化VSM的微博文本向量化方法,首先利用RVM的自适应特征选择能力对VSM特征向量进行降维,然后利用主成分分析(PCA)方法确定K-均值算法的初始聚类中心,进而采用K-均值算法得到聚类结果,最后根据微博转发、评论和高影响力用户数量定义热度指数,热度指数最大的话题即为当前热点话题。采用实际微博文本数据集开展实验,结果表明所提方法相对于2种传统方法的准确率分别提升7.3%和1.1%,实时性分别提升45%和53%。     

基于Spark并行化的改进K-means轨迹聚类的方法

<正>本文设计了一种对K-means初始化改进的Canopy+Kmeans++聚类方法，提高上轨迹聚类算法的效率，为进一步提升轨迹大数据聚类的迭代计算效率，本文利用Spark计算架构的可伸缩性和分布式等特，实现Canopy+Kmeans++轨迹聚类算法的并行化，并通过对比实验来证明该并行化聚类方案的有效性。     

特征词选择与相似度融合的微博话题发现方法

微博短文本中存在一些相同或相近、但与主题关系不大的词项,对准确度量文本之间的相似性具有较大的干扰作用,影响微博话题被发现的质量。提出一种基于文本内容与结构化信息相结合的特征词选择算法,能有效提取具有代表性的特征词,并对文本、话题间相似度的计算策略进行改进,然后将特征词选择算法与相似度计算方法融合,应用于微博文本数据实现话题发现。实验结果表明,本算法能有效降低话题发现的平均漏检率与误检率,提高话题发现质量。     

基于MapReduce的SimRank算法在图聚类中的应用

由Jeh和Widom提出的SimRank算法是一种普适"结构相似度"计算模型。由于SimRank算法采用迭代方式计算图节点间相似性,因此时间复杂度和空间复杂度都非常高。随着数据量的激增,单机运算能力不能满足大规模数据的计算要求。本文提出了基于MapReduce计算模型的分布式SimRank算法,利用该算法对RDF图进行相似度度量,然后利用分布式的AP聚类算法对图节点进行聚类分析。实验结果表明,该方法能够高效的完成图节点的相似度度量,实现图的有效聚类。     

一种基于改进谱聚类的雷达信号分选算法

针对雷达信号分选中辐射源数目不确定、脉冲数据分布形式复杂、对噪声影响敏感等问题,提出了一种基于改进谱聚类联合数据场理论的聚类分选算法。该算法首先利用数据场理论对数据进行预处理,根据势值大小实现干扰点的去除,并利用势心的数目确定初始聚类数,然后再利用网格密度划分得到合理的地标点,最后再基于地标稀疏表示的谱聚类算法完成聚类分选。通过设置两组类型不同的脉冲信号数据进行仿真实验,分选正确率均达到95%以上,验证了该算法具有较高准确率和鲁棒性。     

基于多种词特征的微博突发事件检测方法

近年来,各领域内频频发生各类突发事件,对社会稳定发展产生了一定程度的影响.本文提出了一种基于多种词特征的微博突发事件检测模型,可以在海量微博数据中对突发事件进行检测,便于相关决策者进行微博监控和舆论引导,尽可能减少突发事件给社会带来的危害.首先根据时间信息对微博数据进行时间切片,对每一个时间窗口内的数据分别计算各个词语的词频特征、话题标签特征和词频增长率特征;然后基于D-S证据理论和层次分析法,确定词的各个特征权重,并进行加权融合得到词的突发特征值,将突发特征值大的词挑选出来构成突发特征词集,构建基于共现度和结合紧密度的突发事件特征词集的耦合度矩阵;最后将该耦合度矩阵作为凝聚式层次聚类算法的输入,生成一棵由突发词为叶子节点的二叉树,并采用内部相似度的二叉树剪枝算法对聚类结果进行划分,即可实现对相应时间窗口突发事件的检测.实验结果表明,基于突发词的事件检测模型在簇内部相似度阈值等于1.1时效果最好,正确率达到0.8462、召回率达到0.8684、F值为0.8571,表明了本文所提方法的有效性.     

支持用户属性特征联合聚类的协同过滤算法

个性推荐技术,可针对海量的数据实现快速准确的推荐。目前,协同过滤算法作为主流推荐技术,却存在着冷启动、数据稀疏和可扩展性等问题。虽然联合聚类协同过滤算法在解决可扩展性与数据稀疏方面有一定的效果,实时性高,但很难获得全局最优结果。因此,文中提出支持用户属性特征联合聚类的协同过滤算法以联合聚类为基础,融合了基于内容的推荐算法的优点,并经进一步改进以完成高准确率的推荐。实验结果表明,该算法实时响应快,一定程度上克服了冷启动和数据稀疏问题,且推荐质量较高。     

一种基于Hadoop的改进减法聚类算法

传统的减法聚类算法时间复杂度高,算法不具有分布式特性,不满足大数据处理的要求.提出一种基于Hadoop的改进减法聚类算法,利用MapReduce模型改进减法聚类执行过程,实现求解邻域半径、初始化密度指标、更新密度指标和划分数据记录等过程的并行化.实验结果表明,同传统的串行算法相比,提出的算法能够对大数据进行快速聚类,同时表现出良好的稳定性与扩展性.     

Web数据挖掘及其在微博话题检测中的应用研究

针对微博内容实时性的特点,对话题聚类的Single-Pass算法进行了改进,提出将时间参数添加到微博话题相似度检测方法中,并针对微博转发特性的处理方法给出了算法的处理步骤。仿真实验表明,该算法的优点是逻辑简单、算法执行效率高,通过算法的应用有效提高了基于Web数据挖掘的微博话题检测准确度。     

中心词驱动句法分析中的平滑技术

解决数据稀疏问题是中心词驱动句法分析中的一个重要问题,基于词类的统计语言模型是解决统计模型数据稀疏问题的重要方法.本文在分析经典平滑算法的基础上,提出一种基于语义依存信息和互信息的词聚类算法,并利用绝对权重差分方法构造了一种可变长语言模型,即根据历史词对当前词预测所作的贡献不同,n值的大小也随之变化.进而提出了一种基于语义类和可变长模型的中心词驱动句法分析改进模型,既增强了句法分析模型的消歧能力,又解决了严重的数据稀疏问题.改进模型性能有了明显的提高,精确率和召回率分别为84.53%和82.41%,综合指标F值比Collins的中心词驱动句法分析模型提高了2.02个百分点.     

一种基于Opinosis图和马尔科夫随机游走模型的多文本情感摘要框架

针对在线文本情感摘要生成问题,本文提出了一种基于Opinosis图和马尔科夫随机游走模型的情感摘要框架.首先,该框架将原始文本转化为Opinosis图,并利用其挖掘出文本中的特征词,这些特征词可以用来对原始文本的句子进行分类;其次本文在基于聚类的条件马尔科夫随机游走模型的基础上增加了情感层,改进后的模型可以判断同一聚类中各句子的情感倾向是否具有代表性并结合情感和聚类信息对句子进行排序.实验结果表明,本文提出的方法与基准算法相比在ROUGE（Recall-Oriented Understudy for Gisting Evaluation）值上具有明显提高.     

熵加权聚类挖掘算法在学科竞赛学员选拔中的应用

针对现有学科竞赛学员选拔中对评估数据缺少有效利用的问题,提出一种基于熵加权聚类的挖掘算法,对学科数据集合进行聚类,从而实现科学合理的人才挑选机制。采用人工统计对数据进行采集和归一化预处理,并利用稀疏分数进行数据特征选择,实现非必要聚类特征的过滤。通过熵加权聚类算法挖掘具有最优解的竞赛成员分配方案。实例分析结果表明,相比标准的Apriori算法,熵加权聚类算法运行效率更高,验证了提出方法的合理性和有效性。     

基于近似密度初始化的医学图像混合模型聚类

基于EM(Expectation Maximization)的混合模型聚类的效果与参数的初始值存在密切的关系.提出了一种基于近似密度的EM参数初始化方法,该方法用近似密度估计聚类样本点,再根据每个聚类统计EM的混合比、均值、协方差参数的初始值.并应用于人体腹部医学图像数据的高斯混合模型聚类分析,实验结果表明该方法比Kmeans随机初始化方法有更好的聚类效果.     

聚类算法在高校学生微博的应用研究

为研究聚类算法在高校学生微博的应用情况,针对K-means算法和分层聚类算法在聚类中心选择不精确的问题,基于高校学生使用微博的背景,对微博文本挖掘应用中聚类算法的应用进行改进。通过文本的矢量表示、文本相似度计算和聚类算法的实现,验证了聚类算法在微博热门话题检测的准确性和效率,并针对实验数据提出几点针对性的措施。     

一种基于自适应密度阈值的未知雷达信号分选算法

针对基于密度的聚类算法不能发现密度分布不均匀数据样本的问题,提出了一种基于自适应密度阈值的未知雷达信号分选算法。该方法利用同一部雷达数据的分布特性进行聚类,通过寻找局部密度阈值,以达到分选不同密度分布的雷达信号的目的,并且在此基础上提出一个引理,提升了算法的时间效率。算法测试表明,该方法对噪声不敏感,能够发现任意形状、大小和密度的聚类。     

基于CBC-LIKE算法的产品特征词聚类的研究

用户评论中存在产品特征表达多样性问题,在细粒度观点挖掘任务中需要对产品特征词聚类。首先,结合不同的语义相似度计算的特点,提出基于语义知识和上下文熵模型的语义相似度混合计算方法,计算抽取得到的特征词语义相似度;然后改进了传统CBC算法,提出适用于产品特征词聚类的CBC-LIKE方法实现聚类。最后在三个领域的真实评论语料上进行实验,对提出的语义相似度计算方法和聚类算法的性能进行了分析。实验结果表明,所提方法是有效的,与另外两种基线方法相比性能较优,取得了较好效果。