基于MB-LDA模型的微博主题挖掘

随着微博的日趋流行,Twitter等微博网站已成为海量信息的发布体,对微博的研究也需要从单一的用户关系分析向微博本身内容的挖掘进行转变.在数据挖掘领域,尽管传统文本的主题挖掘已经得到了广泛的研究,但对于微博这种特殊的文本,因其本身带有一些结构化的社会网络方面的信息,传统的文本挖掘算法不能很好地对它进行建模.提出了一个基于LDA的微博生成模型MB-LDA,综合考虑了微博的联系人关联关系和文本关联关系,来辅助进行微博的主题挖掘.采用吉布斯抽样法对模型进行推导,不仅能挖掘出微博的主题,还能挖掘出联系人关注的主题.此外,模型还能推广到许多带有社交网络性质的文本中.在真实数据集上的实验表明,MB-LDA模型能有效地对微博进行主题挖掘.     

基于MRT-LDA模型的微博文本分类

微博的广泛使用产生了大量微博数据,这些数据中包含有大量有价值的信息。然而由于微博信息的文本内容简短且其本身带有一些结构化的社会网络方面的信息,传统的主题模型建模方法并不能十分有效地处理微博信息。根据微博信息的特点,提出一个基于Latent Dirichlet Allocation(LDA)的微博生成模型MRT-LDA,利用微博之间的转发、对话、支持(赞)和评论等关系来计算微博之间的相关性,综合考虑微博之间的相关性和同一用户微博信息间的关系,来辅助对微博的主题进行挖掘。采用吉布斯抽样法对模型进行推导,结果表明该模型能有效地对微博数据进行文本挖掘。     

基于文本聚类与兴趣衰减的微博用户兴趣挖掘方法

微博平台隐含潜在的用户信息,通过微博数据挖掘用户兴趣具有重要的社会意义。结合用户兴趣与微博信息的特点,提出了一种文本聚类与兴趣衰减的微博用户兴趣挖掘（TCID-MUIM）方法。首先,通过基于词林的同义词合并策略弥补建模时词频信息不足的弊端;其次,利用二次Single-Pass不完全聚类算法将用户微博划分为多个簇,将簇合并为同一文档以弥补微博文本短小难以挖掘主题信息的问题;最后,通过LDA模型建模,并考虑用户兴趣随时间变化的问题,引入时间因子,将微博—主题矩阵压缩为用户—主题矩阵,获取用户兴趣。实验表明,较之传统建模方法与合并用户历史微博为同一文档的建模方法,TCID-MUIM方法挖掘的用户兴趣主题具有更好的主题区分度,且更贴合用户的真实兴趣偏好。     

基于 MB-HDP 模型的微博主题挖掘

主题模型是挖掘微博潜在主题的重要工具．然而,现有的主题模型多由 Latent Dirichlet Allocation （LDA）派生,它需要用户预先指定主题数目．为了自动挖掘微博主题,作者提出了一个基于分层 Dirichlet 过程（Hierarchical Dirichlet Process,HDP）的非参数贝叶斯模型 MB-HDP．首先,针对微博应用场景,假设消息是不可交换的;接着,利用微博的时间信息、用户兴趣以及话题标签,聚合主题相关的消息以解决微博短文本的数据稀疏问题;然后,扩展Chinese Restaurant Franchise （CRF）对微博数据进行主题建模;最后,设计一个相应的 Markov Chain Monte Carlo （MCMC）采样方法,推导 MB-HDP 模型的分布参数．实验表明,在生成主题质量、内容困惑度和模型复杂度等指标上,MB-HDP 模型明显优于 LDA 和 HDP 两种模型．     

基于用户意图的微博文本生成技术研究

微博是个人和组织用户分享或获取简短实时信息的重要社交平台,微博文本自动生成技术能帮助用户在微博平台上快速实现各种社交意图。为辅助用户发表博文并表达社交意图,提出一种基于用户意图的微博文本生成技术,以挖掘提取微博文本特征,并在给定微博主题的条件下生成与用户意图相一致的微博文本。采用预训练语言模型与微调相结合的方法,在预训练语言模型GPT2上实现联合主题和用户意图的文本控制生成,以及具备用户对话功能的文本预测生成。实验结果表明,该技术生成的文本具有较高的可读性且符合微博文本语言风格,结合主题和5类用户意图的生成样本人工评分达77分以上。     

基于LDA模型的多角度个性化微博推荐算法

通过基于概率的主题挖掘模型隐含狄利克雷分布(LDA)挖掘用户兴趣主题,是目前最常用的用户兴趣主题挖掘方法。为进一步改善用户体验,推荐其感兴趣且质量好、新鲜度高的微博,提出一种新的多角度个性化微博推荐算法。通过微博发布时间、转发数、评论数等特征计算微博重要度,利用LDA模型生成的用户-主题矩阵以及主题-词汇矩阵计算用户对微博的兴趣度,综合考虑微博本身的重要度以及用户对微博的兴趣度对微博进行评分,根据评分结果推荐微博。实验结果表明,该算法与主题模型相结合可有效够提高微博推荐的精准度。     

LDA模型在微博用户推荐中的应用

潜在狄利克雷分配(LDA)主题模型可用于识别大规模文档集中潜藏的主题信息,但是对于微博短文本的应用效果并不理想。为此,提出一种基于LDA的微博用户模型,将微博基于用户进行划分,合并每个用户发布的微博以代表用户,标准的文档-主题-词的三层LDA模型变为用户-主题-词的用户模型,利用该模型进行用户推荐。在真实微博数据集上的实验结果表明,与传统的向量空间模型方法相比,采用该方法进行用户推荐具有更好的效果,在选择合适的主题数情况下,其准确率提高近10%。     

基于PAM概率主题模型的微博热点挖掘

针对微博本身的语言特点,提出采用PAM（Pachinko Allocation Model）这种能够提取文本隐含主题的产生式模型,对微博的非结构化文本信息进行热点提取。采用吉布斯抽样方法计算模型参数,获取微博热点的分类分析以及关键词。在真实数据集上的实验表明,PAM模型能够有效地对微博热点进行挖掘。     

构建微博用户兴趣模型的主题模型的分析

分析了不同的主题模型,通过实验比较了3种主题模型构建的微博用户兴趣模型的性能。实验结果表明:TwitterLDA适用于新文档或新用户的预测,AuthorLDA产生的主题具有较高的区分度,而UserLDA和AuthorLDA能更好地反映出用户的社交网络关系。上述工作为进一步研究主题模型如何应用于微博的个性化信息推荐、情感分析和话题检测与跟踪等文本挖掘应用奠定了基础。     

基于User Profile的微博用户推荐

传统微博用户推荐算法采用的数据来源单一,模型简单,导致推荐准确率不高。针对这一问题,本文提出一种基于标签的User Profile推荐算法,根据微博数据的特点,深入研究“微博文本”、“标签”、“社交关系”和“用户自身基本信息”等因素对微博个性化推荐的影响,通过训练LDA主题模型和SVM分类器将它们转换为标签,并赋予权重来描述用户兴趣,进行用户推荐以提高推荐准确性。实验结果表明,与传统VSM模型方法相比,该算法进行用户推荐效果更佳。     

MB-HL模型的微博主题挖掘研究*

为了解决传统的文本主题模型对微博主题挖掘准确率低及不考虑主题之间关联的问题,针对中文微博语料本身的特点,分析LDA和HMM模型优缺点,提出了微博主题挖掘模型MB-HL(Microblog-Hidden Markov Model Latent Dirichlet Allocation)。该模型用逐条微博作为处理单元,建立分布主题-词语矩阵并进行优化,通过LDA模型对微博用户不同的行为建模并提取特征,利用HMM模型强大的时序状态建模能力弥补LDA在主题相关性上的不足,采用Gibbs采样进行推理求解。在真实的新浪微博数据上对比实验表明MB-HL模型能提高近9%主题关键词的准确度,并能有效地发现主题之间的关联关系。     

Micro-blog topic detection method based on BTM topic model and K-means clustering algorithm

The development of micro-blog, generating large-scale short texts, provides people with convenient communication. In the meantime, discovering topics from short texts genuinely becomes an intractable problem. It was hard for traditional topic model-to-model short texts, such as probabilistic latent semantic analysis (PLSA) and Latent Dirichlet Allocation (LDA). They suffered from the severe data sparsity when disposed short texts. Moreover, K-means clustering algorithm can make topics discriminative when datasets is intensive and the difference among topic documents is distinct. In this paper, BTM topic model is employed to process short texts–micro-blog data for alleviating the problem of sparsity. At the same time, we integrating K-means clustering algorithm into BTM (Biterm Topic Model) for topics discovery further. The results of experiments on Sina micro-blog short text collections demonstrate that our method can discover topics effectively.     

基于微博用户兴趣话题的相似用户挖掘

相似用户挖掘是提高社交网络服务质量的重要途径，在面向大数据的社交网络时代，准确的相似用户挖掘对于用户和互联网企业等都有重要的意义，而根据用户自己的兴趣话题挖掘的相似用户更符合相似用户的要求。提出了一种基于用户兴趣话题进行相似用户挖掘的方法。该方法首先使用TextRank话题提取方法对用户进行兴趣话题提取，再对用户发表内容进行训练，计算出所有词之间的相似度。提出CP（Corresponding Position similarity）、CPW（Corresponding Position Weighted similarity）、AP（All Position similarity）、APW（All Position Weighted similarity）四种用户兴趣话题词相似度计算方法，通过用户和相似用户间关注、粉丝重合率验证相似用户挖掘效果，APW similarity的相似用户的关注/粉丝重合百分比为1.687%，优于提出的其他三种算法，分别提高了26.3%、2.8%、12.4%，并且比传统的文本相似度方法Jaccard相似度、编辑距离算法、余弦相似度分别提高了20.4%、21.2%、45.0%。因此APW方法可以更加有效地挖掘出用户的相似用户。     

基于BTM和K-means的微博话题检测

近年来,微博等社交网络的发展给人们的沟通交流提供了方便。由于每条微博都限定在140字以内,因此产生了大量的短文本信息。从短文本中发现话题日渐成为一项重要的课题。传统的话题模型(如概率潜在语义分析(PLSA)、潜在狄利克雷分配(LDA)等) 在处理短文本方面都面临着严重的数据稀疏问题。另外,当数据集比较集中并且话题文档间的差别较明显时,K-means 聚类算法能够聚类出有区分度的话题。引入BTM话题模型来处理微博数据这样的短文本,以缓解数据稀疏的问题。同时,整合了K-means聚类算法来对BTM模型所发现的话题进行聚类。在新浪微博短文本集上进行的实验证明了此方法发现话题的有效性。     

基于PageRank的微博用户影响力算法研究

随着Web技术的发展,微博已经成为最受欢迎的社交平台之一了。在中国,微博用户规模已经达到了2.42亿。微博用户影响力计算对社会信息在微博里面有效传播,正确传播,健康传播有着非常重要的意义。本文以新浪微博数据为实验的对象,通过改进传统的PageRank模型,提出了的新型用户影响力排名算法---MBUI-Rank(Micro-Blog User Influence Rank)算法。在考虑传统PageRank方法的用户链接关系的同时,MBUI-Rank算法还考虑到微博用户自身行为活动,构建用户对微博的影响的动态挖掘模型。实验结果表明,MBUI-Rank算法与传统的PageRank算法相比,可以更加真实有效地反映微博用户的实际影响力。     

基于文本双表示模型的微博热点话题发现

微博作为当代生活中信息传播的重要平台,对其进行热点话题挖掘成为当今重要的研究方向之一。针对传统的热点话题发现方法在处理微博文本时存在文本表示缺乏语义信息、挖掘热点话题效果差等问题,本文提出一种基于频繁词集和BERT语义的文本双表示模型（Text dual representation model based on frequent word sets and BERT semantics, FWS-BERT）,通过该模型计算加权文本相似度对微博文本进行谱聚类,进一步基于改进相似性度量的affinity propagation (AP)聚类算法进行微博话题挖掘,最后通过引入文献计量学中的H指数提出一种话题热度评估方法。实验表明,本文提出的方法在轮廓系数及Calinski-Harabasz（CH）指标值上均高于基于频繁词集的单一文本表示方法和K-means方法,并且能准确地对微博数据进行话题表示和热度评估。     

基于特征本体的文本流主题检测研究

主题检测是文本挖掘的一个重要研究方向,传统的主题检测方法以统计理论为基础,忽略了数据本身蕴含的语义,带来了偏差严重、与样本数据高度相关等缺点。针对以上缺点,面向文本流数据,提出一种基于特征本体的主题检测方法。首先构建文本特征本体;其次,将较为复杂的文本特征本体看作是由若干主题组成的连通图,然后将主题连通图分解成单边图集合;再次,将主题相似度计算问题转化为单边图贡献度和图相似度的计算问题。最后,对每一批新文本集检测是否有新主题,从而使得主题的个数随着时间的推移而增加。在科技文献和新闻语料上进行实证研究,结果发现阈值δ参数决定文本流中新主题出现的频率,且实验结果同经典主题模型基本保持一致。除此之外,同传统的方法相比,本文提出的方法能更好地支持主题的语义表示,且适用于流数据,能增量实现主题检测,在应用上具有更大的优势。     

一种基于划分的周期性话题挖掘方法研究

周期性话题挖掘是目前数据挖掘领域的研究热点之一,针对当前绝大部分研究只限于时间序列数据库、无法直接应用于文本数据的不足,提出了一种基于划分的周期性话题挖掘方法（PTMP）,首先,将话题划分为周期性话题、背景话题和突发性话题,然后,将每个周期性话题的时标分布建模为混合高斯分布,为了缓解背景噪声问题,通过均匀分布生成背景话题的时标,用高斯分布来生成突发话题的时标,然后通过将该混合模型根据时标文本数据进行调整,从而发现周期性话题及其时间分布.最后,收集了包括研讨会、DBLP和Flickr在内的多个代表性数据集,验证方法的有效性.     

基于重叠社团发现的微博话题检测方法

微博话题检测是当前研究的热点,提出一种基于复杂网络重叠社团发现的微博话题检测方法。该方法对一段时间内的微博数据进行预处理,在分词后,根据词性以及词的时域分布抽取出主题词,在相关度高的主题词之间构造边得到复杂网络。引入社团独立模块度的概念,并通过社团独立模块度最大化模型发现重叠社团,把每个社团看成一个微博话题。重叠社团发现的方法可以解决由一个或多个主题词属于多个话题引起的话题检测准确率低的问题。实验结果证明了该方法在微博话题检测中的有效性。     

一种面向大规模微博数据的话题挖掘方法

随着微博的日趋流行,新浪微博已成为公众获取和传播信息的重要平台之一,针对微博数据的话题挖掘也成为当前的研究热点。提出一个面向大规模微博数据的话题挖掘方法。首先对大规模微博数据进行分析,基于Bloom Filter算法对数据进行去重处理,针对微博的特有结构,对文本进行预处理,提出改进的LDA主题模型Social Network LDA（SNLDA）,采用吉布斯采样法进行模型推导,挖掘出微博话题。实验结果表明,方法能有效地从大规模微博数据中挖掘出话题信息。