基于TF-IDF改进聚类算法的网络敏感信息挖掘

网络敏感信息挖掘过程中,敏感信息和正常信息的特征不同,具有较高的遮蔽性。利用传统敏感信息挖掘方法时,固有的敏感信息被遮蔽,无法进行敏感信息的准确挖掘。提出基于TF-IDF改进聚类算法的网络敏感信息挖掘方法,通过TF-IDF方法获取网络敏感信息文本,在网络敏感信息文本中获取有价值的敏感信息特征,采用该信息完成聚类算法,对全部敏感信息特征进行聚类分析,完成网络敏感信息的挖掘。实验结果说明,所提方法进行网络敏感信息挖掘,具有较高的挖掘效率和精度。     

一种基于标签和协同过滤的并行推荐算法

针对基于用户打分的传统协同过滤推荐算法存在准确率较低以及计算延时的问题,提出了一种基于标签与协同过滤的并行混合推荐算法。该算法通过计算标签的词频-逆文档频率(TF-IDF)值降低流行标签的权重,根据用户的历史行为预测用户对其他资源的偏好值,最后依据预测偏好值排序产生Top-N推荐结果。对该算法的计算效率与复杂度进行了理论分析,并且通过并行编程模型MapReduce使其得到了实现,最后在实验中进行了它与Apache软件基金会项目Mahout的协同过滤算法的对比分析。实验结果表明该算法有较高的准确性,能有效地提高推荐效率。     

基于改进词嵌入表示和卷积神经网络的银行智能派单系统的研究

银行智能派单系统的实现和功能完善,对银行提升客户满意度、提高突发事件处理效率、降低人工处理成本等非常重要。针对现有的基于Word2vec和TextCNN模型的银行智能派单系统进行了改进,针对特征词权重表达性弱,特征词类别及位置区分性弱等问题,提出基于改进TF-IDF加权的Word2vec词嵌入表示和卷积神经网络结合的银行智能派单系统:首先利用Word2vec模型得到输入事件单的词嵌入向量;再针对经典TF-IDF方法不具备类别区分性、位置区分性,也没有考虑极端频率特征词代表性的情况,提出改进型TF-IDF算法,计算每个特征词的权重,得到基于改进TF-IDF加权的Word2vec词嵌入表示;最后在卷积神经网络模型中进行训练,通过迭代训练最终得到分类器,利用分类器可对输入事件单信息自动进行系统类别的判断。实验结果表明改进词嵌入表示的银行智能派单系统分类模型的宏查准率、宏查全率、准确率以及宏F1值都得到进一步的提高。     

基于核函数的改进k-means文本聚类

通过对传统k-means算法优缺点的研究分析,提出一种改进的k-means聚类算法。随机初始化k/2个簇心,划分最大的簇并删除空簇,在更新簇心的同时判断簇心位置的合理性;及时对簇心做出修改,使得最后聚类出的k个簇中不会出现空簇;使用高斯核函数作为测量向量之间距离的方法,提高聚类的准确性。基于此改进的k-means算法,使用在不同网站上采集的文章作为数据源,并利用TF-IDF以及Word2Vec技术对文本进行向量化处理,进而完成对文本的聚类任务。与传统的k-means文本聚类相比,不仅提高了聚类的准确性,而且改善了传统k-means算法结果可能会出现空簇的缺陷。     

基于文本挖掘技术的高血压用药规律研究

大数据时代的来临日益凸显数据挖掘技术的价值。文本挖掘作为数据挖掘的研究分支,对非结构化数据的知识发现有重要意义。高血压患病人群广,发病率高,治疗药物种类繁杂,寻找其中的用药规律,是临床医学的一个重要方向。基于文本挖掘技术,从在线医疗网站获取医患互动论坛数据,进行文本预处理,基于TF-IDF算法发现高血压常用中西药、非药物治疗、并发症用药特点等,结合关联规则算法挖掘"症-药"关系,有益于高血压的临床判断及用药研究。另外,验证了在线医疗网站医患互动数据用于疾病研究的可用性和效果。     

基于MapReduce的术语权重计算方法研究

术语识别在本体构建、词典构建等领域应用广泛,而术语权重计算是术语识别中的关键步骤。本文通过改进TF-IDF公式,将组成术语词条的长度作为权重因素之一,同时考虑术语在文档集中的领域相关性。整个过程基于MapReduce编程模型实现,在Hadoop云平台中以分布式方式计算候选领域术语的权重。实验结果表明,该方法不仅简化了术语权重计算的实施步骤,也提高了算法执行效率。     

电子文献资源的推荐方法研究

本文介绍了目前对于电子文献资源、图书资源的推荐算法研究,阐述了基于Word2Vec的推荐算法和基于TF-IDF的推荐算法原理。根据推荐系统最新的研究进展,结合目前最新的多源异构数据嵌入框架异质图神经网络(HeterogeneousGraphNeural Network),提出了对多种数据类型电子文献资源进行推荐的方法,该方法在多源异构数据上进行推荐优于目前的其他方法。     

基于R语言的商品评论情感可视化分析

通过自然语言处理技术,实现对商品评论数据的可视化流程分析,利用八爪鱼采集器对京东商品评论数据进行采集,对文本数据进行去重、分词、去停词等预处理,再结合TF-IDF算法来提取文本数据特征词,利用R软件建立LDA主题模型并提取主题,使用LDAvis可视化工具对主题模型进行交互式可视化分析,并结合词云图将评论文本数据以更直观的方式展现出来,从而挖掘消费者重点关注的评论词语,结合主题模型和词云图两种可视化方法将用户评论情感数据通过丰富的图形进行内容展示,可以使情感分析的结果更准确、更全面反映产品和客户需求,为消费者的购买和商家的改进提供依据。     

个性化信息检索中用户兴趣建模与更新研究

个性化信息检索系统的实时性关键在于如何动态更新用户兴趣模型。针对原有方法的不足,改进用户兴趣模型的描述与更新方式。首先根据网页文档的特征改进TF-IDF(Term Frequency-Inverse Document Frequency)算法,以此作为用户兴趣特征词的权重,同时通过引入领域本体,将用户兴趣特征项进行语义扩展,并根据用户浏览行为,改进其用户兴趣主题计算方式,并在此基础上提出用户兴趣模型的更新与遗忘机制。实验对比结果表明,该方法能够捕捉用户兴趣的变化,进一步提高个性化信息检索的准确度与用户满意度。