Hadoop下基于聚类协同过滤推荐算法优化的研究

作为重要的个性化推荐算法之一,协同过滤推荐算法有其独特的优势,但同时存在数据稀疏性、冷启动和扩展性问题。针对数据稀疏性问题,对项目相似度进行改进,利用基于项目的协同过滤对原始评分矩阵进行填充,以此降低数据稀疏性对推荐质量的影响。针对冷启动问题,采用基于用户和项目属性分别进行聚类的方法,通过聚类模型建立新用户和新项目与现有用户和现有项目之间的联系,根据对现有用户和现有项目的推荐预测新用户和新项目的推荐。针对扩展性问题,利用云平台Hadoop的MapReduce框架完成相关算法的并行化,以此解决传统协同过滤推荐算法面临的严重扩展性问题。实验表明,改进后的算法较好地解决了以上问题。     

多聚类混合的加权协同过滤算法研究

协同过滤算法可根据用户的偏好,预测其感兴趣的项目,这项技术是目前商业领域中应用较为广泛且成功的。过去,使用协同过滤算法会因其数据的稀疏性及使用K-Means算法聚类时需要预先确定聚类个数等问题影响协同过滤算法的准确性。针对上述问题,提出了一种多聚类融合的协同过滤推荐算法。首先,构建用户-项目评分矩阵;其次,根据用户兴趣、偏好矩阵查找待估值项所对应的近邻用户,随后使用Slope One算法在对每一个簇内的稀疏矩阵进行填充,从而缓解数据稀疏性问题;再次,使用Canopy聚类算法进行粗聚类,将计算出的每个中心点作为K-Means算法的初始聚类点并进行K-Means细聚类;最后,优化后的协同过滤算法最终被用来预测每个簇中填充后的评分矩阵,并采用带时间加权的相似度公式。最终实验数据显示,优化后能够有效提升算法的效率与推荐质量。     

混合协同过滤算法中用户冷启动问题的研究

在推荐系统中,用户冷启动问题是传统协同过滤推荐系统中一直存在的问题。针对这个问题,在传统协同过滤算法的基础上,提出一种新的解决用户冷启动问题的混合协同过滤算法,该算法在计算用户相似性时引入用户信任机制和人口统计学信息,综合考虑用户的属性相似性和信任相似性。同时,算法还在用户近邻的选取上做了一些改进。实验表明该算法有效缓解了传统协同过滤推荐系统中的用户冷启动问题。     

基于减聚类的遗传模糊的协同过滤算法研究

通过对传统协同过滤算法中存在的问题以及解决情况进行分析,论文采用了一种混合减聚类的遗传模糊聚类的协同过滤推荐算法,利用混合减聚类的模糊聚类可以更有效地对数据进行柔性划分,更好地发挥遗传算法的全局搜索能力,加快收敛速度,同时也能够很好地解决数据稀疏性带来的冷启动问题.     

协同过滤算法中冷启动问题研究

为了解决传统协同过滤算法的冷启动问题,提高算法的推荐质量,本文针对协同过滤算法中的冷启动问题进行研究,提出了两种改进的算法.新用户冷启动：融合用户信息模型的基于用户的协同过滤算法;新项目冷启动：采用层次聚类的基于项目的协同过滤算法.将新算法在网络开源数据集MovieLens上进行实验验证,比较改进算法和传统算法在查全率和查准率上的差异,结果表明改进算法能够有效地提高算法的推荐质量,缓解新用户和新项目的冷启动问题.     

一种混合模式的协同过滤算法

当今是一个数据爆炸时期,促进信息过滤技术发展,个性化推荐系统作为其中一种重要的应用方式,已经成为很多网站一种个性化信息服务方式,但传统的协同过滤算法存在扩展性和稀疏性的问题。提出一种基于项目聚类、项目语义相似度和奇异值分解的混合推荐模型,来应对传统的协同过滤推荐系统面临的算法的伸缩性问题、数据稀疏性问题和推荐的精准度问题,进行推荐。结果表明,与传统的算法相比,使用该改进算法能显著地提高推荐系统的推荐质量。     

浅谈协同过滤算法的研究优化

随着互联网的飞速发展,推荐系统作为解决信息过载问题的重要手段被广泛应用.推荐系统中有许多算法,其中最经典、最常用的是协同过滤算法.协同过滤推荐算法简单易实现、数据依赖性低、推荐结果准确,但是也存在一些问题可以优化改进.本文主要就一些经过优化改进后的协同过滤推荐算法进行分析比较.     

基于Hadoop分布式改进聚类协同过滤推荐算法研究

为了改善协同过滤推荐算法在大数据下的稀疏性和可扩展性问题,提出一种基于Hadoop平台的分布式改进聚类协同过滤推荐算法。在分布式平台下,离线对高维稀疏数据采用矩阵分解算法预处理,改善数据稀疏性后通过改进项目聚类算法构建聚类模型,根据聚类模型和相似性计算形成推荐候选空间,在线完成推荐。实验验证该算法能够有效改善推荐系统的推荐质量并大大提高推荐效率,同时在云环境中具有良好可扩展性。     

稀疏数据集协同过滤算法的进一步研究

协同过滤算法是电子商务和信息系统中非常重要的一门技术。其中用户相似度度量方法的科学性至关重要。为了获得更好的精度,采用用户间共同评分数目来动态调节原相似度,以更准确地反映用户间相似度的真实性。在此基础上,根据社会网络中FTL模型(follow the leader)的思想,对新用户或找不到最近邻的用户采用基于专家信任度的预测算法代替传统相似度来预测用户的评分,弥补了传统算法的不足。实验表明,算法提高了预测评分的准确性和推荐质量,并缓解了新用户的冷启动问题。     

基于用户-项目的混合协同过滤算法

针对传统协同过滤方法中存在的冷启动和数据稀疏等问题,结合基于用户的协同过滤和基于项目的协同过滤提出一种混合协同过滤算法。在相似度的计算中提出改进算法来提高相似度计算的精确度;在预测未评分值时引入控制因子、平衡因子进行加权综合预测,最后再进行综合推荐。实验过程中采用Movie Lens数据集作为测试数据,同时采用平均绝对误差作为实验的测试标准。实验结果表明,基于用户-项目混合协同过滤算法在评分矩阵极度稀疏的环境下提高了推荐的性能,并能有效提高预测的精度。     

基于Hadoop的协同过滤并行化算法

在针对大数据的迅速增长,为了改善协同过滤算法的推荐效率,使得推荐精度越来越高,提出基于Hadoop平台的协同过滤并行化算法,将传统的基于用户的协同过滤在Hadoop平台下进行MapReduce编程模型,实现并行化.通过利用MovieLens公用数据集对改进前后的算法对比,验证了并行化的协同过滤效率更高,也更加适合大规模数据的推荐.     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

一种基于聚类和协同过滤的组合推荐算法

协同过滤技术是目前电子商务推荐系统中最为主要的技术之一,但随着系统规模的日益扩大,它面临着算法可扩展性和数据稀疏性两大挑战。针对上述问题,本文提出了一种基于聚类和协同过滤的组合推荐算法。首先利用聚类对项目进行分类,在用户感兴趣的类里进行推荐计算,有效地解决了算法的可扩展性问题;接着在每一类中使用基于项目的协同过滤对未评价的项目进行预测,把较好的预测值填充到原用户-项集合中,有效地缓解了数据稀疏性问题;最后根据协同过滤推荐在相似项目的范围内计算邻居用户,给出最终的预测评分并产生推荐。实验结果表明,本算法有效地解决了上述两个问题,提高了推荐系统的推荐质量。     

基于云填充和混合相似性的协同过滤推荐算法的研究

针对传统推荐算法的相似性度量准确性不高及数据极端稀疏性等问题,提出一种基于云填充和混合相似性的协同过滤推荐算法。首先通过云模型填充用户-项目评分矩阵,然后对相似性度量方法进行改进,将基于时间序列的用户间影响力融合到基于Jaccard系数的相似性度量方法中。在MovieLens数据集上的验证结果表明,改进后的算法提高了推荐精度同时在一定程度上克服了数据稀疏性的影响。     

云计算环境下基于协同过滤的个性化推荐机制

随着云计算时代的到来,应用数据量剧增,个性化推荐技术日趋重要.然而由于云计算的超大规模以及分布式处理架构等特点,将传统的推荐技术直接应用到云计算环境时会面临推荐精度低、推荐时延长以及网络开销大等问题,导致推荐性能急剧下降.针对上述问题,提出一种云计算环境下基于协同过滤的个性化推荐机制RAC.该机制首先制定分布式评分管理策略,通过定义候选邻居(candidate neighbor, CN)的概念筛选对推荐结果影响较大的项目集,并构建基于分布式存储系统的2个阶段评分索引,保证推荐机制快速准确地定位候选邻居;在此基础上提出基于候选邻居的协同过滤推荐算法(candidate neighbor-based distribited collaborative filtering algorithm, CN-DCFA),在候选邻居中搜索目标用户已评分项目的k近邻,预测目标用户的推荐集top-N.实验结果表明,在云计算环境下RAC拥有良好的推荐精度和推荐效率.     

基于遗传算法的聚类与协同过滤组合推荐算法

使用协同过滤进行推荐,在处理大数据集时存在效率问题和推荐结果质量不高的问题。k均值聚类在处理大数据集时有着较好的性能。针对使用协同过滤进行推荐存在的问题,通过使用遗传算法将聚类和协同过滤组合起来进行项目推荐,以此来提高推荐算法的推荐效率和推荐质量,降低组合聚类和协同过滤进行推荐的复杂度。使用组合得到的算法在MovieLens数据集上做推荐对比实验,结果表明,相比单纯使用协同过滤进行推荐,使用基于遗传算法的聚类与协同过滤组合推荐算法进行项目推荐,能得到质量更好的推荐结果。     

协同过滤算法在推荐系统中的应用

介绍了协同过滤算法,并对算法进行了改进,解决了用户稀疏的情况下传统算法的不足,同时通过引入评分阈值,显著提高了个性化协同过滤算法的推荐精度。     

基于矩阵分解的协同过滤算法的并行化研究

基于矩阵分解的协同过滤算法是近几年提出的一种协同过滤推荐技术,但其每项预测评分的计算都要综合大量评分数据,同时在计算时还需要存储庞大的特征矩阵,用单一节点来进行推荐将会遇到计算时间和计算资源的瓶颈。通过对现有的基于ALS(最小二乘法)的协同过滤算法在Hadoop上并行化实现的原理和特点进行深入的研究,得到了传统的迭代式算法在Hadoop上运算效率不高的原因。根据迭代式MapReduce思想,提出了循环感知任务调度算法、缓存静态数据、任务循环控制、迭代终止条件检测等方法。通过在Netflix数据集上的实验表明,迭代式MapReduce思想提高了基于ALS的协同过滤算法的并行化计算的效率。