基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

基于Hadoop的推荐算法研究

本文通过对云计算和推荐系统的研究,构建了一种基于Hadoop平台的混合推荐算法。文中介绍了改进的混合推进算法,并结合Hadoop平台的Map Reduce编程模型来实现。通过实验验证,该算法能精确的预测用户的偏好,向用户推荐感兴趣的信息。其次,Hadoop能满足对大量数据处理的要求,结合改进的混合推荐算法,能够大大提高推荐系统的性能。     

基于双维度云模型的协同过滤推荐算法

随着网络的迅速普及,网络应用多样化趋势加快,大数据时代已经到来,电商业对于在线推荐系统的要求也越来越高。为了满足人们的需求,传统的推荐算法必须得到改进和发展。本文主要考虑数据比较稀疏及数据规模较大的情况下如何更好地实现协同过滤推荐算法,针对这两个方面的不足,结合Hadoop平台的优势,基于双维度云模型的协同过滤推荐算法由此应运而生了。通过实验,利用云模型和双维度数据,有关数据稀疏性问题得到了合理的解决,预测准确率方面也得到了一定的改进。并且通过MapReduce处理流程,使大数据环境下运行困难效率低下的缺陷得到了弥补。     

基于Hadoop及出租车历史轨迹的乘客推荐算法

针对智慧城市中乘客打车策略的推荐算法效率不高的问题,使用古典概率学统计历史轨迹中该时间该路段有空车的天数占数据集总天数比例,作为乘客等到空车概率;使用最小二乘法拟合时间与到达空车数曲线,预测乘客等到空车时间,以提高推荐效率。同时,使用Hadoop作为数据存储和计算平台以提高数据处理能力;提出一种基于地图栅格化的路网存储结构来提高搜索地图速度;改进一种基于计算几何的地图匹配算法提高匹配准确率。实验结果显示,空车概率推荐算法正确率约87%,等待时间推荐算法正确率达88.4%,表明挖掘轨迹数据为乘客提供推荐服务的可行性。     

基于Hadoop的聚类算法实现个性化推荐

对于具有海量信息的个性化推荐问题。K—means聚类算法的传统实现方式已不能快速准确地满足要求。基于目前最为流行的开源云计算平台Hadoop及分布式计算框架MapReduce,实现K—means聚类算法的并行化。给出该算法的具体实现,实验表明能够较好地解决时间瓶颈问题。     

基于Hadoop的K-means聚类算法的实现

文中针对传统并行K-means聚类算法时间复杂度比较高的问题,结合Hadoop平台以及MapReduce编程模型的优势,提出了利用Hadoop及MapReduce编程模型实现大数据量下的K-means聚类算法.其中,Map函数完成每条记录到各个质心距离的计算并标记其所属类别,Reduce函数完成质心的更新,同时计算每条数据到其所属中心点的距离,并累计求和.通过实验,验证了K-means算法部署在Hadoop集群上并行化运行,在处理大数据时,同传统的串行算法相比,确实能够降低时间复杂度,而且表现出很好的稳定性和扩展性.     

基于MapReduce的矩阵分解推荐算法研究

矩阵分解是近几年提出的一种协同过滤推荐技术,但其每项预测评分的计算都要综合大量评分数据,同时在计算时还需要存储庞大的特征矩阵,用单一结点来进行推荐将会遇到计算时间和计算资源瓶颈。结合MapReduce分布式计算框架和矩阵分解推荐算法,设计了一种基于MapReduce的矩阵分解推荐算法来解决该问题,利用Hadoop的分布式缓存技术和MapFile文件结构解决了大特征矩阵在多结点间的高效共享问题并实现了多正则因子的并行处理。通过在Netflix数据集上的实验表明,该MapReduce算法及数据存储方案能带来较高的加速比,从而提高了推荐算法的计算效率。     

基于Hadoop的协同过滤推荐算法

在电子商务推荐系统中,协同过滤算法技术是主要的采用技术,而推荐系统的准确率受相似度方法的直接影响。本文通过对用户共同评分项的流行度和用户的特征之间的相关性的分析,给出了改进的相似度度量方法及相应的协同过滤推荐算法,设计并实现了基于Hadoop的协同过滤推荐系统。利用MAE分别对原始协同过滤推荐效果和改进后的推荐算法进行测评,结果表明,该算法在一定程度上提高了推荐的准确度。同时,对分布式推荐平台的整体性能实验表明,随着虚拟机节点的适度增加,协同过滤推荐引擎的计算时间不断减少,这表明推荐引擎的总体性能较传
　　统单机推荐引擎得到提升。     

基于免疫优化算法的电影个性化推荐

本文针对传统电影推荐系统中缺乏新颖性的问题,提出一种基于免疫优化算法的求解方法。该算法将准确性和新颖性作为两个目标函数,通过免疫优化算法的原理,设计了个体编码、交叉算子以及变异算子。仿真实验结果表明,免疫优化算法能够有效地求得最佳解决方案,为用户提供准确性和新颖性都较高的电影推荐列表。     

基于Hadoop 的标签推荐系统设计

个性化推荐技术的发展有利于解决互联网海量数据信息过载问题。本文在了解分布式处理架构的特点的基 础上,提出了基于Hadoop 构建标签推荐系统方案。采用基于MapReduce 模型实现的算法具有较高的伸缩性和性能,能高效 地进行离线数据分析。     

基于云计算平台Hadoop的并行k-means聚类算法设计研究

随着数据库技术的发展和Intcrnct的迅速普及,实际应用中需要处理的数据量急剧地增长,致聚类研究面临 许多新的问题和挑战,如海量数据和新的计算环境等。深入研究了基于云计算平台Hadoop的并行k-means聚类算 法,给出了算法设计的方法和策略。在多个不同大小数据集上的实验表明,设计的并行聚类算法具有优良的加速比、 扩展率和数据伸缩率等性能,适合用于海量数据的分析和挖掘。     

一种Hadoop中基于作业类别和截止时间的调度算法

Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低.     

基于Web挖掘的个性化推荐算法研究

个性化推荐系统是根据用户的爱好,给用户推荐符合用户兴趣的对象的一种高级商务智能平台.论文重点探讨基于用户的协同过滤算法,介绍其基本思想和工作流程,并通过高级语言C＋＋来实现三种相似度计算方法,通过实验比较得出了最佳的计算方法,并设计实现了一个电子商务个性化推荐系统原型,对其他同类网站应用个性化推荐系统具有很好的参考价值.     

基于Hadoop平台的K-means聚类算法

传统的K-means算法虽然具有很多优点,但聚类准则函数对簇密度不均的数据集分类效果较差.文中在加权标准差准则函数的基础之上,增加了收敛性判定,并在Hadoop平台上提出了一种基于MapReduce编程思想设计与优化的K-means并行算法.与传统的K-means算法相比,设计的并行算法在聚类结果的准确性、加速比、扩展性、收敛性等方面都有显著的提高,降低了因簇密度不均引起误分的概率,提高了算法的聚类精度,并且数据规模越大、节点越多,优化的效果就越明显.