基于Hadoop的企业知识管理系统

基于Hadoop的知识管理系统可以增强企业海量知识存储与处理的能力,实现面向管理决策的知识发现.通过研究Hadoop平台及其特点,分析了基于Hadoop的知识管理系统的优势,构建了基于Hadoop的企业知识管理框架模型,并设计了基于Hadoop的知识管理系统的逻辑架构,最后利用基于MapReduce的协同过滤算法对知识推荐模块进行了详细设计.应用Hadoop等大数据技术及推荐系统技术构建知识管理系统既能实现知识管理的个性化和智能化,又能满足企业知识管理系统的扩展性和经济性的需求.     

教育数据在课堂与在线教学中的应用研究

人工智能与大数据技术的应用,为教育教学注入了新的动力.文章以程序设计在线评测系统大数据为例,研究教育大数据在辅助课堂教学和在线教学中的应用.基于在线测评系统,分析学生学习流程及数据体系,剖析了教育数据在学习路径分析、相似度计算、个性化内容推荐、群体模型构建及学习成绩预测等领域的应用,为教育管理以及课堂教学与在线教学的深度融合提供决策支持.     

基于Web数据挖掘的电子商务推荐模型研究

当前电子商务推荐系统的推荐精度和实时性是一对矛盾,针对这个问题,以Web数据挖掘技术在电子商务推荐系统中的应用为重点,设计一个基于Web挖掘的电子商务推荐系统应用框架,整个体系结构分为离线部分和在线部分两部分,并且对在线模块的各部分功能进行详细的介绍.     

基于随机森林模型的电信运营商外呼推荐系统

在电信运营商领域,外呼推荐是一种重要的推荐产品和服务的途径。实现了一种基于运营商大数据的自动外呼推荐系统,该系统能够挖掘用户的行为特征并且使用机器学习的方法预测用户对于被推荐产品的接受可能性。传统推荐系统使用的模型算法为矩阵分解、大规模稀疏特征分类、神经网络等。采用随机森林算法的主要原因是随机森林具有并行化程度高、训练速度快、生成的决策树可解释等诸多优点,适合于基于电信业数据的推荐系统。该外呼推荐系统基于Hadoop、Impala和Spark等大数据处理平台及工具,使用随机森林分类器作为核心算法,将用户最近的行为特征回归为接受外呼推荐产品的可能性。在线测试表明使用该系统与当前部署的人工随机外呼相比,能够提升约41%的用户接受率;同时,根据模型算法输出特征的重要性,进一步给出了两类用户的特征分析。     

一种高效的大数据实时性解决方案

大数据计算是物联网和云计算的研究热点之一.针对大数据中的结构化和非结构化数据,Hadoop技术在实时性要求不高的场景中应用效果较好,但在实时性要求高的场景中不能满足需求.针对这一问题,论文利用对象化并行计算提出了一种高效的实时性解决方案.对象化并行计算融合了对象化、Hadoop、内存计算等技术.在方案中,业务数据格式化成对象并分布式存储到集群计算机内存中,任务拆分成子任务通过并行计算来完成.对象化并行计算系统应用在国家电网公司电网资产质量监督管理系统中,应用效果表明该方案可大幅度提升系统性能,满足实时性需求.     

基于云计算技术的个性化推荐系统

传统的协同过滤推荐技术在大数据环境下存在一定的不足。针对该问题,提出了一种基于云计算技术的个性化推荐方法：将大数据集和推荐计算分解到多台计算机上并行处理。在对经典ItemCF算法MapReduce化后,建立了一个基于Hadoop开源框架的并行推荐引擎,并通过在已商用的英语训练平台上进行学习推荐工作验证了该系统的有效性。实验结果表明,在集群中使用云计算技术处理海量数据,可以大大提高推荐系统的可扩展性。     

基于Spark和微服务架构的电影推荐系统设计与实现

推荐系统广泛应用于人们生活的多个领域,日常生活中常见的有电商、电影、音乐和新闻推荐等。推荐系统根据用户的历史偏好主动推送相关的信息,节约了用户的时间,极大地提升了用户的体验。随着大数据技术的发展成熟,数据处理的速度变得更快。该文选取MovieLens电影数据集,并基于大数据分布式处理框架Spark和交替最小二乘法ALS等算法搭建数据处理平台,然后再结合Spring Boot和Spring Cloud等搭建电影后台服务,实现一个基于微服务架构的电影推荐系统。     

基于Hadoop分布式改进聚类协同过滤推荐算法研究

为了改善协同过滤推荐算法在大数据下的稀疏性和可扩展性问题,提出一种基于Hadoop平台的分布式改进聚类协同过滤推荐算法。在分布式平台下,离线对高维稀疏数据采用矩阵分解算法预处理,改善数据稀疏性后通过改进项目聚类算法构建聚类模型,根据聚类模型和相似性计算形成推荐候选空间,在线完成推荐。实验验证该算法能够有效改善推荐系统的推荐质量并大大提高推荐效率,同时在云环境中具有良好可扩展性。     

基于Hadoop平台的轨道交通能效管理系统的建设方案

随着城市轨道交通线网化进程和海量数据的累积,挖掘能效数据的潜在价值以提升地铁能效管理水平、实现节能降耗,对地铁的经济运行具有重要意义。对基于Hadoop平台实现轨道交通能效管理系统的建设方案进行了研究,并分别以历史数据和实时流数据的数据流和功能框图,具体说明了系统的实现方式。给出了基于Hadoop平台的能效管理系统的车站、线路、线网的三层式建设方式,以及组成模块的框架图,并按数据的在线和离线两种方式给出模块的实现方法。同时,在轨道交通能效管理平台中实现了大数据技术的首次应用。应用结果表明,基于Hadoop平台的大数据方案提高了地铁运营的能效管理水平。随着数据量积累和数据分析的深入,该管理系统必将具有更加广阔的应用前景。     

K12学习平台个性化学习资源推荐

随着在线学习平台的普及, 产生了大量学习行为数据, 如何利用大数据挖掘技术分析在线学习行为, 解决学习者经常面临的“资源过载”和“学习迷航”问题, 更好地实现教学决策、学习过程优化和个性化学习方法推荐等, 已经成为研究重点. 文章基于苏州线上教育中心的学习行为数据, 研究了常用的推荐系统模型, 结合该平台的数据特点, 提出了一种基于知识图谱的协同过滤推荐算法, 利用该算法, 平台推荐的资源准确率超过了90%, 有效解决了学生“学习迷航”的问题.