基于Hadoop的协同过滤并行化算法

在针对大数据的迅速增长,为了改善协同过滤算法的推荐效率,使得推荐精度越来越高,提出基于Hadoop平台的协同过滤并行化算法,将传统的基于用户的协同过滤在Hadoop平台下进行MapReduce编程模型,实现并行化.通过利用MovieLens公用数据集对改进前后的算法对比,验证了并行化的协同过滤效率更高,也更加适合大规模数据的推荐.     

基于大数据集的协同过滤算法的并行化研究

通过对基于ALS的协同过滤算法及分布式Hadoop平台的相关特性进行深入研究,将基于ALS的协同过滤算法在Hadoop上进行并行化,解决了传统的基于ALS的协同过滤算法在大规模数据集上的运算问题.经过实验验证,在Hadoop平台上实现的并行化的ALS协同过滤算法不仅能够保证实验结果的准确性,而且与单节点上实现的算法相比,运算效率显著提高.     

基于IALM和填充可信度的协同过滤算法及其并行化研究*

为解决传统协同过滤推荐中存在的数据稀疏性和可扩展性问题,基于IALM和填充可信度提出了并行化的协同过滤算法。该算法利用非精确增广拉格朗日乘子法（IALM）对评分矩阵和评分时间矩阵进行填充;引入填充可信度,并与指数遗忘函数结合,对填充评分进行加权修正,在此基础上应用协同过滤算法进行预测评分;最后基于Hadoop平台对算法进行了并行化设计与实现。实验结果表明,该算法能够提高推荐质量,同时基于Hadoop平台的算法运算效率明显提高。     

基于MapReduce的矩阵分解推荐算法研究

矩阵分解是近几年提出的一种协同过滤推荐技术,但其每项预测评分的计算都要综合大量评分数据,同时在计算时还需要存储庞大的特征矩阵,用单一结点来进行推荐将会遇到计算时间和计算资源瓶颈。结合MapReduce分布式计算框架和矩阵分解推荐算法,设计了一种基于MapReduce的矩阵分解推荐算法来解决该问题,利用Hadoop的分布式缓存技术和MapFile文件结构解决了大特征矩阵在多结点间的高效共享问题并实现了多正则因子的并行处理。通过在Netflix数据集上的实验表明,该MapReduce算法及数据存储方案能带来较高的加速比,从而提高了推荐算法的计算效率。     

Hadoop云平台下的基于用户协同过滤算法研究

随着互联网的高速发展,海量新闻的个性化推荐成为一个重要课题,针对海量新闻的个性化推荐算法进行研究,以MapReduce的并行方法设计了基于Hadoop云平台下的协同过滤算法,利用MapReduce的并行方法,将传统的协同过滤算法并行化,并详细说明了并行化步骤和实现细节;最后用实验结果验证了改进的并行化的协同过滤算法在运行速度和执行效率方面有明显的提高,更适合处理大数据.     

基于Hadoop的多特征协同过滤算法研究

协同过滤是互联网推荐系统的核心技术,针对协同过滤推荐算法中推荐精度和推荐效率以及数据可扩展性问题,采用灰色关联相似度,设计和实现了一种基于Hadoop的多特征协同过滤推荐算法,使用贝叶斯概率对用户特征属性进行分析,根据分析结果形成用户最近邻居集合,通过Hadoop中的MapReduce模型构建预测评分矩阵,最后基于邻居集和用户灰色关联度形成推荐列表.实验结果表明,该算法提高了推荐的有效性和准确度,且能有效支持较大数据集.     

对数似然相似度算法的MapReduce并行化实现

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于MapReduce模型计算相似度的方法。通过设计4个MapReduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对,以减少中间计算量和通信开销。实验结果表明,和Mahout中的单机版相似度算法相比,基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性,能够提升推荐算法的效率。     

基于Hadoop平台协同过滤推荐算法

针对协同过滤推荐算法在数据稀疏性及在大数据规模下系统可扩展性的两个问题, 在分析研究Hadoop分布式平台与协同过滤推荐算法后, 提出了一种基于Hadoop平台实现协同过滤推荐算法的优化方案. 实验证明, 在Hadoop平台上通过MapReduce结合Hbase数据库实现算法, 能够有效地提高协同过滤推荐算法在大数据规模下的执行效率, 从而能够进一步地搭建低成本高性能、动态扩展的分布式推荐引擎.     

适于进化算法的迭代式MapReduce框架

MapReduce模块化的编程大大降低了分布式算法的实现难度,但同时也限制了它的应用范围。介绍了MapReduce的基本结构及其实现迭代算法的缺陷,并针对基于MapReduce进化算法效率低下的问题,在对MapReduce的计算框架进行研究的基础上提出了一种适用于进化算法的迭代式MapReduce计算框架。描述了迭代式MapReduce计算框架的实现需求及其具体实现,提出并证明了异常机制的可行性,且在公有的Hadoop云计算平台上对提出的框架进行了验证。实验结果表明,基于迭代式MapReduce计算框架的并行遗传算法在算法的加速比上与基于MapReduce的并行遗传算法相比有较大的提高。     

基于边界矩阵低阶近似和近邻模型的协同过滤算法

为解决矩阵分解应用到协同过滤算法的局限性和准确率等问题,提出基于边界矩阵低阶近似（BMA）和近邻模型的协同过滤算法（BMAN-CF）来提高物品评分预测的准确率。首先,引入BMA的矩阵分解算法,挖掘子矩阵的隐含特征信息,提高近邻集合查找的准确率;然后,根据传统基于用户和基于物品的协同过滤算法分别预测出目标用户对目标物品的评分,利用平衡因子和控制因子动态平衡两个预测结果,得到目标用户对物品的评分;最后,利用MapReduce计算框架的特点,对数据进行分块,将该算法在Hadoop环境下并行化。实验结果表明,BMAN-CF比其他矩阵分解算法有更高的评分预测准确率,且加速比实验验证了该算法具有较好的可扩展性。     

基于JSP分页技术的研究

电子商务应用中的数据量往往非常大,甚至会达到几十万到几千万条记录的规模,将如此大量的数据显示在一个页面里困难大、效率低。在这种情况下就需要采用分页显示技术将数据库中符合条件的数据逐页显示给用户。对JSP分页技术进行比较,在分析JSP分页技术特点的基础上,提出一种有效的分页解决方案,同时对分页技术的优化进行阐述。     

Hibernate技术在基于GIS数据库中的应用研究

空间信息的存储和处理问题是地理信息系统(GIS)的核心问题.对空间数据和属性数据的统一存储管理已成为必然趋势.本文通过对GIS中海量数据的存储方式进行研究,指出对象-关系型的数据库存储方式是空间数据库的发展方向.在此基础上讨论了Hibernate技术与GIS数据库的结合,使用Hibernate技术将关系数据库中空间数据和属性数据进行封装,屏蔽了数据库底层操作,使得程序员可以用面向对象的思想随意操纵数据库,在利用了关系数据库的快速检索、查询能力的同时也增强了数据的一致性和可移植性.     

基于服务总线（ESB）的应用集成（EAI）探索和研究

科研院所设计研究中各类异构软件应用系统并存,数据和信息在各个应用系统中同步和共享成为现代企业信息化的瓶颈。针对这种现状,文中采用Java技术,通过建立异构系统底层的消息通讯机制,构建连接异构系统的ESB,实现各个异构系统通过ESB进行通讯,最终达到EAI的目的。实际中,基于该ESB构建了船舶设计行业应用软件系统集成平台,在数据集成、应用集成和业务流程集成中取得了较好的效果,肯定了文中成果的可行性。文中重点叙述了所构建的ESB结构图、ESB内部通讯原理及实现中所使用的数据结构,并给出了以该ESB为核心纽带设计的相关EAI平台架构。     

基于移动agent的分布式视频点播系统的研究

该文通过对移动agent技术和传统的视频点播系统的研究,提出了一种基于移动agent的分布式视频点播系统的设计和构造,具体地阐述了系统的工作流程,并着重讨论了实现该系统所要考虑的关键问题。移动agent的引入有效地减少了网络传输负载,实现了高速响应点播请求、高质量的影音效果,从而更好地满足更多用户的需求。     

基于FPGA的立方星可重构星载处理系统研究

为了以最小代价提高立方星可重构星载计算机的可靠性,提出了一种基于FPGA的立方星可重构星载处理系统架构。首先,在对国内外微纳卫星星载计算机设计特点进行分析的基础上,分别采用基于SRAM架构和基于Flash架构的FPGA作为核心处理模块与外部表决接口模块,兼顾了系统的运算速度与可靠性。其次,针对可重构星载处理系统中所涉及的可重构策略、在线重构技术以及系统同步技术进行了详细设计。最终,基于所设计硬件系统上进行的测试以及在轨的实测数据验证了该架构的可靠性和有效性。     

系统集成芯片综述

集成电路芯片工艺的发展已可使一个系统或一个子系统集成在一个芯片上 ,称为系统集成芯片。本文综述了系统集成芯片的硬件构造、超长指令 (VLIW )结构、芯片嵌入软件及软硬件协同设计方法。     

Elastos中间件ContentProvider的设计与实现

Elastos是具有中国自主知识产权的面向服务的新型嵌入式网络操作系统。目前主要用嵌入式设备,多款基于Elastos的3G手机已经面世,一款基于Elastos的电子书也即将进入量产。本文提出了基于Elastos的ContentProvider,这是一种易于使用和扩展的应用程序数据访问模式,解决了在需求多变的市场背景下,手机应用程序如何方便的访问数据的问题。     

面向性能的软件再工程研究

将提高遗产系统性能作为软件再工程的一大目标加以考虑,提出了一种基于反模式的再工程方法。这种方法通过对一些反模式的特征进行识别,在遗产系统中发现对于系统性能有不良影响的设计并通过一定的方法加以消除,从而达到改善遗产系统性能的目的。     

Elastos中间件ContentProvider的设计与实现

E1astos是具有中国自主知识产权的面向服务的新型嵌入式网络操作系统。目前主要用嵌入式设备,多款基于Elastos的3G手机已经面世．一款基于Elastos的电子书也即将进入量产。本文提出了基于Elastos的Content Provider,这是一种易于使用和扩展的应用程序数据访问模式．解决了在需求多变的市场背景下,手机应用程序如何方便的访问数据的问题。     

AADL模型的测试方法研究

近几年来,MDA开发方式的应用使得如何保证模型质量成为研究的热点.以基于模型的测试为研究对象,研究了对AADL模型进行模型测试的方法,并提出了结合马尔可夫链对AADL模型进行测试的框架以及实施方法.最后,通过示例进一步说明了该方法.