中文搜索引擎Robot搜索策略的研究

随着搜索引擎种类的增多,Robot的搜索策略也在不断的增加,不同类型的搜索引擎也都选择最适合自己的搜索策略。本文针对中文网络资源的特点,结合几种常用的搜索策略并加以改进,提出4种适用于中文搜索引擎Robot的搜索策略。     

URL分级散列在分布式搜索引擎中的应用

搜索引擎在采用分布式技术的信息搜集中存在URL匹配和系统负载平衡的问题。针对现有的几种分布式信息搜集系统设计的不足,提出了对URL分级散列进行定位和匹配的方法,给出了两种适用于中文信息搜集的URL散列函数,并进行了实验分析。     

应用型大学软件工程专业课程思政教改探索

针对当前应用型大学软件工程专业课程思政教改方案缺乏规范性和系统性的问题,围绕课程思政与专业课深度融合的目标,从专业全局角度提出课程思政教改思路,从教学内容融合、课堂教学生态培育和教改路径规划3方面介绍课程思政教学改革设计,最后给出课程思政教改反思并提出展望。     

面向MapReduce计算的大规模集群通信优化

为了优化大规模集群运行MapReduce作业时的通信效率和减少shuffle数据传输量,首先采用存储局部性换取通信局部性的策略建立一个分布式协同数据映射模型;其次通过随机抽样和机器学习方法来提取作业数据的局部性特征,实现map计算数据的有效部署;最后,利用软件定义网络的全局灵活控制能力,优选通信链路好的节点并将计算任务映射到该类节点中。实验表明对于中间数据混洗密集类作业有较好的优化效果,通信延迟降低了4.3%~5.8%。该方案能减少shuffle流量和数据迁移延迟,并且适合各种调度策略和网络拓扑结构。     

利用作业和链接服务器定时更新数据库的方法

在信息系统的建设过程中，经常遇到远程异构数据库的更新问题。解决的办法可以借助ADO等外部程序，也可以利用其他方式。本文介绍一种利用SQL Server的作业和链接服务器定时更新数据库的方法。     

两种适用于中文信息搜集的URL散列函数的研究

为了适应Internet信息量的快速增长,搜索引擎采用分布式技术搜集信息。采用分布式搜集技术的具体应用中主要存在两个关键问题:URL匹配和系统负载平衡。针对现有的几种分布式信息搜集系统的设计中存在的一些不足,提出了利用URL分级散列进行定位和匹配的方法。根据中文网络信息的特点,分析了几个对字符串散列较好的函数,设计了两种URL散列函数,应用于分布式中文信息搜集系统中。实验表明,系统在减少URL匹配的资源消耗和提高系统负载的均衡性方面有很好的效果。     

网络蜘蛛Robot更新策略的研究

互联网信息处于不断增长和变化的过程中,这也给信息搜集工作带来了新的问题,Robot搜集到的信息隔一段时间就会过时,需要对信息进行更新。网络信息的更新是搜索引擎的难题,搜索引擎索引库中的信息相对来说都是有一定时间的延迟。目前,搜索引擎使用的更新策略主要有三种：周期性更新、增量式更新、被动式更新。