基于主题网络爬虫的程序设计资源库建设研究

目前,在国内高校中程序设计课程的资源库建设工作尚未普及,大多数教学资源存在较为严重的老旧、重复等问题,难以满足师生日益增长的对大量新颖教学资源的需求。针对现在流行的网络爬虫框架进行分析和选择,在现有框架的基础上设计了一种适合资源库建设的爬虫系统,利用爬虫的自动化特性完成教学资源库的内容获取及入库工作。同时,选用Scrapyredis对爬虫进行拓展,利用Redis实现对目标网站资源的分布式爬取,提高获取资源的速度。选用SimHash算法对爬取到的资源内容进行相似度判别,过滤掉相似度过高的资源,完成对资源库的增量更新,提高获取到的资源的质量。经测试,研究的系统初步满足资源库建设的自动化需求,能够获取有效的教学资源。     

基于Scrapy框架的爬虫设计

利用Python编程语言的Scrapy框架,为猫眼网站设计一个网络爬虫程序,对猫眼网页中《复仇者联盟4》的用户评论进行抓取。对抓取下来的网页信息进行信息提取,并将有用信息转换为dataframe格式存储到csv文件中;再将csv文件中的数据通过Pandas库进行提取排列,并利用Pyecharts库生成可视化图表的html页面;最后修改url中的setoff属性,通过改变starTtime的值,成功获取了更多评论。结果表明,比正常获取评论数的最大值990条多了16倍。     

使用网络爬虫技术获取新冠病毒疫情数据的应用研究

2020年,整个世界都在关注新型冠状病毒肺炎的疫情,各大主流网站每日实时播报最新的疫情数据,单纯的数字显示不够直观,采用网络爬虫技术可以根据给定的URL和规则收集网络上的信息数据。使用网络爬虫技术获取网络上最新的新冠病毒疫情数据,研究常用的爬虫算法,运用合适的数据爬取方式获取数据,并将数据以图表的可视化形式展示,能清晰明了地显示疫情的走向趋势,为不同地方的采取相应防控提供参考。     

一种基于遗传算法的采样网页更新策略

研究一种基于采样的网页更新策略,并在此基础上提出一种基于遗传算法的求网页改变率及影响其值的相关参数的方法。     

基于Python的网络新闻爬虫与检索

网络上存在众多新闻门户网站,新闻信息繁多,造成严重的新闻信息过载。针对该类问题,设计一个基于Python的网络新闻信息搜集与检索系统。该系统通过使用Scrapy网络爬虫框架进行网络新闻信息搜集,同时对新闻链接、标题进行去重,最后使用Slor检索服务对爬虫获得的新闻数据进行全文检索。与传统方法相比,该系统设计的去重方法在保证链接不重复的情况下,对标题进行去重,并引入Solr检索服务,可以帮助读者更快速地找到想要阅读的新闻。     

基于多中文搜索引擎的可扩展网络混合爬虫

由于现在Web上的信息量变得越来越大,单个的搜索引擎不可能包括整个网络的信息资源,网络爬虫的能力,索引数据库的大小,系统维护开销等,都限制了一个搜索引擎的查全率。因此,设计一个统一的搜索引擎查询界面,并能快速智能合并查询结果是一个挑战。针对现有单个引擎搜索的限制,提出了基于行块的正文摘要提取方法和基于词频的相似度模型实现了一个可扩展的多WEB源的网络爬虫,将现各搜索引擎上的网页信息进行抽取,过滤、去重、排序、信息重组,可以获得更全面更符合人们需要的、个性化的数据结果。系统的测试结果表明我们的方法是比较有效的。     

基于Hadoop的分布式主题网络爬虫研究

主题网络爬虫采用集中式体系结构,具有对单台服务器性能要求高、可扩展性差等缺点。提出了一种基于Hadoop的分布式主题网络爬虫架构,通过将主题网络爬虫部署在分布式集群中的不同机器,运用MapReduce编程模型对数据进行抓取分析,使不同机器共同完成对指定任务的抓取工作。实验证明,采用分布式架构,通过动态调节分布式集群中的节点个数,能够明显改善主题网络爬虫的抓取效果。     

多中文搜索引擎的联合网络爬虫及LUCENCE实现

由于现在Web上的信息量变得越来越大,单个的搜索引擎不可能包括整个网络的轨迹,网络爬虫的能力,索引数据库的大小,系统维护开销等,都限制了一个搜索引擎的查全率。因此,用户必须尝试用所有搜索引擎去找出他所要的信息。最坏的是每个引擎互相覆盖,用户会重复发现一条信息。针对现有单个引擎搜索的限制,论文提出了针对多Web源的网络爬虫的实现,将现有搜索引擎上的网页信息进行抽取,过滤、去重、排序,进行信息重组,可以获得更全面更符合人们需要的、个性化的数据结果。     

网络性能指标预测法指导任务分配的分布式网页信息获取技术

互联网的迅猛发展,网络中流通的Web信息巨增．要在如此浩瀚的信息海洋里寻找信息,就像“大海捞针”一样困难．搜索引擎正是为了解决这个问题而出现的技术．该文对搜索引擎的关键组成部分,即网页信息获取技术（网络爬虫）进行探究．笔者致力于给出一种可行的基于广域网的分布式多机爬虫系统,其中分布式任务的调度采用了网络性能指标预测法指导．最后对多种分布式系统任务分配的方法指导下实际运行的效果进行了对比,得出网络性能指标指导预测效果法为最佳的任务调度方法．     

微博用户信息采集分析系统设计与实现

系统运用Python语言克服新浪微博反爬虫问题,使用Scrapy框架实现了高效、稳定的微博用户信息爬虫程序,全面获取用户在微博中的基本信息,并导入Neo4j图数据库和Echarts数据可视化库进行人物关系分析和挖掘。此外,系统针对微博中存在大量“网络水军”的现状设置了过滤选项,可以有效排除“网络水军”非正常行为对分析结果的影响。系统调试结果表明,系统能够实现对特定微博下转发、评论用户信息的实时、稳定、高效采集与分析,有效帮助人们从海量数据中提取复杂的关联关系,简洁、直观地分析微博用户之间的交互关系。     

音乐情感建模技术初探

利用数据驱动的建模方法对简易歌曲按音区、力度、速度等进行分析计算,并根据建立的Hevner情感环中不同情感与以上要素的对应模型,求得歌曲情感特征向量,所得结果能够大致反映歌曲所表达的情感。在VC++环境下,通过构造函数库的方法获取各音乐特征和情感因子。利用CString类的Format函数结合AfxMessageBox函数实现情感向量的显示。     

图像识别技术在录播系统中的应用研究

自动录播系统是教育信息化支撑体系中非常重要的一环,图像识别是人工智能的一个重要领域。图像识别应用于自动录播系统中,是实现录播系统从自动走向智能的重要环节。文章的研究基于目前图像识别研究中已经相对成熟且有成功应用案例的技术,构造录播系统的典型框架结构,给出基本设置,讨论可以获取的信息,分析如何解决实际应用中的问题。     

情感与理智在器乐演奏中的融合

器乐演奏是一项极其富含创造性的艺术活动,在器乐演奏过程中,渗透着情感和理智,它们相互制约、相互影响、相互作用。作为演奏者,应该将热烈奔放的情感和深邃宁静的理智有机地融合统一在一起,完满地表现乐曲的主题。     

英语教学中的情感引导

讨论了英语教学中情感因素的重要性以及教师如何通过一些有效途径来推动英语教学，提高英语教学效果。     

神经-模糊技术在相似汉字识别中的应用

人工神经网络和模糊逻辑作为一种创建计算智能系统的有效方法，在处理不确定问题时，显示了独特的优势，将神经-模糊技术引入手写体相似汉字的识别领域，并用MATLAB软件进行计算机模拟．实验结果表明，采用神经．模糊技术和统计模型方法相比对相似汉字的平均识别率提高了约4个百分点。     

作文教学中的情感调动

本文就怎样才能在写作教学中调动学生的情感，从集聚情感，点燃情感、激发情感、沟通情感、分享情感五个方面作了详尽阐述。     

浅谈实践教学中情感与情绪的作用

情感与情绪是实践教学活动中非常重要的两个因素。教师对实践教学工作和学生要投注良好的情感,视实践教学为享受,让学生感到你可亲、可信、可敬,就会尊其师、敬其道、效其行。教师要具有良好的情绪投入实践教学,使学生心情开朗、轻松愉快、精力充沛,充满兴趣和信心,把实践教学搞好。     

简论艺术家的情感

情感作为人的心理活动,它是推动人们进行实践活动的内趋力量,其蕴于艺术家的内在精神之中,艺术家的情感一旦升华,便具有社会的普遍意义.本文从两个方面分析了艺术家的情感与非艺术家情感的差异及情感的转换.     

信息技术教学中的情感交流

课堂教学中,培养学生积极的学习情感,会使学生学习兴趣和信心倍增、智力活跃,从而主动参与认知活动。以"差生班"的授课情况为例,从"完善自我,用形象魅力吸引学生"、"借助网络‘关注’学生,架起师生情感交流的桥梁"和"领情入境,诱导学生求知情感"三个方面注重师生情感交流,以提高信息技术教学的有效性。     

情与佛的冲突——苏曼殊小说的情感探析

苏曼殊小说中的主人公或身为僧人而陷入情感中不能取舍,或在情劫中挣扎最后以死亡或者遁入空门的方式得以解脱.情与佛相冲突的的现象构成了苏曼殊小说的特殊的情感叙述方式.