基于页面标签的Web结构化数据抽取

本文研究了从dataintensive类型的web页面中提取结构化数据的问题，提出了基于页面标签的数据抽取算法。该算法先根据标签的显示位置及其大小判断不同标签元素之间的嵌套关系，并构造简化的HTML树Sim-HTree，有效地减少了识别数据记录的时间。在此基础上，提出子串匹配调整算法，对数据记录进行识别，标识数据项。实验表明，该算法是有效的。     

基于向量空间模型的Web中文信息过滤系统

提出了一种基于VSM的自适应的Web信息过滤系统的设计及实现方法.与传统的信息过滤系统相比,Web上的信息过滤系统具有许多全新的特征.页面为半结构化的文档、页面上的噪声信息比较多,用户提交的正例比较少.这些特性成为影响过滤性能的主要因素.针对Web的上述特性设计的Fudanfilter2002过滤系统,具有使用方便、过滤时间短、精度高等特点.     

基于关键字的Web页面摘要生成技术

论述了一种基于关键字的Web页面摘要生成技术，该技术通过设定关键字来作为摘要生成的引导关键字，然后对页面源文件进行扫描分析，提取其中满足一定条件的页面内容，自动归纳整理出一篇以引导关键字为中心的该Web页面的摘要文档。     

应用聚类技术分类提取Web页面

针对Web中数据密集型的动态页面,文本数据少,网页结构化程度高的特点,介绍了一种基于HTML结构的web信息提取方法。该方法先将去噪处理后的Web页面进行解析,然后根据树编辑距离计算页面之间的相似度,对页面进行聚类,再对每一类簇生成相应的提取规则,对Web页面进行数据提取。     

基于Web内容的一种数据自动抽取方法

Web的迅速发展,使其日益成为人们查找有用数据的重要来源,但是Web站点主题各异、形式多样、结构不同,其页面组织结构很难用系统的方法来有效抽取目标数据.文中将使用Asp. Net技术开发一种基于Web内容的数据自动抽取方法.首先选择目标数据源并自动调用获取其静态html文档内容,然后根据约定规则生成网页描述文件,分析html文档,设定目标锚,最后利用正则表达式和c#技术自动抽取目标数据并生成所需Web页面.这种数据自动抽取方法可以使Web用户快捷地从结构化、半结构化网页中抽取其所需的数据信息     

Web信息抽取系统的设计

为了获取分散Web页面中隐含信息,设计了Web信息抽取系统。该系统首先使用一种改进的HITS主题精选算法进行信息采集;然后对Web页面的HTML结构进行文档的数据预处理;最后,基于DOM树的XPath绝对路径生成算法来获取被标注结点的XPath表达式,并使用XPath语言结合XSLT技术来编写抽取规则,从而得到结构化的数据库或XML文件,实现了Web信息的定位和抽取。通过一个购物网站的抽取实验证明,该系统的抽取效果良好,可以实现相似Web页面的批量抽取。     

手势与手写文档中文本行的提取

手写文档的非结构化,导致对手写文档的编辑很困难。文本行是手写文档中一个显著的结构,它的可靠提取对于更高级别结构化文档（图形与文字分离,段结构的提取,文字的提取）及编辑文档非常重要。目前关于手写文档的结构化,分为联机和脱机两种。使用联机算法提取文本行,然后讨论文本行的提取对手势设计的影响。     

多信息块Web页面中的抽取规则

以往的包装器主要针对仅含有一个数据块的Web页面，而对含有多个信息块的Web页面，简称MIB(Multiple Information Block)Web页面无法处理。该文提出了一个新的抽取规则，结合了基于文档结构的抽取规则和基于特征Pattern匹配的抽取规则的优点，能够有效地抽取MIB Web页面中的信息。     

Web页面信息块的自动分割

随着Internet的发展,Web页面数量的急剧增加,如何快速有效地获取信息变得越来越重要。一类Web页面往往包含着多个信息单元,它们在展现上排列紧凑、风格相似,在HTML语法上具有类似的模式,例如一个BBS页面上多个发言,每个信息被称为一个信息块。对于信息抽取、信息过滤等应用,需要首先将原始页面中分割为若干合适的信息块以便于后续的处理。本文提出了一种自动将Web页面分割为信息块的方法:首先通过创建Web页面结构化的HMTL分析树,然后根据包含有效文本量等确定包含信息块的子树,最后根据子树深度信息利用2-rank PAT算法进行分割。通过对BBS页面的信息块抽取实验,证明了该方法的有效性。     

基于文档特征的Web主题文本提取

Web主题文本提取是从Web页面中找出文本型主题内容,对Web信息过滤具有重大作用。针对目前Web主题文本提取算法复杂而且响应速度较慢的不足,提出一种新的Web主题文本提取方法。该方法直接从HTML文档结构本身的特征出发,提取文档中文本的多个特征．并设计了一个有效的公式综合利用提取特征来定位主题文本。实验表明该算法简单、快速、有效,能很好地运用于Web信息过滤。     

基于Atom的远程对象交换机制的研究

随着互联网的发展,Web2.0和Mash-up逐渐成为Web环境中的主要应用形式.针对现有远程对象交换机制的局限性,本文以Atom文档格式与Atom发布协议为基础建立了一种更易被Web2.0和Mash-up应用的远程对象交换机制.在兼顾半结构化数据与强类型语言结构化要求的条件下,利用Atom文档格式解决了远程对象的封装问题;利用Atom发布协议解决了远程对象的操作问题.在此基础上,通过性能评估和综合比较,说明该机制具有实现简单、适应半结构化数据、在少量易变数据时性能好等优点.     

基于页面对比分析的数据提取

针对提供大规模数据查询的Web页面，提出了一种基于站点内页面对比分析的web数据提取方法。在对页面建树和分块的基础上对比分析获得页面数据块，然后利用同结构多页面对比和格式判断提取出数据，最后将数据存入到主据库中。该方法成功运用到多个信息提取系统中，实现了高效、准确的数据提取。     

基于DOM和VBA的Word文档数据交互式抽取

针对信息系统Word文档中的数据提取问题,分析现有解决方案中存在的不足,提出交互式提取Word文档中半结构化数据的方法。该方法通过制定Word模板、编写宏函数并运用可交互的外部程序调用宏函数,将Word文档中指定的内容提取到数据库中。实现了Word文档中半结构化数据提取的方便性和灵活性。     

对Web页面内容挖掘中数据提取问题的研究

随着Internet的飞速发展及Web在全球的进一步普及，WWW上的信息量呈指数级增长。面对这一情形，研究人员开始将数据挖掘技术用于Web，从而产生了一个新的研究方向——Web挖掘。Web挖掘即是对Web文档的内容、可利用的Web资源的使用情况以及Web资源间的关系进行分析。本文分析了Web页面的半结构化特点，介绍了国内外学者针对Web页面的半结构化特点提出的用于从Web页面中提取数据的构建包装器方法。在Web数据提取领域，包装器一般就是一个从Web页面中提取数据的程序。同时介绍了作者本人的一些工作，包括一个新闻下载浏览模块和一个信息…     

基于Agent的Web页面结构化信息抽取

结合当前Web站点的数据特点,以信息项在页面中的出现位置为信息抽取的路径,利用PAT树技术,提出了一个多Agent协作的自动信息抽取模型.该模型能够自动分析样本页面数据特征,归纳学习整个站点的数据模式,生成抽取规则,指导以后的抽取动作.实验结果表明,该模型对Web页面的结构化信息抽取具有较高的效率.     

实时Web内容重复识别及排序系统的设计与实现

为了解决现有Web信息检索结果中存在较多内容相似甚至相同页面的问题,给出了实时Web内容和结构信息提取的算法及内容重复识别的方法。利用Google提供的PageRank查询接口取得各个页面的PageRank值,结合特定用户的特征信息、查询请求及提取的各Web页内容及结构信息,完成了文档相似度比较,实现了实时页面的重复识别及二次排序,实验结果表明该方法达到了较好的效果。     

中文维基百科的结构化信息抽取及词语相关度计算方法

维基百科作为一个以开放和用户协作编辑为特点的Web 2.0知识库系统,具有知识面覆盖度广,结构化程度高,信息更新速度快等优点。然而,维基百科的官方仅提供一些半结构化的数据文件,很多有用的结构化信息和数据,并不能直接地获取和利用。因此,该文首先从这些数据文件中抽取整理出多种结构化信息;然后,对维基百科中的各种信息建立了对象模型,并提供了一套开放的应用程序接口,大大降低了利用维基百科信息的难度;最后,利用维基百科中获取的信息,该文提出了一种基于链接所对应主题页面所属类别的词语语义相关度计算方法。     

一种Web评论自动抽取方法

Web用户评论是许多重要应用的信息来源,比如公众舆情的检测与分析,Web用户评论必须从网页中准确地抽取出来.用户生成内容(user-generated content)不受页面模板的限制,这就给Web数据抽取提出了新的挑战:首先,不同用户评论内容的不一致性严重影响了评论记录在DOM树和视觉上的相似性;其次,评论内容在DOM树中是一棵复杂的子树,而且彼此之间在DOM树中的结构相差巨大.为了解决这两个问题,提出了一种完整的解决方案,使用多种技术来实现对用户评论内容的抽取.抽取过程分为两个步骤,基于深度加权的树相似性算法评论记录首先从网页中抽取出来,然后通过比较DOM树中节点的一致性,将纯粹的用户评论内容从评论记录中抽取出来.在多个新闻网站和论坛网站上的实验结果表明,该方法可以达到较高的准确度和效率.     

基于CSS视觉分块的Web碎片信息抽取算法

为进一步解决在半结构化的Web页面中抽取Web碎片信息的困难,针对Web页面设计的目的是给用户显示相关的信息,浏览器只是呈现的中间手段,在抽取Web碎片信息时应该"以人为本",从"人"的视觉效果出发,将Web页面按照CSS视觉效果进行分块,提出一种基于CSS视觉分块的Web碎片信息抽取算法。以随机输入的1000个Web碎片信息站点作为实验对象,实验结果表明,算法具有良好的性能,达到了较高的召回率与查准率。     

一种基于XML的Web地震信息提取的实现

开发一种通用化的处理程序,它可以自动从指定的Web页面中提取地震事件公报,采用XSLT将数据转换为指定格式的XML文档,存入地震信息数据库,实现了Web数据的清理与集成.