任意网页的主题信息抽取研究

目前大部分的网页信息抽取方法都局限于某一类网页的提取,并没有进一步深入到适用于任意网页的抽取。针对这一问题,该文提出了一种基于融合机制的任意网页主题信息抽取框架,特点是通过“模板库匹配—基于模板抽取—网页分类—全自动抽取”四个步骤实现对模板无关的全自动抽取算法和基于模板的抽取算法的融合。实验显示,这种融合机制能促进抽取准确率的有效提高,从而最终建立起一个适用于任意网页的、具有实用价值的信息抽取框架。     

基于相似度的网页标题抽取方法

目前网页标题的抽取方法大多结合HTML结构和标签特征进行抽取,但是这些方法并没有考虑标题与正文信息之间内容上的联系。该文提出一种基于相似度的网页标题抽取方法,该方法利用网页标题与正文信息之间的关系,通过计算语言“单位”之间的相似度和对应的权值,并引入HITS算法模型对权值进行调整,根据特定的选取方法抽取出真实标题。实验结果表明,该方法不仅对“非标准网页”的抽取达到满意的效果,而且对“标准网页”具有较高的泛化能力。     

基于快速构建模板的购物信息抽取方法

针对由模板生成的购物信息网页,且根据其网页信息量大,网页结构复杂的特点,提出了一种不使用复杂的学习规则,而将购物信息从模板网页中抽取出来的方法。研究内容包括定义网页模板和网页的信息抽取模板,设计用于快速构建模板的模板语言,并提出一种基于模板语言抽取内容的模型。实验结果表明,在标准的450个网页的测试集下,所提方法的召回率相比抽取问题算法(EXALG)提高了12%;在250个网页的测试集下,召回率相比基于视觉信息和标签结构的包装器生成器(ViNTs)方法和增加自动信息抽取和视觉感知(ViPER)方法分别提升了7.4%,0.2%;准确率相比ViNTs方法和ViPER方法分别提升了5.2%,0.2%。基于快速构建模板的信息抽取方法的召回率和准确率都有很大提升,使得购物信息检索和购物比价系统中的网页分析的准确性和信息召回率得到很大的改进。     

基于快速构建模板的购物信息抽取方法

针对由模板生成的购物信息网页,且根据其网页信息量大,网页结构复杂的特点,提出了一种不使用复杂的学习规则,而将购物信息从模板网页中抽取出来的方法。研究内容包括定义网页模板和网页的信息抽取模板,设计用于快速构建模板的模板语言,并提出一种基于模板语言抽取内容的模型。实验结果表明,在标准的450个网页的测试集下,所提方法的召回率相比抽取问题算法(EXALG)提高了12%;在250个网页的测试集下,召回率相比基于视觉信息和标签结构的包装器生成器(ViNTs)方法和增加自动信息抽取和视觉感知(ViPER)方法分别提升了7.4%,0.2%;准确率相比ViNTs方法和ViPER方法分别提升了5.2%,0.2%。基于快速构建模板的信息抽取方法的召回率和准确率都有很大提升,使得购物信息检索和购物比价系统中的网页分析的准确性和信息召回率得到很大的改进。     

节点频度和语义距离相结合的网页正文信息抽取

提出了一种带有节点频度的扩展DOM树模型—BF-DOM树模型（Block node Frequency-Document Object Module）,并基于此模型进行网页正文信息的抽取。该方法通过向DOM树的某些节点上添加频度和相关度属性来构造文中新的模型,再结合语义距离抽取网页正文信息。方法主要基于以下三点考虑：在同源的网页集合内噪音节点的频度值很高;正文信息一般由非链接文字组成;与正文相关的链接和文章标题有较近的语义距离。针对8个网站的实验表明,该方法能有效地抽取正文信息,召回率和准确率都在96%以上,优于基于信息熵的抽取方法。     

基于链接路径搜索的URL属性集成方法

在W2DR算法实验中,部分网页因其锚文本提供的信息量不足,导致利用半结构化的网页信息填充结构化数据库内容效果不佳。为此,提出一种基于链接路径包的URL属性集成方法。采用将锚文本和网页标题相结合的机制,从被搜索网页集中,根据最佳匹配策略求解得到URL属性值,并将其填充到目标数据库。实验结果表明,与W2DR算法相比,该方法在2个不同数据集中的F值分别提高13.91%和3.54%。     

基于超链接和DOM结构树的网页标题实时抽取方法

网页标题的正确抽取,在Web文本信息抽取领域有着重大意义。本文提出一种网页标题实时抽取方法。首先通过对目录型网页进行实时解析,接着采用基于超链接遍历的方法,并利用标题与发布时间的对应关系,最终获取对应目录型网页的URL及锚文本。若获得锚文本不是网页正文的标题,则获取主题型网页的HTML源码并构建网页DOM树。在此基础上,结合网页标题的视觉特点,深度优先遍历DOM树,正确提取网页正文标题。实验结果表明,本文提出的Web网页标题实时抽取方法,具有实现简单,准确率高等优点。      

机器可读词典中词汇属性信息的获取

获取概念的属性信息有助于构建概念间的关系,进而改进基于概念的信息检索等应用的性能。研究了如何从机器可读词典中获取释义项的属性信息并实现了一个相应的系统DAE（Dictionary Attribute Extractor）。系统基于bootstrapping思想,进行模板-元组迭代抽取。在模板的获取中,引入了基于生物信息学多序列比对的方法;模板泛化时,引入词汇语义相似度计算和同义词扩展,提高模板覆盖率。实验中,系统抽取了“功能”、“颜色”和“组成”三种属性,取得了较好的效果。     

基于层次注意力机制和门机制的属性级别情感分析

近年来,作为细粒度的属性级别情感分析在商业界和学术界受到越来越多的关注,其目的在于识别一个句子中多个属性词所对应的情感极性。目前,在解决属性级别情感分析问题的绝大多数工作都集中在注意力机制的设计上,以此突出上下文和属性词中不同词对于属性级别情感分析的贡献,同时使上下文和属性词之间相互关联。该文提出使用层次注意力机制和门机制处理属性级别情感分析任务,在得到属性词的隐藏状态之后,通过注意力机制得到属性词新的表示,然后利用属性词新的表示和注意力机制进一步得到上下文新的表示,层次注意力机制的设计使得上下文和属性词的表达更加准确;同时通过门机制选择对属性词而言上下文中有用的信息,以此丰富上下文的表达,在SemEval 2014 Task 4和Twitter数据集上的实验结果表明了该文提出模型的有效性。     

面向金融网页数据的异构表格信息提取模型

从异构网页表格中提取实体、关系、属性等信息是构建金融知识图谱和知识库的一项重要任务。然而，现有网页表格信息提取方法大多高度依赖于维基百科、FreeBase等外部知识库，并且不能有效提取商品价格、公司总资产等动态变化的金融数值属性信息。因此，针对金融网页数据缺少外部知识库支撑，以及需要同时有效处理文本型信息和数值型信息这两个挑战，提出了面向金融网页数据的异构表格信息提取（HTIE）模型。HTIE主要由基于规则的无监督表格抽取模块和基于多核卷积神经网络的表格解释模块组成，在不使用外部知识库的情况下，可以有效地从网页中识别出异构表格所在位置并对它规范化，并且能基于少量标注数据同时处理表格中的文本型信息和数值型信息。根据在真实金融网页表格数据集上的实验评估，HTIE可以有效提取和识别金融网络表格中的实体、关系及数值类型的属性信息。与现有方法相比，HTIE在精度、召回率和F1值上分别至少提升了4.2%、2.5%和14.6%。     

基于网络资源与用户行为信息的领域术语提取

领域术语是反映领域特征的词语.领域术语自动抽取是自然语言处理中的一项重要任务,可以应用在领域本体抽取、专业搜索、文本分类、类语言建模等诸多研究领域,利用互联网上大规模的特定领域语料来构建领域词典成为一项既有挑战性又有实际价值的工作.当前,领域术语提取工作所利用的网络语料主要是网页对应的正文,但是由于网页正文信息抽取所面临的难题会影响领域术语抽取的效果,那么利用网页的锚文本和查询文本替代网页正文进行领域术语抽取,则可以避免网页正文信息抽取所面临的难题.针对锚文本和查询文本所存在的文本长度过短、语义信息不足等缺点,提出一种适用于各种类型网络数据及网络用户行为数据的领域数据提取方法,并使用该方法基于提取到的网页正文数据、网页锚文本数据、用户查询信息数据、用户浏览信息数据等开展了领域术语提取工作,重点考察不同类型网络资源和用户行为信息对领域术语提取工作的效果差异.在海量规模真实网络数据上的实验结果表明,基于用户查询信息和用户浏览过的锚文本信息比基于网页正文提取技术得到的正文取得了更好的领域术语提取效果.     

Moved but not gone: an evaluation of real-time methods for discovering replacement web pages

Inaccessible Web pages and 404 “Page Not Found” responses are a common Web phenomenon and a detriment to the user’s browsing experience. The rediscovery of missing Web pages is, therefore, a relevant research topic in the digital preservation as well as in the Information Retrieval realm. In this article, we bring these two areas together by analyzing four content- and link-based methods to rediscover missing Web pages. We investigate the retrieval performance of the methods individually as well as their combinations and give an insight into how effective these methods are over time. As the main result of this work, we are able to recommend not only the best performing methods but also the sequence in which they should be applied, based on their performance, complexity required to generate them, and evolution over time. Our least complex single method results in a rediscovery rate of almost $70\,\%$ of Web pages of our sample dataset based on URIs sampled from the Open Directory Project (DMOZ). By increasing the complexity level and combining three different methods, our results show an increase of the success rate of up to $77\,\%$ . The results, based on our sample dataset, indicate that Web pages are often not completely lost but have moved to a different location and “just” need to be rediscovered.     

Web表格信息抽取的研究

Web表格信息抽取是信息抽取在Web表格上的一种应用，是当今的一个研究热点。本文首先分析了Web表格信息抽取的过程，包括表格识别、结构识别以及“属性-值”对的提取；然后对当前国内外在基于特定域和独立城两种表格信息抽取研究方法上的动态及成果追行了比较和分析。在此基础上，提出了表格抽取的关键技术——表格结构识别上的一些想法；最后展望了Web表格信息抽取技术的发展趋势。     

E-FFC: an enhanced form-focused crawler for domain-specific deep web databases

A key problem of retrieving, integrating and mining rich and high quality information from massive Deep Web Databases (WDBs) online is how to automatically and effectively discover and recognize domain-specific WDBs’ entry points, i.e., forms, in the Web. It has been a challenging task because domain-specific WDBs’ forms with dynamic and heterogeneous properties are very sparsely distributed over several trillion Web pages. Although significant efforts have been made to address the problem and its special cases, more effective solutions remain to be further explored towards achieving both the satisfactory harvest rate and coverage rate of domain-specific WDBs’ forms simultaneously. In this paper, an Enhanced Form-Focused Crawler for domain-specific WDBs (E-FFC) has been proposed as a novel framework to address existing solutions’ limitations. The E-FFC, based on the divide and conquer strategy, employs a series of novel and effective strategies/algorithms, including a two-step page classifier, a link scoring strategy, classifiers for advanced searchable and domain-specific forms, crawling stopping criteria, etc. to its end achieving the optimized harvest rate and coverage rate of domain-specific WDBs’ forms simultaneously. Experiments of the E-FFC over a number of real Web pages in a set of representative domains have been conducted and the results show that the E-FFC outperforms the existing domain-specific Deep Web Form-Focused Crawlers in terms of the harvest rate, coverage rate and crawling robustness.     

触发词与属性值对联合抽取方法研究

传统的属性值对抽取方法通常应用于短文本,且仅限于抽取字符串属性。提出一种触发词与属性值对的联合抽取方法,不仅能够通过识别触发词确定长文本中的信息语句,从而确定二元语义属性的取值,而且能够考虑触发词、字符串属性和属性值的相互依赖关系,基于条件随机场构建联合标记模型,提高字符串属性值对的抽取性能。实验结果显示,与传统方法相比,所提出的方法能够抽取二元语义属性值对,并且对字符串属性的抽取准确率、召回率和F值分别提高15.3%、15.5%和15.5%,同时抽取所用平均时间降低76.29%。     

基于网页框架和规则的网页噪音去除方法

提出了一种基于网页框架和规则的网页去除噪音的新方法，该方法根据网页中HTML标签将网页分成若干部分，对各个table的长宽比属性进行比较，去掉长宽比很大的部分，并对其余table中的内容进行分析，根据内部是否存在和段落文字有关的标签

或
等来区分主题内容和噪音内容，在此基础上去除噪音内容。对来自CWT200G语料的132 559个网页进行测试后的结果表明，该方法可以有效地去除网页噪音，使索引文件减少约75%，大大地提高了检索速度，准确度也得到一定提高。     

17.

An intelligent Internet information delivery system to evaluate site preferences     

《Expert systems with applications》2000,18(1):33-42

Due to the continual growth of the popularity of the Internet, commercial as well as industrial companies have been advertising their products and services via the Web, resulting in a drastic increase in the number of Web sites. With a huge amount of information available on various Web sites, it is important that the relevant and useful information favored by individual visitors is delivered to the destinations in a timely manner. The two traditional approaches for sorting web information including search engines and hierarchical indices require specific input by the visitors who may not have any specific favorite sites in mind. In most cases, site surfers are just “window-shopping” on the Internet, looking for “exciting” things. This paper proposes the development of an Intelligent Internet Information Delivery System (IIIDS) which is characterized by its machine learning capability based on the data of site spots “movements” by the users within the Web pages and then evaluates the site preferences of the relevant users by means of fuzzy logic principle. The development of IIIDS and the test of a prototype to evaluate its feasibility are covered in this paper.     

18.

基于结构相似网页聚类的正文提取算法研究          下载免费PDF全文

王海涌  冯兆旭  杨海波  张津栋 《计算机工程与应用》2018,54(11):122-127

针对当前互联网网页越来越多样化、复杂化的特点,提出一种基于结构相似网页聚类的网页正文提取算法,首先,根据组成网页前端模板各“块”对模板的贡献赋以不同的权重,其次计算两个网页中对应块的相似度,将各块的相似度与权重乘积的总和作为两个网页的相似度。该算法充分考虑结构差别较大的网页对网页正文提取的影响,通过计算网页间相似度将网页聚类,使得同一簇中的网页正文提取结果更加准确。实验结果表明,该方法具有更高的准确率,各项评价指标均有所提高。     

19.

一种基于分类算法的网页信息提取方法   总被引：3，自引：0，他引：3  

汪建伟  杨冬青  高军  王腾蛟 《计算机科学》2008,35(3):91-93

在目前的Web信息提取技术中,很多都是基于HTML结构的,由于HTML结构的经常变化,使提取模板需要经常更新,而提取模板的更新需要很多领域知识.本文提出一种基于分类算法的Web信息提取方法,通过将网页文本按照其显示属性的不同进行分组,以显示属性值为基础对Web页面文本进行分类,获取所关注文本,从而完成对web页面的信息提取.这种提取方法操作简单,易于实现,对网页结构的依赖性小.     

An intelligent Internet information delivery system to evaluate site preferences

Due to the continual growth of the popularity of the Internet, commercial as well as industrial companies have been advertising their products and services via the Web, resulting in a drastic increase in the number of Web sites. With a huge amount of information available on various Web sites, it is important that the relevant and useful information favored by individual visitors is delivered to the destinations in a timely manner. The two traditional approaches for sorting web information including search engines and hierarchical indices require specific input by the visitors who may not have any specific favorite sites in mind. In most cases, site surfers are just “window-shopping” on the Internet, looking for “exciting” things. This paper proposes the development of an Intelligent Internet Information Delivery System (IIIDS) which is characterized by its machine learning capability based on the data of site spots “movements” by the users within the Web pages and then evaluates the site preferences of the relevant users by means of fuzzy logic principle. The development of IIIDS and the test of a prototype to evaluate its feasibility are covered in this paper.     

基于结构相似网页聚类的正文提取算法研究

针对当前互联网网页越来越多样化、复杂化的特点,提出一种基于结构相似网页聚类的网页正文提取算法,首先,根据组成网页前端模板各“块”对模板的贡献赋以不同的权重,其次计算两个网页中对应块的相似度,将各块的相似度与权重乘积的总和作为两个网页的相似度。该算法充分考虑结构差别较大的网页对网页正文提取的影响,通过计算网页间相似度将网页聚类,使得同一簇中的网页正文提取结果更加准确。实验结果表明,该方法具有更高的准确率,各项评价指标均有所提高。     

一种基于分类算法的网页信息提取方法

在目前的Web信息提取技术中,很多都是基于HTML结构的,由于HTML结构的经常变化,使提取模板需要经常更新,而提取模板的更新需要很多领域知识.本文提出一种基于分类算法的Web信息提取方法,通过将网页文本按照其显示属性的不同进行分组,以显示属性值为基础对Web页面文本进行分类,获取所关注文本,从而完成对web页面的信息提取.这种提取方法操作简单,易于实现,对网页结构的依赖性小.