基于确定有限状态自动机的改进多模式匹配算法研究

针对网络入侵检测系统的一般问题,在详细分析现存单模式与多模式匹配算法的基础上,将AC算法里的DFSA方法与单模式匹配算法BMH的思想相融合,以求取优化检测效率为目标,提出一种基于确定有限状态自动机的改进多模式匹配算法。该算法特别适合在大字符集文本串中查找小字符集模式串。将该改进多模式匹配算法应用到Snort入侵检测过程中,针对处理结果进行科学评价。通过实例的应用,验证了该改进算法的可行性和高效性。     

基于属性实例集合语义相似的模式匹配

近年来,模式匹配作为Web信息集成管理与应用中的重要问题,得到了广泛关注和研究。已有模式匹配方法大多是基于模式信息的,对数据实例信息利用则较少。针对数据集成环境下模式信息不全或存在冲突的模式信息导致模式匹配结果不正确的问题,给出了计算属性间语义相似性的方法以提高模式匹配的性能,分析了模式内语义相近多属性间的语义差别,进一步给出了基于带权二分图最大化算法的模式匹配方法。通过实验,说明基于实例集合语义相似的模式匹配方法能在模式信息不全面或存在冲突的情况下,得到更完整、更准确的模式匹配。     

多策略机器翻译系统IHSMTS中模式库的设计

本文介绍了语料库研究的一些特点，并以交互式多策略的思想为背景，对IHSMTS系统CBMT翻译引擎中模式库的设计思想，并对模式的表示，模式库的组织进行了阐述，方便了模式库检索，添加等操作的实现。同时介绍了近似模式匹配算法，从句法功能相似的角度抽取出所比较事例的功能词和句法特征，作为检索模式库和相似度计算的依据。最后介绍了模式库知识获取和知识精练的过程。     

基于Snort的改进BMH单模式匹配算法研究

对目前常见的网络入侵检测系统中模式匹配算法进行研究总结,针对著名的Snort中的模式匹配算法,进行了详细分析和对比。基于现存BMH等算法思想,以求取优化检测效率为目标,提出了一种基于Snort的改进BMH模式匹配算法。将改进的BMH模式匹配算法应用到实际网络入侵检测过程中,针对处理结果进行科学评价。通过实例的应用,验证了改进算法的可行性和高效性。     

一种基于知网的中文句子情感倾向判别方法*

针对基于知网的中文句子情感倾向判别方法中存在的准确率不高的问题,提出采用否定模式匹配与依存句法分析相结合的方法。研究分析了修饰词极性以及否定共享模式,确定修饰词以及扩展极性的定量和否定共享范围,提出依存语法距离的影响因素来计算情感倾向,并且在否定模式匹配后改进句子极性算法。实验结果表明该方法取得了良好的效果。     

基于混合策略的汉英双向机器翻译系统的设计

本文对于机器翻译方法中的基于规则的方法、基于模板的方法及基于实例的方法进行了比较;对于完全句法分析和浅层句法分析方法也进行了分析.然后介绍了将上述方法结合起来的汉英双向机器翻译系统的设计思想及工作流程.基于混合策略的目的是为了提高汉英双向机器翻译系统的译文质量.实验结果表明,本文提出的设计思想对于机器翻译译文质量的提高具有良好的效果.基于模板及实例方法对于译文质量提高的贡献率为口语为15%,篇章翻译为10%.     

XML数据查询的CSP实现和算法改进

XML犤1犦正在迅速成为WWW上采用的信息交换、表示和存储手段之一,该文简单介绍了基于OEM数据模型犤2犦的离散XML数据模式概念和在此思想上发展起来的基于模式匹配的数据查询概念;通过将模式匹配转换到约束满足问题(CSP)来具体求解匹配实例,从而使WWW基于内容的查询转变为更为精确的基于结构的查询;接下来,从理论上证明了这种模式匹配到CSP转换的可行性;最后,讨论了求解CSP的算法的改进问题。     

汉语篇章主位推进模式自动识别方法

为了实现篇章连贯性自动分析,针对语篇连贯应该具备“各句的主位和述位必须相互联系”这一条件,研究了汉语篇章主位推进模式自动识别方法。该方法使用 LTP 语言科技平台进行句法分析进而进行主位切分,使用词语相似度计算方法对主位、述位进行模式匹配。实验表明该方法能在一定程度上自动分析出句子间的主位推进模式,进而促进汉语篇章连贯性研究。     

基于实例的Deep Web数据源结果模式匹配技术

针对Deep Web数据源结果模式信息的匹配问题,提出了一种基于实例的结果模式匹配的方法。该方法能够匹配并验证数据源的结果模式属性信息,同时记录数据在结果页面中的结构信息。利用基于查询请求松弛的两段模式匹配方法精确地匹配模式属性,并基于模式属性间共现度信息来提高属性匹配的查全率和查准率。从实验结果分析可以看出,基于实例的方法能够有效地识别数据源模式信息,提高模式属性查全率和查准率。     

自然语言接口的设计方法评述

自然语言接口是最方便的人机接口。本文从关键字/模式匹配、词法分析、句法分析、语义分析、语用分析和语言生成等几个方面对自然语言接口的设计方法作了全面评述。汉语是我们日常使用的语言。在目前形势下,建立汉语语言的实用人机接口非常必要。本文的讨论结合了汉语语言的实际。     

Effective pattern matching of source code using abstract syntax patterns

Program understanding can be assisted by tools that match patterns in the program source. Lexical pattern matchers provide excellent performance and ease of use, but have a limited vocabulary. Syntactic matchers provide more precision, but may sacrifice performance, robustness, or power. To achieve more of the benefits of both models, we extend the pattern syntax of AWK to support matching of abstract syntax trees, as demonstrated in a tool called TAWK. Its pattern syntax is language‐independent, based on abstract tree patterns. As in AWK, patterns can have associated actions, which in TAWK are written in C for generality, familiarity, and performance. The use of C is simplified by high‐level libraries and dynamic linking. To allow processing of program files containing non‐syntactic constructs such as textual macros, mechanisms have been designed that allow matching of ‘language‐like’ macros in a syntactic fashion. We survey and apply prototypical approaches to concretely demonstrate the tradeoffs in program processing. Our results indicate that TAWK can be used to quickly and easily perform a variety of common software engineering tasks, and the extensions to accommodate non‐syntactic features significantly extend the generality of syntactic matchers. Copyright © 2005 John Wiley & Sons, Ltd.     

句法分析前沿动态综述

句法分析的目标是分析输入句子并得到其句法结构,是自然语言处理领域的经典任务之一。目前针对该任务的研究主要集中于如何通过从数据中自动学习来提升句法分析器的精度。该文对句法分析方向的前沿动态进行了调研,分别从有监督句法分析、无监督句法分析和跨领域跨语言句法分析三个子方向梳理和介绍了2018—2019年发表的新方法和新发现,并对句法分析子方向的研究前景进行了分析和展望。     

一种基于优先关系的LSD分析算法

句法分析是机器翻译中的一个重要环节,首先介绍了基于LSD方法进行句法分析的基金概念,然后提出了一种苦于优先关系的确定性LSD算法,主要讨论了基于名法结构信息优先关系和基于词谍统计优先关系的句法结构歧义消解策略,并给出了具体实现方法和复杂性分析,实验结果表明,该方法在保持确定性算法分析效率的前提下,提高了分析结果的正确率和规则应用的召回率。     

基于统计学习模型的句法分析方法综述

句法分析是自然语言处理领域中重要的基础研究问题之一。近年来,基于统计学习模型的句法分析方法研究受到了广泛关注,多种模型与算法先后被提出。从采用的学习模型和算法类型着手,该文系统地对各种主流和前沿方法进行了归纳与分类,着重对各类模型和算法的思想进行了分析和对比,并对中文句法分析的研究现状进行了综述;最后,对句法分析下一步的研究方向与趋势进行了展望。     

用自然语言处理改进问答系统的研究和实现

问答系统是当前人工智能应用的一个重要领域，而传统的基于模式匹配方法的问答系统具有很大的局限性。该文研究了基于HMM模型、图句法分析、词典和规则的自然语言处理算法。将这些算法应用到问答系统中，扩展了对话管理模块，对用户的自然语言进行语义分析，从而实现对话的语义块识别、主题识别和对话信息提取，提高了系统对复杂用户输入的处理能力，克服了传统方法的不足，并使用Java实现了一个实验系统。     

Towards Incremental Parsing of Natural Language Using Recursive Neural Networks

In this paper we develop novel algorithmic ideas for building a natural language parser grounded upon the hypothesis of incrementality. Although widely accepted and experimentally supported under a cognitive perspective as a model of the human parser, the incrementality assumption has never been exploited for building automatic parsers of unconstrained real texts. The essentials of the hypothesis are that words are processed in a left-to-right fashion, and the syntactic structure is kept totally connected at each step.Our proposal relies on a machine learning technique for predicting the correctness of partial syntactic structures that are built during the parsing process. A recursive neural network architecture is employed for computing predictions after a training phase on examples drawn from a corpus of parsed sentences, the Penn Treebank. Our results indicate the viability of the approach and lay out the premises for a novel generation of algorithms for natural language processing which more closely model human parsing. These algorithms may prove very useful in the development of efficient parsers.     

Parsing Arabic using induced probabilistic context free grammar

The importance of the parsing task for NLP applications is well understood. However developing parsers remains difficult because of the complexity of the Arabic language. Most parsers are based on syntactic grammars that describe the syntactic structures of a language. The development of these grammars is laborious and time consuming. In this paper we present our method for building an Arabic parser based on an induced grammar, PCFG grammar. We first induce the PCFG grammar from an Arabic Treebank. Then, we implement the parser that assigns syntactic structure to each input sentence. The parser is tested on sentences extracted from the treebank (1650 sentences).We calculate the precision, recall and f-measure. Our experimental results showed the efficiency of the proposed parser for parsing modern standard Arabic sentences (Precision: 83.59 %, Recall: 82.98 % and F-measure: 83.23 %).     

Tlex

TLex is a pattern matching and parsing library for C++. In comparison to existing pattern matching tools, TLex sets a new standard for expressiveness when nearly optimal speed is required. It incorporates recent advances in regular expression technology that make it easier to write patterns and extract information from a successful match. An overview of TLex is presented, the pattern and parsing languages are described, and actual results of its use are discussed.     

Probabilistic context-free grammars estimated from infinite distributions

In this paper, we consider probabilistic context-free grammars, a class of generative devices that has been successfully exploited in several applications of syntactic pattern matching, especially in statistical natural language parsing. We investigate the problem of training probabilistic context-free grammars on the basis of distributions defined over an infinite set of trees or an infinite set of sentences by minimizing the cross-entropy. This problem has applications in cases of context-free approximation of distributions generated by more expressive statistical models. We show several interesting theoretical properties of probabilistic context-free grammars that are estimated in this way, including the previously unknown equivalence between the grammar cross-entropy with the input distribution and the so-called derivational entropy of the grammar itself. We discuss important consequences of these results involving the standard application of the maximum-likelihood estimator on finite tree and sentence samples, as well as other finite-state models such as hidden Markov models and probabilistic finite automata.     

面向数据的句法分析技术

面向数据的分析技术(Data-Oriented Parsing ,DOP) 首先由Scha (1990) 年提出。该处理技术具体表达了这样的假设:人类对语言的领悟和创造依赖于以往具体的语言经验,而不是依赖于抽象的语法规则。DOP 技术框架可以分为: (1) 建立包括以往成功分析的语言经验的标注语料库; (2) 从语料库中抽取片段单元来构造新语言的分析过程;(3) 计算分析过程的概率。DOP 模型建立在包含大量语言现象的语料库基础上,把经过标注的语料库看作一个语法( Grammar) 。当输入一个新的语言现象时,系统通过对语料库中片段单元的组合运算来组合分析过程。根据所有片段单元的共现频率来评估最有可能性的分析结果。本文详细论述了语料库的标注,片段单元的定义,组合分析和概率计算。