向上学习方法改进移进归约中文句法分析

基于移进归约的句法分析系统具有线性的时间复杂度,因此在大规模句法分析任务中具有特别实际的意义。然而目前移进归约句法分析系统的性能远低于领域内最好的句法分析器,例如,伯克利句法分析器。该文研究如何利用向上学习和无标注数据改进移进归约句法分析系统,使之尽可能接近伯克利句法分析器的性能。我们首先应用伯克利句法分析器对大规模的无标注数据进行自动分析,然后利用得到的自动标注数据作为额外的训练数据改进词性标注系统和移进归约句法分析器。实验结果表明,向上学习方法和无标注数据使移进归约句法分析的性能提高了2.3%,达到82.4%。这个性能与伯克利句法分析器的性能可比。与此同时,该文最终得到的句法分析系统拥有明显的速度优势(7倍速度于伯克利句法分析器)。     

改进LR算法的汉语层次化句法分析器设计

为改进传统的汉语句法分析算法,采用自顶向下、逆向扫描的分析方法,结合汉语语序的重要特性,提出了一种改进自左向右(left to right,LR)分析算法的汉语层次化句法分析器设计方法.该分析器仅基于当前经验得出十几条汉语语序特征,不断逆向扫描语句,结合上下文无关文法和汉语语序规则进行移进-归约处理,进而得到汉语层...     

维语句法分析器中的词义排岐问题的研究

本文论述了现代维语短语自动划分标注的基本处理算法，排歧处理，词义排歧中的搭配，现代维语词义排歧算法的语言学依据，现代维语词义排歧算法的实现。通过典型的例子，说明了分析器中存在的问题可以用短语划分标和词义排歧相结合的方法并扩展到句义排歧方法来解决。     

一种基于句法语义特征的汉语句法分析器

句法分析不是简单地符号推理,而应该是一种实体推理。增加语义信息是实现句法分析实体推理的有效手段。本文所介绍的句法分析器有两个特色:一是利用基于词的兼类处理规则大大提高了句法分析的效率;二是利用词静态和动态的句法语义特征来限制句法规则过强的生成能力,取得了较好的效果。     

基于统计学习模型的句法分析方法综述

句法分析是自然语言处理领域中重要的基础研究问题之一。近年来,基于统计学习模型的句法分析方法研究受到了广泛关注,多种模型与算法先后被提出。从采用的学习模型和算法类型着手,该文系统地对各种主流和前沿方法进行了归纳与分类,着重对各类模型和算法的思想进行了分析和对比,并对中文句法分析的研究现状进行了综述;最后,对句法分析下一步的研究方向与趋势进行了展望。     

基于改进线图分析算法的浅层汉语句法分析器的设计与实现

针对传统的汉语句法分析算法进行改进,采用了自底向上与自顶向下相结合的线图分析方法,分析、设计和实现了一个汉语句法分析原型系统.该系统实现了基于最大词长匹配算法的分词模块、基于统计方法的词性标注模块和基于改进的线图分析算法的句法分析模块.最后对系统进行小规模中文文本试验测试,测试结果表明利用改进的分析算法,使得句法分析效率和分析结果的准确率均有一定程度的提高.     

面向GPU计算平台的归约算法的性能优化研究

归约算法在科学计算和图像处理等领域有着十分广泛的应用,是并行计算的基本算法之一,因此对归约算法进行加速具有重要意义。为了充分挖掘异构计算平台下GPU的计算能力以对归约算法进行加速,文中提出基于线程内归约、work-group内归约和work-group间归约3个层面的归约优化方法,并打破以往相关工作将优化重心集中在work-group内归约上的传统思维,通过论证指出线程内归约才是归约算法的瓶颈所在。实验结果表明,在不同的数据规模下,所提归约算法与经过精心优化的OpenCV库的CPU版本相比,在AMD W8000和NVIDIA Tesla K20M平台上分别达到了3.91~15.93和2.97~20.24的加速比; 相比于OpenCV库的CUDA版本与OpenCL版本,在NVIDIA Tesla K20M平台上分别达到了2.25~5.97和1.25~1.75的加速比;相比于OpenCL版本,在AMD W8000平台上达到了1.24~5.15的加速比。文中工作不仅实现了归约算法在GPU计算平台上的高性能,而且实现了在不同GPU计算平台间的性能可移植。     

面向数据分析的中文问句句法研究

本文以面向数据分析为基本思想,同时结合相似度概率评估技术,实现中文问句句法分析。对于输入问句,首先需要经过词汇层与词性层以及句型和疑问词初选得到片段;然后,基于已构建的数据库,对词汇词性序列的子序列搜索片段,进行片段组合;最后,对输入语句与初选结果进行相似性评估,完成输入语句的组合分析过程。为论证方法有效性,基于200句山西旅游问句做实验。实验结果表明,句法分析的准确率达到96%。     

一个基于GLR算法的英汉机器翻译浅层句法分析器

浅层句法分析是指短语级的自然语言句法分析。在研制MatLink英汉机器翻译系统的过程中,提出了扩充的CFG文法用于描述英语短语句法,并改进了GLR算法,设计实现了用于英汉翻译的英语浅层句法分析器。该分析器采用多出口的分析表结构,引入符号映射函数实现短语边界的自动识别,用孩子兄弟树描述短语的句法结构,并通过短语转换模式实现源语言向目标语言的短语级转换。最后,通过对一个实例句子的分析阐述了该浅层句法分析器的设计思想和工作过程。     

面向特定领域的汉语句法主干分析

本文提出了一种面向特定领域的汉语句法主干分析方法。该方法中包括浅层句法分析、模板匹配两个关键环节,形成用模板表示的句法主干。在浅层句法分析中,本文使用了级联的隐马尔可夫模型进行了短语的归并;而后以已有的汉语句子模板为基础,进行模板匹配以达到句法主干分析的目标。在针对体育新闻领域语料的开放测试中,模板匹配的精确率和召回率分别达到了98.04%和81.43% ,句子级的精确率和召回率分别达到了96.97%、84.85% ,实验表明该方法在特定领域是有效的。     

Hyperbolic Dependency Tree Visualization for Parser Evaluation

We present a novel tool to visualize dependency trees in a hyperbolic layout, and to provide visual support for comparative evaluation of parsing errors. Compared with traditional flat tree visualization, our hyperbolic tree visualization tool can be more convenient for showing long-range dependencies. Our tool integrates the hyperbolic view with a flat view, and support corpus-level error analysis. It offers several features, including statistical analysis of error distributions, visual analysis of individual dependency trees, and an integrated online interface.     

一种支持异构协议解析的可配置解析器设计*

针对当前网络转发设备难以快速应对不断出现的新型网络协议的现状,设计了一种支持异构协议的可重配置解析器。首先,通过配置用户定制模块,实时更新用于解析逻辑的解析树,快速实现新型协议的添加、删除。此外,在满足传统互联网解析需求同时,引入数据链路层的可配置性,将异构协议解析进行统一。最后,通过相应的解析树映射算法将用户定制的协议映射到硬件结构中,并通过匹配域的压缩,减少了所用的硬件资源。实验结果表明,与已有的方案相比,节省了20%的slice资源和17%的BRAM资源,并实现176Gbps的解析速度。     

POF协议解析器

针对SDN的安全问题,传统的防火墙、防病毒软件能在一定程度上防止外部非法入侵,但是对于防御非法修改交换机/控制器配置和流规则造成的重要信息泄露等内部威胁的效果甚微。POF协议作为SDN的南向接口协议,实现了控制器对网络的配置管理。通过解析POF消息可监控SDN网络通信内容,从而发掘内部安全问题。本文对POF协议进行详细的研究和分析,并基于网络安全审计系统设计POF协议解析器。该协议解析器能够在线解析识别POF消息类型及其关键字段,并生成会话日志和操作日志进行存储展示,有助于及时发掘非法行为,并可在网络安全事件发生后协助溯源取证。通过实验测试,系统集成POF协议解析器后在满足不丢包情况下至少能达到30000的每秒并发连接数、460 Mbps的吞吐以及每秒处理53万个数据包的性能。     

GPU-Driven Scalable Parser for OBJ Models

这篇论文用为巨大的基于文章的文件处理单位(GPU ) 的图形论述一个可伸缩的分析器框架。明确地,我们的解决方案被设计高效地分析哪个指定 3D 几何学和他们的拓扑学的波前 OBJ 模型文章。我们的工作把它的可伸缩性和效率基于基于块的处理。全部分析问题被细分进其块能独立地被处理并且无缝地合并了的 subproblems。处理的在内块被使高度平行,由 GPU 利用了。我们的途径从而克服存在 OBJ 分析器的瓶颈。执行估计我们的系统的性能的实验证明我们的解决方案显著地超过存在基于中央处理器的解决方案和基于 GPU 的解决方案也。     

A Controlled Skip Parser

Real-world natural language sentences are often long and complex, and contain unexpected grammatical constructions. They even include noise and ungrammaticality. This paper describes the Controlled Skip Parser, a program that parses such real-world sentences by skipping some of the words in the sentence. The new feature of this parser is that it controls its behavior by finding out which words to skip, without using domain-specific knowledge. The parser is a priority-based chart parser. By assigning appropriate priority levels to the constituents in the chart, the parser's behavior is controlled. Statistical information is used for assigning priority levels. The statistical information (n-grams) can be thought of as a generalized approximation of the grammar learned from past successful experiences. The control mechanism gives a great speed-up and reduction in memory usage. Experiments on real newspaper articles are shown, and our experience with this parser in a machine translation system is described.     

XML 解析技术在IPTV 机顶盒中的应用

根据实际要求,设计了一种可以在Linux嵌入式操作系统中运行的XML解析器,详细说明了设计过程以及基于C语言的编程实现,并通过实际检测,证明了其可行性和有效性,已成功应用于IPTV机顶盒。     

高性能的XML解析器OnceXMLParser

XML(extensible markup language)解析器是分析、处理XML文档的基础软件.研究高性能验证型XML解析器的实现.开发了支持3种解析模型的XML解析器OnceXMLParser,该解析器通过了严格的XML兼容性测试和API兼容性测试.OnceXMLParser具有轻量级体系结构并进行了多方面的性能优化,包括高效的词法分析、基于统计分析的自动机实现、合理的资源分配策略以及语言层次上的优化.性能测试结果表明,OnceXMLParser具有出色的解析性能.     

An Operator Precedence Parser for Standard Prolog Text

Prolog is a language with a dynamic grammar which is the result of embedded operator declarations. The parsing of such a language cannot be done easily by means of standard tools. Most often, an existing parsing technique for a static grammar is adapted to deal with the dynamic constructs. This paper uses the syntax definition as defined by the ISO standard for the Prolog language. It starts with a brief discussion of the standard, highlighting some aspects that are important for the parser, such as the restrictions on the use of operators as imposed by the standard in order to make the parsing deterministic. Some possible problem areas are also indicated. As output is closely related to input in Prolog, both are treated in this paper. Some parsing techniques are compared and an operator precedence parser is chosen to be modified to deal with the dynamic operator declarations. The necessary modifications are discussed and an implementation in C is presented. Performance data are collected and compared with a public domain Prolog parser written in Prolog. It is the first efficient public domain parser for Standard Prolog that actually works and deals with all the details of the syntax.     

Token-by-token Syntax-directed Editing (Using an LR Parser)

This paper demonstrates a new approach to the building of a syntax-directed editor (SDE). The approach does not force the user to adopt a top-down syntax-oriented view of editing but supports the traditional text-editing approach of deciding which token to write next. Choices are made from menus listing only the tokens that are syntactically legal at a given point. The actual menus used by the editor are created by reference to the tables used by an LALR parser-generator.