混合语料的新词识别算法设计

随着全球化趋势和国际交流的日益频繁,语言之间的渗透与融合日渐增加,不同语种夹杂的表达方式在生活中也相当普遍,特别是在使用双语或多语的地区。作为一个多民族融合的国家,我国各地的方言与普通话夹杂的表达方式也不在少数。这种语言混用的现象造成了分词识别上的困难。本文收集了各种多语夹杂的相关语料,分析了多语夹杂的语言特征,在此基础上提出了以互信息(mutual information)和熵(entropy)过滤为基础的新词识别算法,有效提高了从混合语料中识别新词的精度。     

英语翻译中语料库的使用——基于语料库中“Community”及“Public Health”的调查

语料库语言学发展至今已有四十余年了,随着计算机技术的不断发展,语料库的建立也越来越方便,语料的搜集也越来越精细专业化。如今语料库的应用已经渗透进各个领域,无论是语言学研究,学习策略探索,教学设计开发,翻译对比等等领域,语料的客观性,全面性使得研究更具科学性。语料库按不同的分类方法可以有多种分类,而基于网络资源的语料库可谓是包罗万象,语料的覆盖率相当广,虽然缺乏专业性和精确性,但是其广度使得网络不失为进行小调查的好帮手。     

对外汉语教学领域可比语料库的构建及应用研究——以“把”字句的句法语义标注及应用研究为例

该文构建了一个规模为11万字的,包含自然语料、对外汉语教材语料和汉语中介语语料的小型“把”字句可比语料库,制订了“把”字的句法语义标注框架,对语料库中1 556个“把”字句进行了句法语义标注,开发了检索界面,探讨了可比语料库在“把”字句教学与研究中的应用。数据显示: 汉语教材中表示具体空间转移、描述动作的方式和次数、信息转移、致使类的“把”字句偏多,但表示抽象空间转移、判断或认同类的“把”字句偏少。学习者对于结果类“把”字句掌握较好;教材中S+把+N+V+状态补语、S+把+N₁+V+N₂等五种结构形式的“把”字句偏多,但S+把+N₁+V为+N₂、S+把+N₁+V到+N₂等六种结构形式的“把”字句偏少。学习者须依次加强S+把+N+V+趋向补语、S+把+N₁+V到+N₂等17种结构形式的“把”字句的学习。研究认为汉语可比语料库可为对外汉语教材研究、教材编排、二语习得研究、课堂教学提供数据支持与语料基础。     

基于限定领域的平行语料库的设计

作为一项重要的基础资源,双语平行语料库在人工智能领域的研究起着举足轻重的作用。我国涉及少数民族语言的双语语料库的探索工作相对较少,本文介绍了汉维双语语料库的建立过程,并对语料的收集整理和组织做了初步的设想。     

如何在VB中利用API函数操作注册表

介绍了在VB程序设计中如何利用API函数对系统注册表进行访问和操作，并给出了相应的范例。     

Mobile robot programming using natural language

How will naive users program domestic robots? This paper describes the design of a practical system that uses natural language to teach a vision-based robot how to navigate in a miniature town. To enable unconstrained speech the robot is provided with a set of primitive procedures derived from a corpus of route instructions. When the user refers to a route that is not known to the robot, the system will learn it by combining primitives as instructed by the user. This paper describes the components of the Instruction-Based Learning architecture and discusses issues of knowledge representation, the selection of primitives and the conversion of natural language into robot-understandable procedures.     

Bootstrapping in a language learning environment

Abstract   This paper addresses a fundamental dilemma in the design of intelligent language learning environments: the more freedom a system offers to learners in the use of the target language, the more unwieldy the data is which the learners produce and the less able the system is to support inferences about learners from that data. It is shown how in a platform where learners and teachers interact, the teachers' feedback which is archived in the system and indexed to the learners' target language production can constitute affordances that support a process of bootstrapping from raw language output to potential insights into the learners' interlanguage and gaps in their grasp of the target language. The approach is illustrated with three types of learner errors uncovered in the corpus of learner English through this bootstrapping heuristic.     

基于转换的汉语基本名词短语识别模型

基本名词短语的识别在自然语言信息处理领域具有重要作用。本文首先从语言学的角度提出了汉语基本名词短语的概念,然后从语言信息处理的角度将用于基本名词短语识别的知识分为两部分,即表示基本名词短语句法组成的基本结构模板(静态知识)与表示基本名词短语出现的上下文环境特征的转换规则(动态知识)。在此基础上设计了一种基于转换的基本名词短语识别模型,该模型可同时结合这两类知识识别基本名词短语。实验结果显示了较高的识别正确率。     

一种领域语料驱动的句子相关性计算方法研究

句子相关性计算在自然语言处理的多个实践应用中均具有十分重要的作用,如舆情监测、信息检索、统计机器翻译等。在明确相似性与相关性之间的关系之后,设计了一种基于领域语料驱动的句子相关性计算方法,该方法基于同一领域的语料构建一个“句-段-篇”3层的领域语义空间,通过度量词语在各个层级间的共现概率、共现平均距离和句长等因子来测量词间的主题相关性。与基于字面特征、HowNet和同义词词林的方法进行了实验对比,结果表明该方法具有较好的实践应用价值。     

大规模中文语料库检索技术研究

大型中文语料库的检索需求与通用文本检索系统差异很大,需要研究专门的中文语料库检索技术。Cici是一个面向GB规模的中文语料检索系统,它高效地实现了4种针对汉语研究的检索功能,涉及词性的检索、词或短语的重叠式检索、带通配符的汉字串检索、汉字串频次检索。实现以上检索功能的关键是:先统计语料库的N-gram汉字串频次,并将统计结果分别按频次大小及汉字串Unicode编码进行倒排序索引。对用户输入的检索请求,先检索汉字串频次统计结果,向用户反馈一个备选汉字串集合;然后让用户参与检索优化过程,选择正确性较高的汉字串;最后在语料库中检索用户选定的检索词。