汉语自动分词研究的现状与新思维

汉语自动分词是机器翻译、文献标引、智能检索、自然语言理解与处理的基础。本文对十余年来的汉语自动分词的研究方法与成果进行了综合论述, 分析了现有分词方法的特点, 提出了把神经网络和专家系统结合起来建立集成式汉语自动分词系统的新思维。     

汉语分词对中文搜索引擎检索性能的影响

针对中文网页的特点,研究了汉语分词对中文搜索引擎检索性能的影响。首先介绍中文分词在搜索引擎中的作用,然后介绍常用的分词算法。作者利用网页特征,提出一个简单的“带启发性规则的双向匹配分词策略”。最后,在10G的语料库中,就各种分词算法对查全率和查准率的影响进行了实验比较,结果表明分词性能和检索性能没有正比关系。     

一个自动分词分类系统的实现

本文介绍一个自动分词分类系统的实现过程。该系统采用“后控词表分词法” ,解决了词典分词法中词典构造困难、更新滞后的问题 ,提高了主题词标引的质量和效率 ,并通过对词表分类法的完善和优化 ,使自动分类的结果达到了实用水平     

基于既定词表的自适应汉语分词技术研究

提出一种汉语分词算法，在给定的分词词表的基础上进行汉语分词时，不但能成功切分出分词词表中已有的词，而且能同时自动识别出分词词表中没有的词，即未登录词。与逆向最长匹配法以及其他未登录词识别算法进行的测试比较表明，该分词算法可以有效地解决大多数未登录词的识别问题，并且能减少分词错误，同时对分词算法的效率基本没有影响。     

基于反序词典的中文逆向最大匹配分词系统设计*

介绍几种常见的分词算法，在改进传统的反序词典、优化逆向最大匹配算法的基础上，设计并实现基于逆向最大匹配的中文分词系统，试验证明速度和精度都有显著提高。     

机器翻译的可读性与可懂性分析研究

在分析机器翻译的可读性和可懂性含义的基础上,首先阐述二者对于人们在检索和阅读外文资料过程中所起到的作用,然后提出三个影响机器翻译可懂性的指标,并引入词性和指标的权重,最后给出一种新的机器翻译译文质量的可懂性评价模型.     

融合不同语义知识的中国古代典籍机器翻译研究

[目的/意义]文章旨在探究将不同语义知识融入机器翻译模型能否增强机器翻译的效果以及何种语义知识的作用更为显著,以助力机器翻译研究与中华优秀传统文化的传承与传播。[方法/过程]研究选取了30万对精加工的《二十四史》“古代汉语-现代汉语”平行语料作为实验数据,基于神经机器翻译OpenNMT模型,通过三种不同的特征融合方法,将词边界知识、词性知识、实体知识和依存句法知识分别融入机器翻译模型的训练过程中。[结果/结论]不同语义知识与模型的融合对典籍翻译效果有不同的影响,词边界知识、词性知识、实体知识对机器翻译任务有一定的贡献且实体知识的贡献最大,依存句法知识无明显作用。     

汉语自动分词与内容分析法研究

汉语自动分词是计算机中文信息处理中的难题,也是文献内容分析中必须解决的关键问题之一。本文通过对已有自动分词方法及其应用研究的分析,指出了今后汉语自动分词研究的三个发展方向:克服汉语文本切分中的困难,继续研究传统文本切分的有效方法;将人工智能技术与汉语自动分词技术有机结合起来;改造汉语文本书写规则使之利于计算机切分。并分析了汉语自动分词和内容分析法之间的密切关系,以及汉语自动分词对内容分析法的影响     

机器翻译系统融合方法及其应用探究

多机器翻译系统融合技术能够对不同机器翻译系统的输出结果有效地进行融合,产生更好的翻译性能,因此该技术成为机器翻译研究领域的一个热点问题。文章介绍了中国科学技术信息研究所（ISTIC）参加第七届全国机器翻译研讨会机器翻译评测的情况。本单位参加了英汉科技领域的机器翻译评测项目。文章阐述了本单位机器翻译系统的实现框架以及实施细节,并分析了它们在评测数据上的性能表现,最后对机器翻译系统融合方法目前的现状进行讨论,并对该系统融合方法进行总结和展望。     

2015全国机器翻译研讨会ISTIC评测报告

中国科学技术信息研究所（ISTIC）机器翻译研发工程历史悠久,几经变迁。本文在回顾ISTIC机器翻译发展历史的基础上,介绍了最近参加第十一届全国机器翻译研讨会机器翻译评测（简称CWMT’2015）系统的具体表现。CWMT’2015评比中, ISTIC 参加了维汉、藏汉、蒙汉三个机器翻译评测项目。本文阐述了本单位机器翻译系统的实现框架以及实施细节,并分析了它们在评测数据上的性能表现。