基于规则和统计的中文自动文摘系统

自动文摘是自然语言处理领域里一个重要课题,本文在传统方法基础上提出了一种中文自动文摘的方法。在篇章结构分析里,我们提出了基于连续段落相似度的主题划分算法,使生成的文摘更具内容全面性与结构平衡性。同时结合了若干规则对生成的文摘初稿进行可读性加工处理,使最终生成的文摘更具可读性。最后提出了一种新的文摘评价方法(F-new-measure)对系统进行测试。系统测试表明该方法在不同文摘压缩率时,评价值均较为稳定。     

一种基于遗传算法的主题划分方法

提出了一个通过建立段落向量空间模型，根据遗传算法进行文本主题划分的算法，解决了文章的篇章结构分析问题，使得多主题文章的文摘更具内容全面性与结构平衡性。实验结果表明，该算法对多主题文章的主题划分准确率为89.3％，对单主题文章的主题划分准确率为94.6％。     

基于特征串的大规模中文网页快速去重算法研究

网页检索结果中,用户经常会得到内容相同的冗余页面,其中大量是由于网站之间的转载造成。它们不但浪费了存储资源,并给用户的检索带来诸多不便。本文依据冗余网页的特点引入模糊匹配的思想,利用网页文本的内容、结构信息,提出了基于特征串的中文网页的快速去重算法,同时对算法进行了优化处理。实验结果表明该算法是有效的,大规模开放测试的重复网页召回率达97.3% ,去重正确率达99.5%。     

基于事件框架的事件相关文档的智能检索研究

在事件相关文档的检索中,事件主题的迁移和分化与相似事件的干扰是影响系统性能的两个主要因素。本文提出了一种基于事件框架知识和事件主体信息的检索方法。该方法对事件相关评价函数进行了的改进:首先,从事件语料中提炼出事件的框架知识、从事件文档中挖掘出表达事件主体的信息,然后将这些知识和信息进行向量化,最后利用向量化的结果对相关度评价函数进行优化。实验结果表明该方法是有效的,明显提高了事件相关文档的检索性能。     

面向多语言的机器翻译支撑环境设计与实现

在日汉机器翻译系统由DOS移植到Windows环境后,针对进一步扩充资源和调试开发过程中遇到的词典管理不便、工具使用麻烦、翻译及编辑界面不友好、日志维护不完善等问题,我们开发了面向多语言的机器翻译支撑环境子系统。该子系统实现了词典资源管理、翻译界面、开发工具集成、系统日志维护等功能,在编码上兼容Unicode,在调用原系统翻译功能和开发工具时使用动态链接库技术,以期成为一个面向多语言的、可为不同机器翻译系统所用的开发调试支撑环境。     

日汉机器翻译系统的完善与改进

对于机器翻译系统的配价翻译部件来说，提出的日汉机器翻译系统主要研究和解决的关键技术有：(1)捆绑规则的调整和生成规则的调整；(2)对省略句子的翻译的调整。该文介绍了各部分改进完善处理过程。     

多策略汉日机器翻译系统中的核心技术研究

多策略的机器翻译是当今机器翻译系统的一个发展方向。该文论述了一个多策略的汉日机器翻译系统中各翻译核心子系统所使用的核心技术和算法,其中包含了使用词法分析、句法分析和语义角色标注的汉语分析子系统、利用双重索引技术的基于翻译记忆技术的机器翻译子系统、以句法树片段为模板的基于实例模式的机器翻译子系统以及综合了配价模式和断段分析的机器翻译子系统。翻译记忆子系统的测试结果表明其具有高效的特性;实例模式子系统在1 559个句子的封闭测试中达到99%的准确率,在1 500个句子的开放测试中达到85%的准确率;配价模式子系统在3 059个句子的测试中达到了89%的准确率。     

汉语的一种知识一体化表示方法

随着计算机自然语言处理研究的不断深入,人们越来越认识到知识在计算机语言处理系统中的重要性。本文结合语言心理学的一些相关结论,对照人在真实领域中的语言处理过程,提出了一种适合计算机存储和检索的知识一体化表示方法,并分析了它的实际应用前景。     

一种改进的自适应文本信息过滤模型

自适应信息过滤技术能够帮助用户从Web等信息海洋中获得感兴趣的内容或过滤无关垃圾信息．针对现有自适应过滤系统的不足,提出了一种改进的自适应文本信息过滤模型．模型中提供了两种相关性检索机制,在此基础上改进了反馈算法,并采用了增量训练的思想,对过滤中的自适应学习机制也提出了新的算法．基于本模型的系统在相关领域的国际评测中取得良好成绩．试验数据说明各项改进是有效的,新模型具有更高的性能．     

现代汉语语义资源用于短语歧义模式消歧研究

现代汉语存在着许多歧义短语结构,仅依靠句中词性标记无法获得词与词之间正确的搭配关系。本文研究了大量包含歧义的短语实例,分析了计算机处理汉语结构时面临的定界歧义和结构关系歧义问题,在已有短语结构规则的基础上归纳出了七种结构歧义模式,提出了分析歧义模式的关键是四种基本搭配信息的判断,并实现了基于语义知识和搭配知识的消歧算法。对887处短语进行排歧的实验结果表明,处理短语结构的正确率由82.30%上升到87.18%。