| 基于受限语料库的语言平滑算法比较研究 |
| |
| 引用本文： | 孙守安,杨根科,杨祖华.基于受限语料库的语言平滑算法比较研究[J].微型电脑应用,2010,26(12):18-20. |
| |
| 作者姓名： | 孙守安 杨根科 杨祖华 |
| |
| 作者单位： | [1]上海交通大学自动化系,上海200240 [2]上海现代语言研究所,上海200052 |
| |
| 摘 要： | 随着网络的广泛应用和科技的高速发展，人们所接收信息急剧增加，机器翻译面临强大的市场需求。从现存文本资料中提取语言模型，是整个机器翻译系统的重点，决定了翻译系统的性能表现。用于特定领域的文本翻译系统，往往受到相关文本缺少的困扰，无法通过大规模语料库的建设来训练语言模型，由此而产生了严重的数据稀疏问题。通过实验研究了受限语料库下语言模型平滑算法的选择。实验结论表明，在语料库极度受限的情况下，Good-Turing能够发挥其低频词汇重估优势，良好解决训练语料库的数据稀疏问题。通过该方法，可以提高在语料受限条件下语言模型的性能。
|
| 关 键 词： | 自然语言处理 受限语料库 语言模型 数据稀疏 |
Comparative Study on Algorithms of Limited Corpus Language Model |
| |
| Sun Shouan,Yang Genke,Yang Zuhua.Comparative Study on Algorithms of Limited Corpus Language Model[J].Microcomputer Applications,2010,26(12):18-20. |
| |
| Authors: | Sun Shouan Yang Genke Yang Zuhua |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 维普 万方数据 等数据库收录！ |
|
