| 结合全局词向量特征的循环神经网络语言模型 |
| |
| 引用本文： | 李华,屈丹,张文林,王炳锡,梁玉龙.结合全局词向量特征的循环神经网络语言模型[J].信号处理,2016,32(6):715-723. |
| |
| 作者姓名： | 李华 屈丹 张文林 王炳锡 梁玉龙 |
| |
| 作者单位： | 解放军信息工程大学信息系统工程学院,河南郑州 450002 |
| |
| 基金项目： | 国家自然科学基金项目(61175017) |
| |
| 摘 要： | 针对循环神经网络语言模型对长距离历史信息学习能力不足的问题，本文提出了结合全局词向量特征的循环神经网络语言模型。首先利用GloVe(Global Word Vectors)算法训练出全局词向量，然后将其作为特征向量输入到引入特征层的循环神经网络中进行训练。相对于局部词向量方法，全局词向量能够利用全局统计信息来训练出含有更加丰富的语义和句法信息词向量。为了验证新方法的性能，本文在Penn Treebank和Wall Street Journal语料库上分别进行困惑度和连续语音识别实验。实验结果表明结合全局词向量的循环神经网络语言模型的困惑度相比传统的循环神经网络语言模型降低了202%，同时语音识别系统的词错误率降低了183%。
|
| 关 键 词： | 循环神经网络 语言模型 全局词向量 语音识别 |
| 收稿时间： | 2015-09-21 |
Recurrent Neural Network Language Model with Global Word Vector Features |
| |
| Abstract: | Aiming at the insufficient learning ability of long distance information for neural network based language model, a recurrent neural network language model with the global word vectors (GloVe) is proposed in this paper. Firstly, global word vectors are trained by GloVe algorithm. Secondly, global word vectors are regarded as feature vector inputs to the recurrent neural network with feature layer. Compared with that of incorporating local word vectors, the GloVe based language model captures the semantic and syntactic information using global statistical information. Experiments on perplexity and continuous speech recognition are performed on Penn Treebank and Wall Street Journal corpus respectively. The results show that the relative perplexity improvement over the conventional recurrent neural network language model reaches 202% and the word error rate of speech recognition system decreases 183%. |
| |
| Keywords: | |
|
| 点击此处可从《信号处理》浏览原始摘要信息 |
|
点击此处可从《信号处理》下载全文 |
|
