| 基于语言模型的预训练技术研究综述 |
| |
| 引用本文： | 岳增营,叶霞,刘睿珩.基于语言模型的预训练技术研究综述[J].中文信息学报,2021,35(9):15-29. |
| |
| 作者姓名： | 岳增营 叶霞 刘睿珩 |
| |
| 作者单位： | 火箭军工程大学 作战保障学院,陕西 西安 710025 |
| |
| 基金项目： | 国家自然科学基金青年基金(62006240) |
| |
| 摘 要： | 预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。
|
| 关 键 词： | 自然语言处理 预训练 语言模型 |
| 收稿时间： | 2020-08-16 |
A Survey of Language Model Based Pre-training Technology |
| |
| YUE Zengying,YE Xia,LIU Ruiheng.A Survey of Language Model Based Pre-training Technology[J].Journal of Chinese Information Processing,2021,35(9):15-29. |
| |
| Authors: | YUE Zengying YE Xia LIU Ruiheng |
| |
| Affiliation: | Academy of Combat Support, Rocket Force University of Engineering, Xi’an, Shaanxi 710025, China |
| |
| Abstract: | Pre-training technology has stepped into the center stage of natural language processing, especially with the emergence of ELMo, GTP, BERT, XLNet, T5, and GTP-3 in the last two years. In this paper, we analyze and classify the existing pre-training technologies from four aspects: language model, feature extractor, contextual representation, and word representation. We discuss the main issues and development trends of pre-training technologies in current natural language processing. |
| |
| Keywords: | natural language processing pre-training language model |
|
| 点击此处可从《中文信息学报》浏览原始摘要信息 |
|
点击此处可从《中文信息学报》下载全文 |
|
