| 基于增量预训练和对抗训练的文本匹配模型 |
| |
| 引用本文： | 司志博文,李少博,单丽莉,孙承杰,刘秉权.基于增量预训练和对抗训练的文本匹配模型[J].计算机系统应用,2022,31(11):349-357. |
| |
| 作者姓名： | 司志博文 李少博 单丽莉 孙承杰 刘秉权 |
| |
| 作者单位： | 人民网 传播内容认知国家重点实验室, 北京 100733;哈尔滨工业大学 计算学部, 哈尔滨 150001 |
| |
| 基金项目： | 国家自然科学基金(62176074) |
| |
| 摘 要： | 文本匹配是自然语言理解的关键技术之一, 其任务是判断两段文本的相似程度. 近年来随着预训练模型的发展, 基于预训练语言模型的文本匹配技术得到了广泛的应用. 然而, 这类文本匹配模型仍然面临着在某一特定领域泛化能力不佳、语义匹配时鲁棒性较弱这两个挑战. 为此, 本文提出了基于低频词的增量预训练及对抗训练方法来提高文本匹配模型的效果. 本文通过针对领域内低频词的增量预训练, 帮助模型向目标领域迁移, 增强模型的泛化能力; 同时本文尝试多种针对低频词的对抗训练方法, 提升模型对词级别扰动的适应能力, 提高模型的鲁棒性. 本文在LCQMC数据集和房产领域文本匹配数据集上的实验结果表明, 增量预训练、对抗训练以及这两种方式的结合使用均可明显改善文本匹配结果.
|
| 关 键 词： | 文本匹配 预训练模型 增量预训练 对抗训练 低频词 深度学习 自然语言处理 |
| 收稿时间： | 2022/1/29 0:00:00 |
| 修稿时间： | 2022/2/24 0:00:00 |
Text Matching Model Based on Incremental Pre-training and Adversarial Training |
| |
| SI Zhi-Bo-Wen,LI Shao-Bo,SHAN Li-Li,SUN Cheng-Jie,LIU Bing-Quan.Text Matching Model Based on Incremental Pre-training and Adversarial Training[J].Computer Systems& Applications,2022,31(11):349-357. |
| |
| Authors: | SI Zhi-Bo-Wen LI Shao-Bo SHAN Li-Li SUN Cheng-Jie LIU Bing-Quan |
| |
| Abstract: | |
| |
| Keywords: | text matching pre-trained model incremental pre-training adversarial training low-frequency word deep learning natural language processing (NLP) |
|
| 点击此处可从《计算机系统应用》浏览原始摘要信息 |
|
点击此处可从《计算机系统应用》下载全文 |
|
