基于多模型集成的语义文本相似性判断 |
| |
引用本文: | 苏锦钿,洪晓斌,余珊珊.基于多模型集成的语义文本相似性判断[J].华南理工大学学报(自然科学版),2022(4):1-9. |
| |
作者姓名: | 苏锦钿 洪晓斌 余珊珊 |
| |
作者单位: | 1. 华南理工大学计算机科学与工程学院;2. 华南理工大学机械与汽车工程学院;3. 广东药科大学医药信息工程学院 |
| |
基金项目: | 国家自然科学基金资助项目(61936003);;广东省基础与应用研究基金资助项目(2019B151502057)~~; |
| |
摘 要: | 作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力,结合语义文本相似性判断任务的特点,提出一种多模型集成方法MME-STS,给出相应的模型总体架构及相应的特征表示,并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的3种不同集成策略,同时在两个常用的经典基准数据集上验证该方法的有效性。实验结果表明,MME-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法。
|
关 键 词: | 深度学习 语义文本相似度 自然语言处理 预训练语言模型 多模型集成 |
|