基于Transformer和重要词识别的句子融合方法

句子融合是为多个句子生成言简意赅、符合语法的句子，可应用到自动摘要、复述生成等自然语言处理任务。目前句子融合方法已取得一定成效，但还存在重要信息缺失、语义偏离原句等问题。该文提出基于Transformer和重要词识别的方法来缓解上述问题。该方法包括两个模块，(1)重要词识别模块：利用序列标注模型识别原句重要词；(2)句子融合模块：将重要词与原句输入到Transformer框架并利用BERT进行语义表示，然后在全连接层引入基于原句和词表获得的向量作为先验知识进行句子融合。基于NLPCC2017摘要任务集构建句子融合数据集，并进行相关实验，结果表明所提方法的性能明显优于基线系统。