| LSTM的季节性注意力及在文本情感分类中的应用 |
| |
| 引用本文： | 刘华玲,何轶辉.LSTM的季节性注意力及在文本情感分类中的应用[J].系统科学与数学,2023(4):1002-1020. |
| |
| 作者姓名： | 刘华玲 何轶辉 |
| |
| 作者单位： | 上海对外经贸大学统计与信息学院 |
| |
| 基金项目： | 国家社科基金重大项目(21ZDA105)；;上海哲学社会科学规划课题(2018BJB023)； |
| |
| 摘 要： | 长短期记忆网络(LSTM)在序列建模中存在梯度消失的情况,其降低了模型在时序预测任务尤其是中长期多步预测中的精度,同时降低了模型对于序列上下文中关键信息的注意力.梯度消失的根本原因在于LSTM的门控记忆机制对在循环层反向传播的梯度失去控制,故考虑对循环层的门控单元结构进行调整,并专门对于含有特定成分(如季节成分)的序列进行训练使改进后LSTM模型在序列预测任务中具备针对季节性成分的注意力.文章研究在LSTM模型的基础上采用将已有的单支路的遗忘门调整为具有双支路的季节门,并引入输入序列的极差作为划分支路的选通器的方法,改进得到季节型LSTM (S-SLTM).经实验,在英文电影评论IMDB的文本二分类情感分析中,单层的S-LSTM较单层LSTM的预测准确率提升了9.8%.
|
| 关 键 词： | 循环神经网络 长短期记忆网络 季节成分 极值吻合度 文本情感分类 |
|
|
