基于图神经网络和注意力的双模态情感识别方法 |
| |
引用本文: | 李路宝,陈田,任福继,罗蓓蓓.基于图神经网络和注意力的双模态情感识别方法[J].计算机应用,2023(3):700-705. |
| |
作者姓名: | 李路宝 陈田 任福继 罗蓓蓓 |
| |
作者单位: | 1. 合肥工业大学计算机与信息学院;2. 情感计算与先进智能机器安徽省重点实验室(合肥工业大学);3. 德岛大学理工学部德岛770-8506 |
| |
基金项目: | 国家自然科学基金资助项目(61432004,62174048,U1613217)~~; |
| |
摘 要: | 针对生理信号情感识别问题,提出一种基于图神经网络(GNN)和注意力的双模态情感识别方法。首先,使用GNN对脑电(EEG)信号进行分类;然后,使用基于注意力的双向长短期记忆(Bi-LSTM)网络对心电(ECG)信号进行分类;最后,通过Dempster-Shafer证据理论融合EGG和ECG分类结果,从而提高情感识别任务的综合性能。为验证所提方法的有效性,邀请20名受试者参与情感激发实验,并收集了受试者的EGG、ECG信号。实验结果表明,所提方法的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%,相较于单模态EEG方法分别提高2.65%和0.40%,相较于单模态ECG方法分别提高19.79%和24.90%。可见,所提方法能够有效地提高情感识别的准确率,为医疗诊断等领域提供决策支持。
|
关 键 词: | 情感识别 多模态 脑电 心电 图神经网络 注意力 |
|
|