| 多文化场景下的多模态情感识别 |
| |
| 作者姓名： | 陈师哲 王帅 金琴 |
| |
| 作者单位： | 中国人民大学信息学院, 北京 100872,中国人民大学信息学院, 北京 100872,中国人民大学信息学院, 北京 100872 |
| |
| 基金项目： | 国家重点研发计划“人机交互自然性的计算原理”项目（项目号：2016YFB1001200） |
| |
| 摘 要： | 自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.本文探讨了在多文化场景下的多模态情感识别问题.我们从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.我们在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,我们验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括：分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.
|
| 关 键 词： | 情感识别 多文化 语音情感特征 面部表情特征 多模态融合 深度卷积神经网络 |
| 收稿时间： | 2017-04-30 |
| 修稿时间： | 2017-06-26 |
|
| 点击此处可从《软件学报》浏览原始摘要信息 |
|
点击此处可从《软件学报》下载全文 |
|
