基于动态注意力机制和多模态循环融合的帕金森氏症识别

PD （Parkinson’s disease） 的运动障碍会累及口、咽、腭肌以及面部肌肉，引起声带震颤和面部运动迟缓，为利用声纹和面部特征识别PD患者提供了可能。为了有效利用以上两种特征以提高PD 识别率，提出了基于多尺度特征与动态注意力机制的多模态循环融合模型对患者进行识别检测。首先，设计了多尺度特征提取网络，将高、低层级特征的语义信息融合以得到完整的特征信息；其次，在多尺度特征融合过程中为了充分考虑模态间的相关性和互补性，提出了以不同模态信息互为辅助条件生成注意力特征图的动态注意力机制算法，降低特征融合时信息的冗余；最后设计了多模态循环融合模型，通过计算循环矩阵的每个行向量与特征向量间的哈达玛积得到更有效的融合特征，提高了模型性能。在自建数据集上进行的多组实验结果表明，提出的方法识别准确率高达96.24%，优于当前流行的单模态和多模态识别算法，可以有效区分PD患者和HP （healthy people），为高效识别PD患者奠定了基础。