一种基于决策层融合的多模态情感识别方法

设计了一种软硬结合的多模态情感识别系统,使用语音和面部表情两个模态,通过梅尔频率倒谱系数与卷积神经网络对情感进行识别和分类,同时将语音情感识别迁移到神经网络计算棒以降低环境负载. 在模态融合时,采用决策层融合的方式来提高识别准确率. 实验结果表明,系统拥有较高的识别准确率,且能够在性能较差的运行环境中保持运行速度.     

基于深度学习的多模态情感识别综述

简要介绍了文本、语音和人脸等3种单模态情感识别方法,总结了常用的多模态情感数据集。通过分析基于深度学习的多模态情感识别的研究现状,按照融合方式将基于深度学习的多模态情感识别分为基于早期融合、晚期融合、混合融合以及多核融合等4种情感识别方法,并进行了对比分析。最后,指出了情感识别技术研究进展存在的问题及未来发展趋势。     

语音情感信息可视化建模研究与探析

语音情感识别是情感计算领域的一个重要分支,研究者们尝试从多种角度对其展开不懈研究。本文从可视化的角度出发,提出了基于信息可视化的情感识别方法,原始语音情感特征经过图表示映射为包含内部数据结构信息的新型情感图特征,在一定程度上促进了语音情感识别系统的性能提高。另外,还将信息可视化技术应用到情感识别结果的表达上,实现情感信息的生动描述和高效表达。在信息可视化技术和语音情感识别研究充分融合的基础上,构建了一个完整的语音情感信息可视化模型,作为系统实现的基础。     

基于GA-BP网络的脑电与心电融合疲劳识别算法研究

针对脑电信息在识别疲劳时不能完全反应疲劳状态和传统BP神经网络识别率低的问题,提出了一种基于改进GA-BP神经网络的脑电信号与心电信号融合的疲劳识别算法,运用到单兵精神疲劳状态的预测.首先,利用无线数据采集装置进行脑电和心电的数据采集.然后,对生物电数据进行伪迹去除和噪声滤波的数据预处理,利用小波包变换和Pan-Tompkins算法分别对脑电和心电数据进行特征提取,再将高维特征数据进行PCA降维来加快网络的学习速度.最后,将遗传算法优化后的改进BP神经网络参数作为其初始权重和阈值进行疲劳预测.疲劳实验对30位受试者的疲劳状态进行了识别预测,结果表明:融合了两种生物电信号的改进GA-BP网络模型的识别正确率为90.8%,优于传统BP神经网络和支持向量机的识别率.     

基于混合融合的突发事件多模态情感分析

为了提升突发事件中网民情感分析的准确率和稳定性,提出一种基于混合融合的突发事件网民多模态情感分析模型。对于突发事件中的多模态信息,利用双向LSTM和VGG并结合注意力模型,分别提取文本情感特征和图像情感特征,利用中层融合的方式学习不同模态特征之间的交互关系,通过基于逻辑回归的决策层融合模型充分学习不同模态之间的相关性,最后通过全连接层输出情感预测结果。在构建的“新冠疫情”数据集上进行对比验证实验,结果表明,所构建的模型相较于基准模型具有一定的优越性。     

基于时域、频域脑电(EEG)特征情感分类研究

目前的情绪识别技术已经成功地将情绪变化与脑电信号联系起来,并在适当的刺激下从脑电信号中进行识别和分类.因为声音以及表情等信号具有一定的伪装性,而脑电信号(EEG)和情绪的变化密切相关,通过对EEG信号的分析可以更精确的反映人的情感变化.对EEG信号的研究集中于通过时域和频域的角度提取出特征信号,采用基于熵(entropy)的可分性判断进行特征选择,分别使用SVM和HMM-SVM模型两种分类方法进行情绪分类,然后对分类结果进行分析、比较.结果表明,利用HMM-SVM模型基于频域特征的分类结果最好,平均准确率为83.93％.     

基于HMM和PNN的语音情感识别研究

语音情感识别是从语音的角度赋予计算机理解情感特征的能力,最终使计算机能像人一样进行自然、亲切和生动的交互。提出了一种融合隐马尔科夫模型（hidden markov model,HMM）和概率神经网络（probabilistic neural network,PNN）的语音情感识别方法。在所设计情感识别系统中,提取出基本的韵律参数和频谱参数,利用PNN处理声学参数的统计特征,利用HMM处理声学参数的时序特征,运用加法规则和乘法规则融合了统计特征和时序特征的识别结果。实验结果显示,所提出的算法在语音情感识别中具有有效的识别能力。     

基于神经网络的汉语孤立词语音识别

研究了基于神经网络的中文孤立词语音识别技术;将时间规整算法与神经网络相结合,组成一个混合级联神经网络语音识别系统. 在这个模型中,第一级是时间规整神经网络. 其作用是完成时间规整功能,从输入不等长的语音信号特征矢量序列中提取固定长度的特征矢量;然后将这组特征矢量馈入后一级BP网络完成语音识别. 利用该方法对小词表汉语孤立词进行语音识别实验,获得了98.25%的正确识别率. 实验结果表明,该系统不仅利用神经网络解决了语音识别中的时间规整难题,而且识别性能明显得到改善,识别率和训练速度均优于采用线性时间规整的神经网络语音识别方法.     

异常脑电信号的序域识别

本文采用一种新的快速有效的尖棘波识别方法——序域识别法.它通过FWT 变换把脑电信号从时域变换到序域,提取信号的序域功率谱特征并利用树分类器对尖棘波进行识别,有效识别率为85.5%.     

基于支持向量机的语音情感识别算法研究

为了提高语音情感识别系统的识别率,研究分析了一种支持向量机核函数参数的优选方法。首先给出影响支持向量机核参数的因素,其次依据这些因素,结合Fisher准则和最大熵原理对支持向量机的核参数进行优选。最后用优选参数对基于情感语音数据库进行5种情感的识别测试,测试结果表明Fisher准则和最大熵方法相融合能够有效地提高语音情感识别准确率。     

模式分类中的特征融合方法

特征融合方法是模式识别领域的一种重要方法.计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍然存在很多挑战.特征融合方法能够综合利用多种图像特征,实现多特征的优势互补,获得更加鲁棒和准确的识别结果.笔者基于信息融合理论分析了特征融合方法的原理,介绍了特征融合方法的研究现状,讨论了特征融合与3类主流基础理论相结合的方法,其中基于贝叶斯理论的特征融合算法可以实现多特征的融合决策,基于稀疏表示理论的特征融合算法能够得到多特征的联合稀疏表示,基于深度学习理论的特征融合算法能够强化深度神经网络模型的特征学习过程.     

利用卷积回声状态网络实现脑电情感识别

针对多通道脑电(EEG)的情感识别,提出了一种卷积回声状态网络(CESN)模型。首先构造EEG信号的特征矩阵序列;然后通过卷积操作提取各个样本的高层抽象特征,形成一维特征向量序列;利用具有自反馈功能的蓄水池结构,捕获向量序列的动态时序信息;最后用岭回归来实现情感识别。在情感分析专用生理信号数据集上进行实验的结果表明,EEG信号的动态时序性蕴含着与情感状态相关的区分性信息,所提的CESN模型能够有效地挖掘这种信息,并用于情感分类,解决了卷积神经网络中因使用反向传播算法而导致的局部最优和训练时间过长的问题。     

基于异构低秩多模态融合网络的后囊膜混浊预测

针对后囊膜混浊并发症发病周期长、筛查范围广的问题,提出利用多模态机器学习预测后囊膜混浊并发症的计算机辅助诊断方法. 对后照影像进行感兴趣区域(ROI)提取和白色反光区域填充,所构建的异构低秩多模态融合网络(HLMF)能同时输入后照影像和视觉质量参数进行特征提取与融合,HLMF模型基于通道积融合多模态信息;采用卷积核参数低秩分解解决过拟合问题;选用Focal Loss损失函数解决类别不均衡的问题;在训练过程中还采用预训练和模态腐蚀的训练方法,使模型更好地提取单一模态的特征并进行融合. 该算法在后囊膜混浊数据集上的十折交叉验证准确率为95.63%,F1分数为96.72%. 实验结果表明,所提算法能较好地提取单模态特征并进行特征融合,相比于其他多模态融合模型有更好的性能.     

嵌入注意力机制并结合层级上下文的语音情感识别

由于情感语料问题、情感与声学特征之间关联问题、语音情感识别建模问题等因素,语音情感识别一直充满挑战性.针对传统基于上下文的语音情感识别系统仅局限于特征层造成标签层上下文细节丢失以及两层级差异性被忽略的缺陷,本文提出嵌入注意力机制并结合层级上下文学习的双向长短时记忆(BLSTM)网络模型.模型分3个阶段完成语音情感识别任务,第1阶段提取情感语音特征全集后采用SVM-RFE特征排序算法降维得到最优特征子集,并对其进行注意力加权;第2阶段将加权后的特征子集输入BLSTM网络学习特征层上下文获得最初情感预测结果;第3阶段利用情感标签值对另一独立BLSTM网络训练学习标签层上下文信息并据此在第2阶段输出结果基础上完成最终预测.模型嵌入注意力机制使其自动学习调整对输入特征子集的关注度,引入标签层上下文使其联合特征层上下文实现层级上下文信息融合提高鲁棒性,提升了模型对情感语音的建模能力,在SEMAINE和RECOLA数据集上实验结果表明:与基线模型相比RMSE和CCC均得到较好改善.     

结合语音融合特征和随机森林的构音障碍识别

为分析病理人群与正常人群的发音差异性,提出一种结合语音融合特征和随机森林的语音识别方法来进行正常语音与构音障碍语音的分类识别,从而为医学诊断和治疗提供科学和客观的依据．首先,使用多伦多大学开发的病理语音数据库,提取出语音的五种韵律特征以及梅尔频率倒谱系数,再计算其统计特征,构成融合特征,最后结合随机森林算法进行分类识别．结果显示,相比于单一类型特征,提出的融合特征在识别性能上有着显著优化作用,与随机森林分类器结合后,对于男性声音的分类准确率达到99.21％,对于女性声音的分类准确率达到98.97％,综合分类准确率达到98.00％．同时研究还发现,相较于句子,患者对短语的发音更为准确．     

基于PCA-SVM多生理信息融合的情绪识别方法

为了有效解决情绪识别过程中多种生理信息融合所导致的运算量过大的问题,提出了一种主成分分析(principal component analysis, PCA)与支持向量机(support vector machine, SVM)相结合的情绪识别方法。利用主成分分析法,求出各特征对情绪识别效果的影响权重,通过阈值法选择权重较大的特征组成新的特征子集,从而减少SVM的输入特征维数,降低算法的运算量。试验结果表明,该方法可以有效提高算法的执行效率。     

手形和掌纹决策层融合方法研究

手形识别和掌纹识别是两种不同的生物特征识别技术,根据二者的特点,将它们相结合研究手形和掌纹融合算法。分别介绍了基于几何特征的手形特征提取方法和基于模糊方向能量的掌纹特征提取方法,针对两种生物特征的特点,重点研究了二者在决策层融合的方法,构建基于并联融合和串联融合的双模态识别系统。通过对每种算法的实验测试,表明融合后的系统性能要优于单一的手形识别和掌纹识别方法的性能。     

融合非线性幂函数和谱减法的CFCC特征提取

为提高噪声环境下的语音识别准确率,提出一种改进的语音特征提取算法。该算法采用模拟人耳听觉特性的非线性幂函数提取一种新的耳蜗滤波倒谱系数,并在特征提取前端引入谱减法对信号进行增强,将提取到的新的特征及其一阶差分组成一种混合特征参数;再联合主成分分析对该混合特征进行降维,将最终得到的特征用于一个非特定人、孤立词、小词汇量的语音识别系统。实验结果表明:采用非线性幂函数提取的耳蜗滤波倒谱系数特征与传统的耳蜗滤波倒谱系数特征相比,明显提高了语音识别准确率;混合特征参数相比单一特征能达到更佳的语音识别性能;结合主成分分析后的特征集在信噪比为0dB时的识别正确率可达到88.10%。