语音情感识别研究进展*

首先介绍了语音情感识别系统的组成,重点对情感特征和识别算法的研究现状进行了综述,分析了主要的语音情感特征,阐述了代表性的语音情感识别算法以及混合模型,并对其进行了分析比较。最后,指出了语音情感识别技术的可能发展趋势。     

量子粒子群和相关性分析在心电特征选择中的应用

针对心电(ECG)信号情感识别中特征选择的问题,首先运用相关性分析方法,去除原始特征集中的高相关度特征,实现原始特征集的降维;其次,为了在降维后的特征空间中进行有效的特征选择,提出了一种改进的二进制量子粒子群算法(SBQPSO)。实验结果表明,基于本算法结合Fisher分类器建立的ECG信号情感识别系统能够对高兴、惊奇、厌恶、悲伤、愤怒和恐惧6种情感达到良好的识别效果。     

基于生理信号的二分类情感识别系统特征选择模型和泛化性能分析

基于生理信号的二分类情感识别系统的特征选择问题其规模随着初始特征维数的增加呈指数增长,它是一个NP难问题。以系统的漏报率和虚报率为评价指标,建立性能良好的二分类情感识别系统的任务,是找到原始特征中使漏报率和虚报率最低的特征子集。将此过程抽取为一个组合优化模型,用禁忌搜索算法进行特征选择,用Fisher分类器进行分类。对66名大学生的4种离散情感(喜、怒、哀、惧)状态下采集的两种情感生理信号(皮肤电导和心率)进行特征选择和分类,发现禁忌搜索能较好地解决系统构建中的特征选择组合优化问题,并且由此构建的情感识别系统在单用户和多用户验证集上均获得了较好的泛化结果,表明构建于多用户数据集上的情感识别系统的泛化能力较强。系统在单用户数据上的验证结果也表明情感生理反应的个体差异对4种离散情感的识别具有不同程度的影响。     

基于皮肤电信号与文本信息的双模态情感识别系统

人机交互离不开情感识别,目前无论是单模态的情感识别还是多生理参数融合的情感识别都存在识别率低,鲁棒性差的问题.为了克服上述问题,故提出一种基于两种不同类型信号的融合情感识别系统,即生理参数皮肤电信号和文本信息融合的双模态情感识别系统.首先通过采集与分析相应情感皮肤电信号特征参数和文本信息的情感关键词特征参数并对其进行优化,分别设计人工神经网络算法和高斯混合模型算法作为单个模态的情感分类器,最后利用改进的高斯混合模型对判决层进行加权融合.实验结果表明,该种融合系统比单模态和多生理参数融合的多模态情感识别精度都要高.所以,依据皮肤电信号和文本信息这两种不同类型的情感特征可以构建出识别率高,鲁棒性好的情感识别系统.     

基于SVM的语音情感识别算法

为有效提高语音情感识别系统的识别正确率,提出一种基于SVM的语音情感识别算法.该算法提取语音信号的能量、基音频率及共振峰等参数作为情感特征,采用SVM(Support Vector Machine,支持向量机)方法对情感信号进行建模与识别.在仿真环境下的情感识别实验中,所提算法相比较人工神经网络的ACON(All Cl...     

一种基于机器学习的车牌识别系统的设计

以车牌识别的实用性为目的,设计一种鲁棒的车牌识别系统。首先提出了Sobel-Color算法,以Sobel边缘和颜色两种特征进行车牌定位,并结合MSER算法,设计了一种可靠的车牌定位方法来获取候选车牌区域,然后采用SVM算法对候选车牌区域进行车牌判断;最后根据车牌特征设计了一种车牌字符分割算法,能正确分割车牌的各个字符,并有效地去除车牌边缘部分的虚假字符,又根据分割出的车牌字符特征对LeNet-5深度网络模型进行改进,然后采用改进的LeNet-5网络对车牌字符进行识别。对设计的车牌识别系统进行了正常条件测试、恶劣条件测试以及效率测试等实验,实验结果表明设计的车牌定位和车牌判断方法具有较高的可靠性,车牌字符识别具有较高的准确率,因而设计的车牌识别系统具有较好的鲁棒性和实用性。     

改进的禁忌搜索算法在肌电信号情感识别中的应用

针对基于肌电(EMG)信号的情感识别问题,提出了一种新颖的特征选择方法.该方法用相关性分析对原始特征降维,再利用改进的禁忌搜索算法结合Fisher分类器,对高兴、厌恶、悲伤、惊奇、愤怒和恐惧6种肌电信号的情感进行特征选择.实验结果表明,该方法能以较少的特征获得较高的识别率,得到了有利于情感识别系统建立的有效特征子集.     

自闭症干预中无监督自编码的语音情感识别

语音情感识别是人机交互中重要的研究内容,儿童自闭症干预治疗中的语音情感识别系统有助于自闭症儿童的康复,但是由于目前语音信号中的情感特征多而杂,特征提取本身就是一项具有挑战性的工作,这样不利于整个系统的识别性能.针对这一问题,提出了一种语音情感特征提取算法,利用无监督自编码网络自动学习语音信号中的情感特征,通过构建一个3层的自编码网络提取语音情感特征,把多层编码网络学习完的高层特征作为极限学习机分类器的输入进行分类,其识别率为84.14%,比传统的基于提取人为定义特征的识别方法有所提高.     

语音情感识别研究

随着情感信息处理研究的不断深入,人们对语音信号中情感的研究越来越重视.探讨了情感的分类、建模,接着给出语音情感识别系统的总体框架,然后对各个组成部分进行阐述.介绍了现阶段常用特征参数的提取及其有效性分析方法,归纳了比较流行的情感分类算法.对语音情感识别的发展趋势进行了展望.     

基于声门特征参数的语音情感识别算法研究

为实现更为有效的自动语音情感识别系统,提出了一种基于声门信号特征参数及高斯混合模型的情感识别算法.该算法基于人类发音机理,通过逆滤波器及线性预测方法,实现声门信号的估计,提取声门信号时域特征参数表征不同情感类别.实验采用公开的BES (berlin emotion speech database)情感语料库,对愤怒、无聊、厌恶、害怕、高兴、平静、悲伤这7种情感进行自动识别.实验结果表明,提出的语音情感识别系统能有效的识别各类情感状态,其情感判别正确率接近于人类识别正确率,且优于传统的基音频率及共振峰参数.     

基于视听觉感知系统的多模态情感识别

情绪识别作为人机交互的热门领域,其技术已经被应用于医学、教育、安全驾驶、电子商务等领域.情绪主要由面部表情、声音、话语等进行表达,不同情绪表达时的面部肌肉、语气、语调等特征也不相同,使用单一模态特征确定的情绪的不准确性偏高,考虑到情绪表达主要通过视觉和听觉进行感知,本文提出了一种基于视听觉感知系统的多模态表情识别算法,分别从语音和图像模态出发,提取两种模态的情感特征,并设计多个分类器为单特征进行情绪分类实验,得到多个基于单特征的表情识别模型.在语音和图像的多模态实验中,提出了晚期融合策略进行特征融合,考虑到不同模型间的弱依赖性,采用加权投票法进行模型融合,得到基于多个单特征模型的融合表情识别模型.本文使用AFEW数据集进行实验,通过对比融合表情识别模型与单特征的表情识别模型的识别结果,验证了基于视听觉感知系统的多模态情感识别效果要优于基于单模态的识别效果.     

Speaker-independent speech emotion recognition by fusion of functional and accompanying paralanguage features

Functional paralanguage includes considerable emotion information, and it is insensitive to speaker changes. To improve the emotion recognition accuracy under the condition of speaker-independence, a fusion method combining the functional paralanguage features with the accompanying paralanguage features is proposed for the speaker-independent speech emotion recognition. Using this method, the functional paralanguages, such as laughter, cry, and sigh, are used to assist speech emotion recognition. The contributions of our work are threefold. First, one emotional speech database including six kinds of functional paralanguage and six typical emotions were recorded by our research group. Second, the functional paralanguage is put forward to recognize the speech emotions combined with the accompanying paralanguage features. Third, a fusion algorithm based on confidences and probabilities is proposed to combine the functional paralanguage features with the accompanying paralanguage features for speech emotion recognition. We evaluate the usefulness of the functional paralanguage features and the fusion algorithm in terms of precision, recall, and F1-measurement on the emotional speech database recorded by our research group. The overall recognition accuracy achieved for six emotions is over 67% in the speaker-independent condition using the functional paralanguage features.     

基于多级SVM分类的语音情感识别算法

为了提高语音情感识别系统的识别准确率,本文在传统支持向量机(SVM)方法的基础之上,提出了一种基于PCA的多级SVM情感分类算法。首先将容易区分的情感分开,针对混淆度大且不能再利用多级分类策略直接进行区分的情感,采用主成分分析法(PCA)进行特征降维,然后逐级地判断出输入语音所属的情感类型。与传统基于SVM分类算法的语音情感识别相比,本文提出的方法可将7种情感的平均识别率提高5.05%,并且特征维度可降低58.3%,从而证明了本文所提出的方法的正确性与有效性。     

Emotion recognition and its application to computer agents with spontaneous interactive capabilities

In this paper, we first study the recognition of emotions involved in human speech. We propose an emotion recognition algorithm based on a neural network and also propose a method to collect a large speech database that contains emotions. We carried out emotion recognition experiments based on the neural network trained using this database. An emotion recognition rate of approximately 50% was obtained in a speaker-independent mode for eight emotion states.

We then tried to apply this emotion recognition algorithm to a computer agent that plays a character role in the interactive movie system we are developing. We propose to use emotion recognition as key technology for an architecture of the computer characters with both narrative-based and spontaneous interaction capabilities.     

面向语音情感识别的语谱特征提取算法研究

语音情感识别的精度很大程度上取决于不同情感间的特征差异性。从分析语音的时频特性入手,结合人类的听觉选择性注意机制,提出一种基于语谱特征的语音情感识别算法。算法首先模拟人耳的听觉选择性注意机制,对情感语谱信号进行时域和频域上的分割提取,从而形成语音情感显著图。然后,基于显著图,提出采用Hu不变矩特征、纹理特征和部分语谱特征作为情感识别的主要特征。最后,基于支持向量机算法对语音情感进行识别。在语音情感数据库上的识别实验显示,提出的算法具有较高的语音情感识别率和鲁棒性,尤其对于实用的烦躁情感的识别最为明显。此外,不同情感特征间的主向量分析显示,所选情感特征间的差异性大,实用性强。     

语音情感识别中特征参数的研究进展

语音情感识别是近年来新兴的研究课题之一,特征参数的提取直接影响到最终的识别效率,特征降维可以提取出最能区分不同情感的特征参数。提出了特征参数在语音情感识别中的重要性,介绍了语音情感识别系统的基本组成,重点对特征参数的研究现状进行了综述,阐述了目前应用于情感识别的特征降维常用方法,并对其进行了分析比较。展望了语音情感识别的可能发展趋势。     

使用二次特征选择及核融合的语音情感识别

为提高语音情感识别精度,对基本声学特征构建的多维特征集合,采用二次特征选择方法综合考虑特征参数与情感类别之间的内在特性,从而建立优化的、具有有效情感可分性的特征子集;在语音情感识别阶段,设计二叉树结构的多分类器以综合考虑系统整体性能与复杂度,采用核融合方法改进SVM模型,使用多核SVM识别混淆度最大的情感。算法在Berlin情感语音库五种情感状态的样本上进行验证,实验结果表明二次特征选择与核融合相结合的方法在有效提高情感识别精度的同时,对噪声具有一定的鲁棒性。     

基于肢体动作序列三维纹理特征的情绪识别

情绪识别在人工智能领域具有广阔的应用前景,目前基于人脸表情的情绪识别已经相对成熟,而根据人类肢体动作进行情绪识别的研究却不多。通过VLBP和LBP-TOP算子从三维空间中提取图像序列的肢体动作特征,分析愤怒、无聊、厌恶、恐惧、高兴、疑惑和悲伤7种自然情绪的特点,并用参数优化的支持向量机对情绪分类识别,识别率最高能够达到77.0%。实验结果表明,VLBP和LBP-TOP算子具有较强的鲁棒性,能有效的从肢体动作中识别人的情绪。     

基于交互注意力机制的多模态情感识别算法

在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏.为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征.本方法在IEMOCAP数据集上的四类情感识别准确率相比现有文献有明显提升;在注意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法相比传统方法的优越性.