情感生理反应样本库的建立与数据相关性分析

文中采用高收视率电影剪辑为唤起材料,以激发高兴、惊奇、厌恶、悲伤、愤怒和恐惧6种情感,记录被试观看情感唤起材料时的皮肤电导、心率、脉搏、心电、呼吸、面部肌电和额叶的两路脑电信号,获得了300名普通大学生的情感生理反应样本.用随机矩阵理论对各路信号数据进行相关性分析,发现皮肤电导、心率、心电和呼吸生理信号各自的相关矩阵最大特征值和对应特征向量的分布背离了随机矩阵理论的预测,表现出集体的两两互相关,揭示了由情感因素影响产生的相关生理反应;脉搏、面部肌电和额叶的两路脑电各自相关矩阵的特征值和特征向量没有明显背离随机矩阵理论预测,表明这4路信号各自数据之间的相关性由非情感因素的随机噪声引起,因此基于随机矩阵理论的数据分析为提取生理信号特征以研究情感的生理反应模式提供了可靠依据.研究中提取了皮肤电导和心率的110个初始特征,采用后向选择选出最能代表情感生理反应的信号特征子集,使用Fisher映射对情感生理反应样本进行分类,构造了具有较好预测性能的情感识别系统,获得了每一种情感较好区别于其他情感的生理信号特征组合.     

基于生理信号的二分类情感识别系统特征选择模型和泛化性能分析

基于生理信号的二分类情感识别系统的特征选择问题其规模随着初始特征维数的增加呈指数增长,它是一个NP难问题。以系统的漏报率和虚报率为评价指标,建立性能良好的二分类情感识别系统的任务,是找到原始特征中使漏报率和虚报率最低的特征子集。将此过程抽取为一个组合优化模型,用禁忌搜索算法进行特征选择,用Fisher分类器进行分类。对66名大学生的4种离散情感(喜、怒、哀、惧)状态下采集的两种情感生理信号(皮肤电导和心率)进行特征选择和分类,发现禁忌搜索能较好地解决系统构建中的特征选择组合优化问题,并且由此构建的情感识别系统在单用户和多用户验证集上均获得了较好的泛化结果,表明构建于多用户数据集上的情感识别系统的泛化能力较强。系统在单用户数据上的验证结果也表明情感生理反应的个体差异对4种离散情感的识别具有不同程度的影响。     

基于虚拟现实和动态加权决策融合的恐高情绪识别

目前恐高情绪分类中的生理信号主要涉及脑电、心电、皮电等, 考虑到脑电在采集和处理上的局限性以及多模态信号间的融合问题, 提出一种基于6种外周生理信号的动态加权决策融合算法. 首先, 通过虚拟现实技术诱发被试不同程度的恐高情绪, 同步记录心电、脉搏、肌电、皮电、皮温和呼吸这6种外周生理信号; 其次, 提取信号的统计特征和事件相关特征构建恐高情感数据集; 再次, 根据分类性能、模态和跨模态信息提出一种动态加权决策融合算法, 从而对多模态信号进行有效整合以提高识别精度. 最后, 将实验结果与先前相关研究进行对比, 同时在开源的WESAD情感数据集进行验证. 结论表明, 多模态外周生理信号有助于恐高情绪分类性能的提升, 提出的动态加权决策融合算法显著提升了分类性能和模型鲁棒性.     

基于FCA-ReliefF的融合生理信号情绪识别研究

针对当前情绪识别研究中特征维数多、识别率不高的问题,提出了基于多生理信号(心电、肌电、呼吸、皮肤电)融合及FCA-ReliefF特征选择的情绪识别方法。通过将从时域和频域两个维度提取的生理信号特征进行融合,作为分类器的输入进行情绪分类。为了降低特征维度,首先进行特征相关性分析(FCA)删除相关性较大的特征;再通过ReliefF剔除分类贡献弱的特征,达到降低特征维度的目的。在公开的数据集上进行验证,并与相关研究进行对比。结果表明,提出的方法在特征维度及识别率两个方面均有优势。提出的FCA-ReliefF降维策略有效地将特征从108维减少到60维,并且将识别精度提高到98.40%,验证了方法的有效性。     

脑电信号情绪识别研究综述

通过面部表情、语音语调以及脑电等生理信号对人的情绪状态进行识别分类,即情绪识别,其在医疗、交通以及教育等领域有广泛应用。脑电信号由于其真实可靠,在情绪识别领域日益得到广泛关注。总结了近年来脑电情绪识别研究所取得的进展,主要介绍基于深度学习和迁移学习进行的脑电情绪识别研究。介绍了脑电情绪识别基础理论、常用公开数据集、信号的采集和预处理,介绍特征提取与选择,重点介绍了深度学习和迁移学习在脑电情绪识别上的应用。指出该领域目前面临的挑战和前景。     

基于优化的LSTSVM的多模态生理信号情感识别

采用最小二乘双支持向量机(LSTSVM)进行情感识别,针对LSTSVM模型的惩罚系数及核函数参数难以确定的问题,使用改进的萤火虫算法(MFA)来优选LSTSVM的各项参数,使分类器取得最优的性能。基于脑电、皮肤电、肌电和呼吸4种模态的生理信号,使用该算法进行情感识别,并与使用标准LSTSVM和粒子群LSTSVM算法的识别结果比较。仿真分析表明,提出的MFA-LSTSVM算法识别准确率更高,需要的训练时间更短。     

基于生理信号的情感计算研究综述

情感计算是现代人机交互中的一个重要研究方向, 旨在研究与开发能够识别、解释、处理和模拟人类情感的理论、方法与系统. 脑电、心电、皮肤电等生理信号是情感计算中重要的输入信号. 本文总结了近年来基于脑电等生理信号的情感计算研究所取得的进展. 首先介绍情感计算的相关基础理论, 不同生理信号与情感变化之间的联系, 以及基于生理信号的情感计算工作流程和相关公开数据集. 接下来介绍生理信号的特征工程和情感计算中的机器学习算法, 重点介绍适合处理个体差异的迁移学习、降低数据标注量的主动学习和融合特征工程与学习器的深度学习算法. 最后, 指出基于生理信号的情感计算研究中面临的一些挑战.     

基于肌力信号与电刺激感觉反馈的多自由度机械手人机交互控制

为使操作者能够灵活控制多自由度机械手并能感受到机械手的抓取力,提出了一种具有双向信息传输能力的可穿戴式人机交互系统及控制方法.该系统利用压力传感器(FSR)阵列采集与操作者手部动作对应的前臂肌力信号,基于SVM(支持向量机)多类分类器算法实现对手部动作的识别,通过发送动作模式码控制机械手动作.另外,基于经皮神经电刺激(TENS)原理,将机械手抓取力信号转变为电刺激信号刺激体表皮肤,实现机械手抓握力向人体的感觉反馈.实验表明,基于肌力信号和SVM分类器的动作模式识别方法可实现对10种手部动作的识别,成功率不低于95%;电刺激感觉反馈可向人体准确反馈抓取力感并实现盲抓取.     

基于词典的中文微博情绪识别

微博等社交媒体已成为表达个人情绪和感受的重要平台。自动分析微博文本表达的情绪对于迅速了解大众情绪走向以及调节个人情绪有着重要的意义。文中首次针对中文微博中的情绪进行自动分析,识别微博表达的喜、哀、怒、惧情绪。提出以词典为依据的基于规则的方法,通过实验详细分析了中文情绪词典在社交媒体文本分析中的现状,讨论了存在的主要问题。并深入讨论了微博中情绪表达的语言特点,为建立高精度的情绪分析系统提供了依据。     

基于多线索混合词典的微博情绪识别

微博等社交媒体为人们情绪表达提供了重要平台,分析微博的情绪倾向具有重要的商业价值和社会意义。文中提出了基于词典的规则方法识别微博所表达的喜、哀、怒、惧、恶、惊六种情绪。针对情绪表达的重要线索表情符利用互信息法生成了表情符词典,与传统情绪词典相结合,制定了针对否定用法的规则对微博进行分析。建立了第一个包含六种情绪的人工标注微博数据集。实验表明,传统的情绪词典虽然收录了大量词汇,但对于社交媒体文本分析的准确率和覆盖率都不高。表情符词典的应用显著地提高了微博情绪分析的精度和覆盖率。     

用自适应蚁群算法的生理信号情感状态识别

针对生理信号的情感识别问题,将蚁群优化算法用于情感生理信号特征选择,并采用自适应的适应度参数值、变异策略和临近位置交换策略对算法进行改进,使用K近邻法进行情感分类,以获得较高的识别率和有效特征组合.通过四种生理信号(EMG、SC、ECG、RSP)来识别四种情感(joy、anger、sadness、pleasure),实验仿真结果表明,将蚁群优化算法引入情感识别的研究是可行的.     

可调参数遗传算法的情感特征选择研究

将情感识别中的特征选择看成组合优化问题,从四种生理信号EMG、ECG、RSP、SC中抽取统计特征,将参数可调的遗传算法和K-近邻算法相结合尝试找出最能"代表"某一情感状态joy、anger、sadness、pleasure的最优情感特征组合模式.仿真表明,该方法是有效的.     

生理信号情感识别的遗传算法研究

将情感识别看成一个组合模式优化问题,从生理信号ECG,EMG,SC,RSP中抽取情感特征,遗传算法和最近邻算法相结合尝试找出最能“代表”某一情感状态joy,anger,sadness,pleasure的最优情感特征组合模式,仿真实验表明,该方法是可行并且有效的。     

双重结构粒子群和KNN在生理信号情感识别中的应用

将双重结构的粒子群(DSPSO)应用到生理情感特征的选择中,提高了特征选择效果和情感识别的正确率。提出了增量K多类KNN分类器解决KNN在分多类时出现的不可分现象并改善了多类识别的效果。通过4种生理信号(EMG、SC、ECG、RSP)来识别4种情感（joy、anger、sadness、pleasure）,同传统的SFFS算法以及BPSO算法相比,识别率有了较大的提高。仿真结果表明,DSPSO能较好地完成生理情感特征的选择任务。     

语音情感中基于ZCPA的VAP模型

分析一个基于心理学的情感空间模型原理。研究语音情感识别中7种情感(中性、喜悦、愤怒、惊讶、恐惧、悲伤和厌恶)的效价-激励-能量(VAP)维分布状况,根据过零峰值幅度(ZCPA)的最大值、最小值、均值和绝对值方差和,在VAP三维空间中分析维数水平和 ZCPA韵律特征之间的关系。实验结果表明,该情感空间模型原理有助于描述和区分各种语音情感。     

Detecting work-related stress with a wearable device

Excessive stress will lower work efficiency, lead to negative emotions and even various illnesses. This paper aims at detecting work-related stress based on physiological signals measured by a wearable device. Different from common binary stress detection, this study detects three levels of stress, i.e., no stress, moderate stress and high perceived stress. The Montreal Imaging Stress Task (MIST) is used to simulate the different stress conditions, including both mental stress and psychosocial stress factors that are relevant at the workplace. A sensor-based wearable device is used to acquire the electrocardiogram (ECG) and respiration (RSP) signals from 39 participants. We extract stress-related features from ECG and RSP, and the Random Forest is used to select the optimal feature combination, which is later fed to the classifier. Four classifiers are investigated about their ability to predict the three stress levels. Finally, the combination of Random Forest and Support Vector Machine (SVM) achieve the best performance. With this method, the accuracy is improved from 78% to 84% in three states classification. And in binary stress detection, the accuracy is 94%.     

蚁群算法在呼吸信号情感识别中的应用研究

针对生理信号的情感识别问题,将蚁群优化算法用于呼吸信号（RSP）特征选择,并采用自适应的适应度参数值、变异策略和临近位置交换策略对算法进行改进,使用Fisher进行情感分类,获得了较高的识别率和有效特征组合。采集了212个被试6种不同情感（高兴、惊奇、厌恶、悲伤、愤怒、恐惧）的呼吸信号数据进行仿真实验,识别效果最好的是高兴情感,最好识别率达到了92.06%,平均识别率达到了84.43%。实验仿真结果表明,将蚁群优化算法引入基于呼吸信号的情感识别研究是可行的。     

Construction and cross-correlation analysis of the affective physiological response database

Six kinds of emotions, namely joy, surprise, disgust, grief, anger and fear, are elicited from 300 ordinary college students by means of high-rated movie clips. The signals of galvanic skin response (GSR), heart rate (HR), blood volume pulse (BVP), electrocardiogram (ECG), respiration (Rsp.), facial electromyography (EMG) and two channels of electroencephalography (EEG) from the frontal lobe were recorded while the subjects were watching the affective eliciting materials. The samples of each kind of signals are analyzed by using random matrix theory (RMT). From the distribution of the eigenvalues and eigenvectors of the correlation matrices of BVP, facial EMG and two EEGs, we find that the statistical properties of these four kinds of signals coincide with the RMT predictions. However, the largest eigenvalue and the corresponding eigenvector component distribution of the correlation matrices of GSR, HR, ECG and Rsp. have deviated significantly from the RMT predictions. Our experiments also reveal that the correlations between two arbitrary samples of BVP, facial EMG or EEGs does not result from affective response but from random noises, whereas the amplitude variations of GSR, HR, ECG and Rsp. contain the correlated affective physiological response patterns. According to the data analysis results of RMT, 110 features are firstly extracted from the GSR and HR signals, and then a subset of the initial features is selected by using the Backward Selection algorithm. The affective data samples each of which is a vector of the features are classified by using a Fisher classifier, and furthermore, the user-independent emotion recognition systems with good prediction performance are constructed during the model selection process.