基于多尺度卷积核CNN的脑电情绪识别

针对传统的人工特征选取需要耗费大量时间和精力的问题,本文在传统卷积神经网络(convolutional neural networks,CNN)模型的基础上,提出了一种基于多尺度卷积核CNN的特征提取与分类方法,并在脑电情绪识别分类上进行了验证.本文首先进行了通道选择方面的研究,其次使用多尺度卷积核CNN模型对提取了微分熵(differential entropy feature,DE)特征的脑电数据进行情绪三分类实验,相比于传统的CNN模型,多尺度卷积核CNN模型在卷积层中采用多个尺度的卷积核,同时从高维度与低维度对脑电信号进行二次特征提取.实验结果表明,预处理数据在33通道的情绪分类平均准确率为89.72％,几乎接近全通道的平均准确率;多尺度卷积核CNN在微分熵特征上的情绪三分类取得了98.19％的平均分类准确率,实验结果证明了该模型的有效性和鲁棒性.     

多特征融合的脑电情绪分类

为进一步探究不同类型特征互补性对脑电情绪分类的影响,提出一种基于多特征融合的脑电情绪分类新方法。对预处理后的脑电信号进行DE、MST和SampEn特征提取,采用双样本T检验去除冗余筛选出最优特征并融合,采用SVM分类模型来识别不同的情绪状态。在SEED-Ⅳ数据集上的实验结果表明,单一特征中DE的平均分类准确率最高（77.86%）,而融合非线性SampEn特征与功能连接MST属性后平均分类准确率得到进一步提升（84.58%）,不同时间段采集的数据上重测实验则证明了该方法的有效性与稳定性。     

基于受限玻尔兹曼机的疲劳脑电特性分析

为了准确提取和分类视觉疲劳所引起的脑电特征，以此提醒过度用眼的工作人员及时休息，提出了多通道受限玻尔兹曼机算法和卷积神经网络(CNN)算法结合的深度学习混合模型，利用该模型对枕叶区10个通道的脑电信号进行自动提取内在特征和分类。在基于SSVEP的视觉疲劳脑电数据集上进行评估，深度学习混合模型的平均准确率达到88.63%,比传统的特征提取和分类方法高10%。实验结果证明了深度学习混合模型取得的分类效果较好，并且克服了传统手动提取特征方法不全面的不足，对疲劳脑电的研究具有现实的意义。     

多通道连续卷积神经网络脑电信号情绪识别

针对不同个体的脑电信号差异大且易受到环境因素影响的问题, 结合去基线干扰及脑电通道选择方法, 提出一种基于连续卷积神经网络的情绪分类识别算法. 首先进行基线信号的微分熵(differential entropy, DE)特征的选取研究, 将数据处理为多通道输入后使用连续卷积神经网络进行分类实验, 然后选择最佳电极个数. 实验结果表明, 将实验脑电信号微分熵与被试者实验脑电前一秒的基线信号微分熵的差值映射为二维矩阵后, 在频率维度组合为多通道的形式作为连续卷积神经网络的输入, 在22通道上唤醒度和效价的分类平均准确率为95.63%和95.13%, 接近32通道的平均准确率.     

基于PCA的离散小波自回归情感识别

针对情感识别进行研究,提出基于主成分分析法（PCA）过滤小波变换结合自回归模型提取的信号特征方法,并基于梯度提升分类树以实现情感分类.将特征提取的重点放在脑电信号变化情况以及小波分量变化情况作为脑电信号特征.采用Koelstra等提出的分析人类情绪状态的多模态标准数据库DEAP,提取8种正负情绪代表各个脑区的14个通道脑电数据.结果表明,算法对8种情感两两分类识别平均准确率为95.76%,最高准确率为98.75%,可为情感识别提供帮助.     

基于脑电信号的正负情绪分类方法研究

驾驶员情绪状态的实时识别与预警,对保证道路交通安全系统的正常运行有着重要的作用与意义.本研究基于便携式脑电设备采集了 16位被试前额双通道脑电数据,分别从时域和频域上进行特征提取,使用集成学习分类的方法对正负情绪进行分类.结果显示频域特征以及特征的不对称指数在正负性情绪的分类起到了关键的作用,得到基于梯度提升决策树(GBDT)分类器的正负情绪识别准确率最佳,为92.4％.本研究提出了一种对驾驶员正负性情绪状态识别的新方法,为后续情绪状态的实时识别奠定了基础.     

基于脑电时频空多域特征融合的情感识别研究

传统基于脑电信号（electroencephalogram,EEG）的情感识别主要采用单一的脑电特征提取方法,为了充分利用EEG中蕴含的丰富信息,提出一种多域特征融合的脑电情感识别新方法。提取了EEG的时域、频域和空域特征,将三域特征进行融合作为情感识别模型的输入。首先计算不同时间窗EEG信号的alpha、beta、gamma三个频段功率谱密度,并结合脑电电极空间信息构成EEG图片,然后利用卷积神经网络（convolutional neural network,CNN）与双向长短期记忆网络（bidirectional long short-term memory network,BLSTM）构建CNN-BLSTM情感识别模型,分别对时、频、空三域特征进行学习。在SEED数据集对该方法进行验证,结果表明该方法能有效提高情感识别精度,平均识别准确率达96.25%。     

结合人脸图像和脑电的情绪识别技术

本文通过人脸图像和脑电两个输入信号对情绪识别技术展开研究. 采用对应不同情绪的电影片段对被实验者进行情绪刺激的方法采集输入信号. 通过表情识别出八种基本表情的分类, 通过脑电识别出情绪的三种强弱波动. 通过决策层面的信息融合, 进行情绪分类. 最终的识别准确率达到89.5%, 高于采用单模态进行识别的准确率, 分别为: 表情识别: 81.35%, 脑电识别: 71.53%.     

结合互信息通道选择与混合深度神经网络的脑电情感识别方法

针对单模态深度神经网络(Deep Neural Network,DNN)难以充分提取情感分类任务中脑电信号的多域特征,且脑电信号中存在通道冗余的问题,提出一种结合互信息通道选择与混合深度神经网络的脑电情感识别方法,首先提取各通道信号中γ节律的微分熵(Differential Entropy,DE)特征,通过DE计算通道间的归一化互信息(Normalized mutual information,NMI),将所得NMI矩阵按列求和后的向量作为表征各通道任务相关性的权值,根据权值选出最优通道集,之后采用卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络(Long-short term memory neural network,LSTM)相结合的混合DNN网络进行样本特征提取和分类.该方法分别在DEAP数据集的效价(Valence)和唤醒度(Arousal)上取得了87.60％和88.58％的平均分类准确率,表明了所提出方法的可行性和有效性.     

多维数据特征融合的用户情绪识别

针对目前基于智能手机的情绪识别研究中所用数据较为单一,不能全面反应用户行为模式,进而不能真实反应用户情绪这一问题展开研究,基于智能手机从多个维度全面收集反应用户日常行为的细粒度感知数据,采用多维数据特征融合方法,利用支持向量机(support vector machine,SVM)、随机森林(random forest)等6种分类方法,基于离散情绪模型和环状情绪模型两种情绪分类模型,对12名志愿者的混合数据和个人数据分别进行情绪识别,并进行了对比实验。实验结果表明,该全面反应用户行为的多维数据特征融合方法能够很好地对用户的情绪进行识别,其中使用个人数据进行情绪识别的准确率最高可达到79.78%,而且环状情感模型分类结果明显优于离散分类模型。     

基于SAE和GNDO-SVM的脑电信号情绪识别

情感计算是现代人机交互中的关键问题, 随着人工智能的发展, 基于脑电信号(electroencephalogram, EEG)的情绪识别已经成为重要的研究方向. 为了提高情绪识别的分类精度, 本研究引入堆叠自动编码器(stacked auto-encoder, SAE)对EEG多通道信号进行深度特征提取, 并提出一种基于广义正态分布优化的支持向量机(generalized normal distribution optimization based support vector machine, GNDO-SVM)情绪识别模型. 实验结果表明, 与基于遗传算法、粒子群算法和麻雀搜索算法优化的支持向量机模型相比, 所提出的GNDO-SVM模型具有更优的分类性能, 基于SAE深度特征的情感识别准确率达到了90.94%, 表明SAE能够有效地挖掘EEG信号不同通道间的深度相关性信息. 因此, 利用SAE深度特征结合GNDO-SVM模型可以有效地实现EEG信号的情绪识别.     

GM-FastText多通道词向量短文本分类模型

在针对短文本分类中文本特征稀疏难以提取、用词不规范导致OOV (out of vocabulary)等问题,提出了基于FastText模型多通道嵌入词向量,和GRU (gate recurrent unit)与多层感知机(multi-layer perceptron, MLP)混合网络结构(GRU-MLP hybrid network architecture, GM)的短文本分类模型GM-FastText.该模型使用FastText模型以N-gram方式分别产生不同的嵌入词向量送入GRU层和MLP层获取短文本特征,通过GRU对文本的特征提取和MLP层混合提取不同通道的文本特征,最后映射到各个分类中.多组对比实验结果表明:与TextCNN、TextRNN方法对比, GM-FastText模型F1指标提升0.021和0.023,准确率提升1.96和2.08个百分点;与FastText,FastText-CNN, FastText-RNN等对比, GM-FastText模型F1指标提升0.006、0.014和0.016,准确率提升0.42、1.06和1.41个百分点.通过对比发现,在Fas...     

脑电信号多维特征融合与分类算法研究

针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。     

Improving BCI-based emotion recognition by combining EEG feature selection and kernel classifiers

Current emotion recognition computational techniques have been successful on associating the emotional changes with the EEG signals, and so they can be identified and classified from EEG signals if appropriate stimuli are applied. However, automatic recognition is usually restricted to a small number of emotions classes mainly due to signal’s features and noise, EEG constraints and subject-dependent issues. In order to address these issues, in this paper a novel feature-based emotion recognition model is proposed for EEG-based Brain–Computer Interfaces. Unlike other approaches, our method explores a wider set of emotion types and incorporates additional features which are relevant for signal pre-processing and recognition classification tasks, based on a dimensional model of emotions: Valenceand Arousal. It aims to improve the accuracy of the emotion classification task by combining mutual information based feature selection methods and kernel classifiers. Experiments using our approach for emotion classification which combines efficient feature selection methods and efficient kernel-based classifiers on standard EEG datasets show the promise of the approach when compared with state-of-the-art computational methods.     

基于混合神经网络的脑电时空特征情感分类

提出一种脑电图（electroencephalograph,简称EEG）数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出了级联卷积-循环神经网络（CASC_CNN_LSTM）与级联卷积-卷积神经网络（CASC_CNN_CNN）这两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示,所提出的CASC_CNN_LSTM和CASC_CNN_CNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效地应用到基于EEG的情感分类与识别相关应用中.     

结合非线性全局特征和谱特征的脑电情感识别

针对现有表征情感信息的脑电信号的非线性特征提取不完善的问题,将相空间重构技术引入情感脑电的识别中,提取了在相空间重构下基于轨迹的描述轮廓的三种非线性几何特征作为新的情感脑电特征。结合脑电信号的功率谱熵以及非线性属性特征（近似熵、最大Lyapunov指数、Hurst指数）,提出了基于主成分分析（PCA）的非线性全局特征（非线性几何特征+非线性属性特征）和功率谱熵的融合算法,以支持向量机（SVM）为分类器进行情感识别。结果显示,非线性全局特征能更有效地实现情感识别,二分类情感识别率约90%左右。基于PCA的融合情感特征相比单一特征能达到更佳的情感识别性能,四分类实验中平均识别率可达86.42%。结果表明,非线性全局特征相比非线性属性特征情感识别率有所提高,非线性全局特征以及功率谱熵的结合可以构造出更佳的情感脑电特征参数。     

Sparsity constrained differential evolution enabled feature-channel-sample hybrid selection for daily-life EEG emotion recognition

Electroencephalography (EEG) reflects the activities of human brain and it can represent different emotional states to provide impersonal scientific evidence for daily-life emotional health monitoring. However, traditional multi-channel EEG sensing contains irrelevant or even interferential features, channels or samples, leading to redundant data and hardware complexity. This paper proposes a feature-channel-sample hybrid selection method to improve the channel selection, feature extraction and classification scheme for daily-life EEG emotion recognition. The features and channels are selected in pair with sparsity constrained differential evolution where the feature-channel pairs are optimized synchronously in the global search. Furthermore, the distance evaluation is carried out to remove abnormal samples to improve the emotion recognition accuracy. Therefore, efficient feature vectors for valence-arousal classification can be obtained by a small number of sparsely distributed channels. The experiments are based on the widely-used emotion recognition database DEAP and generate a feature-channel-sample hybrid selection scheme with optimized parameter settings. It can be derived that the proposed method can reduce the EEG channels sharply and maintain a relatively high accuracy compared with the related work. Furthermore, by applying this optimal scheme in practice, the real-scene daily-life EEG emotion recognition experiments are carried out on a sparsity constrained web-enabled system and a 10-fold cross validation is organized to confirm the performance. In conclusion, this paper provides a practical and efficient hardware configuration and feature-channel-sample optimal selection scheme for daily-life EEG emotion recognition.