基于卷积注意力机制的运动想象脑电信号识别

针对多类别运动想象脑电信号识别精度不高的问题,提出了一种融合注意力模块的卷积神经网络模型。该模型利用注意力模块充分挖掘脑电信号的通道和空间特征,建立其与识别任务之间的重要程度关系,从而提高运动想象脑电信号的识别准确率。信号经过共空间模式提高信噪比,利用小波变换将信号转换成二维时频图,通过注意力模块中通道和空间两个维度进行特征的调整,以强化有用特征弱化无用特征,使卷积网络充分提取更高层次的抽象特征,并最终执行运动想象任务的识别。分别在BCI竞赛IV Datasets 2a和BCI竞赛III-IIIa数据集上进行了有效性评价,并与卷积神经网络以及其他算法进行了比较。实验结果表明,提出的方法可达到良好的准确率,能够有效提高脑电信号运动想象任务的识别准确率。     

基于3CNN-BiGRU的睡眠自动分期研究

针对单通道脑电信号睡眠自动分期效率和准确率问题，提出采用三尺度并行卷积神经网络提取睡眠信号特征和双向门控循环单元学习睡眠阶段之间内部时间关系的3CNN-BiGRU睡眠自动分期模型。首先对原始单通道脑电信号进行带通滤波处理，并采用合成少数类过采样技术进行类平衡，然后送入搭建的模型中进行训练和验证实验，其中采用预训练和微调训练对模型进行优化，采用10次和20次交叉验证提高训练可靠性。不同数据集下的不同模型对比实验结果表明，3CNN-BiGRU模型取得了更高的训练效率和更好的分期准确率。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于双卷积神经网络融合的注意力训练研究

学生的学习情况与其课堂注意力状态密切相关。为了探寻注意力训练能否提高课堂注意力,对10名在校学生进行了α音乐训练,并收集了训练前后的非注意和注意状态的脑电（Electroence-phalogram,EEG）信号进行对比研究。由于EEG信号本质上是动态的,且具有低信噪比和高冗余度的特性,为避免直接通过神经网络识别EEG信号效果差的问题,提取了信号的样本熵（Sample entropy,SampEn）、各个波段的能量和能量比共11个特征,并将这些特征进行融合转化为多特征图像,作为神经网络模型的输入。此外,将AlexNet和VGG11两个网络模型进行加权融合构成双卷积神经网络,进一步提高了图像分类性能。结果表明,与单个模型相比,双卷积神经网络融合模型的性能更佳,其识别准确率最高可达到97.53%。研究发现,经过α音乐训练,受试者的脑电特征与此前相比有显著性差异,且网络模型的分类准确率比训练前提高了4%,说明本文所提的α音乐训练能够提高健康学生的注意力水平。     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。     

融合注意力机制的多流卷积肌电手势识别网络

针对目前表面肌电信号(surface electromyography,sEMG)端到端手势识别特征提取不充分、多手势识别准确率不高的问题,提出一种融合注意力机制的多流卷积肌电手势识别网络模型.该模型通过滑动窗口将多通道时域sEMG生成肌电子图,并使用多流卷积神经网络充分提取每个采集通道sEMG的语义特征,然后将其聚合得到丰富的多通道手势语义特征;同时从时间和特征通道维度上计算语义特征的注意力分布图,强化有用特征并弱化无用特征,进一步提高多手势识别准确率.实验使用Ninapro数据集进行训练和测试,并与主流的肌电手势识别模型进行对比.实验结果表明,该模型在识别准确率上具有更好的表现,证明了该模型的有效性.     

脑电信号多维特征融合与分类算法研究

针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。     

基于长短记忆与信息注意的视频-脑电交互协同情感识别

基于视频-脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory, LSTM)和注意机制(Attention mechanism)的视频-脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号, 输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network, CNN)的人脸视频特征与对应的脑电信号特征, 通过LSTM进行融合并预测下一个时间点上的关键情感信号帧, 直至最后一个时间点上计算出情感识别结果.在这一过程中, 该模型通过空域频带注意机制计算脑电信号${\alpha}$波, ${\beta}$波与${\theta}$波的重要度, 从而更加有效地利用脑电信号的空域关键信息; 通过时域注意机制, 预测下一时间点上的关键信号帧, 从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型, 取得了良好的识别效果.实验结果表明本文的工作为视频-脑电信号交互协同的情感识别问题提供了一种有效的解决方法.     

基于多尺度卷积神经网络的滚动轴承故障识别

针对当前基于卷积神经网络的滚动轴承故障信号识别多采用单一尺度卷积核,对特征提取不充分、多尺度特征难提取,且超参数选取多依据人工经验等问题,提出一种多尺度卷积神经网络识别方法。首先,直接将原始时域信号作为输入,可有效保留原始信号特征且不需要人们对故障机理、信号处理专业知识的认识。其次,通过多尺度卷积神经网络对信号特征学习,并引入粒子群优化算法来寻求最优的尺度信息。最后,用滚动轴承数据集来验证模型性能,并与其他模型做对比。实验结果表明,本文模型平均识别准确率达到99.45%,高于其他模型,且抗噪声能力优于其他模型,证明所提方法具有可行性。     

融合频率和通道卷积注意的脑电(EEG)情感识别

现有的脑电(EEG)情感识别研究普遍采用神经网络和单一注意机制来学习情感特征,具有相对单一的特征表示.而神经科学研究表明,不同频率和电极通道的脑电信号对情感有不同的响应程度,因此文中提出了一种融合频率和电极通道卷积注意的方法,用于脑电情感识别.具体来说,首先将EEG信号分解到不同的频带上并提取相应的帧级特征,然后用预激活残差网络来学习深层次的脑电情感相关特征,同时在残差网络的每个预激活残差单元中都融入频率和电极通道卷积注意模块,以建模脑电信号的频率和电极通道信息,并生成脑电特征的最终注意表示.在DEAP和DREAMER数据集上的独立于受试者场景下的实验结果表明,所提出的卷积注意方法相比单一注意机制更有助于增强EEG信号中情感显著信息的导入,并且能产生更好的情感识别结果.     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

融合多尺度自注意力机制的运动想象信号解析

基于运动想象脑电信号的脑机接口（BCI）技术近年来发展迅速,并且与传统方法相比,深度学习取得了具有竞争力的效果。然而如何设计和训练一个端到端网络来充分提取运动想象脑电信号的潜在特征仍然是一个挑战。从脑电的时间和空间特征出发,提出了一个基于注意力机制的多尺度时空自注意力网络模型用于运动想象脑电信号四分类（左手、右手、脚、舌头/休息）。由于运动想象脑电信号的幅值与响应时间因人而异,无法确切确定与运动想象最相关的大脑区域,在空间上使用自注意力机制自动将较高的权重加权到与运动相关的通道,将较低的权重加权到与运动无关的通道来选择最佳通道;在时间上,使用并行多尺度TCN层提取不同尺度下的时间域特征信息,消除时间域上的噪声。多尺度融合模块融合提取的空间和时间域特征,最后输入到特征分类模块进行分类。提出的模型在BCI竞赛数据集IV-2a、IV-2b数据集和HGD数据集上分别达到79.26%、85.90%和96.96%的精度。与现有方法相比,该方法在单被试分类中具有更高的准确率。结果表明,该方法具有较好的性能、鲁棒性和迁移学习能力。     

心理测试中掩饰行为的识别研究

脑电（Electrocorticogram,EEG）信号能够正确地揭示人的心理活动,因此被广泛地运用到心理测试中。提出了一种基于EEG信号的非线性特征融合方法,对受试者在心理测试中是否存在掩饰行为进行识别。对心理测试过程中受试者的EEG信号进行预处理,提取各通道信号的Lempel-Ziv复杂度LZC、样本熵SE、排列熵PE和模糊熵FE四种非线性特征;使用多维尺度分析（MDS）对所得的四种特征的不同特征组合进行融合和降维操作。针对不同特征组合,采用正则化核函数极限学习机构建分类模型并通过测试集验证分类模型的性能。实验结果表明,分类模型准确率能达到82.9%,证明了该方法的适用性。     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于卷积联合适应网络的脑电信号情感识别

提出一种基于深度卷积联合适应网络（Convolutional neural network-joint adaptation network,CNN-JAN）的脑电信号（Electroencephalogram, EEG）情感识别模型。该模型将迁移学习中联合适应的思想融合到深度卷积网络中,首先采用长方形卷积核提取数据的空间特征,捕捉脑电数据通道间的深层情感相关信息,再将提取的空间特征输入含有联合分布的多核最大均值差异算法（Multi-kernel joint maximum mean discrepancy,MK-JMMD）的适配层进行迁移学习,使用MK-JMMD度量算法解决源域和目标域分布不同的问题。所提方法在SEED数据集上使用微分熵特征和微分尾端性特征分别进行情感分类实验,其中使用微分熵特征被试内跨试验准确率达到84.01%,与对比实验和目前流行的迁移学习方法相比,准确率进一步提高,跨被试实验精度也取得较好的性能,验证了该模型用于EEG信号情感识别任务的有效性。     

融合注意力机制的多视图卷积手势识别研究

基于表面肌电信号（sEMG）的手势识别在人机交互中发挥着重要作用,然而,由于sEMG具有非线性和随机性,因此提升基于稀疏多通道sEMG的手势识别准确率难度较高。提出一种融合注意力机制的多视图卷积手势识别模型。首先使用200 ms滑动窗口提取经典的sEMG特征集构建多视图输入,其次利用高效通道注意力对多视图特征在通道维度进行加权,以强化有效特征同时弱化无效特征,最后通过多视图卷积从带有注意力权重的肌电特征中提取高层特征,利用高层特征融合模块对其进行融合以降低数据维度并提高模型鲁棒性。在NinaPro DB1、NinaPro DB5、NinaPro DB7 3个肌电公共数据集上进行训练和评估,结果表明,该模型在200 ms滑动采样窗口上的平均识别准确率分别为87.98%、94.97%和89.67%,整段手势动作的平均投票准确率分别为97.38%、98.41%和97.09%,平均信息传输率为1 308.71 bit/min。与传统机器学习方法和近年来前沿的深度学习手势识别方法相比,所提模型在单模态肌电和多模态手势识别上均具有更高的识别准确率,验证了其有效性和通用性。     

结合Bi-2DPCA与CNN的美式手语识别

针对现有美式手语（ASL）识别算法准确率低和模型训练时间长的问题,提出一种结合双向二维主成分分析（Bi-2DPCA）与卷积神经网络（CNN）并基于贝叶斯优化的识别算法。利用Bi-2DPCA算法对原始图像做数据降维处理,提取行、列方向的特征图,使用卷积神经网络对特征图进行训练分类,同时采用贝叶斯优化算法对模型超参数进行自动调参。在24分类ASL数据集上的实验结果表明,该算法的识别准确率达到99.15%,训练时间相比传统CNN算法减少90.3%。     

三维输入卷积神经网络脑电信号情感识别

为了保留电极之间的空间信息以及充分提取脑电信号（Electroencephalogram,EEG）特征,提高情感识别的准确率,提出一种基于三维输入卷积神经网络的特征学习和分类算法。采用单熵（近似熵（Approximate Entropy,ApEn）、排列熵（Permutation Entropy,PeEn）和奇异值分解熵（Singular value decomposition Entropy,SvdEn））以及其组合熵特征,分别在DEAP数据集进行效价和唤醒度两个维度上的情感识别实验。实验结果表明,采用组合熵特征比单熵特征在情感识别实验中准确率有显著提高。最高组合熵特征平均准确率在效价和唤醒度上分别为94.14%和94.44%,比最高单熵特征平均准确率分别提高了5.05个百分点和4.49个百分点。     

结合注意力机制的CNN-LSTM心电信号识别

心电信号形态复杂多样易导致识别准确率低、适应性差，通常依靠人工诊断，费时费力。为此提出注意力机制与卷积长短时记忆网络(CNN-LSTM)相结合的深度网络模型(Attention-Based CNN-LSTM,A-CNN-LSTM)以实现心电信号自动识别。模型以CNN为基础架构，引入了注意力机制帮助心电信号内空间特征的提取；LSTM捕捉空间特征内的时间特性，并将其用于信号分类。在MIT-BIH心律不齐数据库上进行实验，结果表明，该模型可对六种不同的心电信号进行分类，识别准确率达到99.23%,具有一定的临床应用意义。