基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

基于视频残差神经网络的深度步态识别

步态识别是根据人体的行走方式进行身份识别. 目前, 大多数步态识别方法通过浅层神经网络进行特征提取, 在室内步态数据集表现良好, 然而在近年新公布的室外步态数据集中性能表现不佳. 为了解决室外步态数据集带来的严峻挑战, 提出了一种基于视频残差神经网络的深度步态识别模型. 在特征提取阶段, 基于提出的视频残差块构建深层3D卷积神经网络(3D CNN), 提取整个步态序列的时空动力学特征; 然后, 引入时序池化和水平金字塔映射降低采样特征分辨率并提取局部步态特征; 使用联合损失函数驱动训练过程, 最后通过BNNeck平衡损失函数并调整特征空间. 实验分别在公开的室内 (CASIA-B)、室外(GREW、Gait3D)这3个步态数据集上进行. 实验结果表明, 该模型在室外步态数据集中的准确率以及收敛速度优于其他模型.     

基于生成对抗网络的跨视角步态特征提取

步态是一种能够在远距离、非侵犯的条件下识别身份的生物特征,但在实际场景中,步态很容易受到拍摄视角、行走环境、物体遮挡、着装等因素的影响.在跨视角识别问题上,现有方法只注重将多种视角的步态模板转化到固定视角下,且视角跨度的增大加深了错误的累积.为了提取有效的步态特征用于跨视角步态识别,本文提出了一种基于生成对抗网络的跨视角步态特征提取方法,该方法只需训练一个模型即可将步态模板转换到任意视角下的正常行走状态,并最大化地保留原本的身份特征信息,从而提高步态识别的准确率.在CASIA-B和OUMVLP数据集上的实验结果表明,该方法在解决跨视角步态识别问题上具有一定的鲁棒性和可行性.     

基于改进时空步态图的步态识别

基于图像步态识别因缺乏有效动态、时序特征,导致跨视角识别时准确率较低,而基于模型步态识别特征维度不足,容易造成步态识别平均准确率不高。故提出一种改进时空步态图(Improved Chrono-Gait Image,ICGI)及特征融合策略的解决方法,将时序信息与人体下肢关节间角度的规律变化相结合,突出步态运动时下肢的周期性变化。在引入时序信息的基础上,融合下肢关节点间动态特征,建立一个更加丰富、有效的特征集。结合最近邻算法(KNN)建立步态识别模型,在CASIA-B数据集上进行对比实验,证实所提方法能有效提高复杂环境下步态识别精度。     

基于CNN-GRU融合网络的EM-EEG辨别研究

针对当前情绪脑电信号(EM-EEG)辨识方法分辨率低的问题.在分析EM-EEG特征分布规律和单一卷积神经网络(CNN)特性的基础上,与门控循环单元(GRU)相结合,提出了CNN-GRU融合网络用于EM-EEG辨别研究.构建的CNN-GRU网络融合了CNN提取的EM-EEG频域、空域特征与GRU提取的EM-EEG时域特征,在构造的EM-EEG时-频-空域特征空间上进行情绪状态辨识;另外利用自己搭建的数据采集平台,设计情绪诱导实验生成新的情绪状态数据集.经过实验探究,结果表明:所提网络模型分别在SEED IV数据集、自采数据集上训练获得的辨识率为89.2％和83.76％,均能有效的对四种不同情绪进行判别,验证了该网络良好的泛化能力;而使用SEED IV数据集训练得到的模型在自采情绪数据集上的预测实验则验证了该网络拥有较强的鲁棒性.     

基于多尺度特征迁移学习的步态识别研究

为了解决行人步态数据集样本量较少、单特征或多特征融合的步态识别算法特征描述不足的问题,提出了一种基于多尺度特征深度迁移学习的行人步态识别方法。该算法步骤包括：改进VGG-16网络,去除网络中最后一个最大池化层（Maxpool Layer）,融合空间金字塔池化网络结构（SPP）获取行人步态能量图（GEI）的多尺度信息,利用Imagenet数据集预训练此网络模型,将提取特征能力迁移至行人步态识别网络模型中,采用行人步态样本集微调网络,修改网络中的全连接层参数,应用于行人步态识别研究。该方法在中科院自动化研究所的CASIA-B步态数据集上的识别精度达到了95.7%,与单一步态特征的步态识别方法以及融合多种步态特征的识别方法相比,步态识别率有了明显提升,表明该方法有更好的识别性能。     

基于改进残差网络的联合损失步态特征识别

针对现有的步态识别模型识别准确率不够高、提取特征层次较浅等问题,在步态识别网络GaitSet的基础上,提出一种新的基于改进残差网络的联合损失步态特征识别模型Res-GaitSet。步态作为一种独特而有效的远距离识别生物特征,可以在老年医学评估、社会秩序保障等方面被广泛应用。新网络在特征提取模块中引入残差单元,并采用多个损失函数联合使用的方式,此方法可有效提高步态识别模型的准确性和鲁棒性。实验结果表明,改进后的网络Res-GaitSet在CASIA-B数据集的多个场景和不同识别角度下的准确率均有提升。同时,将改进后的网络用于自建步态数据集,对比于原网络,改进后的网络识别效果在不同角度下也均有提升,充分验证了改进模型的有效性。     

一种改进的GRU-InFCN人体行为识别模型

为了克服传统机器学习方法在采用传感器数据进行人体行为识别领域上识别效果对人工特征选取依赖严重、识别准确率不高等问题,提出一种改进的全卷积神经网络和多层循环神经网络并联的深度学习模型(GRU-InFCN),并对传感器数据特征进行自动提取,实现人体动作的识别。该模型通过多尺度卷积神经网络和双层GRU网络(Gated Recurrent Unit,GRU)分别对传感器数据进行特征提取,将特征矩阵在矩阵维度上进行特征拼接再通过Softmax完成特征分类。实验结果表明,在开源人体行为识别(HAR)数据集上采用该方法进行人体行为识别,准确率达到了97.76%。该模型在取得高准确率的同时,避免了复杂的信号预处理和特征工程。     

基于多特征融合卷积的步态识别算法研究

针对GaitSet算法中主干网络学习能力和分类能力较弱,提出基于多特征融合卷积网络的步态识别算法(MFFC-GaitSet)。算法通过多特征融合卷积重建GaitSet网络增强网络学习能力,同时对三元组损失函数进行平滑优化;利用形态学处理对步态轮廓图进行修补。算法在Casia-B数据集上进行验证,步态识别精度达到85.811%,提高2.6%;模型权重仅增加6%。算法可以有效减少复杂环境对步态识别的负面影响,实现复杂环境下高精度的步态识别。实验结果表明,方法能够实现较为精确的步态识别,并具有较佳的鲁棒性和泛化能力。     

基于Tsfresh-RF特征提取的人体步态识别算法

惯性传感器(IMU)由于尺寸小、价格低、精度高以及信息实时性强等优点, 在人体运动信息的获取与控制等方面得到广泛应用, 但在步态识别的时间序列特征提取和步态环境数据等方面还存在着明显的局限. 本文针对人体下肢步态识别特征提取的复杂性及适用性差等问题, 提出基于Tsfresh-RF特征提取的人体步态识别新方法. 首先, 利用IMU获取的人体步态数据集, 构建基于Tsfresh时间序列特征提取和随机森林(RF)的人体步态识别算法模型. 其次, 采用该算法对人体不同传感器位置进行实验, 完成爬梯、行走、转弯等9种人体运动步态的识别. 最后, 实验结果表明所提方法平均分类准确率达到91.0％, 显著高于传统的支持向量机(SVM)与朴素贝叶斯(NB)等方法的识别结果. 此外, 本文所提基于Tsfresh-RF特征提取的人体步态识别算法具有很好的鲁棒性, 将为后续下肢外骨骼机器人的控制提供有利依据.     

基于连续密度隐马尔可夫模型的人体步态识别*

人体步态识别作为一种远距离和非侵犯性的识别技术在视频监控等领域具有广泛的应用前景.基于此原因,文中提出基于连续密度隐马尔可夫模型(CD-HMM)的人体步态识别算法.首先,提出基于自然步态周期的特征提取算法,并在此基础上构造观测向量集.然后,使用从训练样本集中提取的步态向量集对CD-HMM进行参数估计.最后,提出基于Cox回归分析的渐进自适应算法对训练过的步态模型进行参数自适应和步态识别.实验表明,相比现有的其它步态识别算法,文中算法具有更高的识别率.     

基于传感器技术的情绪采集与电子音乐交互实现

为提高电子音乐的交互性能,提出一种基于压阻式阵列触觉传感器的电子音乐交互方法。该方法通过压阻式阵列触觉传感器主动采集用户触碰信息,并建立触碰压力和不同情绪相对应的数据集;然后通过ELM-ELLA算法对用户情绪进行识别分析;最后在赋予各类歌单情绪标签基础上,通过构建情绪和对应歌单的播放策略,实现电子音乐交互。结果表明,ELM-ELLA算法可利用采集的用户触碰信息分析出用户情绪,且具有持续学习能力,随着算法执行的情绪分析任务的增加,其情绪分析能力也稳步提升;基于传感器技术的电子音乐交互模型输出的音乐,可调节多数人的情绪,基本实现电子音乐交互需求,可提升机器人的个性化服务能力。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

视频放大和深度学习在微表情识别任务上的应用

针对微表情动作过于微弱不利于识别和目前主流方法合并情绪类别不利于微表情在现实任务中的应用2个问题,提出一种基于眼部干扰消除的视频放大方法,并利用卷积神经网络实现微表情识别任务.首先,利用基于相位的视频动作处理技术对微表情数据集CASME和CASME II中的视频数据进行放大;然后利用特征点定位获取眼部坐标,并将原始眼部视频替换到放大视频中进行图像融合,以实现对眼部干扰的消除操作;最后利用VGG16的思想设计卷积神经网络模型网络,实现对放大后的微表情数据情绪类别的识别.实验在不同方法下分别对2个数据集的准确率进行对比,并用几种调优策略下的模型分别就原始数据集和放大数据集的准确率进行对比.结果表明,文中方法能够更好地提升真实情绪分类状态下的微表情识别准确率.     

基于深度残差网络的自动调制识别方法研究

自动调制识别是电磁环境特性分析的关键问题,而传统方法多基于人工设计特征进行识别,数据特征表示和判别分析能力有限。为此提出一种新颖的深度神经网络特征表示方法进行调制识别任务。首先,利用递归神经网络结构对电磁信号序列进行表示,建立了基于多层双向GRU网络结构的识别方法。其次,从一维空间卷积表示序列的角度思考,建立了基于深度残差卷积网络的调制识别方法。最后,针对加性高斯白噪声信道的调制方式仿真数据集,将提出的方法与典型神经网络模型如多层感知器、卷积神经网络进行了对比实验。实验结果表明,提出的方法在自动调制识别方面具备更强的特征表示能力和竞争力,有利于推动深度学习在自动调制识别领域的应用。     

基于轻量级卷积网络的步态识别研究

针对目前深度学习网络参数量大、成本较高等问题，提出了一种将轻量级卷积网络应用在步态识别中的研究，实现对行人步态的准确识别。该方法对数据集图像进行背景减除和归一化等预处理操作，根据每个人的步态特征提取出相应的步态能量图，使用Mobilenet网络模型进行特征学习并完成分类任务。实验结果表明，Mobilenet网络在减少模型参数量的同时，可以提高模型的识别精度，平均准确率和召回率可以达到90.7%、89.99%，能够有效地实现步态的识别及分类。     

基于PSO的RF模型在人体活动识别中的应用

提出一种基于粒子群优化(PSO)的随机森林（RF）识别方法。利用PSO算法搜寻最优的RF超参数n＿estimators和max＿depth，构建了PSO-RF人体活动识别模型。基于华盛顿州立大学CASAS项目数据集的实验共识别30种日常活动。仿真结果表明，PSO-RF模型的识别准确率达到95%,Accuracy、Precision、Recall和F1-score评价指标均优于其他经典的分类模型，具有较好的预测精度和泛化能力，可为智能家居系统个性化服务提供辅助决策。     

设备端基于深度学习的智能家居服务推荐框架

随着智能家居的普及,用户期望通过自然语言指令实现智能设备的控制,并希望获得个性化的智能家居服务。然而,现有的挑战包括智能设备的互操作性和对用户环境的全面理解。针对上述问题,提出一个支持设备端用户智能家居服务推荐个性化的框架。首先,构建智能家居的运行时知识图谱,用于反映特定智能家居中的上下文信息,并生成用例场景语句;其次,利用预先收集的通用场景下,用户的自然语言指令和对应的用例场景语句训练出通用推荐模型;最后,用户在设备端以自然语言管理智能家居设备和服务,并通过反馈微调通用模型的权重得到个人模型。在基本指令集、复述集、场景指令集三个数据集上的实验表明,用户的个人模型相比于词嵌入方法的准确率提升了6.5%~30%,与Sentence-BERT模型相比准确率提升了2.4%~25%,验证了设备端基于深度学习的智能家居服务框架具有较高的服务推荐准确率,能够有效地管理智能家居设备和服务。     

基于改进VGG16模型的人脸情绪识别预测研究

人脸情绪识别是人类沟通交流中的重要一部分,所以正确识别人脸情绪可以保证高质量的沟通效果。文章提出改进的VGG16模型作用于人脸情绪识别的预测研究。改进模型引入正负例样本均衡化来解决数据集分布不均衡的现象,从而优化局部最小值和过拟合现象;为了提高模型训练的泛化能力,引入局部归一化对图像数据集进行处理;利用交叉验证机制提高模型训练的精确度,且修改VGG16模型第一个全连接层为全卷积层以适应任意大小的输入样本。最后采用IM-VGG16、VGG16和ResNet18模型分别对数据集进行6分类识别。实验表明,与ResNet18和VGG16模型相比,IM-VGG16模型具有更高的情绪识别准确度,其最终的识别准确度为89.92%。     

面向外骨骼机器人人机交互的步态数据获取系统及识别模型

外骨骼机器人人机交互是当前的研究热点,通常需要获取人体相关运动信息作为控制信号源。为了采集人体步态数据,研究了生理信号与关节运动之间的关联机制,设计了一种步态数据获取系统,其利用鞋内薄膜压力传感器和关节角度传感器组成测试设备,成功采集了15组健康男子在3km/h、4km/h和5km/h 3种速率下自然行走的步态数据。提出采用基因表达式编程建立膝关节运动识别模型,并使用所采集的步态数据进行训练和验证。结果显示,利用此模型可有效进行关节运动的识别和预测,验证了本系统作为外骨骼人机接口的可行性。