基于深度可分离卷积结构的人脸表情识别研究

人脸表情识别是计算机视觉领域中人脸识别的一个重要分支。由于人脸表情多样性,头部姿态变化以及表情主 体所处环境等诸多因素的影响,给人脸表情识别的工作带来了很大的挑战。针对采用传统卷积神经网络,由于其模型参数数 量多,且比传统机器学习算法的人脸表情识别精度的提高有限,给出了一种基于深度可分离卷积结构的改进卷积神经网络模 型。基于该模型对Fer2013灰度表情识别数据集进行实验,结果表明,在保证了68.31% 的较高准确率情况下,与传统卷积神经 网络相比,模型的网络结构得到了优化,模型参数数量大大减少,且模型参数的利用效率较高。     

基于Mixer Layer的人脸表情识别

目前人脸表情识别研究多数采用卷积神经网络(CNN)提取人脸特征并分类, CNN的缺点是网络结构复杂, 消耗计算资源. 针对以上缺点, 本文采用基于多层感知机(MLP)的Mixer Layer网络结构用于人脸表情识别. 采用数据增强和迁移学习方法解决数据集样本不足的问题, 搭建了不同层数的Mixer Layer网络. 经过实验比较, 4层Mixer Layer网络在CK+和JAFFE 数据集上的识别准确率分别达到了98.71%和95.93%, 8层Mixer Layer网络在Fer2013数据集上的识别准确率达到了63.06%. 实验结果表明, 无卷积结构的Mixer Layer网络在人脸表情识别任务上表现出良好的学习能力和泛化能力.     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

基于优化卷积神经网络结构的交通标志识别

现有算法对交通标志进行识别时,存在训练时间短但识别率低,或识别率高但训练时间长的问题。为此,综合批量归一化（BN）方法、逐层贪婪预训练（GLP）方法,以及把分类器换成支持向量机（SVM）这三种方法对卷积神经网络（CNN）结构进行优化,提出基于优化CNN结构的交通标志识别算法。其中：BN方法可以用来改变中间层的数据分布情况,把卷积层输出数据归一化为均值为0、方差为1,从而提高训练收敛速度,减少训练时间;GLP方法则是先训练第一层卷积网络,训练完把参数保留,继续训练第二层,保留参数,直到把所有卷积层训练完毕,这样可以有效提高卷积网络识别率;SVM分类器只专注于那些分类错误的样本,对已经分类正确的样本不再处理,从而提高了训练速度。使用德国交通标志识别数据库进行训练和识别,新算法的训练时间相对于传统CNN训练时间减少了20.67%,其识别率达到了98.24%。所提算法通过对传统CNN结构进行优化,极大地缩短了训练时间,并具有较高的识别率。     

结合Bi-2DPCA与CNN的美式手语识别

针对现有美式手语（ASL）识别算法准确率低和模型训练时间长的问题,提出一种结合双向二维主成分分析（Bi-2DPCA）与卷积神经网络（CNN）并基于贝叶斯优化的识别算法。利用Bi-2DPCA算法对原始图像做数据降维处理,提取行、列方向的特征图,使用卷积神经网络对特征图进行训练分类,同时采用贝叶斯优化算法对模型超参数进行自动调参。在24分类ASL数据集上的实验结果表明,该算法的识别准确率达到99.15%,训练时间相比传统CNN算法减少90.3%。     

基于VGGNet的人脸表情识别研究

针对传统卷积神经网络(Convolutional Neural Network,CNN)在人脸表情识别中有效特征提取不够、泛化能力不强及识别准确性不高等缺点,研究选用具有更小卷积核和更深池化层的视觉几何组网络(Visual Geometry Group Network,VGGNet)进行人脸表情识别系统的设计。为了验证识别效果,在传统CNN和VGGNet框架下进行人脸表情识别系统的搭建,使用FER2013公开数据集进行训练和测试,并对测试结果进行对比分析。实验表明,传统CNN模型在人脸表情识别任务中的识别率仅为88%,而VGGNet则能够取得高达98%的识别率。此外,利用真人实际测试验证了研究搭建的VGGNet模型具有很好的表情识别效果。     

基于深度学习的鱼类分类算法研究

回顾近年来国内外对鱼类分类的研究进展,指出传统方法存在的缺陷。深度学习是目前图像分类的主流方法。研究基于卷积神经网络CNN(Convolutional Neural Network)的鱼类分类模型,并以该模型为基础,进一步提出利用迁移学习,以预训练网络的特征结合SVM算法(Pre CNN+SVM)的混合分类模型。实验以Fish4-Knowledge(F4 K)作为数据集,使用Tensor Flow训练网络模型。实验结果表明,利用Pre CNN+SVM算法,取得了98.6%的准确率,较传统方法有显著提高。对于小规模数据集,有效解决了需要人工提取特征的不可迁移性。     

结合改进卷积神经网络与通道加权的轻量级表情识别

目的 表情是人机交互过程中重要的信息传递方式,因此表情识别具有重要的研究意义。针对目前表情识别方法存在背景干扰大、网络模型参数复杂、泛化性差等问题,本文提出了一种结合改进卷积神经网络(convolutional neural network,CNN)与通道加权的轻量级表情识别方法。方法 首先,采用标准卷积和深度可分离卷积组合神经网络结构,再利用全局平均池化层作为输出层,简化网络的复杂程度,有效降低网络参数;其次,网络引入SE(squeeze-and-excitation)模块进行通道加权,通过在不同卷积层后设置不同的压缩率增强表情特征提取能力,提升网络模型精度;最后,用softmax分类函数实现各类表情的准确分类。结果 本文网络参数量为6 108 519,相较于识别性能较好的Xception神经网络参数减少了63%,并且通过对网络模型的实时性测试,平均识别速度可达128 帧/s。在5个公开的表情数据集上验证网络模型对7种表情的识别效果,与7种卷积神经网络方法相比,在FER2013 (Facial Expression Recognition 2013)、CK+ (the extended Cohn-Kanade) 和JAFFE (Japanses Female Facial Expression) 3个表情数据集的识别精确度提高了5.72%、0.51%和0.28%,在RAF-DB (Real-world Affective Faces Database)、AffectNet这两个in-the-wild表情数据库的识别精确度分别提高了2.04%和0.68%。结论 本文提出的轻量级表情识别方法在不同通道具有不同的加权能力,获取更多表情关键特征信息,提高了模型的泛化性。实验结果表明,本文方法在简化网络的复杂程度、减少计算量的同时能够准确识别人脸表情,能够有效提升网络的识别能力。     

基于改进MobileNet网络的人脸表情识别

针对轻量级卷积神经网络MobileNet应用于人脸表情识别实时性较差、最小输入尺寸较大、准确率不高等问题,提出一种改进的MobileNet网络模型——M-MobileNet(Modified MobileNet)。M-MobileNet具有比原网络更好的轻量级特性。该网络模型基于一种改进的深度可分离卷积层,不仅具有MobileNet模型中深度可分离卷积减少卷积计算量的特点,还解决了在深度卷积层后可能会导致信息丢失的问题。在分类器选择上,M-MobileNet使用线性支持向量机(SVM)进行人脸表情分类,参数量较MobileNet网络大大减少。在CK+、KDEF数据集及移动端上的实验证明,改进后的MobileNet网络模型具有更好的识别性能。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于多头注意力机制的端到端语音情感识别

针对语音情感数据集规模小且数据维度高的特点,为解决传统循环神经网络（RNN）长程依赖消失和卷积神经网络（CNN）关注局部信息导致输入序列内部各帧之间潜在关系没有被充分挖掘的问题,提出一个基于多头注意力（MHA）和支持向量机（SVM）的神经网络MHA-SVM用于语音情感识别（SER）。首先将原始音频数据输入MHA网络来训练MHA的参数并得到MHA的分类结果;然后将原始音频数据再次输入到预训练好的MHA中用于提取特征;最后通过全连接层后使用SVM对得到的特征进行分类获得MHA-SVM的分类结果。充分评估MHA模块中头数和层数对实验结果的影响后,发现MHA-SVM在IEMOCAP数据集上的识别准确率最高达到69.6%。实验结果表明同基于RNN和CNN的模型相比,基于MHA机制的端到端模型更适合处理SER任务。     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法。该算法采用带有词嵌入的双向长短时记忆网络（bi-directional long short-term memory network,Bi-LSTM）和卷积神经网络（convolutional neural network,CNN）构成Bi-LSTM-CNN模型,实现文本特征的提取,将其与声学特征融合结果作为联合CNN模型的输入,进行语音情感计算。基于IEMOCAP多模态情感检测数据集的测试结果表明,情感识别准确率达到了69.51%,比单一模态模型提高了至少6个百分点。     

基于教与学优化的可变卷积自编码器的医学图像分类方法

针对传统手工方法优化卷积神经网络（CNN）参数时存在耗时长、不准确,以及参数设置影响算法性能等问题,提出一种基于教与学优化（TLBO）的可变卷积自编码器（CAE）算法。该算法设计了可变长度的个体编码策略,从而快速构建CAE结构,并堆叠CAE为一个CNN;此外,充分利用优秀个体的结构信息来引导算法朝着更有希望的区域搜索,从而提高算法性能。实验结果表明,所提算法在解决医学图像分类问题时,分类精度达到89.84%,高于传统CNN和同类型神经网络。该算法通过优化CAE结构和堆叠CNN解决医学图像分类问题,有效提高了医学图像分类性能。     

基于卷积神经网络的工控网络异常流量检测

针对工控系统中传统的异常流量检测模型在识别异常上准确率不高的问题，提出一种基于卷积神经网络（CNN）的异常流量检测模型。该模型以卷积神经网络算法为核心，主要由1个卷积层、1个全连接层、1个dropout层以及1个输出层构成。首先，将实际采集的网络流量特征数值规约到与灰度图像素值相对应的范围内，生成网络流量灰度图；然后，将生成好的网络流量灰度图输入到设计好的卷积神经网络结构中进行训练和模型调优；最后，将训练好的模型用于工控网络异常流量检测。实验结果表明，所提模型识别精度达到97.88%，且与已有的精度最高反向传播（BP）神经网络测精度提高了5个百分点。     

深度学习下融合不同模型的小样本表情识别

为了进一步提高人脸表情识别在小样本中的准确率,提出了一种深度学习下融合不同模型的小样本表情识别方法。该方法首先对单个卷积神经网络(CNN)模型进行比较,通过dropout层不同的节点保留概率p,筛选相对合适的CNN。之后采用尺度不变特征变换(SIFT)算法提取出特征,使用SIFT提取特征的目的是提高小数据的性能。为了减少误差,避免过拟合,将所有模型进行汇总,采用简单平均的模型融合方法得到CNN-SIFT-AVG模型。最后,只采用少量样本数据来训练模型即可。该模型已在FER2013、CK+和JAFFE数据集上进行了验证实验。实验结果表明,该模型可以很大程度上提高小样本表情识别的准确率,并在FER2013、CK+和JAFFE数据集上产生了较优异的结果,与其他表情识别方法相比,准确率最大提升约6%。     

基于PID和深度卷积神经网络的辐射源识别方法

利用神经网络进行辐射源个体识别时,训练样本的单一性会导致深度网络出现过拟合的现象,继而影响辐射源个体识别的精确性。针对该问题,本文提出一种基于PID算法的深度卷积网络结构,该结构通过在传统卷积神经网络的输出层与输入层间构建一条反馈回路,采用PID算法将网络输出错误率转化为划分训练集数据构成的概率,通过优化训练集数据构成,达到抑制过拟合的目的。将该方法应用于超短波电台识别,平均识别率达到92.59%,识别率方差约为传统算法的1/3,训练用时减少约35 min,上述指标均优于传统神经网络。实验结果表明,该算法增强了深度网络的鲁棒性,有效地抑制了过拟合现象。     

构建并行卷积神经网络的表情识别算法

目的 表情识别在商业、安全、医学等领域有着广泛的应用前景,能够快速准确地识别出面部表情对其研究与应用具有重要意义。传统的机器学习方法需要手工提取特征且准确率难以保证。近年来,卷积神经网络因其良好的自学习和泛化能力得到广泛应用,但还存在表情特征提取困难、网络训练时间过长等问题,针对以上问题,提出一种基于并行卷积神经网络的表情识别方法。方法 首先对面部表情图像进行人脸定位、灰度统一以及角度调整等预处理,去除了复杂的背景、光照、角度等影响,得到了精确的人脸部分。然后针对表情图像设计一个具有两个并行卷积池化单元的卷积神经网络,可以提取细微的表情部分。该并行结构具有3个不同的通道,分别提取不同的图像特征并进行融合,最后送入SoftMax层进行分类。结果 实验使用提出的并行卷积神经网络在CK+、FER2013两个表情数据集上进行了10倍交叉验证,最终的结果取10次验证的平均值,在CK+及FER2013上取得了94.03%与65.6%的准确率。迭代一次的时间分别为0.185 s和0.101 s。结论 为卷积神经网络的设计提供了一种新思路,可以在控制深度的同时扩展广度,提取更多的表情特征。实验结果表明,针对数量、分辨率、大小等差异较大的表情数据集,该网络模型均能够获得较高的识别率并缩短训练时间。     

基于SVM与Inception-v3的手势识别

针对传统机器视觉的手势识别方法识别准确率低,抗干扰能力差等问题,提出了一种基于支持向量机（Support Vector Machine,SVM）手势分割和迁移学习的静态手势识别方法.本文使用SVM和迁移学习方法相结合构建新的手势识别模型,利用SVM对样本进行手势分割,将Inception-v3模型作为卷积神经网络模型基础,对网络参数进行fine-tuning,将预先经过手势分割处理后的样本导入模型训练,调整超参数得到新的最优手势识别模型,并在一定干扰环境下测试,得到测试结果.测试结果表明该方法识别准确率和实时反馈效率均高于传统方法,能高效识别手势,满足实际应用需求.     

基于多尺度特征融合CNN模型的车辆精细型号识别

车辆精细型号是车辆识别的主要线索之一,也是智能交通系统的重要组成部分。针对车辆精细型号种类繁多、车辆所处环境复杂多变等因素,提出一种基于多尺度特征融合的车辆精细型号识别方法。该方法基于传统的卷积神经网络,通过提取并融合来自网络底层和高层的车辆特征,完成对车辆精细型号的识别。与其他基于卷积神经网络的车辆精细型号识别方法相比,该方法在提高分类准确率的同时还大幅度降低了整体网络的参数规模。实验结果表明,在公开数据集CompCars的监控场景下其识别精度达到了98.43%,且模型参数大小仅为3.93 MB,平均每张图片只需0.83 ms的分类时间。