结合空洞卷积的CNN实时微表情识别算法

通过CNN等基于深度特征的人脸自发式微表情识别分类方法逐渐完善,相比于传统的特征提取方法更易满足应用实时性,针对微表情持续时间短、动作幅度细微,在多卷积层叠加会丢失图像中的细微信息的问题,为了完善细节信息,充分提取微表情细微特征,提出结合空洞卷积核及人脸自动校正算法,完善CNN特征提取过程,通过自动人脸矫正适应实际应用中的实时识别分类,在CASME及CASMEⅡ微表情公开数据集上完成模型训练及测试,通过损失函数方案对比提高模型鲁棒性,CASME中准确率为70.16%,CASMEⅡ中准确率为72.26%;实时识别帧率在60 fps。该方法能有效地提高微表情识别准确率,满足实时性要求,且具有较好的鲁棒性和泛化能力。     

结合C3D与光流法的微表情自动识别

由于微表情动作幅度小且持续时间短,使其识别难度大.针对此问题,提出一个结合三维卷积神经网络(3D Convolutional neural network,C3D)和光流法的微表情识别方法.所提出的方法先用光流法从微表情视频中提取出包含动态特征的光流图像系列,然后将得到的光流图像系列与原始灰度图像序列一起输入到C3D网络,由C3D进一步提取微表情在时域和空域上的特征.在开放数据集CASMEⅡ上进行了模拟实验,实验表明本文所提出的方法对微表情的识别准确率达到67.53％,优于现有方法.     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

结合深度神经网络的网络监控系统微表情识别

为了提高网络监控系统微表情识别的效果,结合深度神经网络技术提出新的智能监控系统微表情识别算法。将判别能力强的卷积神经网络特征与鲁棒的直方图特征结合,利用卷积神经网络提取目标的空间特征,再将卷积特征表示为直方图,结合直方图和卷积神经网络两者的优势设计新的人体追踪算法;设计跨模态监督的深度神经网络训练方法,将可见光视频数据送入深度神经网络进行训练,利用近红外光视频对训练程序进行监督。基于公开的多模态微表情识别数据集完成了验证实验,结果显示该算法有效地提高了微表情识别的性能。     

采用时空注意力机制的人脸微表情识别

目的 微表情是人自发产生的一种面部肌肉运动,可以展现人试图掩盖的真实情绪,在安防、嫌疑人审问和心理学测试等有潜在的应用。为缓解微表情面部肌肉变化幅度小、持续时间短所带来的识别准确率低的问题,本文提出了一种用于识别微表情的时空注意力网络（spatiotemporal attention network,STANet）。方法 STANet包含一个空间注意力模块和一个时间注意力模块。首先,利用空间注意力模块使模型的注意力集中在产生微表情强度更大的区域,再利用时间注意力模块对微表情变化更大因而判别性更强的帧给予更大的权重。结果 在3个公开微表情数据集（The Chinese Academy of Sciences microexpression,CASME;CASME II;spontaneous microexpression database-high speed camera,SMIC-HS）上,使用留一交叉验证与其他8个算法进行了对比实验。实验结果表明,STANet在CASME数据集上的分类准确率相比于性能第2的模型Sparse MDMO（sparse main directional mean optical flow）提高了1.78%;在CASME II数据集上,分类准确率相比于性能第2的模型HIGO（histogram of image gradient orientation）提高了1.90%;在SMIC-HS数据集上,分类准确率达到了68.90%。结论 针对微表情肌肉幅度小、产生区域小、持续时间短的特点,本文将注意力机制用于微表情识别任务中,提出了STANet模型,使得模型将注意力集中于产生微表情幅度更大的区域和相邻帧之间变化更大的片段。     

基于双注意力模型和迁移学习的Apex帧微表情识别

微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用“留一交叉验证法”进行实验,结果表明本文方法相比一些现有的方法识别准确率及 ${F_1}$ 值更高。     

双通道动静态特征的微表情识别

微表情识别是情感识别领域的一项关键任务,其目的是分析人们隐藏的真实情感.针对微表情识别中微表情视频帧冗余、微表情幅度变化微弱和微表情持续时间短的问题,导致无法有效在微表情视频中提取有效特征,从而降低微表情识别的精度与速度,提出一种动态特征与静态特征结合的微表情识别方法.首先将视频动态信息压缩为残差积减少帧冗余,提高模型预测速度,然后分别使用稀疏卷积和深度可分离卷积提取动态特征和静态特征,并利用多阶段自适应特征融合的方式充分结合动态特征与静态特征,最后通过标签平滑损失函数提高模型泛化能力.实验结果表示,动态特征与静态特征的结合有效地提高了微表情识别的精度.在MEGC2019的评估标准下,混合数据集的UF1值提高了0.035,UAR值提高了0.045.     

基于复杂CNN的人脸微表情识别算法

传统人脸微表情识别算法忽略了数据集的预处理，导致表情误识率偏高，且识别耗时较长。为有效解决上述问题，提出基于复杂CNN的人脸微表情识别算法。预处理人脸微表情数据集，以降低网络样本训练过程中过拟合风险。通过复杂卷积神经网络(CNN)分别提取微表情视频序列在64fps和128fps两个时间尺度特征。采用支持向量机(SVM)完成决策级融合分类，以有效实现人脸微表情识别。实验结果表明，实验过程中所提方法的表情误识率低于0.1%,识别耗时不高于5ms,相比之下所提方法具有更好的应用效果。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

结合空间注意力机制与光流特征的微表情识别方法

针对微表情运动的局部性问题,提出一种将深度学习的空间注意力机制与微表情光流特征相结合的微表情识别自动方法.首先,采用帧差法识别缺少峰值帧标记的微表情样本的峰值帧;然后,利用TV-L1光流法提取微表情起始帧与峰值帧之间的光流水平、垂直分量图,并根据光流的水平、垂直分量图导出对应的光流应变模式图;将3个光流图以通道叠加的方式连接起来,构成微表情的光流特征图;最后,在Inception模块搭建的卷积神经网络中设计了一种包含可学习参数的空间注意力单元,使模型在特征提取过程中能够更加关注存在微表情运动的区域.在空间注意力单元中利用3?3和7?7这2种大小的卷积核进行空间注意力的推断,使模型能够综合地考虑不同尺度卷积核的注意力推断结果.实验结果表明,该方法在MEGC2019综合微表情数据集上的识别准确率达到0.788,优于已有的微表情识别方法.     

基于改进时空图卷积神经网络的钻杆计数方法

针对现有钻杆计数方法存在劳动重复、计数误差较大、未考虑动作的时序信息等问题,提出了一种基于改进时空图卷积神经网络（MST-GCN）模型的钻杆计数方法。首先,通过矿用监控摄像头获取井下打钻视频数据,采用Alphapose算法在图像序列中提取人体的关键点信息,得到单帧图像上的人体骨架和连续图像序列上的骨架序列数据,进而构建表征人体动作的骨架序列;然后,在时空图卷积神经网络（ST-GCN）模型的基础上设计了MST-GCN模型,采用远空间分区策略关注骨架上距离较远的关键点运动信息,通过注意力机制网络SENet融合原空间特征与远空间特征,从而有效识别骨架序列上的动作类别;最后,在打钻视频上利用支持向量机辨识打钻姿势来决定是否保存骨架序列,若骨架序列长度保存到150帧则使用MST-GCN模型识别动作类别,并根据实际打钻时间设置相邻动作的识别间隔,从而记录动作数量,实现钻杆计数。实验结果表明：在自建的数据集上,MST-GCN模型的识别准确率为91.1%,比ST-GCN、Alphapose-LSTM和NST-GCN动作识别模型的准确率分别提升了6.2%,19.0%和4.8%,模型的损失值收敛在0.2以...     

面向时空特征融合的GSTIN动作识别网络

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作.通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network).GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构.GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8％和70.6％,这表明GSTIN与其他动作识别网络相比具有较好的识别性能.     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。     

基于 ResNeXt 的人体动作识别

人体动作识别是计算机视觉领域的核心研究方向之一,在很多场合都有应用。深 度卷积神经网络在静态图像识别方面已取得了巨大成功,并逐渐扩展到视频内容识别领域,但 应用依然面临很大挑战。为此提出一种基于 ResNeXt 深度神经网络模型用于视频中的人体动作 识别,主要包括：①使用新型 ResNeXt 网络结构代替原有的各种卷积神经网络结构,并使用 RGB 和光流 2 种模态的数据,使模型可充分地利用视频中动作外观及时序信息;②将端到端的 视频时间分割策略应用于 ResNeXt 网络模型,同时将视频分为 K 段实现对视频序列的长范围时 间结构进行建模,并通过测试得到最优视频分段值 K,使模型能更好地区分存在子动作共享现 象的相似动作,解决某些由于子动作相似而易发生的误判问题。通过在动作识别数据集 UCF101 和 HMDB51 上进行的测试表明,该模型和方法的动作识别准确率性能优于目前文献中的一些模 型和方法的性能。     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题，提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先，采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征；然后，利用长短期记忆（LSTM）网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递；接着，利用双向长短期记忆（Bi-LSTM）网络评估各采样片段的重要性并为其分配自适应权重；最后，结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证，该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明，所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力，由此明显提升人体动作识别的准确度。     

注意力引导的三流卷积神经网络用于微表情识别

目的 微表情识别在心理咨询、置信测谎和意图分析等多个领域都有着重要的应用价值。然而,由于微表情自身具有动作幅度小、持续时间短的特点,到目前为止,微表情的识别性能仍然有很大的提升空间。为了进一步推动微表情识别的发展,提出了一种注意力引导的三流卷积神经网络（attention-guided three-stream convolutional neural network, ATSCNN）用于微表情识别。方法 首先,对所有微表情序列的起始帧和峰值帧进行预处理;然后,利用TV-L1(total variation-L1)能量泛函提取微表情两帧之间的光流;接下来,在特征提取阶段,为了克服有限样本量带来的过拟合问题,通过3个相同的浅层卷积神经网络分别提取输入3个光流值的特征,再引入卷积块注意力模块以聚焦重要信息并抑制不相关信息,提高微表情的识别性能;最后,将提取到的特征送入全连接层分类。此外,整个模型架构采用SELU(scaled exponential linear unit)激活函数以加快收敛速度。结果 本文在微表情组合数据集上进行LOSO(leave-one-subject-out)交叉验...     

基于改进型C3D神经网络的动作识别技术

Facebook提出的C3D三维卷积神经网络虽然能达到良好的视频动作识别准确率,但是在速度方面还有很大的改进余地,而且训练得到的模型过大,不便于移动设备使用。本文利用小型卷积核能够减少参数的特点,对已有网络结构进行优化,提出一种新的动作识别方案,将原C3D神经网络常用的3×3×3卷积核分解成深度卷积和点卷积（1×1×1卷积核）,并且在UCF101数据集和ActivityNet数据集训练测试。结果表明,与原C3D网络进行对比：改进后的C3D网络准确率比C3D提升了2.4%,在速度方面比C3D提升了12.9%,模型大小压缩到原来的25.8%。     

双流增强融合网络微表情识别

为解决微表情识别领域数据集样本数量少,样本类型分布不均导致识别率鲁棒性差的问题,提出了一种基于双流增强网络的微表情识别模型。该模型基于单帧RGB图像流及光流图像流的双流卷积神经网络,以权威数据集为基础,数据增强为基准,构建微表情识别模型。通过在SoftMax逻辑回归层融合单帧空域信息和光流时域信息,对两个独立流的网络性能进行提升,并通过引入基于带循环约束的生成对抗网络的图像生成方式对数据集进行扩充。通过将输入微表情视频帧序列进行分解,将其分割为双流网络的灰度单帧序列与光流单帧序列,对两类序列图进行数据增强,再进行微表情识别模型构建的方法,有效提高了微表情识别率。基于双流增强网络的微表情识别模型可以较好提升微表情识别准确度,鲁棒性较好,泛化状态较稳定。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。