Gabor-C3D手势识别算法

针对现有的手势识别方法注重高层信息，对浅层信息利用不够，导致手势识别准确性和实时性较差的问题，提出一种Gabor-C3D手势识别算法。采用多方向多尺度的Gabor滤波器组提取手势图像中空域和频域的纹理特征；针对手势动作的特点，设计轻量级C3D网络进行特征学习与分类，在保证精度的同时降低网络的复杂度。在公开数据集与自建数据集上进行实验，实验结果表明，所提算法在自建会议手势数据集与20bn-jester中的手势平均识别率分别达到98.73%与89.26%,分类效果优于传统C3D网络。     

基于Transformer的三维模型小样本识别方法

针对三维模型的分类问题，提出一种基于Transformer的三维（3D）模型小样本识别方法。首先，将支持和查询样本的3D点云模型输入特征提取模块中，以得到特征向量；然后，在Transformer模块中计算支持样本的注意力特征；最后，利用余弦相似性网络，计算查询与支持样本的关系分数。在ModelNet 40数据集上，相较于两层长短期记忆（Dual-LSTM）方法，所提方法的5-way 1-shot和5-way 5-shot的识别准确率分别提高了34.54和21.00个百分点；同时，所提方法在ShapeNet Core数据集上也取得了较高的准确率。实验结果表明，所提方法能够更准确地识别全新的3D模型类别。     

基于三维残差稠密网络的人体行为识别算法

针对现有的人体行为识别算法不能充分利用网络多层次时空信息的问题,提出了一种基于三维残差稠密网络的人体行为识别算法。首先,所提算法使用三维残差稠密块作为网络的基础模块,模块通过稠密连接的卷积层提取人体行为的层级特征;其次,经过局部特征聚合自适应方法来学习人体行为的局部稠密特征;然后,应用残差连接模块来促进特征信息流动以及减轻训练的难度;最后,通过级联多个三维残差稠密块实现网络多层局部特征提取,并使用全局特征聚合自适应方法学习所有网络层的特征用以实现人体行为识别。设计的网络算法在结构上增强了对网络多层次时空特征的提取,充分利用局部和全局特征聚合学习到更具辨识力的特征,增强了模型的表达能力。在基准数据集KTH和UCF-101上的大量实验结果表明,所提算法的识别率（top-1精度）分别达到了93.52％和57.35％,与三维卷积神经网络（C3D）算法相比分别提升了3.93和13.91个百分点。所提算法框架有较好的鲁棒性和迁移学习能力,能够有效地处理多种视频行为识别任务。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于3D卷积神经网络的动态手势识别模型

在不带有标志帧的手势视频上进行动态手势识别,容易导致识别准确率下降。提出一种具有分级网络结构的动态手势识别模型。以手势检测模型为第1级网络,手势分类模型为第2级网络,分步完成识别任务。同时,将三维卷积核拆分为时间域和空间域卷积分阶段完成任务,解决三维卷积神经网络中因参数过多造成模型训练或运行时间过长的问题。实验结果表明,在保证实时性的前提下,该模型在EgoGesture数据集上的识别准确率高达93.35%,优于C3D、ResNeXt101、MTUT等模型。     

可分离长短期注意力网络的手势识别方法

在人机交互领域中,大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时,对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题,提出利用深度可分离残差卷积长短期记忆（LSTM）网络的方法对动态手势的特征信息进行建模和识别。首先,利用常规3D卷积操作对输入的视频帧进行特征的初步提取,通过较大的卷积核尺寸以扩大其感受野;然后,通过可分离卷积残差操作对输入的浅层特征进行特征的再提取,实现对高维特征的提取建模;最后,将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中,对输入的视频数据的时序信息进行建模,并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明,所提方法的准确率与原始的围绕稀疏关键点的混合特征（MFSK）+视觉词袋（BoVW）+支持向量机（SVM）网络相比提高了21.02个百分点。     

可分离长短期注意力网络的手势识别方法

在人机交互领域中,大多数手势识别算法无法有效地消除采集背景对待提取手势区域的影响。与此同时,对手势运动信息的准确建模也存在困难。针对目前人机交互中的上述问题,提出利用深度可分离残差卷积长短期记忆（LSTM）网络的方法对动态手势的特征信息进行建模和识别。首先,利用常规3D卷积操作对输入的视频帧进行特征的初步提取,通过较大的卷积核尺寸以扩大其感受野;然后,通过可分离卷积残差操作对输入的浅层特征进行特征的再提取,实现对高维特征的提取建模;最后,将经过前两个阶段提取出的特征信息经过3D池化操作后输入到LSTM网络中,对输入的视频数据的时序信息进行建模,并在输入中引入注意力机制。在大规模孤立手势数据集上进行的相关实验结果表明,所提方法的准确率与原始的围绕稀疏关键点的混合特征（MFSK）+视觉词袋（BoVW）+支持向量机（SVM）网络相比提高了21.02个百分点。     

基于3D卷积神经网络的CSI跨场景手势识别方法

手势识别在人机交互中有着广泛的应用前景,近年来随着无线通信与物联网的飞速发展,几乎任何地方都部署了WiFi设备,并涌现了大批关于WiFi信道状态信息(Channel State Information,CSI)的手势识别方法,目前大多数基于CSI手势识别的研究仅针对了已知场景下的手势识别研究,对于未知场景,需要增加未知场景中的新数据进行额外的学习训练,否则识别精度将会大幅下降,限制了其实用性.针对这一问题,提出了一种基于3 D卷积神经网络的CSI跨场景手势识别方法,该系统通过提取与场景无关的特征,并结合3D卷积神经网络学习模型来实现跨场景手势识别,在实验中使用网络公开数据集来验证该方法,结果显示该方法对于6个不同动作手势,在已知场景中的平均识别准确率达到了86.50％,在未知场景中的平均识别准确率达到了84.67％,能够实现跨场景的手势识别.     

基于LSTM的多维度特征手势实时识别

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式.基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点.传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集.与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量.为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能.该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别.同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集.实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38％,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2％.     

触觉手势情感识别的超限学习方法

为了解决声音和图像情感识别的不足,提出一种新的情感识别方式:触觉情感识别。对CoST（corpus of social touch）数据集进行了一系列触觉情感识别研究,对CoST数据集进行数据预处理,提出一些关于触觉情感识别的特征。利用极限学习机分类器探究不同手势下的情感识别,对14种手势下的3种情感（温柔、正常、暴躁）进行识别,准确度较高,且识别速度快识别时间短。结果表明,手势的不同会影响情感识别的准确率,其中手势“stroke”的识别效果在不同分类器下的分类精度均为最高,且有较好的分类精度,达到72.07%;极限学习机作为触觉情感识别的分类器,具有较好的分类效果,识别速度快;有的手势本身对应着某种情感,从而影响分类结果。     

基于三维加速度的连续手势识别

由于基于图像处理的手势识别方法对环境背景要求较高且存在不稳定性问题,文章使用三维加速度传感器的连续数据进行手势识别.三维加速度传感器内置于大部分智能手机中,具有应用方便的特点.实验通过传感器获取加速度信号,经过低通滤波、去重力和特征提取的信号预处理过程后,结合隐马尔可夫模型和混合高斯模型的理论方法,实现手机手势的连续识别,并驱动应用层预先定义的交互命令.     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

Model-based segmentation and recognition of dynamic gestures in continuous video streams

Segmentation and recognition of continuous gestures are challenging due to spatio-temporal variations and endpoint localization issues. A novel multi-scale Gesture Model is presented here as a set of 3D spatio-temporal surfaces of a time-varying contour. Three approaches, which differ mainly in endpoint localization, are proposed: the first uses a motion detection strategy and multi-scale search to find the endpoints; the second uses Dynamic Time Warping to roughly locate the endpoints before a fine search is carried out; the last approach is based on Dynamic Programming. Experimental results on two arm and single hand gestures show that all three methods achieve high recognition rates, ranging from 88% to 96% for the two arm test, with the last method performing best.     

融合YOLO v3与改进ReXNet的手势识别方法研究

工程应用中的手势识别需要较高的实时性和准确性，而现场环境通常无法提供足够的计算能力，采用轻量化神经网络在解决了上述问题的同时，还能达到与深度神经网络相当的识别效果。为此，提出一种基于改进轻量化神经网络的手势识别方法。该方法改进用于手部关键点检测的ReXNet网络结构，以改善骨骼点的局部关注；同时将关键点检测损失函数MSE替换为Huber loss，以提升离群点的抗干扰性。实验环境搭建基于普通单目镜头捕获图像后，经YOLO v3手部识别模型和改进的ReXNet关键点检测模型，并根据约束手部骨骼关键点的向量角而定义的不同手势，最后达到实时检测的效果。改进模型在RWTH公开数据集上的测试结果表明，改进后的手势识别方法的检测准确度较改进前整体提升2.62%，达到了96.18%，且收敛速度更快。     

一种基于MEMS惯性传感器的手势识别方法

随着手机等移动电子设备的发展,应用于嵌入式平台的基于MEMS惯性传感器的手势识别成为一个研究热点.提出了一种简单有效的手势识别方法:通过分析手势的运动学特征,在线实时提取手势的加速度和角速度信号特征量,截取手势信号段,利用决策树分类器进行预分类,根据手势信号的变化规律实时识别具体的手势.该方法在20位实验者中获得了96％的平均准确率,手势识别时间小于0.01s.实验结果表明该算法在嵌入式平台下能快速准确地识别手势,满足了实时人机交互的要求.     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

基于神经网络空时特征提取的动态手势识别

针对现有的动态手势识别3D卷积方法计算参数量大和对2D卷积长时间序列的空时特征难以提取的问题,提出一种基于2D卷积神经网络和长短期记忆网络相结合的提取时空域特征的动态手势识别方法。首先基于2D卷积神经网络提取空域特征,再通过长短期记忆网络进行序列图像时序上的相互关联提取时间维度上的信息。为验证算法的有效性,使用自采集的7种动态手势动作和IsoGD公开数据集对本文所提算法进行验证。实验结果表明,在线增强算法下实验在自采集的动态手势集上的识别率达到87.14%。在IsoGD公开数据集上的识别率达到57.89%,相对于现有的其他方法有所提升。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。