基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

基于SVM与Inception-v3的手势识别

针对传统机器视觉的手势识别方法识别准确率低,抗干扰能力差等问题,提出了一种基于支持向量机（Support Vector Machine,SVM）手势分割和迁移学习的静态手势识别方法.本文使用SVM和迁移学习方法相结合构建新的手势识别模型,利用SVM对样本进行手势分割,将Inception-v3模型作为卷积神经网络模型基础,对网络参数进行fine-tuning,将预先经过手势分割处理后的样本导入模型训练,调整超参数得到新的最优手势识别模型,并在一定干扰环境下测试,得到测试结果.测试结果表明该方法识别准确率和实时反馈效率均高于传统方法,能高效识别手势,满足实际应用需求.     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

智能人机交互中第一视角手势表达的一次性学习分类识别

在智能人机交互中, 以交互人的视角为第一视角的手势表达发挥着重要作用, 而面向第一视角的手势识别则成为最重要的技术环节. 本文通过深度卷积神经网络的级联组合, 研究复杂应用场景中第一视角下的一次性学习手势识别(One-shot learning hand gesture recognition, OSLHGR)算法. 考虑到实际应用的便捷性和适用性, 运用改进的轻量级SSD (Single shot multibox detector)目标检测网络实现第一视角下手势目标的快速精确检测; 进而, 以改进的轻量级U-Net网络为主要工具进行复杂背景下手势目标的像素级高效精准分割. 在此基础上, 以组合式3D深度神经网络为工具, 研究提出了一种第一视角下的一次性学习手势动作识别的网络化算法. 在Pascal VOC 2012数据集和SoftKinetic DS325采集的手势数据集上进行的一系列实验测试结果表明, 本文所提出的网络化算法在手势目标检测与分割精度、分类识别准确率和实时性等方面都有显著的优势, 可为在复杂应用环境下实现便捷式高性能智能人机交互提供可靠的技术支持.     

基于椭圆模型的手势识别与仿真

在手势识别系统的研究中,手势分割是实时手势识别系统的一个重要环节,视觉的手势识别系统中解决准确实时分割问题的方法,是利用肤色信息提取手势区域,但易受到光线和环境的影响.在对图像检测前,对 RGB 空间进行颜色均衡,减少光线对肤色检测的影响.并在建立肤色模型的时候,对肤色样本集进行均匀化,在此基础上统计分析建立椭圆模型.与传统的 RGB 肤色模型的手势分割相比,能够在复杂背景下进行手势分割.经仿真得到了较好的分割效果,具有较强的光照适应性,对提取几何矩特征,建立手势库,采用神经网络识别手势,实现实时的静态识别具有良好的效果.     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

一种改进的深度学习的道路交通标识识别算法

针对复杂的环境,结合图像预处理与深度学习神经网络,提出了一种道路交通标识识别算法。该方法不仅利用图像分割技术,而且利用卷积神经网络模型对道路交通标识进行了更准确的识别。首先,通过调节光照影响、去除复杂背景、数据增强和归一化等批量预处理操作,形成一个完整的数据集;然后,结合squeeze-and-excitation思想和残差网络结构,充分训练出自己的卷积神经网络模型;最后,将优化的网络模型用于道路交通标识的识别。实验结果表明,该方法使训练时间缩短了12%左右,识别精度可达99.26%。     

基于贝叶斯和cGAN的甲状腺结节生成方法

为克服小样本医学图像数据集对训练强大的超声图像中甲状腺结节的自动分割或分类的深度学习模型的限制,提出一种基于贝叶斯神经网络和条件生成对抗网络(cGAN)的数据生成方法.构建cGAN并以修改的结节掩膜作为条件,通过在真实样本上训练生成器生成具有不同特征的结节.使用贝叶斯神经网络识别出最有价值的生成样本,并用其构建新的数据集训练模型进行结节的分割和分类.实验结果表明,提出方法仅使用约35％的真实样本即可实现令人满意的分割和分类性能.     

基于肤色模型与BP神经网络的手势识别

针对基于视觉的手势识别率不高,鲁棒性欠佳的问题,提出了一种基于YCb Cr椭圆聚类肤色模型分割手势结合反向传播(BP)神经网络识别的手势识别方法。对采集到的图像序列利用离散余弦变换(DCT)去噪处理和边缘检测,根据人体肤色在YCb Cr空间聚类紧凑的特性提取出手势的形状轮廓,将边缘检测与肤色模型分割结果相与得到分割出的手势,利用加速稳健特性(SURF)算法提取构建手势的特征向量,最后通过BP神经网络对手势图分类和识别。实验结果表明:针对复杂背景下的手势,该算法具有较强的鲁棒性,效率高,识别的准确率可达到96%。     

基于迁移学习的名家画作数字化识别与分类

在数字化过程中,如何将不同时期不同风格的未署名画作快速分类成为一个难题.针对以上问题,提出一种通过迁移学习的卷积神经网络的识别分类方法.ResNet-50神经网络模型在ImageNet数据集上完成预训练,通过迁移学习的方式将特征参数迁移到WikiArt数据集上处理选取的23位画家的400幅画作(总共9200幅).通过迁移学习ResNet-50和DenseNet-201两个神经网络模型对比,发现基于ImageNet数据集在ResNet-50的迁移学习神经网络模型具有良好的特征提取能力,在WikiArt数据集上top-1识别率最高达到81.6％.     

基于可变形卷积神经网络的手势识别方法

卷积神经网络本身具有丰富的特征表达能力和学习能力,但本质上,其模块中几何变换能力是固定的。因此,引入可变形卷积核来改进VGG16的网络结构,搭建名为DCVGG的卷积神经网络结构来进行手势识别的研究。在不同数据集下,基于可变形卷积神经网络的手势识别方法能够直接把RGB图像数据输入网络。最终输出的结果,对手势的平均识别率达到97%以上,有效提高网络的性能,提升卷积神经网络对样本对象的容忍度和多样性,丰富卷积神经网络的特征表达能力,与传统LeNet5、VGG16结构和传统人工特征提取算法相比效果更佳,比传统结构更深,鲁棒性更好,识别率更强,可以为复杂背景下有效识别手势提供参考,具有一定的延拓能力。     

Static hand gesture recognition using neural networks

This paper presents a novel technique for hand gesture recognition through human–computer interaction based on shape analysis. The main objective of this effort is to explore the utility of a neural network-based approach to the recognition of the hand gestures. A unique multi-layer perception of neural network is built for classification by using back-propagation learning algorithm. The goal of static hand gesture recognition is to classify the given hand gesture data represented by some features into some predefined finite number of gesture classes. The proposed system presents a recognition algorithm to recognize a set of six specific static hand gestures, namely: Open, Close, Cut, Paste, Maximize, and Minimize. The hand gesture image is passed through three stages, preprocessing, feature extraction, and classification. In preprocessing stage some operations are applied to extract the hand gesture from its background and prepare the hand gesture image for the feature extraction stage. In the first method, the hand contour is used as a feature which treats scaling and translation of problems (in some cases). The complex moment algorithm is, however, used to describe the hand gesture and treat the rotation problem in addition to the scaling and translation. The algorithm used in a multi-layer neural network classifier which uses back-propagation learning algorithm. The results show that the first method has a performance of 70.83% recognition, while the second method, proposed in this article, has a better performance of 86.38% recognition rate.     

融合YOLO v3与改进ReXNet的手势识别方法研究

工程应用中的手势识别需要较高的实时性和准确性，而现场环境通常无法提供足够的计算能力，采用轻量化神经网络在解决了上述问题的同时，还能达到与深度神经网络相当的识别效果。为此，提出一种基于改进轻量化神经网络的手势识别方法。该方法改进用于手部关键点检测的ReXNet网络结构，以改善骨骼点的局部关注；同时将关键点检测损失函数MSE替换为Huber loss，以提升离群点的抗干扰性。实验环境搭建基于普通单目镜头捕获图像后，经YOLO v3手部识别模型和改进的ReXNet关键点检测模型，并根据约束手部骨骼关键点的向量角而定义的不同手势，最后达到实时检测的效果。改进模型在RWTH公开数据集上的测试结果表明，改进后的手势识别方法的检测准确度较改进前整体提升2.62%，达到了96.18%，且收敛速度更快。     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

粒子群优化神经网络在动态手势识别中的应用

为了提高动态手势学习训练速度和识别准确率,本文提出一种基于粒子群优化BP神经网络的动态手势识别方法。首先基于自然人机交互需要,定义一套基于机器视觉的动态手势模型;在获取指尖运动轨迹的基础上,提取动态手势的特征向量作为神经网络的输入;利用改进的PSO算法训练BP神经网络,得到神经网络的权值和阈值;最后利用训练过的神经网络识别基于机器视觉的动态手势。测试结果表明:改进的PSO算法能够提高神经网络训练速度和精度,进而提高动态手势识别准确率。     

基于质心分水岭算法的静态手势分割算法模型

为了解决在类肤色背景下难以从图像中高效地分割出完整静态手势的问题,提出了基于质心分水岭算法（improved centroid watershed algorithm,ICWA）的静态手势分割模型。该ICWA算法可以有效地减少图像梯度对手势分割的影响并完整地提取出肤色区域。此外,本文设计了一种将PCA （principal component analysis）降维和凸性检测算法相结合的方法,可以根据对凸点准确提取手腕的割线。同时,利用卷积神经网络（convolutional neural networks,CNN）在标准数据库上进行了初步的手势自动识别实验。实验结果表明:该分割模型对于9种静态手势的平均识别率达到了97.85%。     

多源域混淆的双流深度迁移学习

目的 针对深度学习严重依赖大样本的问题,提出多源域混淆的双流深度迁移学习方法,提升了传统深度迁移学习中迁移特征的适用性。方法 采用多源域的迁移策略,增大源域对目标域迁移特征的覆盖率。提出两阶段适配学习的方法,获得域不变的深层特征表示和域间分类器相似的识别结果,将自然光图像2维特征和深度图像3维特征进行融合,提高小样本数据特征维度的同时抑制了复杂背景对目标识别的干扰。此外,为改善小样本机器学习中分类器的识别性能,在传统的softmax损失中引入中心损失,增强分类损失函数的惩罚监督能力。结果 在公开的少量手势样本数据集上进行对比实验,结果表明,相对于传统的识别模型和迁移模型,基于本文模型进行识别准确率更高,在以DenseNet-169为预训练网络的模型中,识别率达到了97.17%。结论 利用多源域数据集、两阶段适配学习、双流卷积融合以及复合损失函数,构建了多源域混淆的双流深度迁移学习模型。所提模型可增大源域和目标域的数据分布匹配率、丰富目标样本特征维度、提升损失函数的监督性能,改进任意小样本场景迁移特征的适用性。     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。