基于肤色模型与BP神经网络的手势识别

针对基于视觉的手势识别率不高,鲁棒性欠佳的问题,提出了一种基于YCb Cr椭圆聚类肤色模型分割手势结合反向传播(BP)神经网络识别的手势识别方法。对采集到的图像序列利用离散余弦变换(DCT)去噪处理和边缘检测,根据人体肤色在YCb Cr空间聚类紧凑的特性提取出手势的形状轮廓,将边缘检测与肤色模型分割结果相与得到分割出的手势,利用加速稳健特性(SURF)算法提取构建手势的特征向量,最后通过BP神经网络对手势图分类和识别。实验结果表明:针对复杂背景下的手势,该算法具有较强的鲁棒性,效率高,识别的准确率可达到96%。     

复杂背景下基于空间分布特征的手势识别算法

为实现复杂背景下的手势识别,根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法.利用复杂背景下基于亮度高斯模型的手势分割算法分割出肤色区域,利用"搜索窗口"筛选当前肤色区域实现手势定位,并提取包括空间相对密度特征和指节相对间距特征的手势空间分布特征,最后综合手势的2个手势特征向量计算总的相似性来识别手势.通过引入随机采样机制提高识别速度,并引入搜索窗口机制实现肤色干扰时的手势识别.实验结果表明,在环境光照相对稳定的条件下,文中算法能够实现鲁棒的实时手势识别,且具有很好的旋转、平移、缩放不变性,对于差异较大的手势识别率高达98%.     

基于自适应手指分割与判别的静态手势识别

由于动态手势可以看作是多帧静态手势的融合,研究静态手势成为解决手势识别问题的重点。针对静态手势,提出一种自适应手指分割与判别的手势识别算法。首先,运用YCb Cr颜色空间的肤色聚类特性对手势图像进行分割,并采用质心点漂移的理念确定手指方向并作旋转归一化处理;其次,针对手势轮廓点的梯度方向和跨度确定手指的候选区域,并结合形态学的方法重建出单一手指的二值化形态;最后,选取恰当的形状特征,运用SVM分类器对其形状特征进行分类。实验表明该方法具有较好的识别率。     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

复杂背景下BP神经网络的手势识别方法

针对手势图像的肤色特点,结合肤色在RGB空间的阈值分割和YCbCr颜色空间上的聚簇特性,以及背景模型的应用,有效减少了背景中类肤色的干扰,完成了手部图像在复杂背景下的检测和分割;并采用图像的7个不变Hu矩描述子来表征不同二值化的手势轮廓;最后采用BP神经网络进行手势识别。实验结果表明该方法有较好的识别率和鲁棒性。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

复杂环境中多信息融合的手势识别

针对复杂环境中的手势识别问题,提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割,然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证,提出的方法不仅不受环境光线的影响,而且可以识别区分度较小的手势,对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势,识别率高达100%。     

复杂环境下基于改进YOLOv5的手势识别方法

针对目前复杂环境下因光照不均匀、背景近肤色以及手势尺度较小等原因导致的手势检测算法识别率低的问题,提出了一种手势识别方法 HD-YOLOv5s。首先采用基于Retinex理论的自适应Gamma图像增强预处理方法降低光照变化对手势识别效果的影响;其次构建具有自适应卷积注意力机制SKNet的特征提取网络,提高网络的特征提取能力,减少复杂环境中的背景干扰问题;最后在特征融合网络中构建新型的双向特征金字塔结构,充分利用低层级特征以降低浅层语义信息的丢失,提高小尺度手势的检测精度,同时采用跨层级联的方式,进一步提高模型的检测效率。为了验证改进方法的有效性,分别在具有丰富光照强度对比的自制数据集和具有复杂背景的公共数据集NUS-Ⅱ上进行实验,识别率达到了99.5%和98.9%,单帧照片的检测时间仅需0.01～0.02 s。     

基于肤色动态手势区域的标定

针对视频序列中的运动手势,提出一种基于肤色和运动特征的快速标定方法。首先采用帧间差分法提取出运动手势目标;在YCbCr色彩空间中,利用肤色的Cb和Cr分量的高斯分布特性,检测出运动手势目标的肤色区域;经过阈值分割得到手势二值图,利用矩形框将手势区域标定出来。并在实验中证明该方法的有效性。