基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于支持向量机的手势识别研究

针对传统神经网络算法普遍存在识别准别率不高、运算量较大的问题,以手势分类识别为目标,通过人体肤色特征和SVM模型,设计一种手势识别检测模型.方法采用椭圆傅里叶算子算法提取出手势区域的轮廓,构成手势的特征向量.将肤色空间从RGB空间转到HSV空间下,从背景中将手势区域分离出来,在手势完整性方面引入形态学处理技术,有效填补...     

复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于肤色模型与BP神经网络的手势识别

针对基于视觉的手势识别率不高,鲁棒性欠佳的问题,提出了一种基于YCb Cr椭圆聚类肤色模型分割手势结合反向传播(BP)神经网络识别的手势识别方法。对采集到的图像序列利用离散余弦变换(DCT)去噪处理和边缘检测,根据人体肤色在YCb Cr空间聚类紧凑的特性提取出手势的形状轮廓,将边缘检测与肤色模型分割结果相与得到分割出的手势,利用加速稳健特性(SURF)算法提取构建手势的特征向量,最后通过BP神经网络对手势图分类和识别。实验结果表明:针对复杂背景下的手势,该算法具有较强的鲁棒性,效率高,识别的准确率可达到96%。     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

基于深度信息的手势识别算法研究

针对在复杂背景中传统手势识别算法的识别率低问题,利用Kinect的深度摄像头获取深度图像,分割出手势区域后进行预处理;提取手势的几何特征,并提出深度信息的同心圆分布直方图特征,融合手势的几何特征和深度信息的同心圆分布直方图特征;学习训练随机森林分类器进行手势识别.文中通过在复杂背景条件下对常见的“石头”、“剪刀”、“布”3种手势进行测试,实验结果表明:文中所提方法具有很好的平移,旋转和缩放不变性,能适应复杂环境的变化.     

基于肤色质心与边缘自生长的手势分割算法

针对现有手势分割方法难以在类肤色背景下从图像中高效完整地分割出静态手势的问题,提出一种基于肤色质心与边缘自生长的手势分割算法。利用肤色模型得到手势区域的质心,质心可降低后续边缘检测算法的计算量;利用改进的边缘检测算法得到手势边缘,同时提出一种边缘自生长算法,能有效补全局部断裂边缘,增强后续分割效果;将肤色信息与边缘信息进行差分运算分离类肤色背景,再用连通域及形态学处理去除以得到最终手势图像。实验结果证明,该算法较传统肤色模型及同类算法,能更加快速准确地在类肤色背景下分割出手势图像。     

基于椭圆模型的手势识别与仿真

在手势识别系统的研究中,手势分割是实时手势识别系统的一个重要环节,视觉的手势识别系统中解决准确实时分割问题的方法,是利用肤色信息提取手势区域,但易受到光线和环境的影响.在对图像检测前,对 RGB 空间进行颜色均衡,减少光线对肤色检测的影响.并在建立肤色模型的时候,对肤色样本集进行均匀化,在此基础上统计分析建立椭圆模型.与传统的 RGB 肤色模型的手势分割相比,能够在复杂背景下进行手势分割.经仿真得到了较好的分割效果,具有较强的光照适应性,对提取几何矩特征,建立手势库,采用神经网络识别手势,实现实时的静态识别具有良好的效果.     

基于普通红外摄像机的手势识别

手势识别技术作为最有前景的一种自然人机交互模式已经成功应用于一些领域。可靠的手势识别技术多依赖特定的硬件实现,而这种自然交互模式的普及需要自然环境下基于普通摄像机的通用手势识别技术。研究了在普通摄像机下对各种复杂背景、不同光照条件的静态手势的分割和识别技术。首先采用一种邻域变换算法,克服不同光照强度对分割的影响,然后提出一种求最小平均Hausdorff距离区域的算法,克服不同手势形状、方向、尺度等对分割的干扰。手势分割实验结果证明提出的算法可以在各种复杂背景及不同光照条件下分割出手势区域,正确率达到99.8%。最后改进了序贯最小优化算法训练二叉树结构的支持向量机多分类器,对实验采集的各种自然条件下九类手势图像的平均识别率超过80%,证明了算法用作普通摄像机下通用人机交互模式的可行性。