一种基于模糊集合论的手势分割算法

提出了一种基于单目的复杂环境下强抗干扰性的手势分割算法,使用模糊集合的概念来描述视频流时域和空域上的不同信息,以模糊运算作为信息加工处理的工具。定义了三个模糊集合非背景集、肤色集和模糊手势集,讨论了对模糊集合的腐蚀和膨胀运算。通过对非背景集和肤色集进行模糊运算,得到原始的模糊手势集,然后对原始的模糊手势集进行求精处理。试验结果证明,该文算法实现了对人手的精确分割,且能满足实时性要求。     

基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

基于手部关键点和肤色的手势识别

基于传统的手部轮廓特征提取不能应对飞行模拟环境下的脸部肤色、遮挡、光照影响,以及传统的傅里叶描述子特征容易受到背景、手的姿态变化,且对手势描述能力有限等问题,对传统的手部分割和特征提取方法改进.本文首先对采集的数据集进行肤色处理,然后结合调用的手部关键点模型检测出手部22个特征点,采用八向种子填充算法进行图像分割.接着对手部轮廓和关键点连接骨架进行傅里叶描述子算法特征提取,最后通过支持向量机算法对提取的手势特征数据集进行训练、识别.实验结果表明,本文方法具有较好的手部分割,特征提取不易受到背景、手的姿态变化的影响,能够很好地应对在飞行模拟环境下的复杂背景下的干扰,识别准确率能够达到98％.本文研究在传统的手势识别算法中有一定的提高作用,在手部交互技术领域有很重要的应用价值.     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

复杂背景下BP神经网络的手势识别方法

针对手势图像的肤色特点,结合肤色在RGB空间的阈值分割和YCbCr颜色空间上的聚簇特性,以及背景模型的应用,有效减少了背景中类肤色的干扰,完成了手部图像在复杂背景下的检测和分割;并采用图像的7个不变Hu矩描述子来表征不同二值化的手势轮廓;最后采用BP神经网络进行手势识别。实验结果表明该方法有较好的识别率和鲁棒性。     

复杂背景下基于空间分布特征的手势识别算法

为实现复杂背景下的手势识别,根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法.利用复杂背景下基于亮度高斯模型的手势分割算法分割出肤色区域,利用"搜索窗口"筛选当前肤色区域实现手势定位,并提取包括空间相对密度特征和指节相对间距特征的手势空间分布特征,最后综合手势的2个手势特征向量计算总的相似性来识别手势.通过引入随机采样机制提高识别速度,并引入搜索窗口机制实现肤色干扰时的手势识别.实验结果表明,在环境光照相对稳定的条件下,文中算法能够实现鲁棒的实时手势识别,且具有很好的旋转、平移、缩放不变性,对于差异较大的手势识别率高达98%.     

基于椭圆模型的手势识别与仿真

在手势识别系统的研究中,手势分割是实时手势识别系统的一个重要环节,视觉的手势识别系统中解决准确实时分割问题的方法,是利用肤色信息提取手势区域,但易受到光线和环境的影响.在对图像检测前,对 RGB 空间进行颜色均衡,减少光线对肤色检测的影响.并在建立肤色模型的时候,对肤色样本集进行均匀化,在此基础上统计分析建立椭圆模型.与传统的 RGB 肤色模型的手势分割相比,能够在复杂背景下进行手势分割.经仿真得到了较好的分割效果,具有较强的光照适应性,对提取几何矩特征,建立手势库,采用神经网络识别手势,实现实时的静态识别具有良好的效果.     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

结合肤色模型和卷积神经网络的手势识别方法

在手势识别研究过程中,人工选取特征难以适应手势的多变性。提出了一种结合肤色模型和卷积神经网络的手势识别方法,对采集的不同背景下的手势图像,首先用肤色高斯模型分割出手势区域,然后采用卷积神经网络建立手势的识别模型,该模型融合了手势特征提取和分类过程,模拟视觉传导和认知,有效避免了人工特征提取的主观性和局限性。识别模型以手势区域的灰度信息为输入,同时利用权值共享和池化等技术减少网络权值个数,降低了模型的复杂度。实验结果表明,卷积神经网络（CNN）方法能够有效进行特征学习,在不同数据集下对手势的平均识别率都达到95%以上,与传统方法进行对比实验,表明该方法具有较高的识别率和实时性。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

A taxonomy and notation method for three-dimensional hand gestures

Recently, studies on gesture-based interfaces have made an effort to improve the intuitiveness of gesture commands by asking users to define a gesture for a command. However, there are few methods to organize and notate user-defined gestures in a systematic approach. To resolve this, we propose a three-dimensional (3D) Hand Gesture Taxonomy and Notation Method. We first derived elements of a hand gesture by analyzing related studies and subsequently developed the 3D Hand Gesture Taxonomy based on the elements. Moreover, we devised a Notation Method based on a combination of the elements and also matched a code to each element for easy notation. Finally, we have verified the usefulness of the Notation Method by training participants to notate hand gestures and by asking another set of participants to recreate the notated gestures. In short, this research proposes a novel and systematic approach to notate hand gesture commands.     

一种基于单目视觉的人手检测与识别方法

提出了一种单目视觉下的人手检测与识别方法。该方法结合肤色检测与运动前景检测技术,实现了人手的定位,再由阈值分割获取人手的二值图像。提取傅里叶形状描述子作为二值图像的特征,在与样本的特征进行相似性比对之后获得最终识别结果。实验证明,该方法可以有效地实现复杂背景下人手的定位与识别。     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。     

连续动态手势的时空表观建模及识别

论述了复杂背景下连接动态手势的分割、建模及识别;融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割;通过结合手势的时序信息、运动表观以及形状表观,提出动态手势的时空表观模型,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数,最后,提出动态时空规整算法用于手势识别,实验表明,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别１２种手势,平均识别率高达９７％。     

基于普通红外摄像机的手势识别

手势识别技术作为最有前景的一种自然人机交互模式已经成功应用于一些领域。可靠的手势识别技术多依赖特定的硬件实现,而这种自然交互模式的普及需要自然环境下基于普通摄像机的通用手势识别技术。研究了在普通摄像机下对各种复杂背景、不同光照条件的静态手势的分割和识别技术。首先采用一种邻域变换算法,克服不同光照强度对分割的影响,然后提出一种求最小平均Hausdorff距离区域的算法,克服不同手势形状、方向、尺度等对分割的干扰。手势分割实验结果证明提出的算法可以在各种复杂背景及不同光照条件下分割出手势区域,正确率达到99.8%。最后改进了序贯最小优化算法训练二叉树结构的支持向量机多分类器,对实验采集的各种自然条件下九类手势图像的平均识别率超过80%,证明了算法用作普通摄像机下通用人机交互模式的可行性。     

基于特征包支持向量机的手势识别

针对类肤色信息或复杂背景的影响,难以通过手势分割得到精确手势轮廓而对后期手势识别率与实时交互的影响,提出了一种基于特征包支持向量机(BOF-SVM)的手势识别方法。采用SIFT算法提取手势图像局部不变性特征点,将手势局部特征向量(尺度不变特征变换(SIFT)描述子)进行K-means聚类生成视觉码书,并通过视觉码书量化每一幅手势图像的视觉码字集合,以此获得手势图像的固定维数的表征向量来训练支持向量机(SVM)多类分类器。该方法只需框定手势所在区域,无需精确地分割人手。实验表明,该方法对9种交互手势的平均识别率达到92.1%,并具有很好的鲁棒性及实时性,能适应环境的变化。     

基于视觉技术的手势跟踪与动作识别算法

对工业生产线上规程化操作动作进行手势跟踪与动作识别研究。首先选取YCbCr颜色模型进行手部区域识别,获得完整手部区域;然后利用Euclidean距离变换计算相邻2个手部运动轨迹点之间的距离和各帧图像的手部运动速度;再利用扩展有限状态机模型实现手部运动的分割,将分割的多个动作与建立的动作模板匹配,利用Hausdorff距离匹配法判断匹配结果的准确性,实现手部动作的识别。实验结果表明：该手部动作识别算法对背景干扰和摄像头轻微震动具有一定的抗噪能力,有较高的动作识别正确率,能够满足现实工作环境下的应用需求。