结构分类的字母手势识别算法

提出了基于结构分类的手势识别方法，即在字母手势图像中寻找轮廓所包含的结构特征信息，并以此进行分类判断。这些结构特征中包含了大量的特征信息，如手指个数、手指间距离等，利用这些信息就可以运用传统的结构分类方法对手势加以识别     

高阶NMI值的字母手势识别

提出了基于手势伸展方向以及手势图像高阶NMI值的特征向量进行识别分类的算法。首先，对采集到的手势图像进行预处理与二值化，然后按手势的伸展方向进行粗分类，之后，对每幅图像提取图像的1阶和4阶NMI值，这样将一幅图像表示成一个有17维分量的特征向量。识别时用k近邻原则进行判别，识别率达到86．6％。     

基于几何特征的静态字母手势识别算法

针对聋哑人哑语手势自动识别问题的复杂性,研究了手势几何特征的多样性及提取和识别方法,提出了一种基于几何特征的手势识别算法.首先,对手势图像进行肤色分割、边缘检测以及逻辑运算,然后,计算其质心面积等多项几何特征,通过实验方法测定最佳特征权值,最后,将其与样本图像特征值进行匹配,最佳匹配即为检测结果.根据30个字母手势创建了3套手势库,其中1套作为样本集,2套作为测试集.实验结果表明,通过该方法进行特征提取来识别汉语字母手势,可有效提高识别率,测试集识别率达到93.33％.     

基于关键点的一种字母手势识别算法

提出了一种基于手势关键点的手势识别算法。从经过二值化处理的字母手势图像中提取重心，并由字母手势图像的边缘信息中提取字母手势的关键点(指根和指尖)。借助Hausdorff Distance(HD),运用关键点的信息对手势进行识别。     

基于几何矩的字母手势识别算法

提出了一种基于提取字母手势的统计特征的方法，计算各手势图像的几何矩，以形成特征空间，并将之应用到手势识别中去。该算法具有旋转、缩放、及平移不变性的特点，并取得了较好的实验效果。     

基于多权值神经网络的静态手势字母识别的研究

提出了一种基于多权值神经网络模型的静态手势语识别方法.应用手势字母图像圆周极径序列的傅立叶频谱信息来提取特征,再结合多权值神经网络的训练算法与识别算法,实现静态手势字母的识别,并取得了很好的识别效果.     

基于改进的YCbCr空间及多特征融合的手势识别

针对基于视觉的手势识别的复杂性,提出一种基于改进的YCbCr空间及多特征融合的手势识别新方法。首先针对YCbCr颜色空间易受环境因素影响的特点,采用改进的YCbCr椭圆聚类肤色模型的手势分割方法提取手势区域;然后按手势图像外接矩形的宽高比和手指个数进行粗分类,再提取手势的Hu矩和傅里叶描述子构建融合特征,并将融合特征输入BP神经网络进行训练识别;最后综合粗分类和BP神经网络的结果进行手势判别。实验结果表明,该方法在保证实时性的同时具有较高的识别率。     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

应用几何矩和边缘检测的手势识别算法

提出了一种结合几何矩和边缘检测的手势识别算法。手势图像经过二值化处理后，提取手势图像的几何矩特征，取出几何矩特征7个特征分量中的4个分量，形成手势的几何矩特征向量。在灰度图基础上直接检测图像的边缘，利用直方图表示图像的边界方向特征。最后，通过设定两个特征的权重来计算图像间的距离，对30个字母手势进行识别，识别率为90％。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

Static hand gesture recognition using neural networks

This paper presents a novel technique for hand gesture recognition through human–computer interaction based on shape analysis. The main objective of this effort is to explore the utility of a neural network-based approach to the recognition of the hand gestures. A unique multi-layer perception of neural network is built for classification by using back-propagation learning algorithm. The goal of static hand gesture recognition is to classify the given hand gesture data represented by some features into some predefined finite number of gesture classes. The proposed system presents a recognition algorithm to recognize a set of six specific static hand gestures, namely: Open, Close, Cut, Paste, Maximize, and Minimize. The hand gesture image is passed through three stages, preprocessing, feature extraction, and classification. In preprocessing stage some operations are applied to extract the hand gesture from its background and prepare the hand gesture image for the feature extraction stage. In the first method, the hand contour is used as a feature which treats scaling and translation of problems (in some cases). The complex moment algorithm is, however, used to describe the hand gesture and treat the rotation problem in addition to the scaling and translation. The algorithm used in a multi-layer neural network classifier which uses back-propagation learning algorithm. The results show that the first method has a performance of 70.83% recognition, while the second method, proposed in this article, has a better performance of 86.38% recognition rate.     

基于图像特征匹配的商品识别算法

基于条形码的结帐系统存在操作繁琐等一些问题,为了解决零售业结账服务中排队的难题,提出一种以SURF(Speeded Up Robust Features)特征匹配为主,主颜色特征数字编码分类、形状特征数字编码分类为辅的商品快速识别算法。基于特征的方法具有压缩信息量、精度高等优点,成为目前研究的热点。但是传统图像特征识别算法,存在特征维度多、计算量大、运行速度慢等缺点,限制了其应用。本文将其中的主颜色和形状特征进行数字编码分类,之后利用高效识别算法SURF进行准确识别,很好地克服了以上缺点。实验表明,本文算法运行速度快,识别性能好,为零售业的结账服务提供了便利。     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。     

基于Hu-GLCM的手势识别方法研究

针对手势识别过程中单一手势特征对手势描述的不足,提出了一种基于改进Hu矩和灰度共生矩阵GLCM的手势识别方法 Hu-GLCM。首先利用肤色模型对采集的图像分割出手势区域;其次采用数学形态学和多边形拟合的方法提取手势的单连通轮廓,利用改进Hu-GLCM算法提取手势的几何形状特征和纹理特征并建立模板数据库;最后通过扩展的Canberra距离对手势图像进行识别和分类。实验结果表明,该改进算法对7种手势的平均识别率达到95%以上,且计算速度快,能够满足实时性的需求。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

Multi-SVM based Dempster–Shafer theory for gesture intention understanding using sparse coding feature

The Dempster–Shafer theory based on multi-SVM to deal with multimodal gesture images for intention understanding is proposed, in which the Sparse Coding (SC) based Speeded-Up Robust Features (SURF) are used for feature extraction of depth and RGB image. Aiming at the problems of the small sample, high dimensionality and feature redundancy for image data, we use the SURF algorithm to extract the features of the original image, and then perform their Sparse Coding, which means that the image is subjected to two-dimensional feature reduction. The dimensionally reduced gesture features are used by the multi-SVM for classification. A fusion framework based on D–S evidence theory is constructed to deal with the recognition of depth and RGB image to realize the gesture intention understanding. To verify the effectiveness of the proposal, the experiments on two RGB-D datasets (CGD2011 and CAD-60) are conducted. The results of 10-fold cross validation test show that the recognition rates were higher than those produced by other methods under the condition when each sensor was considered individually. Meanwhile, the preliminary experiments are also carried out in the developing emotional social robot system. The results indicate that the proposal can be applied to human–robot interaction.     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。