基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

结合聚合通道特征和双树复小波变换的手势识别

目的 针对目前手势识别方法受环境、光线、旋转、缩放、肤色等因素的影响,导致手势识别精度下降的问题,提出一种结合聚合通道特征（ACF）的手势检测和双树复小波变换（DTCWT）的复杂背景下手势识别方法。方法 在手势图像预处理过程中引入聚合通道特征,采用Adaboost分类器和非极大值抑制算法（NMS）进行目标手势的检测;利用DTCWT对目标手势图像进行多尺度多方向分解,对高低频系数的每一块分别提取方向梯度直方图（HOG）和局部二值模式（LBP）特征;最后融合各个方向上的高低频特征并通过支持向量机（SVM）进行分类识别。结果 选取多个场景、多个对象、不同角度和距离的图像作为训练集,并标注区分前背景,对20种手势进行识别实验,并与传统的肤色检测、HOG特征手势识别、类-Hausdorff距离的手势识别算法进行了实验对比。在任意可承受范围内的光照、距离等情况下,该方法能够更准确实时地实现手势识别,平均精度达到95.1%。结论 在图像预处理的情况下,聚合通道特征的引入能够准确检测手势,同时基于DTCWT的手势图像频域特征提取和再融合的方法有效地解决了传统普通图像的单特征识别方法在光线和复杂背景下识别精度不高的问题。     

复杂背景下基于空间分布特征的手势识别算法

为实现复杂背景下的手势识别,根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法.利用复杂背景下基于亮度高斯模型的手势分割算法分割出肤色区域,利用"搜索窗口"筛选当前肤色区域实现手势定位,并提取包括空间相对密度特征和指节相对间距特征的手势空间分布特征,最后综合手势的2个手势特征向量计算总的相似性来识别手势.通过引入随机采样机制提高识别速度,并引入搜索窗口机制实现肤色干扰时的手势识别.实验结果表明,在环境光照相对稳定的条件下,文中算法能够实现鲁棒的实时手势识别,且具有很好的旋转、平移、缩放不变性,对于差异较大的手势识别率高达98%.     

基于HOG算子的手型特征提取算法

手型是动态手势的一个重要特征。已有的动态手势识别方法虽利用了手型信息,但是信息都隐含在数据中。对此提出一种动态手势中手型特征的提取算法。该算法能准确识别出动态手势中的手型特征。通过Kinect获取手部位置数据,计算手势样本的手局部图像的HOG(Histogram of Oriented Gradient)算子,通过统计手势过程中,临近帧的手局部图像的HOG算子的相似性,确定该样本的手型特征所在帧。实验结果显示,其手型特征识别平均正确率达到92.78%。     

基于GLCM和Gabor纹理特征的手势识别算法

针对手势灰度图像的纹理特征富含手势类别信息的特点,提出一种基于融合GLCM(灰度共生矩阵)和Gabor小波变换提取手势图像空、频域纹理特征的手势识别方法。构建手势灰度图像的多方向共生矩阵,并计算多方向共生矩阵的特征参数来提取手势纹理的GLCM特征;通过手势灰度图像的Gabor小波变换来提取手势纹理的Gabor特征;对所提取的两种特征进行归一化处理后串联构建手势纹理特征向量;使用基于稀疏自动编码器和softmax分类器的深度堆栈自编码网络对构建的手势纹理特征向量进行分类识别。实验表明:该方法具有较高的识别率和较好的鲁棒性,对15种手势的平均识别率达到97.4%,能够满足人机交互对手势识别的要求。     

基于Bag of Features的手势识别

基于视觉的手势识别中,手势的识别效果易受手势旋转,光照亮度的影响,针对该问题,借鉴了目标识别和图像检索领域的Bag of Features(特征袋)算法,将Bag of Features算法应用到手势识别领域.通过SURF(加速鲁棒性特征)算法提取手势图像的特征描述符,使手势对尺度、旋转、光照具有很强的适应力,再应用Bag of Features算法把SURF特征描述符映射到一个统一维度的向量,即Bag of Features特征向量,再用支持向量机对图像得到的特征向量进行训练分类.实验结果表示,该方法不仅具有较高的时间效率,满足手势识别的实时性,而且即使在很大角度的旋转以及亮度的变化下,仍能达到较高的识别率.     

基于Kinect的手势识别算法研究及应用

手势识别技术是人机交互技术的重要研究内容。为了提高基于Kinect的手势识别性能,提出基于深度人手定位和hog特征的静态手势识别算法及基于改进HMMs的动态手势识别算法。静态手势识别算法首先通过Kinect的深度信息完成人手定位,而后在定位区域内提取基于梯度方向直方图的形状特征并利用级联Adaboost训练的手势模型,实现对静态手势的准确识别,在公开手势数据库中测试的实验结果表明提出的静态手势识别算法具有较高的识别率。动态手势识别算法首先通过Kinect获取手心轨迹并提取轨迹切线角度作为特征,利用改进的隐马尔科夫模型实现动态手势的判别,实验结果表明提出的动态手势识别算法相比于传统HMMs算法有效地排除了无效手势。此外利用提出的动静态手势识别算法有效地控制了模拟的数字电视。     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

基于关键点的一种字母手势识别算法

提出了一种基于手势关键点的手势识别算法。从经过二值化处理的字母手势图像中提取重心，并由字母手势图像的边缘信息中提取字母手势的关键点(指根和指尖)。借助Hausdorff Distance(HD),运用关键点的信息对手势进行识别。     

应用几何矩和边缘检测的手势识别算法

提出了一种结合几何矩和边缘检测的手势识别算法。手势图像经过二值化处理后,提取手势图像的几何矩特征,取出几何矩特征7个特征分量中的4个分量,形成手势的几何矩特征向量。在灰度图基础上直接检测图像的边缘,利用直方图表示图像的边界方向特征。最后,通过设定两个特征的权重来计算图像间的距离,对30个字母手势进行识别,识别率为90％。     

基于RGBD数据的静态手势识别

提出一种基于RGBD数据的手势识别方法,首先采用融合深度信息和彩色信息的手势分割算法分割出手势区域;其次提取静态手势轮廓的圆形度、凸包点及凸缺陷点、7Hu矩特征组成特征向量;最后采用SVM进行静态手势识别。实验结果表明,该方法能有效地识别预定义的5种静态手势,且对环境的适应性比较强。     

融合Hu矩与BoF-SURF支持向量机的手势识别

基于尺度不变特征变换的特征包（BoF-SIFT）支持向量机的分类方法具有较好的手势识别效果, 但是计算复杂度高、实时性较差。为此, 提出了融合Hu矩与基于快速鲁棒特征的特征包（BoF-SURF）支持向量机（SVM）的手势识别方法。特征包模型中用快速鲁棒性特征（SURF）算法替换尺度不变特征变换（SIFT）算法提取特征, 提高了实时性, 并引入Hu矩描述手势全局特征, 进一步提高识别率。实验结果表明, 算法无论是实时性还是识别率都要高于BoF-SIFT支持向量机方法。     

基于卷积神经网络的手势识别初探

提出一种用于手势识别的新算法,使用卷积神经网络来进行手势的识别。该算法避免了手势复杂的前期预处理,可以直接输入原始的手势图像。卷积神经网络具有局部感知区域、层次结构化、特征抽取和分类过程等特点,在图像识别领域获得广泛的应用。试验结果表明,该方法能识别多种手势,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点。     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于改进RCE和RBF神经网络的静态手势识别

针对手势识别的手区域分割、手势特征提取和手势分类的三个过程,提出了一种新的静态手势识别方法。改进了传统的RCE神经网络用于手区域的分割,具有更高的运行速度和更强的抗噪能力。依Freeman链码方向提取手的边缘到掌心的距离作为手势的特征向量。将上一步得到的手势特征向量作为RBF神经网络的输入,进行网络的训练和分类。实验验证了该方法的有效性和可行性,并用其实现了人和仿人机器人的剪刀石头布的猜拳游戏。     

多尺度卷积特征融合的SSD手势识别算法

为了提高对中小占比手势识别的准确性与稳定性,提出了一种多尺度卷积特征融合的SSD(single shot multibox detector)手势识别方法。该方法突出表现在两大方面,其一,在原始的SSD算法的多尺度卷积检测方法基础上,引入了不同卷积层的特征融合思想,经过空洞卷积下采样操作与反卷积上采样操作,实现网络结构中的浅层视觉卷积层与深层语义卷积层的融合,代替原有的卷积层用于手势识别,以提高模型对中小目标手势的识别精度;其二,为了解决正负样本不均衡导致分类性能差的问题,提出一种改进的损失函数,以提升模型对目标手势的分类能力。在手势识别公开的数据集上的实验结果表明,与SSD和Faster R-CNN等识别方法相比,能够在保持较高的手势检测精度的同时,又具有较好的鲁棒性与检测速度。     

Static hand gesture recognition using neural networks

This paper presents a novel technique for hand gesture recognition through human–computer interaction based on shape analysis. The main objective of this effort is to explore the utility of a neural network-based approach to the recognition of the hand gestures. A unique multi-layer perception of neural network is built for classification by using back-propagation learning algorithm. The goal of static hand gesture recognition is to classify the given hand gesture data represented by some features into some predefined finite number of gesture classes. The proposed system presents a recognition algorithm to recognize a set of six specific static hand gestures, namely: Open, Close, Cut, Paste, Maximize, and Minimize. The hand gesture image is passed through three stages, preprocessing, feature extraction, and classification. In preprocessing stage some operations are applied to extract the hand gesture from its background and prepare the hand gesture image for the feature extraction stage. In the first method, the hand contour is used as a feature which treats scaling and translation of problems (in some cases). The complex moment algorithm is, however, used to describe the hand gesture and treat the rotation problem in addition to the scaling and translation. The algorithm used in a multi-layer neural network classifier which uses back-propagation learning algorithm. The results show that the first method has a performance of 70.83% recognition, while the second method, proposed in this article, has a better performance of 86.38% recognition rate.