结合聚合通道特征和双树复小波变换的手势识别

目的 针对目前手势识别方法受环境、光线、旋转、缩放、肤色等因素的影响,导致手势识别精度下降的问题,提出一种结合聚合通道特征（ACF）的手势检测和双树复小波变换（DTCWT）的复杂背景下手势识别方法。方法 在手势图像预处理过程中引入聚合通道特征,采用Adaboost分类器和非极大值抑制算法（NMS）进行目标手势的检测;利用DTCWT对目标手势图像进行多尺度多方向分解,对高低频系数的每一块分别提取方向梯度直方图（HOG）和局部二值模式（LBP）特征;最后融合各个方向上的高低频特征并通过支持向量机（SVM）进行分类识别。结果 选取多个场景、多个对象、不同角度和距离的图像作为训练集,并标注区分前背景,对20种手势进行识别实验,并与传统的肤色检测、HOG特征手势识别、类-Hausdorff距离的手势识别算法进行了实验对比。在任意可承受范围内的光照、距离等情况下,该方法能够更准确实时地实现手势识别,平均精度达到95.1%。结论 在图像预处理的情况下,聚合通道特征的引入能够准确检测手势,同时基于DTCWT的手势图像频域特征提取和再融合的方法有效地解决了传统普通图像的单特征识别方法在光线和复杂背景下识别精度不高的问题。     

基于RGB-D信息的动态手势识别方法*

针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低,实时性差等问题进行了研究,提出一种的动态手势识别方法。该方法首先利用K均值聚类算法和YCr''Cb''（由YCrCb变换得到）椭圆肤色模型对RGB-D图像完成手势分割;然后将深度信息引入到传统卡尔曼滤波算法中,作为其跟踪参数之一,并在跟踪过程中对检测范围进行加窗处理;最后结合快速动态时间规整算法和突出关键特征点的思想,改进传统动态时间规整算法,并利用改进后的动态时间规整算法完成手势识别。实验表明：提出的手势识别方法,在复杂背景下的识别率较高（96.8±1.5%）,实时性较好（识别时间1.86±0.02ms）。     

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法.实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5％.实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好.     

基于加锁机制的静态手势识别方法

基于RGB-D（RGB-Depth）的静态手势识别的速度高于其动态手势识别,但是存在冗余手势和重复手势而导致识别准确性不高的问题。针对该问题,提出了一种基于加锁机制的静态手势识别方法来识别运动中的手势。首先,将通过Kinect设备获取RGB数据流和Depth数据流融合成人体骨骼数据流;然后,在静态手势方法中引入加锁机制,并与之前建立好的骨骼点特征模型手势库进行比对计算;最后,设计一款“程序员进阶之路”益智类网页游戏进行应用与实验。实验验证在6种不同运动手势情况下,该方法与纯静态手势识别方法相比,平均识别准确率提高了14.4%;与动态手势识别相比,识别速度提高了14%。实验结果表明,提出的基于加锁机制的静态手势识别方法,既保留了静态识别的速率,实现了实时识别;又能很好地剔除冗余手势和重复手势,提高了识别正确性。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

基于机器视觉的动态多点手势识别方法

提出了一种高效的基于HSV颜色空间的多目标检测跟踪方法,实现通过摄像机实时检测跟踪多个指尖目标;定义了一套基于指尖运动轨迹的动态手势模型,并提出了动态手势识别方法;对于两点动态手势,通过BP神经网络进行手势学习和手势识别,而对于模拟鼠标手势和四点动态手势,利用指尖之间相互位置关系进行手势识别.测试结果表明,该方法能够快速、准确的跟踪多个运动的指尖目标并进行动态多点手势识别.     

复杂背景下的手势识别

目的 手势识别是人机交互领域的热点问题。针对传统手势识别方法在复杂背景下识别率低,以及现有基于深度学习的手势识别方法检测时间长等问题,提出了一种基于改进TinyYOLOv3算法的手势识别方法。方法 对TinyYOLOv3主干网络重新进行设计,增加网络层数,从而确保网络提取到更丰富的语义信息。使用深度可分离卷积代替传统卷积,并对不同网络层的特征进行融合,在保证识别准确率的同时,减小网络模型的大小。采用CIoU（complete intersection over union）损失对原始的边界框坐标预测损失进行改进,将通道注意力模块融合到特征提取网络中,提高了定位精度和识别准确率。使用数据增强方法避免训练过拟合,并通过超参数优化和先验框聚类等方法加快网络收敛速度。结果 改进后的网络识别准确率达到99.1%,网络模型大小为27.6 MB,相比原网络（TinyYOLOv3）准确率提升了8.5%,网络模型降低了5.6 MB,相比于YOLO（you only look once）v3和SSD（single shot multibox detector）300算法,准确率略有降低,但网络模型分别减小到原来的1/8和1/3左右,相比于YOLO-lite和MobileNet-SSD等轻量级网络,准确率分别提升61.12%和3.11%。同时在自制的复杂背景下的手势数据集对改进后的网络模型进行验证,准确率达到97.3%,充分证明了本文算法的可行性。结论 本文提出的改进Tiny-YOLOv3手势识别方法,对于复杂背景下的手势具有较高的识别准确率,同时在检测速度和模型大小方面都优于其他算法,可以较好地满足在嵌入式设备中的使用要求。     

一种复合型手势识别方法研究

针对已有卷积神经网络在手势识别过程中精度不高的问题,提出了一种双通道卷积神经网络的特征融合与动态衰减学习率相结合的复合型手势识别方法。通过两个相互独立的通道进行手势图像的特征提取,首先使用SENet（Squeeze-and-Excitation Networks）构成的第一通道提取全局特征,然后使用RBNet（Residual Block Networks）构成的第二通道提取局部特征,并将全局特征和局部特征进行通道维度上的融合。同时,利用动态衰减的学习率训练双通道网络模型。与其他卷积神经网络模型的对比实验结果表明,提出的复合型手势识别方法的手势识别率高,参数数量少,适用于不同手势图像数据集的识别。     

基于隐马尔可夫模型的动态手势识别研究

随着虚拟现实技术的飞速发展，人们迫切需要一种自然友好的字符输入方式，于是越来越多的研究人员投入到动态手势的研发当中。本文基于隐马尔可夫模型（HMM）搭建了一套动态手势识别系统。这套系统通过Leap Motion采集动态手势数据，并能够识别36个字母和数字的手势（数字0-9和字母A-Z）。经过大量实验表明，该系统有着很强的鲁棒性，识别单独手势的识别率能够达到93.2%。     

结合手指检测和HOG特征的分层静态手势识别

目的 基于手势的交互方式在人机交互中发挥着越来越重要的作用,手势识别是大多数手势交互系统的核心技术.当手势种类较多时,目前已有的大多数手势识别方法往往无法获得足够高的识别率.为此,提出了一种结合手指检测和梯度方向直方图(HOG)特征的分层静态手势识别方法.方法 提出一种基于形态学操作的手指检测算法作为手势识别方法的基础.首先由肤色模型从输入图像中提取出手部区域,然后利用手指检测算法识别出手势包含的手指个数,并根据手指个数从事先训练好的支持向量机分类器集合中选取一个,最后提取手部区域的HOG特征,并利用选择好的分类器完成识别任务.结果 对25种常用手势进行了识别实验,将本文方法与单独使用HOG特征的方法进行对比.本文方法可以将传统HOG方法的识别率提高20%左右.结论 基于手指个数的分层识别策略可以有效地解决传统单层识别方法在手势种类较多时识别率不高的问题.在手部区域能被成功检测的情况下,提出的结合手指检测和HOG特征的方法可以取得较理想的手势识别结果,且能达到实时性要求.     

A Novel Machine Learning–Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform

Machine learning is a technique for analyzing data that aids the construction of mathematical models. Because of the growth of the Internet of Things (IoT) and wearable sensor devices, gesture interfaces are becoming a more natural and expedient human-machine interaction method. This type of artificial intelligence that requires minimal or no direct human intervention in decision-making is predicated on the ability of intelligent systems to self-train and detect patterns. The rise of touch-free applications and the number of deaf people have increased the significance of hand gesture recognition. Potential applications of hand gesture recognition research span from online gaming to surgical robotics. The location of the hands, the alignment of the fingers, and the hand-to-body posture are the fundamental components of hierarchical emotions in gestures. Linguistic gestures may be difficult to distinguish from nonsensical motions in the field of gesture recognition. Linguistic gestures may be difficult to distinguish from nonsensical motions in the field of gesture recognition. In this scenario, it may be difficult to overcome segmentation uncertainty caused by accidental hand motions or trembling. When a user performs the same dynamic gesture, the hand shapes and speeds of each user, as well as those often generated by the same user, vary. A machine-learning-based Gesture Recognition Framework (ML-GRF) for recognizing the beginning and end of a gesture sequence in a continuous stream of data is suggested to solve the problem of distinguishing between meaningful dynamic gestures and scattered generation. We have recommended using a similarity matching-based gesture classification approach to reduce the overall computing cost associated with identifying actions, and we have shown how an efficient feature extraction method can be used to reduce the thousands of single gesture information to four binary digit gesture codes. The findings from the simulation support the accuracy, precision, gesture recognition, sensitivity, and efficiency rates. The Machine Learning-based Gesture Recognition Framework (ML-GRF) had an accuracy rate of 98.97%, a precision rate of 97.65%, a gesture recognition rate of 98.04%, a sensitivity rate of 96.99%, and an efficiency rate of 95.12%.     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

Gesture Spotting and Recognition for Human–Robot Interaction

Visual interpretation of gestures can be useful in accomplishing natural human-robot interaction (HRI). Previous HRI research focused on issues such as hand gestures, sign language, and command gesture recognition. Automatic recognition of whole-body gestures is required in order for HRI to operate naturally. This presents a challenging problem, because describing and modeling meaningful gesture patterns from whole-body gestures is a complex task. This paper presents a new method for recognition of whole-body key gestures in HRI. A human subject is first described by a set of features, encoding the angular relationship between a dozen body parts in 3-D. A feature vector is then mapped to a codeword of hidden Markov models. In order to spot key gestures accurately, a sophisticated method of designing a transition gesture model is proposed. To reduce the states of the transition gesture model, model reduction which merges similar states based on data-dependent statistics and relative entropy is used. The experimental results demonstrate that the proposed method can be efficient and effective in HRI, for automatic recognition of whole-body key gestures from motion sequences     

面向虚拟现实的层次化交互手势建模与理解方法

虚拟现实中的交互手势包括多种不同类型,层次化建模方法避免了采用单一模型导致效率不高的问题.识别是一个由粗到精的过程,通过滑动窗技术实时提取手势的统计特征,实现手势类别的粗略划分,然后采用不同方法对各类手势进行分析.交互环境及上下文信息用以辅助手势的类别划分,提高了识别效率.最后通过虚拟家居系统对该方法进行了验证.     

基于深度信息的动态手势识别综述

随着计算机技术的飞速发展,自然、简单、非接触式的手势识别在人机交互方面备受青睐。动态的手势识别一直是人机交互领域研究的热点与难点,深度传感器的出现为手势识别的研究提供了更加鲁棒的数据。为了解动态手势的发展现状,在广泛调研现有文献和最新成果的基础上,对基于深度信息的动态手势从手势分割、手势建模、特征提取、手势识别4个方面进行阐述,介绍动态手势识别相关的应用领域,并对其中存在的难点与问题进行讨论。     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

基于肌电信号和加速度信号的动态手势识别方法

为了增强手势识别的多样性和简便性,提出了一种基于肌电信号（EMG）和加速度（ACC）信息融合的方法来识别动态手势。首先,利用MYO传感器采集EMG和ACC的手势动作信息;然后分别对ACC和EMG信号作特征降维和预处理;最后,为减少训练样本数,提出用协作稀疏表示分类器来识别基于ACC信号的姿态手势,用动态时间规整（DTW）算法和K-最邻近分类器（KNN）来分类EMG信号的手形手势。其中在利用协作稀疏表示分类器识别ACC姿态信号时,通过对创建字典最佳样本个数以及特征降维的维数进行研究来降低手势识别的复杂度。实验结果表明,手形手势的平均识别率达到了99.17%,对于向上向下、向左向右4种姿态手势平均识别率达到 96.88%,而且计算速度快;对于总体的12个动态手势,其平均识别率达到96.11%。该方法对动态手势的识别率较高,计算速度快。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。