基于Faster R-CNN的手势识别算法

针对传统手势识别算法准确率不高、鲁棒性不强的问题,基于卷积神经网络提出基于Faster R-CNN的手势识别算法.首先修改Faster R-CNN框架的关键参数,达到同时检测和识别手势的目的;然后提出扰动交叠率算法,避免训练模型的过拟合问题,进一步提高识别准确率.在公共数据集NTU和VIVA上进行手势识别实验的结果表明,该算法有效地避免了训练模型的过拟合问题,比传统算法具有更高的识别准确率和更强的鲁棒性.     

基于表面肌电图像的灵巧假手控制系统

设计了一种通过佩戴阵列型表面肌电传感器,实时识别受试者的8种手势,并控制一个自主研发的六自由度灵巧操作假手进行同步动作的人–机协同控制系统.控制假手的手势识别策略基于神经网络算法,受试者仅需在首次训练阶段重复完成预先设定的8种手势动作(分别为放松、手腕外翻、手腕内翻、握拳、伸掌、手势2、手势3和竖大拇指),之后该系统即能够实时识别受试者随机完成8种手势中的任意一种手势.本文提出的网络参数随机搜索算法和梯度下降算法,与目前同规模的神经网络相比提高了网络的训练速度和手势预测精度;该手势识别算法使用Tensorflow机器学习框架学习权值并进行了可视化分析;采用经过优化的手势训练方式既缩短了受试者的手势训练时间,同时提高了手势训练的熟练度.本文对一名肌肉无损伤的受试者进行表面肌电信号采集、训练和预测,对8种手势的综合预测精度达到97%,且再次佩戴时不再需要进行训练.受试者实际控制假手时,使用投票算法对实时手势预测结果进行深度优化,最终假手的动作同步率到达99%.     

应用交叉覆盖算法实现静态手势识别

静态手势识别是实现人机交互的前提和基础,多数手势识别采用模板匹配或人工神经网络算法。基于交叉覆盖算法的手势识别,首先通过摄像头采集到的手势图像经过灰度变换、平滑、二值化等预处理,在训练阶段,用交叉覆盖算法对二值化手势图像进行训练以得到手势分类,最后在测试集上进行手势识别。实验结果表明,由于该算法避免了优化过程中所需的巨大运算量,且允许分类目标在一定范围内的动态变化,手势识别的准确率得到有效提高。     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

局部特征与全局特征结合的HMM静态手势识别

针对静态手势识别问题,提出了一种综合考虑局部形状与全局轮廓的隐马尔科夫模型(HMM)静态手势识别算法。该算法提取局部形状熵特征与上层轮廓特征分别作为训练数据训练每类手势的HMM参数。测试时,先凭借局部形状熵特征得出初步识别结果,然后根据初步识别结果的模糊性,附加与局部特征互补的上层轮廓特征进行再识别,得出最终识别结果。实验结果表明,该算法对于形状差异占主导地位的手势库有很好的效果,并且将静态手势的空间序列模拟成时间序列使得静态手势识别具有空间尺度不变性;同时该算法合理控制特征维数,一定程度上弱化了HMM训练时间长的弊端,加快了识别的速度。     

基于随机投影的加速度手势识别

针对手势交互中手势信号的相似性及不稳定性,设计并实现了一种基于随机投影(RP)的加速度手势识别方法.识别系统包含训练阶段和测试阶段:训练阶段运用动态时间规整(DTW)和近邻传播(AP)算法对训练集中的每一个手势迹创建样本中心;测试阶段先通过计算未知手势迹与样本中心的距离找出候选姿势迹,然后用RP算法将候选手势迹和未知手势迹投影到低维子空间,把识别问题转换成l₁-minimization问题来对未知的手势迹进行识别.在采集的2400个数据样本上进行了基于特定人和非特定人的实验,结果表明所提算法分别取得了98.41%和96.67%的识别率,该方法能够有效识别加速度手势动作.     

改进卷积神经网络的动态手势识别

针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类（CNN-Softmax-SVM）的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能在复杂背景下实时获取指尖运动轨迹;其次将指尖运动轨迹作为联合CNN-Softmax-SVM网络的输入,最终通过训练网络来识别动态手势.测试结果显示,采用联合CNN-Softmax-SVM算法能够很好地识别动态手势.     

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.     

基于RGB-D信息的动态手势识别方法*

针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低,实时性差等问题进行了研究,提出一种的动态手势识别方法。该方法首先利用K均值聚类算法和YCr''Cb''（由YCrCb变换得到）椭圆肤色模型对RGB-D图像完成手势分割;然后将深度信息引入到传统卡尔曼滤波算法中,作为其跟踪参数之一,并在跟踪过程中对检测范围进行加窗处理;最后结合快速动态时间规整算法和突出关键特征点的思想,改进传统动态时间规整算法,并利用改进后的动态时间规整算法完成手势识别。实验表明：提出的手势识别方法,在复杂背景下的识别率较高（96.8±1.5%）,实时性较好（识别时间1.86±0.02ms）。     

基于Bag of Features的手势识别

基于视觉的手势识别中,手势的识别效果易受手势旋转,光照亮度的影响,针对该问题,借鉴了目标识别和图像检索领域的Bag of Features(特征袋)算法,将Bag of Features算法应用到手势识别领域.通过SURF(加速鲁棒性特征)算法提取手势图像的特征描述符,使手势对尺度、旋转、光照具有很强的适应力,再应用Bag of Features算法把SURF特征描述符映射到一个统一维度的向量,即Bag of Features特征向量,再用支持向量机对图像得到的特征向量进行训练分类.实验结果表示,该方法不仅具有较高的时间效率,满足手势识别的实时性,而且即使在很大角度的旋转以及亮度的变化下,仍能达到较高的识别率.