基于方向链码的书空手势识别

介绍了Leapmotion交互设备的结构及运行机制,在该设备产生的交互空间中的x-y平面上定义8个方向的方向链码,通过该设备检测手指在空间中的位置变化,确定手指的移动方向,并结合方向链码定义动态书空手势。为了消除手指在空间运动的不稳定性而导致的噪声干扰,将手指在平面上的位置信息映射到计算机屏幕上显示出手指的移动轨迹,对轨迹进行分段处理,根据分段的比重提取主要移动方向描述输入手势,采用顺序匹配算法对输入手势与模板手势进行匹配,识别输入的书空手势。     

基于CW-RNNs网络的手势识别算法

该文在分析表征手势特征和神经网络理论基础上,根据手运动轨迹的连续性规律来研究适用于手势识别的关键技术——基于手势轨迹模型的新型神经网络算法。针对手势识别的模糊性和准确性问题,基于手势局部区域跟踪结果,采用一种新型神经网络算法,实现用于人机交互的动态手势识别。手势识别部分的研究是采用一种新型的循环神经网络(CW-RNNs)对手势运动的轨迹进行识别。根据跟踪部分提取的手指运动轨迹坐标,定义手势模版,采用该方法对手势模版进行学习。首先定义连续动态手势模版,采用时间频率循环神经网络对手势模版进行学习,对每组孤立的动态手势模版进行学习,形成手势识别模型。对影响CW-RNNs模型的因素进行了实验验证和深度分析,通过与多层RNNs、三层RNNs的识别效果进行比较,论证了本文模型对手势轨迹模版识别的优越性。     

基于视觉的手势识别研究

在对基于视觉的手势识别的几个关键问题进行研究的基础上,尝试将高斯金字塔光流算法与DTW分类算法相结合,应用到动态手势识别中.实验表明,四个动态手势的平均识别率达到了94.5%.     

移动单目相机下基于单应的动态手势轨迹识别

针对单目相机的移动会造成图像坐标系的全局运动,对手势识别中运动轨迹的观测产生影响,不能满足手势交互的应用需要的问题,建立并证明了一种基于单应的目标运动轨迹观测模型.该模型通过分析目标平面运动时相邻帧之间的射影关系,利用单应矩阵求解与特征点的重投影,求得相邻帧之间的目标相对运动矢量,得到世界坐标系下的目标运动轨迹.为验证该模型的有效性,基于该模型提出了一种利用移动相机进行动态手势轨迹识别的方法.实验结果表明:使用该方法进行动态手势轨迹识别的识别率为89%,处理速度达到72.28帧/s,在移动相机环境下保证了手势识别系统的识别率与实时性.     

基于B参数的改进HMM动态手势识别算法

针对目前动态手势识别中隐马尔可夫模型(HMM)在训练B参数的过程中,训练过程复杂、易陷入局部最优解的不足,提出了一种基于B参数的改进HMM动态手势识别算法.该算法在计算HMM观测状态转移概率的过程中,引入了支持向量机(SVM)改进算法,利用SVM的强分类能力将其输出通过Sigmoid函数转换为概率,并作为HMM中各个隐状态的输出概率,优化了HMM的B参数,从而改进了HMM算法的性能,提高了系统的识别率.实验结果证明:该方法能够准确地识别出动态手势轨迹,平均识别率由86.1%提高到97.4%,并且对光照和复杂背景均具有较强的鲁棒性.     

基于三维轨迹的相似手势识别研究

为解决动态手势识别中相似手势识别率不高的问题,本文开发了基于Leap Motion设备的动态手势识别系统,即对采集到的所有动态手势的三维运动轨迹数据预处理后,以运动角为固定特征通过HMM模型区分出非相似与相似手势;对于相似手势,设计了基于角点数、子区域百分比、角点序号百分比、轨迹区域长宽比的二次识别系统.验证试验表明,相似手势的最终识别率高达92.56%,二次识别的平均识别率比基于HMM一次识别的平均识别率提高了17%.     

基于Kinect传感器深度信息的动态手势识别

提出了基于Kinect传感器深度信息的动态手势识别方法,在预处理阶段通过OpenCV快速跟踪手部,有效分割手势.为改进动态手势轨迹的提取和分类,引入隐马尔可夫模型(HMM)对手势轨迹进行训练和识别.实验结果表明,基于HMM的识别方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下有鲁棒性的结果.     

基于点上下文描述子的三维手势轨迹识别

提出了一种基于曲率窗的点上下文描述子的三维手势轨迹识别方法,该方法通过采用曲率窗选取手势轨迹的上下文点,既有效地降低了描述子的维度,又提高了对三维手势轨迹的识别率.首先,计算三维手势轨迹上所有点的U弦长曲率;然后,选取曲率最大且相互分离的点作为手势轨迹的上下文点;最后,将每个轨迹点与上下文点之间的欧氏距离作为该点的特征向量.采用上述方法提取三维手势轨迹的形状特征,支持向量机(SVM)用于分类识别.实验结果表明:该方法对澳大利亚手语数据库(ASL)中任意8类三维手势轨迹的平均识别率达到92.98%,并且识别结果具有旋转、尺度、平移(RST)无关性.     

移动终端交互设计中手势指令识别方法改进研究

传统的手势指令识别在缩放、旋转、平移等转换过程中,一直存在手势图片出现形变使识别不准确。提出一种新的移动终端交互设计中手势指令识别改进方法。将质心距离函数看作全局特征对二维空间下的手势运动轨迹特征提取,对其进行改进,获取三维空间下手势轨迹特征,増加移动终端交互设计中第三维的手势轨迹信息,得到手势轨迹特征向量。将手势轨迹特征向量作为输入,通过随机森林方法对手势指令识别分类器进行训练,利用训练完成的分类器实现移动终端交互设计中手势指令的识别。实验结果表明,所提方法不仅能够保证移动终端交互设计中手势指令识别的实时性,而且识别精度高,认证效果好。     

基于关键点的残差全连接网络动态手势识别方法

车载动态场景下,为了提高基于视频手势识别的准确率和鲁棒性,提出了一种基于关键点的残差全连接网络手势识别算法.对在不同车辆平台、不同运动条件下采集的不同光照强度的视频数据进行归一化等预处理后提取视频帧的关键点,以关键点个数为准则进行了关键帧选取以提高运算性能和降低算法复杂度,将从关键帧中所提取的关键点送入残差全连接网络实现连续手势的识别.在不同光线与车内环境下,所提算法对6类动态手势的平均识别准确率达到96.72%,相较3D卷积神经网络(C3D)、卷积神经网络(convolutional neural network,简称CNN)、长短时记忆网络(long short-term memory network,简称LSTM)和双流网络,其识别率分别提升了10.72%,6.40%,5.17%和4.50%.实验结果验证了所提算法在车载环境下连续手势识别的有效性.     

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

一种快速手势识别算法的实现与验证

基于大多数的手势识别算法,需要提取高维度的特征,限制了手势识别在实时系统中的应用。文中针对这种问题,提出一种快速的手势识别算法。首先,在原始图像上提取轮廓块边缘对目标区域进行分割。其次,提取目标区域的形状特征。然后,在数据库中,对每种手势只记录一幅标准的参考图像。最后,通过比较参考图像与待检测图像中的手势特征,来匹配和标记手势的含义。实验结果表明,文中提出的快速算法能够准确地识别手势。     

基于姿态角的双Kinect数据融合技术及应用

针对单个Kinect深度图像传感器在人机交互时的骨骼自遮挡所导致的识别精度问题,提出了基于姿态角的双Kinect数据融合技术。首先,通过两台Kinect采集人体关节的数据信息;并做坐标统一化处理;其次,提出了基于姿态角的骨骼数据融合算法模型,同时依据Kinect SDK构建标准姿势特征向量集合;随后,根据骨骼活动度分配对应骨骼贡献度大小,进而计算融合后的姿势特征向量集合与标准姿势特征向量集合的余弦和,实时反馈两者姿势的匹配度,实现人体姿势的识别。通过构建数据融合处理平台,并应用于人体姿势识别,验证了该方法在不影响识别速率的前提下,提高了人体姿势识别的精准度。     

Kinect骨骼信息下的动态手势识别研究

针对复杂环境中存在的手势识别问题,提出一种利用Kinect传感器获取深度信息并进行动态手势识别的方法。该方法通过对Kinect传感器获取的深度信息进行分析,获取人体主要骨骼点的3D坐标,从中选取六个点作为手部运动的特征参照;为提高手势识别系统的识别速度,提出了一种基于查表的DTW算法对得到的特征数据进行模板训练并实现动态手势识别。实验结果表明:该方法具有较高的识别速度和识别率,对复杂背景及光照强度变化具有较强的鲁棒性。     

基于交互式多模型Kalman滤波的手势跟踪算法研究

针对任意变形手势跟踪过程中,手势运动轨迹方向发生改变时,传统滤波跟踪算法跟踪精度迅速下降的问题,提出了一种基于交互式多模型Kalman滤波的改进型手势跟踪算法。该算法在传统非机动状态空间模型的基础上增添了两个机动模型,以更加准确的描述手势的状态空间。首先采用三个不同模型分别描述不同的目标运行模式;同时,以模型匹配似然函数为基础更新模型概率;最终组合所有滤波器修正后的状态估计值以得到最优状态估计。实验对比结果表明,该算法能够取得较高地跟踪精度。     

多模态人机交互中基于笔输入的手势识别

为研究多模态人机交互系统的理论及构造方法 ,提出了一种快速的、单笔划手势识别方法 .该方法通过提取手势轨迹的关键点及各关键点的运移方向 ,形成特征码 ,然后与标准手势符号的各种可能的特征码进行匹配 .其中方向特征用于预分类 ,而关键点位置信息用于细分类 .实验结果表明该方法速度快、识别率高 .     

Hand Gesture Recognition Based on Improved FRNN

The trained Gaussian mixture model is used to make skincolour segmentation for the input image sequences. The hand gesture region is extracted, and the relative normalization images are obtained by interpolation operation. To solve the proem of hand gesture recognition, Fuzzy-Rough based nearest neighbour（RNN） algorithm is applied for classification. For avoiding the costly compute, an improved nearest neighbour classification algorithm based on fuzzy-rough set theory （FRNNC） is proposed. The algorithm employs the represented cluster points instead of the whole training samples, and takes the hand gesture data＇s fuzziness and the roughness into account, so the campute spending is decreased and the recognition rate is increased. The 30 gestures in Chinese sign language alphabet are used for approving the effectiveness of the proposed algorithm. The recognition rate is 94.96%, which is better than that of KNN （K nearest neighbor）and Fuzzy- KNN （Fuzzy K nearest neighbor）.     

基于信息融合的大飞艇自适应姿态解算算法

现有计算大飞艇姿态角的平衡滤波算法虽然融合了加速度和角速度信息,但其未对加速度的适用条件进行分析,从而导致了积累误差和动态解算准确性问题.针对该算法的不足,提出了根据飞艇的不同运动状态来调整姿态解算算法的融合加速度和角速度数据的自适应姿态解算算法,并通过Matlab实验验证了算法的有效性.实验结果表明,该算法有效地解决了平衡滤波算法的不足,通过引入SMV(signalmagnitudevector,信号量向量),使大飞艇的运动状态得到了准确判断,从而使积累误差问题得到了有效改善,同时提高了大飞艇的动态解算准确性.