基于人体骨骼和深度图像信息的指尖检测方法

针对复杂环境下的指尖检测,从手部图像分割和指尖检测方法两方面进行改进,提出了一种基于人体骨骼和深度图像信息的指尖检测方法。首先采用Kinect获取人体骨骼和深度图像信息,通过人体骨骼信息锁定目标用户,利用锁定用户的手部节点位置从深度图像中提取手部区域图像;然后从手部骨架中搜索骨架端点,提出局部最优查找方法对轮廓凸包计算结果进行优化;最后结合手部轮廓特征找到指尖位置。实验结果表明,该方法具有良好的检测效果,满足实时性要求,能够实现复杂环境下的鲁棒检测。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于复合特征和动态阈值圆法的手势识别算法研究

针对传统手势识别中用肤色分割手部区域效果的局限性,采用Kinect获取深度信息来分割手掌,能得到较好的效果。对手掌轮廓进行多边形逼近,将凸包点作为候选指尖点。利用非零像素（白）到最近零像素的距离提取掌心,用线性回归动态调整阈值圆半径,将无用凸包点过滤,实现指尖点的准确提取。在分类识别中,将图像的Hu矩和指尖点个数组合起来,作为复合手势特征,导入KNN分类器中,实现手势识别。实验证明,基于复合特征和动态阈值圆法的手势识别算法具有较好的识别率和实时性。     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于Kinect深度图像信息的手势跟踪与识别

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种利用深度信息进行手势提取和识别的研究方案。采用Kinect深度摄像头,通过中值滤波以及深度信息与邻域特点来分割手部区域并用Canny算子提取出手势轮廓,再以深度图像的凸缺陷指尖来完成对指尖的检测,从而实现对数字手势1到5的手势识别。该方法可快速有效地对指尖进行检测,鲁棒性和稳定性都比其他方法更好。实验结果表明,该手势识别方案的平均识别率达到92%,证明了该方法的可行性。     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于深度信息的实时手势识别和虚拟书写系统

鉴于无接触体感交互技术在人机交互领域的成功应用,提出了一种基于Kinect深度相机的实时隔空虚拟书写方法。结合颜色和深度数据检测和分割出手掌区域;进一步,通过修改的圆扫描转换算法获得手指的个数,以识别不同的手势指令;根据指尖检测从指尖的运动轨迹分割出独立的字符或汉字运动轨迹,并采用随机森林算法识别该字符或汉字。这种基于深度信息的手势检测和虚拟书写方法可以克服光照和肤色重叠的影响,可靠实时地检测和识别手势和隔空书写的文字,其识别率达到93.25%,识别速度达到25 frame/s。     

基于kinect骨骼系统的手势识别研究

针对使用计算机视觉技术进行手势识别易受环境影响的问题,提出了一种基于kinect的骨骼系统的手势识别方案。采用Kinect进行深度数据采集,建立深度图像,提取人体轮廓,利用骨骼系统确定腕部坐标及灰度值后,提出根据腕部坐标采用最近邻法则和阈值法提取手势区域,可有效去除非手势目标,对平滑后的手势轮廓用不变矩对4种手势进行了识别。实验结果表明,该方法能有效识别静态手势,且在不同光照和复杂背景的条件下,具有很强的健壮性。     

基于机器视觉的火车驾驶员动态手势识别方法

为快速准确识别火车驾驶员动态手势,提出一种基于机器视觉的动态时间规整算法.采用Kinect视觉传感器提取手势深度信息,结合人体骨骼节点信息,通过选取合适的深度距离阈值将手势图像信息从背景中分离出来.基于支持向量机(SVM)算法对分割后的手势图像进行识别并对手势规范性进行评价.利用图像深度数据以及驾驶员骨骼数据得到手臂骨...     

Research on gesture recognition of smart data fusion features in the IoT

With the rapid development of Internet of things technology, the interaction between people and things has become increasingly frequent. Using simple gestures instead of complex operations to interact with the machine, the fusion of smart data feature information and so on has gradually become a research hotspot. Considering that the depth image of the Kinect sensor lacks color information and is susceptible to depth thresholds, this paper proposes a gesture segmentation method based on the fusion of color information and depth information; in order to ensure the complete information of the segmentation image, a gesture feature extraction method based on Hu invariant moment and HOG feature fusion is proposed; and by determining the optimal weight parameters, the global and local features are effectively fused. Finally, the SVM classifier is used to classify and identify gestures. The experimental results show that the proposed fusion features method has a higher gesture recognition rate and better robustness than the traditional method.

     

复杂环境中多信息融合的手势识别

针对复杂环境中的手势识别问题,提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割,然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证,提出的方法不仅不受环境光线的影响,而且可以识别区分度较小的手势,对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势,识别率高达100%。     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

基于Kinect深度图像信息的手势轨迹识别及应用

为实现基于Kinect深度图像信息的手势轨迹识别,提出了一种基于隐马尔可夫模型(HMM)的手势轨迹识别的方法。首先采用新型Kinect传感器获取图像深度信息;然后通过OpenNI的手部分析模块获得手心的位置,提取轨迹特征;最后利用隐马尔可夫模型训练有效的轨迹样本并实现轨迹的识别。实验结果证明,该方法能有效地识别手势轨迹,并可用于控制智能轮椅的运动。     

基于深度信息的手势识别算法研究

针对在复杂背景中传统手势识别算法的识别率低问题,利用Kinect的深度摄像头获取深度图像,分割出手势区域后进行预处理;提取手势的几何特征,并提出深度信息的同心圆分布直方图特征,融合手势的几何特征和深度信息的同心圆分布直方图特征;学习训练随机森林分类器进行手势识别.文中通过在复杂背景条件下对常见的“石头”、“剪刀”、“布”3种手势进行测试,实验结果表明:文中所提方法具有很好的平移,旋转和缩放不变性,能适应复杂环境的变化.     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。