室内机器人动态手势指令识别系统研究

针对目前室内移动机器人手势指令识别系统存在的问题,对图像传感器与机器人相分离的图像采集方案进行了研究,并利用动态手势指令对机器人进行控制。动态手势指令识别方法是对手的不同运动轨迹进行识别,通过皮肤颜色模型和手势中心点方向向量法追踪得到手势运动轨迹,提取手势运动轨迹的特征向量,通过基于动态时间规整（DTW）实现对轨迹的识别。实验结果表明,该系统可以实现对机器人前进、后退、左转、右转的实时控制。     

基于视觉的动态手势识别及其在仿人机器人交互中的应用

手势识别是人和机器人交互中的重要组成部分，本文针对双目视觉系统SFBinoeye实 现了基于光流PCA(主分量分析)和DTW(动态时间规整)的命令手势识别，用以控制仿人机器人 SFHR的手臂运动．利用块相关算法计算光流，并通过主分量分析得到降维的连续投影系数， 与手掌区域的质心位置组合为混合特征向量．针对DTW定义了新的加权距离测度，并用它对 手势进行匹配识别．针对9个手势训练和识别，识别率达到92.4%，并成功地应用于机器人的 手臂控制中．     

基于双通道异构传感器融合的手势识别方法

为了捕捉用于动态手势识别的完整手势运动序列,需要同步获取手掌空间位置变化和手掌姿态变化两部分信息,而现有的单一传感器都由于自身的限制而难以实现.因此,提出一种基于双通道异构传感器深度摄像头和陀螺仪融合的动态手势协同识别模型,该模型同时从手掌空间位置的变化和姿态的变化两方面获取完整的手势运动数据,通过数据预处理、基于互信息的特征层融合和分类识别,提高手势识别效率和准确率.通过对数字手势0-9和小写英文字母手势a z的识别实验结果表明,提出的动态手势协同识别模型能够在有效降低特征向量维数和计算复杂度的同时,提高手势识别的准确率.     

适用于机器人视觉的手势识别系统

手势是一种高效的人机交互和设备控制的方式,基于视觉的手势识别是人机交互、模式识别等领域的一个富有挑战性的研究课题。文章提出并实现了一个可用于与机器人交互的静态手势检测和识别系统。该系统用摇动检测的方法定位人手;用基于现场采样得到的肤色模型进行手的分割;用简化并改进的CAMSHIFT算法对手势进行跟踪;最后用模式识别的方法提取简单特征进行识别。实验证明,该系统快速、稳定而有效。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

基于体感交互的智能家居控制与监护系统

为实现通过手势对家居电器设备的控制,并对室内危险情况进行实时监测和报警,设计了基于体感交互的智能家居系统。该系统利用Kinect设备捕获RGBD图像信息,将识别出的手势信息作为控制信号,通过ZigBee局域网对家居设备进行控制;同时对场景中可能出现的老人或小孩摔倒情况进行实时检测判定,对危险情况报警。实验结果表明,该系统能满足通过手势对家居设备进行控制的需求,并且对摔倒情况能进行检测和报警。     

基于智能手机控制的家居服务机器人研发

针对我国智能家居服务机器人的发展现状与不足,设计了一种基于智能手机控制的家居服务机器人。主要涉及技术有:机器导航、机器视觉、信息融合、人机交互、嵌入式技术、语音识别技术等。实现了实时定位、远程控制、自主导航、手势识别、监控家庭环境、语音识别等功能。机器人配有一个单目摄像头,可以实时监控家庭环境;通过智能手机远程控制端可以在世界上任何一个可以上网的地方看到用户家里的状况;并且可以用手机控制机器人的行走路径,真正做到全方位无盲点的实时监控;基于ARM平台的嵌入式视觉处理系统实现手势识别并准确的控制机器人运动;机器人还配有烟雾感传感器、温湿度传感器,可以监测环境的空气质量。经过试验验证,该机器人符合家居服务的基本要求。     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于形状特征检测的手势感兴趣区提取方法

针对采用肤色模型法进行手部区域分割时,人穿着的服装对手臂区域的干扰问题,本文提出了通过手部形状特征检测的手势感兴趣区提取方法.首先利用YCb'Cr’肤色模型提取手部轮廓,通过基于轮廓凸壳信息的方法提取手部轮廓区域的最小外接矩形;然后结合手掌和手臂的特有形状特征识别手腕位置,准确提取出手势感兴趣区域.实验结果表明,本文方法检测手部感兴趣区域准确,对包含和不含手臂的图像中手势感兴趣区域提取均有明显效果.     

老人家庭计算机伴侣系统设计方案

本系统为一个家庭机器人,可以在室内环境中为老人的生活提供方便的服务.机器人可以通过摄像头实现对于老人的跟随.同时我们利用camshift算法成功的实现了手势识别技术来,搭配QT提供的最新Animatioin Framework,使得老人同机器人的交互更加灵活有趣.同时,本作品通过绑定在机器人上的传感器可以对室内的环境进行监控,对于环境进行警报,避免环境问题给老人的身体健康带来危害.     

基于手势识别的工业机器人操作控制方法

针对目前操作工人与工业机器人之间的交互还是采用比较机械化的交互方式,设计使用Kinect传感器作为手势采集设备,并使用人的手势来对工业机器人进行控制的方法。首先,使用深度阈值法与手部骨骼点相结合的方法,从Kinect传感器获取的数据中准确地提取出手部图像。在提取过程中,操作员无需佩戴任何设备,对操作员所站位置没有要求,对背景环境也没要求。然后,用稀疏自编码网络与Softmax分类器结合的方法对手势图像进行识别,手势识别过程包含预训练和微调,预训练是用逐层贪婪训练法依次训练网络的每一层,微调是将整个神经网络看成一个整体微调整个网络的参数,手势识别的准确率达到99.846%。最后,在自主研发的工业机器人仿真平台上进行实验,在单手和双手手势下都取得了不错的效果,实验结果验证了手势控制工业机器人的可行性和可用性。     

基于圆弧扫描线的手势特征提取和实时手势识别

基于手势的人机交互是当前备受关注的自然人机交互模式之一,实时手势识别是其中最重要的步骤。本文提出了一种基于圆弧扫描线的手势特征提取和实时手势识别方法。首先,基于一种抽象描述手掌和五指关系的简洁人手海龟模型,结合肤色特征和腕部标记分割出人手部图像,并进行二值化处理 和统一尺寸来建立手势训练集。 然后,以手掌中心为圆心构造同心圆来提取训练集中不同手势样本的特征,并使用线性判别分析(Linear discriminant analysis,LDA)算法对手势特征向量进行离线预处理。最后,使用 改进的加权K近邻（Weighted-K-nearest neighbor,W-KNN）算法进行实时手势分类和识别。为了验证本文方法的有效性 ,在自建小型手势数据库上进行了算法分析和比较,并在多投影系统下进行实时交互测试。实验 结果表明本文算法具有较高的识别效率。     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于快速尺度空间特征检测的手势识别方法

在基于几何模型的手势识别方法中,尺度空间特征检测是一种最常用的方法。由于传统方法涉及大量的高斯卷积运算,计算非常复杂。提出了一种快速的尺度空间特征检测方法,采用一组简单的矩形特征模板近似传统方法中复杂的高斯导数卷积模板,得到了尺度空间几何特征的快速检测子。通过对手势图像中Blob和Ridge结构的检测,得到手掌和手指结构的描述,进而完成手势识别。矩形特征模板的卷积可以用积分图进行快速计算,该方法使特征检测的速度得到了很大提高。在标准数据集和自然环境图像数据上的实验结果表明,该方法在保证识别准确率的同时,有效地提高了手势识别的实时性。     

基于Kinect深度图像信息的手势轨迹识别及应用

为实现基于Kinect深度图像信息的手势轨迹识别,提出了一种基于隐马尔可夫模型(HMM)的手势轨迹识别的方法。首先采用新型Kinect传感器获取图像深度信息;然后通过OpenNI的手部分析模块获得手心的位置,提取轨迹特征;最后利用隐马尔可夫模型训练有效的轨迹样本并实现轨迹的识别。实验结果证明,该方法能有效地识别手势轨迹,并可用于控制智能轮椅的运动。     

基于视觉的多特征手势识别

手势是一种自然直观的交互方式,基于视觉的手势识别是实现新一代人机交互的关键技术。本文在已有的手势识别技术基础上,从手势分割及手势表示两方面着手,提出了一种单目视觉下的手势识别方法。利用颜色特征检测肤色区域,成功分割出人手;利用人手的轮廓及凸缺陷检测指尖,再利用指尖的数目和方位来表示一个手势,进而结合轮廓长度和面积等几何特征完成手势识别。传统的指尖检测方法需要遍历并扫描手掌外轮廓,计算量大,本文通过凸缺陷检测指尖,减少了计算量,提高了指尖检测的速度。实验结果表明,本文的方法具有很好的鲁棒性及实时性,能适应环境的变化。