基于触摸屏的手势遥控系统

传统遥控方式对用户的限制和束缚降低了用户体验质量。为此,提出一种基于触摸屏的手势遥控系统。通过分析触摸手势元动作,对触摸手势进行分类和数学建模,设计该遥控系统的触摸手势识别算法。该算法充分考虑了用户的认知和行为习惯差异,实现智能电视的手势遥控系统,收集真实用户在使用该遥控系统时的操作习惯,进一步提高触摸手势及其对应的遥控操作的识别准确率。实验结果表明,该算法能较好地区分易引起误操作的触摸手势,使得平均识别准确率达到99%。     

服务机器人的触觉手势识别

为了实现机器人在人机交互过程中的触觉感知,提出了一种用于服务机器人的触觉手势识别方法。首先,将电子皮肤安装在服务机器人上,通过采集15位被试者的10种手势动作信号,构建了情感手势数据集。然后,使用时空分离卷积神经网络,对被试者触摸服务机器人时做出的触摸手势进行分类。结果表明,被试内手势识别率为90.25%,跨被试手势识别率为83.44%。通过调节模型中的时空通道调节因子,在几乎不降低识别率的同时,可以大幅减少模型参数量。基于电子皮肤的触觉手势识别实验,初步认为使用时空分离卷积神经网络能够以较高的准确率和较低的计算代价实现对人的触觉手势识别,这为服务机器人通过电子皮肤与人实现情感交互提供了可能。     

连续交互空间下的混合手势交互模型

分析了触控交互技术在移动手持设备及可穿戴设备应用的应用现状及存在的问题;基于交互动作的时间连续性及空间连续性,提出了将触控交互动作的接触面轨迹与空间轨迹相结合,同时具有空中手势及触控手势的特性及优点的混合手势输入方法;基于连续交互空间的概念,将混合交互手势,空中手势、表面触控手势进行统一,建立了包括空中层、表面层、混合层的连续交互空间分层处理模型;给出了统一的信息数据定义及数转换流程;构建了通用性的手势识别框架,并对轨迹切分方法及手势分类识别方法进行了阐述.最后设计了应用实例,通过实验,对混合交互手势的可用性及连续空间分层处理模型的可行性进行了验证.实验表明,混合手势输入方式同时兼具了表面触控输入及空中手势输入的优点,在兼顾识别效率的同时,具有较好的空间自由度.     

基于视觉的动态手势识别及其在仿人机器人交互中的应用

手势识别是人和机器人交互中的重要组成部分，本文针对双目视觉系统SFBinoeye实 现了基于光流PCA(主分量分析)和DTW(动态时间规整)的命令手势识别，用以控制仿人机器人 SFHR的手臂运动．利用块相关算法计算光流，并通过主分量分析得到降维的连续投影系数， 与手掌区域的质心位置组合为混合特征向量．针对DTW定义了新的加权距离测度，并用它对 手势进行匹配识别．针对9个手势训练和识别，识别率达到92.4%，并成功地应用于机器人的 手臂控制中．     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

一种基于MEMS惯性传感器的手势识别方法

随着手机等移动电子设备的发展,应用于嵌入式平台的基于MEMS惯性传感器的手势识别成为一个研究热点.提出了一种简单有效的手势识别方法:通过分析手势的运动学特征,在线实时提取手势的加速度和角速度信号特征量,截取手势信号段,利用决策树分类器进行预分类,根据手势信号的变化规律实时识别具体的手势.该方法在20位实验者中获得了96％的平均准确率,手势识别时间小于0.01s.实验结果表明该算法在嵌入式平台下能快速准确地识别手势,满足了实时人机交互的要求.     

基于关键姿势的双人交互行为识别

针对双人交互行为识别应用领域广但效率低的问题,提出一种基于关键姿势的双人交互行为识别方法。首先,利用帧间差异比较来提取关键帧;然后,利用骨骼点角度变化的方差和空间关系来确定关键帧中的关键姿势;接着,利用关节距离、角度和关节运动等特征表示关键姿势,每一个关键姿势表示为一个特征矩阵;最后,利用不同的降维和分类组合,选取识别率最优的组合。在SBU交互数据集和自建的交互数据集上评估所提出的识别方法,该方法的识别率分别达到92.47%和94.14%。实验结果表明,通过提取关键姿势的特征形成特征矩阵来表示动作的方法可以有效地提高双人交互行为识别结果。     

沉浸式所触即所得网络可视分析方法

沉浸式网络可视化在空间沉浸、用户参与、多维感知等方面具有天然的优势。受用户与日常物体交互方式所启发,基于所触即所得(WYTIWYG)的理念提出一种沉浸式网络可视分析方法来挖掘网络特征和关联模式。首先提出手势舒适度评估模型来指导手势动作设计,并引入窗口状态模型来优化手势识别稳定性。此外,将网络分析交互需求与手势动作语义绑定,定义沉浸式网络手势交互范式。与真实世界中抓取交互类似,用户可利用自然交互手势在沉浸式环境下执行移动、高亮、布局维度变换、边绑定等操作。最后,案例研究验证了方法的有效性。     

基于手势识别的工业机器人操作控制方法

针对目前操作工人与工业机器人之间的交互还是采用比较机械化的交互方式,设计使用Kinect传感器作为手势采集设备,并使用人的手势来对工业机器人进行控制的方法。首先,使用深度阈值法与手部骨骼点相结合的方法,从Kinect传感器获取的数据中准确地提取出手部图像。在提取过程中,操作员无需佩戴任何设备,对操作员所站位置没有要求,对背景环境也没要求。然后,用稀疏自编码网络与Softmax分类器结合的方法对手势图像进行识别,手势识别过程包含预训练和微调,预训练是用逐层贪婪训练法依次训练网络的每一层,微调是将整个神经网络看成一个整体微调整个网络的参数,手势识别的准确率达到99.846%。最后,在自主研发的工业机器人仿真平台上进行实验,在单手和双手手势下都取得了不错的效果,实验结果验证了手势控制工业机器人的可行性和可用性。     

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程：手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。     

适用于机器人视觉的手势识别系统

手势是一种高效的人机交互和设备控制的方式,基于视觉的手势识别是人机交互、模式识别等领域的一个富有挑战性的研究课题。文章提出并实现了一个可用于与机器人交互的静态手势检测和识别系统。该系统用摇动检测的方法定位人手;用基于现场采样得到的肤色模型进行手的分割;用简化并改进的CAMSHIFT算法对手势进行跟踪;最后用模式识别的方法提取简单特征进行识别。实验证明,该系统快速、稳定而有效。     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

基于表观特征分析的手势识别及其应用

针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题,通过分析手势的表观特征,提出并实现了一种可用于自然人机交互的手势识别算法。该算法基于Kinect深度图像实现手势区域分割,然后提取手势手指弧度、指间弧度、手指数目等具有旋转缩放不变性的表观特征,运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台,达到了理想的控制效果。实验表明该算法具有良好的鲁棒性,针对九种常用手势,平均识别率达到94.3%。     

面向虚拟现实的层次化交互手势建模与理解方法

虚拟现实中的交互手势包括多种不同类型,层次化建模方法避免了采用单一模型导致效率不高的问题.识别是一个由粗到精的过程,通过滑动窗技术实时提取手势的统计特征,实现手势类别的粗略划分,然后采用不同方法对各类手势进行分析.交互环境及上下文信息用以辅助手势的类别划分,提高了识别效率.最后通过虚拟家居系统对该方法进行了验证.     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

室内机器人动态手势指令识别系统研究

针对目前室内移动机器人手势指令识别系统存在的问题,对图像传感器与机器人相分离的图像采集方案进行了研究,并利用动态手势指令对机器人进行控制。动态手势指令识别方法是对手的不同运动轨迹进行识别,通过皮肤颜色模型和手势中心点方向向量法追踪得到手势运动轨迹,提取手势运动轨迹的特征向量,通过基于动态时间规整（DTW）实现对轨迹的识别。实验结果表明,该系统可以实现对机器人前进、后退、左转、右转的实时控制。     

基于RFID反向散射通信的机器人手势控制系统

针对当前手势控制技术中手势数据的不稳定性,研究了一种基于RFID反向散射通信的机器人手势控制系统.首先,通过对数据进行加窗处理来解决标签反射信号在时域上的不连续性,并利用相对熵的思想提取相位流中动态手势的指纹特征分段;其次,利用动态时间规整（Dynamic Time Warping,DTW）算法计算当前分段与先验手势指纹库中各一维分量的匹配程度,并在此基础上结合k邻近算法实现手势分类;最后通过蓝牙设备与机器人进行串口通信,实现人机交互应用.实验结果显示该系统可以对机器人进行前进、后退、向左、向右、顺时针旋转、停止的实时控制,机器人对手势指令的正确反馈率高于84%,证明系统在真实环境下具有良好的可行性和鲁棒性.     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于DSSD的静态手势实时识别方法

手势识别作为一种自然和谐的人机交互方式,具有广泛的应用前景,而传统手势识别方法准确率不高、实时性较差。为此,在DSSD网络模型的基础上,提出一种静态手势实时识别方法。自制手势数据集,通过K-means算法及手肘法选取先验框的宽高比,采用迁移学习的方法解决数据量小导致的检测精度低的问题,同时根据识别精度选择ResNet101为DSSD模型的基础网络,经DSSD模型的反卷积模块融合各个特征提取层的语义信息,加强对小手势目标的检测能力。实验结果表明,该方法识别静态手势的识别率达到95.6%,较基于Faster R-CNN、YOLO和SSD的手势识别方法分别提高了3.6%、4.5%及2.3%,其检测速度为8 frame/s,能够满足实时检测要求。