基于Leap Motion的可抓取无人机系统

为了解放无人机的传统控制方式和解决高空取物等实际问题,提出一种将手势识别技术与无人机相结合的可抓取无人机系统。该系统通过Leap Motion采集手势数据,使用Python并结合Leap Motion v2 SDK库将数据进行处理,通过NRF24L01无线模块对数据进行发送,在无人机端将收到的数据通过Arduino进行分析处理,输出相应的PWM波来控制无人机的飞行状态以及机械爪的抓取。经试验证实该系统可通过手势改变无人机的飞行状态,以及控制机械爪的抓取,表明了该系统实现方法的可靠性及有效性。     

智能仿生双向手语翻译系统

设计了一套智能仿生双向手语翻译系统,该系统主要由STM32微处理器、LD3320非特定语音识别模块、SYN6288语音合成芯片等组成,能够实现语音与手势的双向翻译。其中语音转手势部分可通过语音识别模块获得指令,手语机器人根据指令完成语音转动作的翻译。手势转语音部分通过数据手套捕获手臂的动作和姿态,识别手语动作,控制手语机器人发出语音。该系统具有成本低、识别度高、使用方便等优势,具有良好的应用前景。     

室内机器人动态手势指令识别系统研究

针对目前室内移动机器人手势指令识别系统存在的问题,对图像传感器与机器人相分离的图像采集方案进行了研究,并利用动态手势指令对机器人进行控制。动态手势指令识别方法是对手的不同运动轨迹进行识别,通过皮肤颜色模型和手势中心点方向向量法追踪得到手势运动轨迹,提取手势运动轨迹的特征向量,通过基于动态时间规整（DTW）实现对轨迹的识别。实验结果表明,该系统可以实现对机器人前进、后退、左转、右转的实时控制。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

基于EasyDL的常用词语手势视频50分类方法的研究

提出了一种基于深度学习的常用词语手势视频50分类方法,利用EasyDL平台进行模型训练和部署。首先对深度学习和手势识别技术的发展轨迹及当前形势进行了全面概述。然后详细阐述了使用的EasyDL平台、数据集构建与预处理、模型训练与优化等技术。最后通过EasyDL平台进行校准,基于样本对模型进行客观的评价。实验结果表明,该方法具有较高的实用价值和应用前景,为手势识别相关领域提供有价值的参考与借鉴。     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

触觉手势情感识别的超限学习方法

为了解决声音和图像情感识别的不足,提出一种新的情感识别方式:触觉情感识别。对CoST（corpus of social touch）数据集进行了一系列触觉情感识别研究,对CoST数据集进行数据预处理,提出一些关于触觉情感识别的特征。利用极限学习机分类器探究不同手势下的情感识别,对14种手势下的3种情感（温柔、正常、暴躁）进行识别,准确度较高,且识别速度快识别时间短。结果表明,手势的不同会影响情感识别的准确率,其中手势“stroke”的识别效果在不同分类器下的分类精度均为最高,且有较好的分类精度,达到72.07%;极限学习机作为触觉情感识别的分类器,具有较好的分类效果,识别速度快;有的手势本身对应着某种情感,从而影响分类结果。     

基于手势识别远程同步控制的智能机械臂研究

设计一种基于手势识别远程同步控制的智能机械臂系统,系统由手势识别器和智能机械臂组成;手势识别器穿戴在手中,能够感知和识别手势指令,并通过无线传输方式把手势指令传输给智能机械臂;智能机械臂收到手势指令后其自主决策系统迅速规划最优控制,实现同步控制机械臂伸展和机械手的抓取等动作;实验结果表明,手势识别器的手势指令简单易于操作,手势指令识别准确高效,智能机械臂动作规划协调,系统大大降低了机械臂的操控难度,完全满足作业任务实时控制的需要,具有较好的实用性和广泛的应用前景.     

风扰动下固定翼无人机指令滤波反步着陆控制北大核心

针对存在模型不确定性及风干扰时的固定翼无人机纵向着陆控制问题,提出一种基于有限时间扩张状态观测器的指令滤波反步控制方案。首先建立了风干扰下的无人机动力学模型。然后将无人机的高度和空速分开控制,利用反步法求取控制信号,并设计有限时间扩张状态观测器对复合干扰进行估计;同时,引入指令滤波器以避免传统反步法中的“微分爆炸”问题。最后通过Lyapunov理论证明了系统的稳定性。仿真结果表明,所提出的控制方案能够实现对空速指令及高度指令的稳定跟踪,对模型不确定性及风干扰具有较好的鲁棒性。     

基于多光源红外传感技术的手势识别系统

手势识别是一种有效的人机交互手段,针对识别算法复杂或适用范围窄等问题,设计一种基于多光源红外传感技术的手势识别系统。首先获取手势动作数据,然后结合不同手势的运动特征,采用区间概率算法识别手势类型,最终完成动作指令输出。通过实验对常见6种手势进行识别,平均识别率达93.67%。该系统操作简单、成本低,可用于多种智能交互场合。     

基于LSTM的多维度特征手势实时识别

手势识别广泛应用于传感领域,主要有基于计算机视觉、基于深度传感器与基于运动传感器等3种手势识别方式.基于运动传感器的手势识别具有输入数据少、速度快、直接获取手部三维信息的优点,逐渐成为当前的研究热点.传统基于运动传感器的手势识别本质为模式识别问题,其准确率严重依赖于先验经验提取的特征数据集.与传统的模式识别方法不同,深度学习可以在很大程度上减少人工启发式提取特征的工作量.为解决传统模式识别存在的问题,文中提出一种基于长短期记忆网络(LSTM)的多特征手势实时识别方法,通过充分的实验验证了该方法的性能.该方法首先定义了5种基本手势和7种复杂手势的手势库,基于手部姿态的运动学特征,进一步提取角度特征和位移特征,随后利用短时傅里叶变换(SFTF)提取传感器数据的频域特征,将3种特征输入深度神经网络LSTM中进行训练,从而对采集的手势进行分类识别.同时为了验证所提方法的有效性,通过自设计的手持式体验棒收集了6名志愿者的手势数据作为实验数据集.实验结果表明,提出的识别方法对于基本手势和复杂手势的识别准确率达到94.38％,与传统的支持向量机、K-近邻法和全连接神经网络相比,识别精度提升了近2％.     

三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。     

基于视觉的神经网络三维动态手势识别方法综述

动态手势识别作为一种重要的人机交互手段而受到广泛关注,其中基于视觉的识别方式因其使用便利性和低成本的优势成为新一代人机交互的首选技术。以人工神经网络为中心,综述了基于视觉的手势识别方法研究进展,分析了不同类型人工神经网络在手势识别中的发展现状,调研并归纳总结了待识别数据和训练数据集的类型及特点;此外,通过开展性能对比实验,客观评估了不同类型的人工神经网络,并对结果进行了分析。最后,对调研内容进行了总结,对该领域面临的挑战和存在的问题进行了阐述,对动态手势识别技术的发展趋势进行了展望。     

基于卷积神经网络的手势识别算法设计与实现

为了克服传统手势识别方法复杂的人工提取特征值操作,引入卷积神经网络进行手势识别,该算法可以直接对原始图像进行处理,具有局部感知域、权值共享和池化等特点,可以有效提取图像特征。使用Marcel手势识别数据集对框架进行训练,采用交叉验证的方法对系统进行评估,实验结果表明该方法可以识别经过训练的手势,且精确度高,鲁棒性强。     

基于线性判别分析和自适应K近邻法的手势识别

基于小容量数据集的手势识别是人机交互技术研究中的一个重要课题。本文提出了一种基于线性判别分析和自适应K近邻法的手势识别方法。首先,应用高斯背景建模方法从包含目 标交互者的训练视频集中提取各类手型图像,并调整到相同尺度来构建手势训练集。然后,通过改进的线性判别分析对训练数据进行特征提取。最后提出一种自适应K近邻法对实时交互过程中得到的手型信息进行分类和识别。应用上述方法自建小型手势库进行实验和比较分析,结果显示与现有的手势识别算法相比,本文方法具有更高的识别率。     

Gabor-C3D手势识别算法

针对现有的手势识别方法注重高层信息，对浅层信息利用不够，导致手势识别准确性和实时性较差的问题，提出一种Gabor-C3D手势识别算法。采用多方向多尺度的Gabor滤波器组提取手势图像中空域和频域的纹理特征；针对手势动作的特点，设计轻量级C3D网络进行特征学习与分类，在保证精度的同时降低网络的复杂度。在公开数据集与自建数据集上进行实验，实验结果表明，所提算法在自建会议手势数据集与20bn-jester中的手势平均识别率分别达到98.73%与89.26%,分类效果优于传统C3D网络。     

一种基于数据手套的静态手势识别方法

在虚拟环境的交互任务实施过程中,手势识别的正确率和效率将直接影响到操作者的沉浸感和成功率.针对已有的手势识别方法难以在既保证较高识别正确率的同时又满足实时性要求的问题,提出一种能够有效用于静态手势识别的手型特征提取方法以及相应的手型特征点集匹配策略.首先,利用可穿戴式设备——数据手套采集多种原始的手部运动数据,对这些数据进行预处理后构建出手势库;然后,提取并表示每一种手势的手型特征;最后,运用特征点集模板匹配方法进行手势识别.实验结果证明,该方法在手势类别数目较大(25类手势)时识别正确率能够达到98.9%,并且计算量小、效率高,能够保证用户和虚拟环境交互的实时性.     

基于计算机视觉及深度学习的无人机手势控制系统

传统的无人机人机交互需要专门的设备和专业的训练,便捷新颖的交互方式往往更令人青睐。利用普通相机,对基于计算机视觉以及深度学习的无人机手势控制系统进行了研究。该系统首先利用快速跟踪算法在视频序列中提取出操作者所在区域,大大减少后续视频处理压力的同时去除了复杂背景以及相机漂移的影响。其次,根据动作的时间信息,用不同颜色编码光流特征,叠加在一张图片上,将视频转换为同时包含时间特征以及空间特征的彩色纹理图。最后,利用卷积神经网络对彩色纹理图进行学习及分类,根据分类结果生成控制无人机的指令。该系统每0.4 s对1.6 s内的动作进行一次判定,利用卷积神经网络对图片的分类实现实时性的人机交互,系统在60 m范围内的识别准确率在93%以上,在室内和室外环境下,操作者可以通过模仿指令动作方便地控制无人机。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于节点对BP网络的数据手套手势识别

面向虚拟校园外景漫游的应用特点,采用根据手势集特征专门构造的将节点组对的BP人工神经网络,确定手势集、训练集和测试集,选定数据手套,对手势进行训练和识别,得出较令人满意的结果。最后将结果应用于校园外景虚拟漫游,达到了使用者要求。