基于手势识别的文字输入系统

基于视觉的手势识别是实现新一代人机交互的关键技术。通过手势识别向屏幕输入文字以供搜索查找的系统基本没有,在现有的手势识别基础上,利用汉语字母和数字对应的手语作为输入手势,采用微软的kinect获取深度图像,对其进行手势分割。通过Canny算法提取手势的边缘,利用小波矩提取特征,得到手势字母,实现了具有手势识别以及基于文字输入功能的系统。实验表明该系统能够准确有效地实现汉字的输入。     

3D交互输入新技术——手势识别

本文从分析人机交互研究的目的出发 ,介绍了用户产生手势到系统“感知”手势的过程 ,包括手势的建模及识别的原理和方法 .本文在对手结构和手关节运动分析的基础上 ,提出了基于数据手套和基于视觉(摄象机 )的手势输入方式 ,通过手势图象的分析 ,采用模糊神经网络方法对手势图象进行识别 ,取得了较好的效果 ,实现了一种在虚拟环境中具有广阔运用前景的 3D交互输入新技术——手势识别     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用. 在RGB图像的手势识别与交互过程中, 一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低, 另一方面用户对交互手势的认知与设计师设计的手势有差异, 导致用户交互体验反馈较差. 针对这两个问题我们进行了系统性的优化: 首先把用户的认知与交互手势设计原则联系起来建立手势共识集; 其次进行手势图像的色彩平衡处理, 利用椭圆肤色模型分割手势区域; 然后将二值化手势图像输入到MobileNet-V2轻量化卷积神经网络进行手势识别率的计算. 手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计, 减少用户在实际交互过程中的认知偏差, 提高交互系统的可用性和效率.     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

基于改进的YCbCr空间及多特征融合的手势识别

针对基于视觉的手势识别的复杂性,提出一种基于改进的YCbCr空间及多特征融合的手势识别新方法。首先针对YCbCr颜色空间易受环境因素影响的特点,采用改进的YCbCr椭圆聚类肤色模型的手势分割方法提取手势区域;然后按手势图像外接矩形的宽高比和手指个数进行粗分类,再提取手势的Hu矩和傅里叶描述子构建融合特征,并将融合特征输入BP神经网络进行训练识别;最后综合粗分类和BP神经网络的结果进行手势判别。实验结果表明,该方法在保证实时性的同时具有较高的识别率。     

双通道卷积神经网络在静态手势识别中的应用

针对静态手势识别任务中,传统基于人工提取特征方法耗时耗力,识别率较低,现有卷积神经网络依赖单一卷积核提取特征不够充分的问题,提出双通道卷积神经网络模型。输入手势图片通过两个相互独立的通道进行特征提取,双通道具有尺度不同的卷积核,能够提取输入图像中不同尺度的特征,然后在全连接层进行特征融合,最后经过softmax分类器进行分类。在Thomas Moeslund和Jochen Triesch手势数据库上进行实验验证,结果表明该模型提高了静态手势识别的准确率,增强了卷积神经网络的泛化能力。     

基于表观的动态孤立手势识别

给出一种基于表观的动态孤立手势识别技术.借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法.基于图像运动参数,构造了两种表观变化模型分别作为手势的表观特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别.对120个手势样本所做的大量实验表明,这种动态孤立手势识别技术具有识别率高、计算量小、算法稳定性好等优点.     

基于计算机视觉技术的手势识别方法

基于计算机视觉技术设计手势识别算法。采集手势图像并进行预处理,进行图像分割和特征提取,与已建立的手势模型库进行匹配,得到最终识别结果。实验证明该设计的手势识别系统能够识别基础的人机交互手势,识别准确率高,稳定性好。     

基于高斯过程模型的指节图像识别方法

在基于图像的人机交互智能装配的手势识别与动作跟踪中,手部关节的图像定位是基础,并且关节信息的准确性对手势描述和行为识别与理解有直接影响.针对指节图像特征分布具有较强随机性,利用同态滤波进行图像预处理,以增强图像特征.基于高斯过程模型对手部指节图像二类特征进行学习,用样本对象的聚类测度,学习数据分布的特征模型,将学习获得的两类特征模型作为图像特征的检测器,检测结果即为图像的两个似然值.将经过正负类样本标记过的两种模型似然值作为输入,直接依据估计结果对手部关节图像进行检测识别.通过对不同位置处的手部关节识别分析和测试库检测,结果表明,本文所述方法可以直接得到后验概率的分布,提高了目标识别的准确性和效率.     

基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。