基于视线跟踪和手势识别的人机交互

提出一种新的基于视线跟踪和手势识别的交互方式用于远距离操作计算机。系统通过摄像头采集用户的图像,利用图像识别算法检测人眼和手指的位置,由人眼和指尖的连线确定用户指向屏幕的位置,通过判别用户手势的变化实现各种操作,达到人机交互的目的。实验结果表明,该交互方式可以较好地定位屏幕和判断用户的操作,实现自然、友好的远距离人机交互。     

人和机械手象棋对弈系统的研究与实现

综合运用计算机程序设计、数字图像处理技术及串口通讯技术实现了人和机械手的象棋对弈系统:人走后的棋子的位置信息由低成本普通摄像头实时传给计算机,以对位置信息进行图像处理判断出人的走步,上位机根据处理得到的结果再通过串口通讯技术给下位机PLC发相应的指令,使其来控制机械手下一步的下棋动作.将计算机视觉领域中的图像分析与图像识别技术应用于对机械手操作目标的监测与识别,适应了现代化的工业要求,具有良好的应用与发展前景.     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于双DSP结构的动态手势红外遥控系统

为了在红外遥控系统中实现手势交互,设计了一种基于双DSP结构的具有动态手势视觉识别功能的红外遥控系统。针对手势识别图像算法的复杂性,系统采用了一种流水线式的动态图像处理模式并提出了一种基于双端口RAM通信的双DSP图像处理硬件系统结构。结构前级负责实时采集图像数据及手势图像预处理,后级结合以帧差法为核心的手势识别算法负责动作识别处理,从而节省单DSP需要的等待时间,手势图像处理任务同步进行,加快动态图像处理的速度。另外,双DSP结构使得系统资源得到有效分配,复杂处理算法同步运行,再配合自学习红外遥控模块实现红外遥控功能。实验结果表明,系统一次手势动作的最短识别时间为1.5 s,动作识别的准确率达到93.75%,具有良好的稳定性和可操作性。     

基于OPENCV的手势识别系统的设计与实现

人与计算机的交互技术是一种新型的计算机技术,且逐渐演变为一种主流技术和计算机领域的技术热点;为了能够更好地识别手势和跟踪手势的运动轨迹,提出了基于OPENCV的手势识别系统,系统引入了OPENCV计算机视觉库,OPENCV作为优秀的计算机视觉库,为设计的实现提供了便捷的代码,利用OPENCV技术中的图像处理算法,首现通过摄像头采集数据图像,并对采集到的图像进行一系列的缩放,去噪以及锐化等处理,然后对人体手势建立肤色模型,然后经过灰度阈值化来转换成二值图像,得到手轮廓的数据图像后,采用轮廓匹配方法识别出手型;最后通过10种基本的手势模型对比验证了本系统具有一定的实时性,并且识别率可以达到95％以上.     

基于手势识别算法的鼠标终端

提出了一种基于静态手势与动态手势的识别算法,并结合Windows API的鼠标类函数实现鼠标操作.首先,通过图像处理技术把从摄像头捕捉的原图像转换为可信度较高的二值图像;其次,调用静态手势识别算法识别展开的手指个数,根据手指个数,结合Windows API的鼠标类函数实现鼠标双击及移动功能;最后,当检测到手指个数为5时,调用动态手势识别算法来识别手势的上下左右四个方向,并结合Windows API的鼠标类函数模拟鼠标左右键按下、抬起及滚轮滑动等操作.实验表明,该手势识别算法的识别率达到了94.11%,对于一些开发平台没有鼠标或在使用鼠标不方便的情况下,用手势来替代鼠标输入具有一定的研究价值和意义.     

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。     

三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。     

基于摄像头的近距手势识别系统的设计

随着电子技术的不断发展,人机交互方式也在得到转变,手势识别作为其中一项典型应用正吸引越来越多人的关注,本文即在嵌入式平台上通过相关算法实现了基本的手势动作识别。文中利用摄像头进行手势图像数据采集,采用STM32作为微处理器,对图像进行差影分割、噪声去除等处理,完成了近距离范围内对运动手势的实时定位和基本识别,并在此基础上对游戏俄罗斯方块进行了控制,实现了手势识别技术在人机交互中的应用,很好得体现出手势操作的便利性和全新用户体验。     

基于深度信息和SURF-BoW的中国手语识别算法

为实现视频中手语的准确识别,提出一种基于深度图连续自适应均值漂移(DI_CamShift)和加速强健特征词包(SURF-BoW)的中国手语识别算法.该算法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息.算法首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势准确跟踪;然后使用基于深度积分图像的OTSU算法分割手势并提取其加速强健特征(SURF),进而构建SURF-BoW作为手语特征并使用SVM识别.通过实验验证该算法在单个手语字母上的最好识别率为99.37%,平均识别率为96.24%.     

基于无线传感器网络的动态手势识别算法及动态演示

与语言文字一样,手势是人类沟通交流的重要方式。在计算机技术高速发展的现在,手势识别技术的出现,能大大提高用户与机器设备、计算机部件之间的交流效率。现在采用摄像头跟踪进行手势识别的技术已经使用一段时间,但是其对硬件的要求高、分析的数据大,使得其产品相对昂贵或者识别能力不够强。与摄像头跟踪技术相比,基于无线传感器网络的手势识别速度更快,价格更便宜并且实用。通过对移动终端设计一套手势识别的算法,利用无线传感器网络实现用手机终端操作计算机的终端的一系列复杂命令。实验证明,该算法适用于大型游戏操作和平台展示,使用户不用通过购买相关硬件直接安装使用。     

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词（SLVW）的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%     

手指图像识别技术在移动电话人机交互中的应用

JAVA语言凭借其跨平台的优势,能在各式的手机中见到它的踪影。使用J2ME技术开发的程序,可以经过简单的修改以后,在不同厂商的手机上运行。利用手机自带摄像头通过图像检测跟踪技术,识别外部的动作作为输入指令,手机根据指令执行特定功能实现人机交互的目的。搭建以ECLIPSE作为集成开发环境(IDE),JAVA为开发语言,基于诺基亚模拟器的模拟测试环境。以及对图像检测跟踪算法的研究,使其适应手机硬件的低配置。     

基于视觉的手势识别技术及其应用研究

研究基于视觉的手势识别技术,并在OpenCV的平台基础上实现基于该技术的多媒体教学的应用,即在幻灯片播放的过程中能够由动态手势来控制幻灯片的翻页。首先通过摄像头来采集图像,利用背景差分法结合颜色直方图检测动态信息完成手势的检测。其次通过几种动态手势的跟踪算法的分析与比较,采用主流的非线性跟踪算法—粒子滤波算法。最后是应用实现部分,将手势识别的结果应用于多媒体演示文稿的播放中,实现通过动态手势实时控制PPT翻页的功能。     

基于Kinect的体感虚拟鼠标研究与开发

利用微软Kinect体感设备进行骨骼数据采集,开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作,实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件,用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。     

手指图像识别技术在移动电话人机交互中的应用

JAVA语言凭借其跨平台的优势,能在各式的手机中见到它的踪影。使用J2ME技术开发的程序,可以经过简单的修改以后,在不同厂商的手机上运行。利用手机自带摄像头通过图像检测跟踪技术,识别外部的动作作为输入指令,手机根据指令执行特定功能实现人机交互的目的。搭建以ECLIPSE作为集成开发环境（IDE）,JAVA为开发语言,基于诺基亚模拟器的模拟测试环境。以及对图像检测跟踪算法的研究,使其适应手机硬件的低配置。     

面向儿童的智能聊天机器人设计

文中设计可陪伴孩子聊天的机器人,以STM32F103ZET6单片机为控制中心,使用SYN7318语音识别模块、PAJ7620手势识别模块、OpenMV3 Cam M7摄像头模块、WiFi模块、HMI触摸屏和GSM模块等完成语音识别、合成,MP3播放,手势、图像获取及识别,远程语音通话。实验结果证明,所提系统能对语音进行准确的识别,并做出相应的动作;识别到关键词时开启远程亲子互动,家长可通过智能手机远程查看儿童的状态信息及相关图片。系统性能良好,操作简便,成本低廉,适合在智能化市场推广应用。     

基于OpenCV的数字手势识别方法

手势作为一种传统的体态语言,能够同计算机进行更有创意的通信交互。高效的手势识别方法可以为人机交互和跨域人机障碍问题的研究提供思路。基于此,研究了一种基于OpenCV的数字手势识别方法,该方法对由摄像头采集的图像视频信息进行双边滤波去噪预处理,再通过肤色检测与二值化、图像形态学处理和轮廓提取进行手势分割,运用傅里叶描述子进行特征提取,利用支持向量机（SVM）模型进行数字手势1～10的识别。实验结果证明,基于OpenCV的数字手势识别方法识别准确率为94.8%,具有较好的识别率。     

虚拟维修仿真中手势识别的研究与应用

虚拟维修训练仿真要求良好的逼真性和沉浸感,对训练操作者的动作意图能高效地转化.将手势识别技术应用于虚拟维修仿真作为的获取可以有效满足这种要求.通过装备维修动作的建模研究分析定义了能够体现动作意图的必需手势;之后采用模糊神经网络技术实现对手势的识别并建立基于手势识别的虚拟手交互控制机制.还重点对神经网络的构建以及学习算法进行了介绍,并在现有适用度计算方法的基础上结合网络实际提出了适用度的平均求解法.最后将基于手势识别的虚拟手交互控制方法应用于具体维修训练仿真中并证明了方法的可行性和高效性.     

人体姿态识别算法在视觉人机交互中的应用

针对当下视觉人机交互应用中所面临的识别过程复杂,交互效率低等一系列问题,提出了一种基于人体构造的姿态识别算法。利用该算法和软硬协同的设计思想,在FPGA平台上实现了一套运用视觉感知进行交互的机器人控制系统。图像采集模块获取双摄像头的画面,图像预处理模块完成降噪和冗余帧的去除,关节识别模块实现对人体皮肤和关节处颜色标记的检测;得到的关节位置信息送入软核,运用空间向量模型识别出肢体动作。最终将识别结果编码后通过蓝牙传输给远端机器人。实际测试表明,该算法能快速准确地识别出绝大部分基本的肢体动作,机器人能实时跟随人体简单运动。