基于视频数据特性的动态手势识别

针对现有动态手势识别方法环境适应性低、计算复杂的问题,提出了一种基于视频数据特性的动态手势识别方法.使用基于密度的聚类算法DBSCAN直接从视频编码数据中的运动矢量提取出运动趋势特征,再通过随机森林分类运动趋势,结合卷积神经网络（CNN）提取的手型特征识别动态手势.实验结果表明,该方法对剑桥大学和美国西北大学数据集中动态手势的平均识别率分别达到94.22%和94.48%,并且与CNN结合长短期记忆网络的识别方法相比,手势识别时间减少了85%.在背景图像复杂且光照条件不足时,该方法仍然能够维持较高的识别率,表现出较好的鲁棒性.     

适应手脸遮挡手语视频的手势检测算法

针对手脸遮挡条件下的手语视频手势检测问题,提出一种基于力场（Force Field）转换的手势检测算法。首先分别计算手脸遮挡帧和纯脸部帧的力场图像,然后将力场图像分块并统计各分块直方图特征,再将相同空间位置的分块直方图对应相减,得到各分块直方图灰度分量差,最后将各分块直方图灰度分量差与灰度阈值进行比较获得手部位置。实验证明该算法能够实时进行手脸遮挡条件下的手势检测。     

面向中国手语合成的视频语义描述方法

为提高手语合成视频的真实感,提出一种面向手语合成的视频语义描述方法,并基于语义描述构建出相应的视频数据库.采集特定研究领域的手语视频数据,按照词义把源视频切分成词条基元和基于人体-部件的多层次过渡基元,通过对视频基元每帧图像进行语义描述来建立它们的多维语义模型.每个视频基元的多维语义模型代表了该视频每帧图像所包含的具体手语信息,包括位置、手形、韵律等.在手语合成过程中,通过解析视频的多维语义模型即可实时地调用有用的信息.该视频语义描述方法可为手语合成提供实时一致的语义理解,并且在拼接2段不同韵律的手语视频时,可通过解析出的韵律信息适当地调整过渡帧的插值位置,进而合成韵律一致的过渡视频.     

非特定人手语识别统计模型的改进及应用

目前,非特定人手语识别与特定人系统相比还有较大的差距.手语数据差异性使得非特定人手语识别中提取手语数据有效的共同特征非常困难,因而,手语数据差异性在一定程度上影响了非特定人手语识别的识别效果.本文从手语数据存在差异性这一角度入手,利用流形概念的学习和推理能力并在流形允许变化的范围内进行有效建模.在建模的过程中,从范函求极值的角度出发,给出了一个让人容易理解且直观化的推导过程.进而应用流形概念中的切向量来改进手语识别的统计模型(TV/HMM)并应用于大词汇量非特定人手语识别,以解决手语数据的差异性对大词汇量非特定人手语识别所造成的影响.实验表明,改进后的TV/HMM识别系统在大词汇量非注册的易混词集上识别率高明显.     

基于自然拼读的穿戴式哑语翻译装置研究

本文所研究的"基于自然拼读的穿戴式哑语翻译装置",以手套为主要的穿戴式载体,利用手套上位于指关节上的弯曲传感、手背的加速度传感器及部分特殊部位的光敏传感器对字母手势进行识别编码,并利用标准手语将识别的手势转换成对应的字母和音调,然后组合成对应的汉语拼音,发送给语音模块,由语音模块合成并朗读出汉字,从而实现任意哑语信息的实时翻译.该基于自然拼读的穿戴式哑语翻译装置,易于携带,不受使用位置和待翻译文字内容的限制,易于推广,有较大的研究价值和实用价值.     

基于深度信息的动态手势识别算法

针对目前手势识别方法计算复杂、特征量提取不可靠等问题,提出基于Kinect传感器深度信息快速动态手势识别算法。通过Kinect的深度摄像头获取深度图像,利用阈值分割法对深度图像进行预处理;结合深度信息,利用OpenCV函数库来提取前景;选用动态时间规整(dynamic time warping)算法计算测试行为模板与参考行为模板之间的相似度以实现样本的分类;最终结合OpenNI和OpenCV,在VS2010环境下实现了该算法。与其他算法相比,该算法改进动态手势特征的提取方法和分类过程,能够快速跟踪手部,有效分割手势。实验结果表明,本方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下具有较好的鲁棒性。     

一种基于滑动窗口分割的中国手语识别系统

听力障碍者在全世界残疾人群体中占有较大的比重.他们能通过手语与健全人交流,但因手语不被大众所掌握,导致彼此交流存在较大障碍.为此提出了一种基于滑动窗口分割（SSW）的连续中国手语识别系统来实现手语自动识别.SSW系统将通过滑动窗口选取出来的手语信号平均分割,依次删去其中一组数据,从而得到新的数据,输入手语识别神经网络进行训练,得出单个手语单词手势预测值,最后运用基于阈值的多投票策略对识别出的预测值进行判断,得出识别结果.SSW系统在对20名志愿者采集的30条手语语句上进行训练,结果显示,所提SSW系统自动识别手语的平均准确率在测试集上达到83.9%,较长短期记忆网络模型提高了16.7%.     

基于统计模型的中国手语合成韵律研究

为了提高手语合成系统的可懂度,获取更为方便真实的人机交互方式,采用基于统计模型的中国手语韵律研究方法,即通过跟踪视频中手语动作,分析手语表达的韵律特征来提取手语韵律参数.并针对手语表达中肢体关节部位的不同贡献,分别对腕关节和肘关节进行了独立韵律研究.实验结果表明,通过基于统计模型的韵律研究方法可以有效得到韵律参数变化特征,并可以通过手语合成系统进行韵律特征的模拟.     

非特定人手语识别参数训练模型的改进及应用

在手语识别研究中,非特定人手语识别参数训练的样本缺乏影响了非特定人手语识别的识别率.区分性训练可以很好的弥补由于训练样本的缺乏对识别系统所造成的影响,能够提高非特定人手语识别的识别率.对区分性训练(DT)所改进的HMM参数训练模型(DT/HMM)做了全新的推导,获得了与HMM相一致齐全的DT/HMM的参数模型.在特定人识别系统上应用可区分性训练的h准则获取了h参数,将该齐全的DT/HMM的参数训练模型和h参数,应用于大词汇量的非特定人手语识别当中,加入主观经验后的非注册易混词集EXP 与MLE和EBW的非注册易混词集相比,平均识别率分别提高了10.65%和9.55%.     

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法.采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别.仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好.     

Sign Language Synthesis in Multi-function Perception Machine

ＳｉｇｎＬａｎｇｕａｇｅＳｙｎｔｈｅｓｉｓｉｎＭｕｌｔｉ┐ｆｕｎｃｔｉｏｎＰｅｒｃｅｐｔｉｏｎＭａｃｈｉｎｅＸＵＬｉｎＧＡＯＷｅｎ（徐琳）（高文）（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨａｒｂｉｎＩｎｓｔｉｔｕｔ...     

BP神经网络下的限速交通标志实时检测识别

目前已有很多基于交通标志图片进行道路交通标志识别的系统研究,但存在误识别率较高的问题．因此文中基于视频数据对限速交通标志进行检测与识别,实现了限速交通标志的自动检测定位,并采用反向传播神经网络来进行道路标志的识别; 同时,还采用连续自适应的均值漂移算法和光流法进行视频加速．实验表明,新提出的算法在耗时上缩短50%以上,检测识别准确度在90%以上,适用于相关智能识别领域．     

面向中国手语合成的口型与表情库构建

为提高手语合成的真实感和可懂度,分析了手语表达中唇动和表情运动的特点,基于MPEG-4的参数化表达模型,提出了兼容于MPEG-4的口型和表情库构建方法,并基于该库完成了包含手势、唇动和表情的虚拟人手语动画.实验结果表明,包含唇动和表情的合成手语的真实感得到增强,进而说明了口型和表情库的有效性.     

基于深度视频的人体行为特征表示与识别

深度视频中的人体行为的识别研究主要集中在对深度视频进行特征表示上,为了获得具有判别性的特征表示,首先提出了深度视频中一种基于表面法向信息的局部二值模式( local binary pattern, LBP)算子作为初级特征,然后基于稀疏表示模型训练初级特征字典,获取初级特征的稀疏表示,最后对用自适应的时空金字塔划分的若干个子序列使用时空池化方法进行初级特征与稀疏系数的规格化,得到深度视频的高级特征,最终的特征表示实现了深度视频中的准确的人体行为识别。在公开的动作识别库MSR Action3D和手势识别库MSR Gesture3D上的实验证明了本文提出的特征表示的有效性和优越性。     

基于整体和个体分割融合的双人交互行为识别

在人类交互行为识别领域,基于RGB视频的局部特征往往不能有效区分近似动作,将深度图像（Depth）与彩色图像（RGB）在识别过程中进行融合,提出一种融合Depth信息的整体和个体分割融合的双人交互行为识别算法。该算法首先分别对RGB和Depth视频进行兴趣点提取,在RGB视频上采用3DSIFT进行特征描述,在Depth视频上利用YOLO网络对左右两人兴趣点进行划分,并使用视觉共生矩阵对局部关联信息进行描述。最后使用最近邻分类器分别对RGB特征和Depth特征进行分类识别,进一步通过决策级融合两者识别结果,提高识别准确率。结果表明,结合深度视觉共生矩阵可以大大提高双人交互行为识别准确率,对于SBU Kinect interaction数据库中的动作可以达90%的正确识别率,验证了所提算法的有效性。