手语研究的方向与现状

介绍国内外手语研究的主要方向及研究现状,手语识别的各种方法、手语合成的组成部分、手语网络通信的实现技术以及手的运动约束问题。     

手语识别与合成技术在智能建筑中的应用

本文分析了手语识别与合成技术在智能建筑中应用的可能性与意义,分别介绍了手语识别部分与合成部分的主要技术,提出了适用于智能建筑的手语识别、合成系统的结构,并给出了一种手语/语音双向翻译系统在无障碍化智能住宅小区中应用的可行性实例。     

基于虚拟人合成技术的中国手语合成方法

介绍了一种中国手语合成方法,实现了文本到中国手语的自动翻译,并使用虚拟人合成技术,实现了中国手语的合成与显示,以此帮助聋人与听力正常人之间实现自然交流.在该方法中,首先应用两只数据手套和3个6自由度位置跟踪器,基于运动跟踪的原理,记录真实人体演示每个手语词的运动数据,建立一个初始的手语词运动数据库.然后,应用一种基于控制点的人体运动编辑方法,对每个手语词的运动数据进行编辑与微调,最后得到一个高质量的手语词运动数据库.当给定一个文本句子时,应用人体运动合成方法,对每个手语词的手语运动片段进行拼接合成,最终生成一个完整的手语运动,并基于VRML的人体运动显示方法将合成的运动逼真地显示出来.基于该方法,在PC/Windows/VC6.0环境下实现了一个中国聋人手语合成系统.该系统采集了<中国手语>(含续集)中收录的5 596个手语词,可以合成一般生活与教学用语.经聋校的老师和学生确认,合成手语准确逼真,可以广泛应用于教学、电视、Internet 等多种大众媒体,帮助聋人参与其他听力正常人的活动,具有广泛的应用前景和重要的社会意义.     

基于多模式接口技术的聋人与正常人交流系统

讨论了利用多模式接口技术处理异种语言模式交流的问题。作为连接聋哑人和听力正常人的一个桥梁,我们将手语识别、手语合成、唇读、人脸特征检测以及特定人面部动画相结合,构成了手语转换和口语交流的代理。文中对汉语手语识别和合成中的一些特殊问题进行了讨论。对手语识别采用数据手套作为手语输入的数据采集设备,对于一些同形异意的手语词汇,利用唇读得到的辅助信息可以达到提高识别率的效果。对手语的合成,采用运动跟踪获得的信息来加强原来基于手工建模的三维虚拟人合成,增强了手语合成与显示的自然逼真度。文中的研究验证了利用多模式接口技术可以有效地实现异种语言模式间的交流。     

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成。手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频。换言之,手语识别翻译与手语生成可视为互逆过程。文中综述了手语研究的最新进展,介绍了研究的背景现状和面临的挑战;回顾了手语识别、翻译和生成任务的典型方法和前沿研究;并结合当前方法中存在的问题,对手语研究的未来发展方向进行了展望。     

文本驱动的聋哑人手语合成系统

主要介绍作者在文本驱支的聋哑人手语合成研究领域取得的研究成果,给出了手语、手势的形式化定义,介绍了设计、实现的文本驱动的聋哑人手语合成的结构和手语合成过程,提出了虚拟三维人手及手臂的抽象结构、手及手臂的运动控制模型、手语参数的获取方法,手势库的建立方法以及手及手臂的运动控制算法;给出了详细的实验结果及结论。     

基于VRML的中国手语三维显示

手语合成的目的是由计算机自动生成文本句子对应的手语，是智能人机接口研究的一个极具挑战性的课题。手语显示是手语合成过程中非常关键的一步，其任务是在文本句子转换为手语码后，将手语码逼真地显示成虚拟人手语运动。介绍了研究中国手语合成时提出的一种基于VRML的三维虚拟人姿态显示方法和连续中国聋人手语显示方法。该方法不仅可以显示逼真的虚拟人合成手语，而且具有很好的通用性，为网络环境中实现不同人体模型的手语表达与传输打下了基础。     

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音。目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题。提出一种将连续手语识别分解成各弧立词识别的分治方法，用于非特定人连续手语识别。把精简循环网（simple recurrent network,简称SRN）作为连续手语的段边界检测器，把SRN分段结果作为隐马可夫模型（hidden Markov models,简称HMM）框架中的状态输入，在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径。实验结果表明，该方法的识别效果比单纯使用HMM要好。     

基于DGMM的中国手语识别系统

手语是聋人使用的语方,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作／视觉交际的语言,手语识别的研究目标是让机器“看懂”聋人的语方,手语识别和手语合成相结合构成一个“人－机手语翻译系统”,便于聋人与周围环境的交流,手语识别问题是动态手势信号即手语信号的识别问题,考虑系统的实时性及识别效率,系统选取Ｃｙｂｅｒｇｌｏｖｅ型号数据手套作为手语输入设备,并采用ＤＧＭＭ（ｄｙｎａｍｉ     

基于ANN／HMM的手语识别方法

1 引言手语是聋哑人使用的语言。它是由手形动作辅之以表情姿势而构成的比较稳定的表达系统,是一种靠动作/视觉进行交际的特殊语言。手语识别系统与手语合成系统,共同构成“人-机手语翻译器”,为聋哑人提供更好的服务。人类交互往往声情并茂,除了采用自然语言(口语、书面语言)外,人体语言(表情、体势、手势)也是人