基于多带CHMM和神经网络融合的语音识别

根据人类的听觉感知机理,提出了一种改进的基于多子带连续隐马尔科夫模型和BP神经网络融合的识别算法。     

语音识别前端鲁棒性问题综述

随着手持设备的日益小型化以及一些特殊场合的限制,使用语音识别这种自然的人机接口技术愈发显得迫切。基于HMM架构的语音识别技术经过几十年的发展,在实验室环境下已经取得了很高的识别率。当前已经取得的技术要想走向实用化,所面临的最大障碍来自于语音识别前端的鲁棒性问题。本文对语音识别的前端鲁棒性问题做了比较深入细致的分析,并在此基础上比较全面地介绍了解决这些棘手问题所采取的一些措施。文章最后对语音识别前端鲁棒性问题给出了一定的讨论和展望。     

融合功能性副语言的语音情感识别新方法

针对声音突发特征（笑声、哭声、叹息声等,称之为功能性副语言）携带大量情感信息,而包含这类突发特征的语句由于特征突发性的干扰整体情感识别率不高的问题,提出了融合功能性副语言的语音情感识别方法。该方法首先对待识别语句进行功能性副语言自动检测,根据检测结果将功能性副语言从语句中分离,从而得到较为纯净的两类信号：功能性副语言信号和传统语音信号,最后将两类信号的情感信息使用自适应权重融合方法进行融合,从而达到提高待识别语句情感识别率和系统鲁棒性的目的。在包含6种功能性副语言和6种典型情感的情感语料库上的实验表明：该方法在与人无关的情况下得到的情感平均识别率为67.41%,比线性加权融合、Dempster-Shafer（DS）证据理论、贝叶斯融合方法分别提高了4.2%、2.8%和2.4%,比融合前平均识别率提高了8.08%,该方法针对非特定人语音情感识别具有较好的鲁棒性及识别准确率。     

基于HTK的语音识别网络优化算法

隐马尔可夫模型工具包(HTK)的HParse命令根据用户以正则表达式形式定义的任务语法来生成HTK可用的底层表示的语音识别网络,但不是每个语句都能用正则表达式表示出来。针对该问题,提出基于HTK的语音识别网络算法用于识别网络的优化问题,给出该算法的具体实现过程。实验结果表明,在保证识别率的前提下,优化后的语音识别网络在语音识别系统中所用的时间比较短,算法是有效的。     

自适应帧长特征提取对语音识别系统性能的影响

提出一种自适应帧长语音特征分析方法,使语音编码更准确,达到提高语音识别性能无愧迁滤帧检测和过渡语音特征表示两方面。采用了两种特征表示方法。基于ＴＩＭＴＴ语音数据包和自定义的汉语语音数据的单词识别实验表明,这两种表示方面有相同的效果,都能在一定程度上提高知识系统的性能,但计算量稍有区别。基于ＴＩＭＩＴ数据的ＤＨＭＭ系统和ＣＨＭＭ系统的错误率分别下降了１１．２１％和９．５８％,基于自定义数据的ＤＨＭＭ     

深层神经网络语音识别自适应方法研究

为了解决语音识别中深层神经网络的说话人与环境自适应问题,本文从语音信号中的说话人与环境因素的固有特点出发,提出了使用长时特征的自适应方案：首先基于高斯混合模型,建立说话人-环境联合补偿模型,对说话人与环境参数进行估计,将此参数作为长时特征;然后,将估计出来长时特征与短时特征一起送入深层神经网络,进行训练。Aurora4实验表明,这一方案可以有效地对说话人与环境因素进行分解,并提升自适应效果。     

基于语音识别的语音保密信息监管算法

针对当前保密监管的技术现状,本文分析了当前保密信息监管的主要监管范围及其局限性,提出并论述了语音信息保密监管的必要性与重要性,同时对语音信息保密监管的核心技术——语音识别技术的基本原理进行了分析,对语音信息保密监管的具体方法及技术路线进行了讨论,选择基于大规模连续语音识别的方法作为语音信息保密监管的底层支撑技术,并在此基础之上提出一种基于置信度的语音信息保密监管匹配算法,通过同音词扩展的方法提升监管数据的召回率,通过类别置信度计算的方法提升召回监管数据的准确率,以实现在提升监管数据召回率的同时,更好的兼顾监管的准确率。     

语音识别技术的过程和应用

利用语音传递信息是人类最常用,最方便,最快捷的一种方式。人类最常用的传递信息的方式就是声音,随着现代信息化时代的不断发展,人们更加深入的研究语音信号的处理技术,并且由于语音的特殊作用及其重要性,还有其对人们生活的不断深入的影响,使得其十分受关注。语音识别技术就是将说话人的语言转变为计算机可以听懂的语言,语音识别技术的涉及面极广,它涉及到多个学术领域,如计算机科学、语言学、神经生理学、信号处理以及人工智能等。     

基于混合模型HMM/RBF的数字语音识别

提出一种离散隐马尔科夫模型（hidden Markov model,HMM)和径向基函数（radial basis function,RBF)神经网络相结合应用于汉语数码语音识别（Mmandarin Ddigit Speech Recognition,MDSR)的方法，同时采用了一系列改进方法，使汉语数码语音的识别率达到了99．7％。     

基于模糊自适应Hamming网的语音识别方法

本文提出了一种基于模糊自适应Hamming网络的连续汉语识别方法,用模糊自适应Hamming网络来估计HMM中的状态观测概率。结合HMM对动态时间序列极强的建模能力和神经网络的分类决策能力来提高语音识别的准确率。通过对非特定人汉语连续词的语音识别实验,证实了该方法的有效性。     

An on-line adaptive neural network for speech recognition

In this paper, we present an on-line learning neural network model, Dynamic Recognition Neural Network (DRNN), for real-time speech recognition. The property of accumulative learning of the DRNN makes it very suitable for real-time speech recognition with on-line learning. A comparison between the DRNN and Hidden Markov Model (HMM) shows that the computational complexity of the former is lower than that of the latter in both training and recognition. Encouraging results are obtained when the DRNN is tested on a BUPT digit database (Mandarin) and on the on-line learning of twenty isolated English computer command words.     

韵律相关的汉语语音识别系统研究*

首先,给出结合韵律信息的系统框架。然后,针对汉语的特点,解决了韵律相关的语音识别系统中建模单元选择、模型训练等问题,并在多空间概率分布隐马尔可夫模型(multiple-space distribution hidden Markov model, MSD-HMM)框架下构建了韵律相关的语音识别系统。最后,通过语音识别的实验验证了方法的有效性。在“863”测试集上,该方法能够达到76.18%的带调音节识别正确率。     

基于深度信息的特征学习与动作识别方法

为了进行复杂交互动作识别,提出基于深度信息的特征学习方法,并使用两层分类策略解决相似动作识别问题.该方法从频域的角度分析深度图像动作序列,提取频域特征,利用VAE对特征进行空间特征压缩表示,建立HMM模拟时序变化并进行第一层动作识别.为了解决相似动作识别问题,引入三维关节点特征进行第二层动作识别.实验结果表明,两种特征在动作数据集SBU-Kinect上能够有效地表示姿态含义,策略简单有效,识别准确率较高.     

基于改进的排序式选举算法的语音情感融合识别

根据情感的连续空间模型,提出一种改进的排序式选举算法,实现多个情感分类器的融合,取得了很好的情感识别效果。首先以隐马尔可夫模型（HMM）和人工神经网络（ANN）为基础,设计了三种分类器;然后用改进的排序式选举算法,实现对三种分类器的融合。分别利用普通话情感语音库和德语情感语音库进行实验,结果表明,与几种传统融合算法相比,改进的排序式选举法能够取得更好的融合效果,其识别性能明显优于单分类器。该算法不仅简单,而且可移植性好,可用于其他任意多个情感分类器的融合。     

汉语语音识别中基频特征的直接声学建模方法

提出了隐条件随机场对断续基音频率序列进行直接声学建模的方法,该方法针对汉语语音中基频值在清音段连续,浊音段断续的特点,根据隐条件随机场区别于隐马尔可夫模型的重要特性——无需对观察值采用统一的建模方式,直接对不连续基频值与连续谱特征观察值一起进行声学建模。大词汇语音库上的汉语带调音节分类实验表明,隐条件随机场下对断续基音频率序列的直接建模较使用清音段人工平滑基频特征的识别率有明显的提高,还给出了与不同区分性准则训练的隐马尔可夫声学模型的实验性能的比较。     

Effect of acoustic and linguistic contexts on human and machine speech recognition

We compared the performance of an automatic speech recognition system using n-gram language models, HMM acoustic models, as well as combinations of the two, with the word recognition performance of human subjects who either had access to only acoustic information, had information only about local linguistic context, or had access to a combination of both. All speech recordings used were taken from Japanese narration and spontaneous speech corpora.Humans have difficulty recognizing isolated words taken out of context, especially when taken from spontaneous speech, partly due to word-boundary coarticulation. Our recognition performance improves dramatically when one or two preceding words are added. Short words in Japanese mainly consist of post-positional particles (i.e. wa, ga, wo, ni, etc.), which are function words located just after content words such as nouns and verbs. So the predictability of short words is very high within the context of the one or two preceding words, and thus recognition of short words is drastically improved. Providing even more context further improves human prediction performance under text-only conditions (without acoustic signals). It also improves speech recognition, but the improvement is relatively small.Recognition experiments using an automatic speech recognizer were conducted under conditions almost identical to the experiments with humans. The performance of the acoustic models without any language model, or with only a unigram language model, were greatly inferior to human recognition performance with no context. In contrast, prediction performance using a trigram language model was superior or comparable to human performance when given a preceding and a succeeding word. These results suggest that we must improve our acoustic models rather than our language models to make automatic speech recognizers comparable to humans in recognition performance under conditions where the recognizer has limited linguistic context.     

信息融合技术在情绪识别领域的研究展望

简要介绍目前几种基于不同数据源的情绪识别方法和信息融合技术基础, 为工程技术人员提供一定的理论背景。对多源信息融合领域的情绪识别现状进行了分类介绍, 说明和分析了基于多源信息融合的情感识别存在的问题, 简述了其在情绪识别领域的应用前景。     

基于发音特征的音/视频双流语音识别模型*

构建了一种基于发音特征的音/视频双流动态贝叶斯网络(dynamic Bayesian network, DBN)语音识别模型,定义了各节点的条件概率关系,以及发音特征之间的异步约束关系,最后在音/视频连接数字语音数据库上进行了语音识别实验,并与音频单流、视频单流DBN模型比较了在不同信噪比情况下的识别效果。结果表明,在低信噪比情况下,基于发音特征的音/视频双流语音识别模型表现出最好的识别性能,而且随着噪声的增加,其识别率下降的趋势比较平缓,表明该模型对噪声具有很强的鲁棒性,更适用于低信噪比环境下的语音识别     

基于HMM和聚类的英语语音识别混合算法

对于具有大量特征数据和复杂发音变化的英语语音,与单词相比,在隐马尔可夫模型(HMM)中存在更多问题,例如维特比算法的复杂度计算和高斯混合模型中的概率分布问题。为了实现基于HMM和聚类的独立于说话人的英语语音识别系统,提出了用于降低语音特征参数维数的分段均值算法、聚类交叉分组算法和HMM分组算法的组合形式。实验结果表明,与单个HMM模型相比,该算法不仅提高了英语语音的识别率近3%,而且提高系统的识别速度20.1%。     

A comparison of models for fusion of the auditory and visual sensors in speech perception

Though a large amount of psychological and physiological evidence of audio-visual integration in speech has been collected in the last 20 years, there is no agreement about the nature of the fusion process. We present the main experimental data, and describe the various models proposed in the literature, together with a number of studies in the field of automatic audiovisual speech recognition. We discuss these models in relation to general proposals arising from psychology in the field of intersensory interaction, or from the field of vision and robotics in the field of sensor fusion. Then we examine the characteristics of four main models, in the light of psychological data and formal properties, and we present the results of a modelling study on audio-visual recognition of French vowels in noise. We conclude in favor of the relative superiority of a model in which the auditory and visual inputs are projected and fused in a common representation space related to motor properties of speech objects, the fused representation being further classified for lexical access.