基于指数加权的基音平滑算法

提出了一种用于语音合成的语音片断基音平滑技术。在基于波形拼接的语音合成中，一般使用TD-PSOLA算法进行基频和时长的修改，但是用传统的TD-PSOLA算法进行的基频修改是针对片断整体而言，所以仍然不能很好的解决语音合成中的拼接单元之间的基频不连续问题，特别是在片断接合处。由于基元片断提取白不同语境的语料，合成语音听起来明显感觉到音高的不自然。对传统的TD-PSOLA算法进行了改进，以基音周期为间隔对语音片断信号进行分帧，通过指数加权相应帧的方法来进行平滑处理，经听音测试，较好的解决了拼接片断间的不连续现象。     

基于韵律特征参数的情感语音合成算法研究

为了合成更为自然的情感语音,提出了基于语音信号声学韵律参数及时域基音同步叠加算法的情感语音合成系统.实验通过对情感语音数据库中生气、无聊、高兴和悲伤4种情感的韵律参数分析,建立4种情感模板,采用波形拼接语音合成技术,运用时域基音同步叠加算法合成含有目标感情色彩的语音信号.实验结果表明,运用波形拼接算法,调节自然状态下语音信号的韵律特征参数,可合成较理想的情感语音.合成的目标情感语音具有明显的感情色彩,其主观情感类别判别正确率较高.     

基于协同发音现象的一种汉语语音合成方法

在目前汉语语音合成常用的波形编码合成方法中，通常是以单音节作为语音合成的声音基元．但是由于合成时音节连接处往往不能很好的过渡，导致合成语音自然度不是很好．本文针对这个问题通过对汉语中协同发音现象的研究，提出了一种新的合成声音基元选取策略，在单音节合成单元基础上增加了部分自然语音中的音节连接段作为合成单元，使用该策略结合TD-PSOLA算法进行语音合成，合成语音的自然度较通常的波形合成法有了较大的提高．     

汉语连续变调语音合成算法

汉语是声调语言,同一个音节带上不同的声调可以表述不同的语义。发音时两个或两个以上的音节连在一起时,音节所属调类调值所发生变化的现象称为“连读变调”,目前的语音合成系统没有考虑连续变调,使得合成语音自然度不够。采用TD-PSOLA对具有连续变调现象的语音进行合成,实验表明合成语音的自然度较高,是适合小语料库语音合成的良好算法。     

基于Tacotron模型和韵律修正的情感语音合成方法

语音合成技术日趋成熟,为了提高合成情感语音的质量,提出了一种端到端情感语音合成与韵律修正相结合的方法。在Tacotron模型合成的情感语音基础上,进行韵律参数的修改,提高合成系统的情感表达力。首先使用大型中性语料库训练Tacotron模型,再使用小型情感语料库训练,合成出具有情感的语音。然后采用Praat声学分析工具对语料库中的情感语音韵律特征进行分析并总结不同情感状态下的参数规律,最后借助该规律,对Tacotron合成的相应情感语音的基频、时长和能量进行修正,使情感表达更为精确。客观情感识别实验和主观评价的结果表明,该方法能够合成较为自然且表现力更加丰富的情感语音。     

基于TD—PSOLA普通话韵律参数修改的实现

在普通话文语转换系统中,如何精确控制韵律参数修改是关系到合成语音质量的关键.根据汉语普通话的韵律特征,采用TD-PSOLA算法,精确实现了的韵律参数的修改.用分时段直线韵律参数模型,动态生成基音轮廓,计算出合成基音标记,一次性实现基频尺度修改和时间尺度的修改.根据自然语音与模拟合成出来的语音韵律参数比较分析表明,能有效地控制韵律参数,达到预期的参数合成目标,并且具有较高质量.也可以进行进行参数合成运算量少,控制参数精确,合成语音清晰自然.     

基于PSOLA与DCT的情感语音合成方法

情感语音合成可以增强语音的表现力,为使合成的情感语音更自然,提出一种结合时域基音同步叠加(PSOLA)和离散余弦变换(DCT)的情感语音合成方法。根据情感语音数据库中的高兴、悲伤、中性语音进行韵律参数分析归纳情感规则,调整中性语音各音节的基音频率、能量和时长。使用DCT方法对基音标记过的语音段进行基音频率的调整,并利用PSOLA算法修改基音频率使其逼近目标情感语音的基频。实验结果表明,该方法比单独使用PSOLA算法合成的情感语音更具情感色彩,其主观情感的识别率更高,合成的情感语音质量更好。     

手语到情感语音的转换

为了解决语言障碍者与健康人之间的交流障碍问题,提出了一种基于神经网络的手语到情感语音转换方法。首先,建立了手势语料库、人脸表情语料库和情感语音语料库;然后利用深度卷积神经网络实现手势识别和人脸表情识别,并以普通话声韵母为合成单元,训练基于说话人自适应的深度神经网络情感语音声学模型和基于说话人自适应的混合长短时记忆网络情感语音声学模型;最后将手势语义的上下文相关标注和人脸表情对应的情感标签输入情感语音合成模型,合成出对应的情感语音。实验结果表明,该方法手势识别率和人脸表情识别率分别达到了95.86%和92.42%,合成的情感语音EMOS得分为4.15,合成的情感语音具有较高的情感表达程度,可用于语言障碍者与健康人之间正常交流。     

基于语音增强技术的AMBE编码算法研究

参数编码算法在语音通信中噪声不能避免且无法完全滤除掉,造成提取参数不准确。针对提取参数精确度低的问题,提出了一种基于语音增强技术的先进多带激励语音编码算法。对语音增强算法的原理进行了简要的描述,提出采用AMBE语音编码算法中参数的提取方法。进行仿真的结果表明,经语音增强技术处理后的合成语音质量明显好于未经语音增强技术处理的合成语音,表明改进的编码算法能有效抑制噪声、提取出更加精确的语音参数,合成语音效果更好。     

融合语音情感词局部特征的语音情感识别方法

为有效利用语音情感词局部特征,提出了一种融合情感词局部特征与语音语句全局特征的语音情感识别方法。该方法依赖于语音情感词典的声学特征库,提取出语音语句中是否包含情感词及情感词密度等局部特征,并与全局声学特征进行融合,再通过机器学习算法建模和识别语音情感。对比实验结果表明,融合语音情感词局部特征与全局特征的语音情感识别方法能取得更好的效果,局部特征的引入能有效提高语音情感识别准确率。     

Survey on speech emotion recognition: Features, classification schemes, and databases

Recently, increasing attention has been directed to the study of the emotional content of speech signals, and hence, many systems have been proposed to identify the emotional content of a spoken utterance. This paper is a survey of speech emotion classification addressing three important aspects of the design of a speech emotion recognition system. The first one is the choice of suitable features for speech representation. The second issue is the design of an appropriate classification scheme and the third issue is the proper preparation of an emotional speech database for evaluating system performance. Conclusions about the performance and limitations of current speech emotion recognition systems are discussed in the last section of this survey. This section also suggests possible ways of improving speech emotion recognition systems.     

基于卷积神经网络的面罩语音识别

针对带噪面罩语音识别率低的问题,结合语音增强算法,对面罩语音进行噪声抑制处理,提高信噪比,在语音增强中提出了一种改进的维纳滤波法,通过谱熵法检测有话帧和无话帧来更新噪声功率谱,同时引入参数控制增益函数;提取面罩语音信号的Mel频率倒谱系数(MFCC)作为特征参数;通过卷积神经网络(CNN)进行训练和识别,并在每个池化层后经局部响应归一化(LRN)进行优化.实验结果表明:该识别系统能够在很大程度上提高带噪面罩语音的识别率.     

基于DBM-LSTM的多特征语音情感识别

为增强不同情感特征的融合程度和语音情感识别模型的鲁棒性,提出一种神经网络结构DBM-LSTM用于语音情感识别。利用深度受限玻尔兹曼机的特征重构原理将不同的情感特征进行融合;利用长短时记忆单元对短时特征进行长时建模,增强语音情感识别模型的鲁棒性;在柏林情感语音数据库上进行分类实验。研究结果表明,与传统识别模型相比,DBM-LSTM网络结构更适用于多特征语音情感识别任务,最优识别结果提升11%。     

面向语音情感识别的语谱特征提取算法研究

语音情感识别的精度很大程度上取决于不同情感间的特征差异性。从分析语音的时频特性入手,结合人类的听觉选择性注意机制,提出一种基于语谱特征的语音情感识别算法。算法首先模拟人耳的听觉选择性注意机制,对情感语谱信号进行时域和频域上的分割提取,从而形成语音情感显著图。然后,基于显著图,提出采用Hu不变矩特征、纹理特征和部分语谱特征作为情感识别的主要特征。最后,基于支持向量机算法对语音情感进行识别。在语音情感数据库上的识别实验显示,提出的算法具有较高的语音情感识别率和鲁棒性,尤其对于实用的烦躁情感的识别最为明显。此外,不同情感特征间的主向量分析显示,所选情感特征间的差异性大,实用性强。     

基于基频特征的情感语音识别研究*

探索在不同的情感状态下的基音特征变化规律.通过对含有生气、高兴、悲伤情感语音信号进行分析,总结了情感语音基频的变化规律,确定了用于情感识别的12维的基频的基本特征以及扩展特征,运用混合高斯模型进行情感识别,并作了识别实验,获得了较好的结果.     

Towards robustness to speech rate in mandarin all-syllable recognition

In mandarin all-syllable recognition,many insert errors occur due to the influence of non-consonant syllables.Introducing the duration model into the recognition process is a direct way to lessen these errors.But that usually could not work well as expected,for the duration is sensitive to speech rate.Hence,aiming at this problem,a novel context dependent duration distribution normalized by speech rate is proposed in this paper and applied to a speech recognition system based on the frame of improved Hidden Markov Model (HMM).To realize this algorithm,the authors employ a new method to estimate the speech rate of a sentence; then compute the duration probability combined with speech rate;and finally implement this duration information in the post-processing stage.With little change in the recognition process and resource demand,the duration model is adopted efficiently in the system.The experimental results indicate that the syllable error rates decrease significantly in two different speech corpora.Especially for the insertions,the error rates reduce about sixty to eighty percent.     

基于语音质量预测的Speex自适应码率控制算法

为实现IP语音(VoIP)质量的动态管理与控制,提出了一种基于语音质量预测的自适应码率控制算法。通过实时预测VoIP通话的瞬时语音质量和总体语音质量,自适应地调整Speex编码参数,从而根据需要选择最佳编码速率。实验仿真结果表明,提出的算法能够有效减少网络拥塞,提高VoIP系统的语音质量。     

基于深度自编码器子域自适应的跨库语音情感识别

针对不同语料库之间数据分布差异问题,提出一种基于深度自编码器子域自适应的跨库语音情感识别算法.首先,该算法采用两个深度自编码器分别获取源域和目标域表征性强的低维情感特征;然后,利用基于LMMD(local maximum mean discrepancy)的子域自适应模块,实现源域和目标域在不同低维情感类别空间中的特征分布对齐;最后,使用带标签的源域数据进行有监督地训练该模型.在eNTERFACE库为源域、Berlin库为目标域的跨库识别方案中,所提算法的跨库识别准确率相比于其他算法提升了5.26％～19.73％;在Berlin库为源域、eNTERFACE库为目标域的跨库识别方案中,所提算法的跨库识别准确率相比于其他算法提升了7.34％～8.18％.因此,所提方法可以有效地提取不同语料库的共有情感特征并提升了跨库语音情感识别的性能.     

Shape-based modeling of the fundamental frequency contour for emotion detection in speech

This paper proposes the use of neutral reference models to detect local emotional prominence in the fundamental frequency. A novel approach based on functional data analysis (FDA) is presented, which aims to capture the intrinsic variability of F0 contours. The neutral models are represented by a basis of functions and the testing F0 contour is characterized by the projections onto that basis. For a given F0 contour, we estimate the functional principal component analysis (PCA) projections, which are used as features for emotion detection. The approach is evaluated with lexicon-dependent (i.e., one functional PCA basis per sentence) and lexicon-independent (i.e., a single functional PCA basis across sentences) models. The experimental results show that the proposed system can lead to accuracies as high as 75.8% in binary emotion classification, which is 6.2% higher than the accuracy achieved by a benchmark system trained with global F0 statistics. The approach can be implemented at sub-sentence level (e.g., 0.5 s segments), facilitating the detection of localized emotional information conveyed within the sentence. The approach is validated with the SEMAINE database, which is a spontaneous corpus. The results indicate that the proposed scheme can be effectively employed in real applications to detect emotional speech.