基于语义维度的人脸表情生成

为实现有丰富表现力的人脸表情生成,提出一种基于语义维度的人脸表情生成方法。首先定义了与人类情感、态度、意图等情态信息相关的7个语义维度,对表情图像进行语义维度标注;进而对面部器官的典型状态进行量化,定义并提取人脸局部状态参数。分别采用线性回归和人工神经网络方法,建立了语义维度与人脸局部状态参数的映射模型。实验结果表明:基于语义维度的方法能够生成与文本语义相贴切的人脸表情,神经网络模型在参数预测精度和主观感知评价方面均优于线性模型。     

基于HMM语音合成的语调控制

语调是语音分析和合成领域关注的重要课题,可计算的语调模型是实现语调控制的关键。该文分析了大规模语句的音节音高在句子中的变化,归纳了语调模式。陈述语调主要表现为基调的升降和音高下倾;疑问语调主要特点是疑问焦点的音高提升和调型变化。该文提出了一种陈述语调归一化描述方法,以及疑问语调调型差异模型。利用基于隐Markov模型的语音合成系统的控制机制,实现了对语调的控制。实验表明:基于陈述句语调归一化描述方法模拟了陈述句语调的变化,基于疑问语调调型差异模型实现了陈述到疑问语调的转换。语调控制使合成语音的表现力得到了提高。     

A Unified Framework for Multilingual Text-to-Speech Synthesis with SSML Specification as Interface

This paper describes the design of a unified framework for a multilingual text-to-speech (TTS) synthesis engine – Crystal. The unified framework defines the common TTS modules for different languages and/or dialects. The interfaces between consecutive modules conform to the speech synthesis markup language (SSML) specification for standardization, interoperability, multilinguality, and extensibility. Detailed module divisions and implementation technologies for the unified framework are introduced, together with possible extensions for the algorithm research and evaluation of the TTS synthesis. Implementation of a mixed-language TTS system for Chinese Putonghua, Chinese Cantonese, and English demonstrates the feasibility of the proposed unified framework.     

带有频谱补偿的基频修改算法

针对当前多数在基于拼接的语音合成系统中使用的基频修改算法缺少对频谱进行补偿的情况,提出了一种带有频谱补偿的基频修改算法.在传统基音同步叠加(PSOLA)算法的基础上,以共振峰参数和频谱倾斜参数描述频谱特性,通过对频谱参数进行预测及修改,在修改基频的同时,有效地补偿了频谱特性.频谱参数的预测公式由各基频下的条件概率密度函数导出,频谱参数的修改通过正弦模型实现.实验表明,对于不同的汉语元音、基频修改因子和听者,在平均86.25%的情况下,该算法较传统PSOLA算法能够获得更接近自然音质的语音.     

基于TBL算法的汉语韵律词预测

提出了一种新的汉语韵律词预测方法.利用标注过的语料,分析了语法词与韵律词之间的关系,发现24%的韵律词由不同语法词组合而成,语法词的词长是确定韵律词边界的主要特征.基于以上分析,实现了一种基于错误驱动的规则学习算法(TBL)的韵律词预测方法.实验结果表明,所提出的方法在测试集上能够达到97.5%的预测精度.     

汉语普通话与沈阳方言转换的研究

中国地域辽阔,汉语包括多种方言。方言转换技术可实现方言间语音的转换,丰富语音交流的方式,增强语音交流的可懂性、友好性和趣味性。该文分析了普通话与沈阳方言在声调调类与调值、时长和特殊词等方面的差异;探讨了普通话与沈阳方言转换的可行性;提出了基于混合聚类算法的方言基频转换模型、基于统计的方言时长转换模型和基于加权有限状态机的特殊词识别算法;通过基本转换和说话人音色还原构建了方言转换系统,实现了实时普通话语音输入、沈阳方言语音输出。评测结果显示通过方言转换系统得到的方言语音与目标方言语音具有较高相似度。     

基于SVR的情感语音变换

提出了一种新的基于支持向量回归(SVR)的情感语音的变换方法.通过提取普通话10种情感语音的韵律特征,对比分析了中性语音和情感语音之间的韵律特征差异,利用SVR建立了基频、时长、能量、停顿等韵律特征参数的预测模型,并利用Straight算法实现了由中性语音向情感语音的转换.利用这种方法变换出的10种情感语音,其情感主观平均(EMOS)得分为3.4.     

面向视唱评价的声乐自动标注系统

歌唱声音的自动标注是基于内容的音乐分析和检索领域的基础问题。该文在统计分析汉语歌唱声音声韵母时长和音高特征的基础上,提出了一种声乐自动标注模型。该模型将信号处理、语音学和音乐知识结合,通过韵母-乐谱音高对齐和基于声母时长分布的边界优化算法实现了高精度的音符切分。音高提取算法在移调检测的基础上,通过限定基音周期搜索范围的策略克服了信号频谱中半频/倍频点的干扰。结合音乐教学实践,通过检测音符内部最稳定音高成分、估计演唱速率和归一化音符时长的方法提取歌唱声音的音高、节奏和时长信息,并基于这3个客观物理量提出了一个视唱评价方法。实验表明,该文提出的算法能够准确地标注歌唱声音中的音符边界(平均误差26ms)和音高(平均误差0.23半音)。     

分布式多媒体信息模型

建立适应多种信息类型和支持人机交互的信息模型是分布式多媒体系统面临的基本问题。信息模型应能以统一的方式描述分布式环境下处于存储、编辑、传输、演示等各个处理阶段中多媒体信息之间的空间组合和时间同步关系，以及各处理阶段信息的转换。为此提出了一个面向对象的信息模型，模型定义了层次结构的数据库结构以管理多媒体数据；提出了基于事件的同步机制，能有效地解决媒体对象同步和人机交互的配合问题。此模型已用于分布式多媒体著作工具的开发。     

基于STRAIGHT算法的汉语语音morphing方法

提出了一种新的基于STRAIGHT算法的汉语语音morphing方法.通过标注源和目标STRAIGHT频谱上的特征点,并利用线性和对数叠加的方法实现对频谱的morphing;通过插值的方法对基频进行morphing.实验结果表明,morphing后的语音在语义特征不变的情况下,保持了源和目标语音的特征,morphing的结果获得了高质量的合成语音,MOS得分为3.87分.