融合人脸表情的手语到汉藏双语情感语音转换

针对聋哑人与正常人之间存在的交流障碍问题,提出了一种融合人脸表情的手语到汉藏双语情感语音转换的方法。首先使用深度置信网络模型得到手势图像的特征信息,并通过深度神经网络模型得到人脸信息的表情特征。其次采用支持向量机对手势特征和人脸表情特征分别进行相应模型的训练及分类,根据识别出的手势信息和人脸表情信息分别获得手势文本及相应的情感标签。同时,利用普通话情感训练语料,采用说话人自适应训练方法,实现了一个基于隐Markov模型的情感语音合成系统。最后,利用识别获得的手势文本和情感标签,将手势及人脸表情转换为普通话或藏语的情感语音。客观评测表明,静态手势的识别率为92.8%,在扩充的Cohn-Kanade数据库和日本女性面部表情(Japanese Female Facial Expression,JAFFE)数据库上的人脸表情识别率为94.6%及80.3%。主观评测表明,转换获得的情感语音平均情感主观评定得分4.0分,利用三维情绪模型(Pleasure-Arousal-Dominance,PAD)分别评测人脸表情和合成的情感语音的PAD值,两者具有很高的相似度,表明合成的情感语音能够表达人脸表情的情感。     

利用拼音特征的深度学习文本分类模型

针对人-机器人语音交互中经过语音识别的文本指令,提出了一种利用汉语拼音中声韵母作为特征的深度学习文本分类模型。首先,以无人驾驶车语音导航控制为人机交互的应用背景,分析其文本指令结构并分别构建单一意图与复杂意图语料库;其次,在以字符作为文本分类特征的基础上,结合汉语拼音与英文单词的区别,提出了一种利用拼音声韵母字符作为中文文本分类的特征表示方法;然后,用门控递归单元(GRU)代替传统递归神经网络单元以解决其难以捕获长时间维度特征的不足,为提取信息的高阶特征、缩短特征序列长度并加快模型收敛速度,建立了一种结合卷积神经网络及GRU递归神经网络的深度学习文本分类模型。最后,为验证模型在处理长、短序列任务上的表现,在上述两个语料库上对提出的模型分别进行十折交叉测试,并与其他分类方法进行比较与分析,结果表明该模型显著地提高了分类准确率。     

基于语音参数的普通话韵母区别特征

现有区别特征理论缺少相应语音声学参数的支持,尝试从声学参数的角度来建立普通话韵母的区别特征。首先根据语音参数距离,使用层次聚类方法生成韵母决策树。在此基础上,按开尾韵和有尾韵的韵母分类方案,分析其聚类逻辑,提出了基于参数的普通话韵母区别特征。在非介音韵母中,区别特征层次首先根据主元音音位的高低区分;而在介音韵母中首先通过介音进行区分。使用支持向量机检测区别特征,韵母由区别特征节点组成的搜索路径所确定。通过在区别特征树上的搜索过程实现韵母的检测分类,其中非介音韵母的平均准确率为93.1%,介音韵母为92%。     

结合注意力机制和因果卷积网络的维吾尔语方言识别

针对传统x-vector模型生成方言语音段级表示时,未考虑不同帧级特征对方言辨识作用不一致的问题,以及维吾尔语的黏着性特点,提出结合注意力机制和因果卷积网络的维吾尔语方言识别方法。首先使用多层因果卷网络实现方言语音序列建模,然后采用空洞卷积核增大感受野扩展采样范围,最后使用注意力池化获取方言语音段级特征。维吾尔语方言识别实验结果表明,所提方法较标准x-vector模型方言识别的识别准确率提升了23.19个百分点。     

支持向量机应用于语音情感识别的研究

为了有效识别包含在语音信号中情感信息的类型,提出一种将支持向量机应用于语音情感识别的新方法。利用支持向量机把提取的韵律情感特征数据映射到高维空间,从而构建最优分类超平面实现对汉语普通话中生气、高兴、悲伤、惊奇4种主要情感类型的识别。计算机仿真实验结果表明,与已有的多种语音情感识别方法相比,支持向量机对情感识别取得的识别效果优于其他方法。     

一种LCD显示器颜色光谱反向特征化方法

目的为了实现颜色光谱到设备相关颜色空间的特征化。方法采用一种RBF网络和立方体等级细分相结合的方法,构建LCD显示器颜色光谱到RGB数值转换模型。结果客观验证343个颜色光谱反向转换的平均色差为0.61,最大色差为2.62。结论该模型是一种精度较高的反向特征化模型。     

基于声学特征的母语非汉语者声调研究

从提高满足少数民族普通话高自然度语音合成与高精度语音识别的实际应用需求出发,首次从实验语音学的角度对初级、中级和高级阶段的50名维吾尔族汉语学习者与10名母语为汉语普通话的说话人声调的一阶差分与时长以及相似度进行对比,并对其声调的一阶差分模式、声调时长等韵律参数进行了实验分析,得出维吾尔族学生对汉语声调的偏误情况以及与中国少数民族汉语水平等级考试(Master of Human Kinetics, MHK)成绩的关系。通过实验结果可以发现,三组维吾尔族人学习普通话的声调都有困难。两种语言的音系,语调和重音等特性影响了第二语言中的声调特性。归纳了维吾尔族学习者声调的基本声学特征,总结出了一些重要的规则和结论;为解决给汉语语音处理带来的困难,尤其是少数民族汉语的语音合成和语音识别方面的声调问题,提供了重要的参考依据。     

基于最佳立方体细分的显示器颜色再现模型

目的建立一个显示器颜色再现模型,模型以NEC显示器为实例,实现Lab到RGB的转换。方法模型以修正的立方体细分算法为基础,通过对色域外的点进行处理,并且选定一个最佳细分等级,来平衡转换精度和算法计算量,从而实现显示器的颜色再现。结果采用CIELab色差公式[1]分析实验数据,模型转换过程平均色差为1.8068,在人的视觉可接受范围内,最大色差仅有4.6051,模型的颜色再现精度高。结论文中建立的模型可以实现显示器从Lab到RGB的准确转换。     

语音编码抗信道误码保护算法

为了提高在高误码率窄带无线信道下的合成语音质量,提出了一种信源信道联合编解码保护的语音编码抗误码算法。该算法在编码端利用编码后的冗余度进行BCH编码和奇偶校验以保护对语音合成质量影响较大的参数;在解码端对清浊音参数采用分支判决和改进的最大后验概率算法进行恢复,在浊音帧对线谱对（LSP）参数进行基于信源信道联合特性的线谱对参数差错后处理,在清音帧采用BCH解码和前向替代。该算法在不消耗任何额外带宽且无算法延时的条件下可以显著提高语音编码抗信道误码能力和恶劣信道条件下的合成语音质量。仿真实验显示,在较高信道误码率下平均谱失真降低了25％～36．1％,平均意见得分（MOS）提高了12．33％。     

利用语音的频谱空间特征进行汉语抗噪语音识别的方法

抗噪连续语音识别是当前汉语连续语音识别的重要研究领域。采用通过度量连续语音帧之间频谱的稳定性,将连续语音切分成份,再将切分结果(无论时间长短)变换为与时间无关的大小固定的频谱空间特征,通过与模板库进行比较实现语音识别。新的频谱空间特征,与语音时长无关,同时表现出较好的抗噪声能力。在特定人连续语音识别测试系统中,取得了不错的识别效果。     

双耳分听汉语普通话声调研究

系统地探讨与研究了以汉语为母语的右利手被试者对汉语普通话声调感知的偏侧优势。选取40个常用的汉语普通话单音节词作为实验材料,在合适的反应时间和信噪比下采用双耳分听范式进行声调辨别听觉感知实验。实验要求被试者从同时、分别播放到左右耳的不同声调中选出一个最清楚听到的声调,而不考虑所选的声调来自左耳还是右耳。30位听力正常的右利手被试者参与了此项实验。实验结果表明,在本研究设定的双耳分听实验条件下,汉语为母语的右利手被试者对汉语普通话声调的感知存在显著的右耳(大脑左半球)优势,且对四个声调的感知具有相同的偏侧优势;左、右耳对四个声调间感知差异的趋势基本一致,且对3声的感知显著较其余声调差。     

呈现方式和任务导向对网络广告受众的眼动影响

考察呈现方式和任务导向对网络广告受众注意的影响。研究采用2(呈现方式:动态切换、静态)×2(任务导向:目标、非目标)的被试间设计。结果发现:(1)被试对动态广告和静态广告的注视次数及注视时间均无显著差异;(2)非目标导向的被试对网络广告的注视次数及注视时间均显著多于目标导向的被试;(3)相比于认知评价法,眼动分析法对网络广告效果的评估更为精细准确。研究表明,网络广告受众注意受任务导向的影响,而不受呈现方式的影响。     

Sub‐syllable segment‐based voice conversion using spectral block clustering transformation functions

Abstract

This paper presents a novel framework for voice conversion based on sub‐syllable spectral block clustering transformation functions. The speech signal is first transferred to a spectrum by Fast Fourier transform. A sonority measure is used to extract sub‐syllable segments from input utterances by computing the energy concentration measure among frequency components. According to the syllable structure of Mandarin, Hidden Markov Model based syllable clustering is used to deal with the variety among different syllables. Dynamic programming is applied to align the spectral blocks of the parallel corpus to constrain the mapping between the spectral unit of the source speaker and that of the listener speaker under the constraint that mapped unities should be constrained to the same sub‐syllable and sub‐band in the Mel‐scale filter bank. A content based image retrieval algorithm is employed to find the target spectral block in the transformation phase. This paper illustrates voice conversion by spectral block transformation that transfers the speech signal of the source speaker to that of the listener. Experimental results show that the proposed method is effective in voice conversion, and the discrimination with regard to speaker identification is better than with traditional approaches. However, there remain additional noises, especially in high frequency components, which reduce the signal quality carried in the transformation phase, due to the fact that speech is not smooth.     

基于ETL思想的产品全生命周期质量数据整合

针对构建面向产品全生命周期质量数据包的需求,提出了基于ETL思想的产品全生命周期异构质量数据的整合方法．给出了面向产品全生命周期的质量数据映射语义库的构建方法,建立了基于ETL思想的质量数据映射模型,提出了基于组织维度和产品维度的质量数据整合方法．在此基础上,设计开发了质量数据整合软件工具QQ—DI,并验证了所提出方法的有效性．     

基于面向服务架构的企业资源规划架构研究

研究了传统ERP系统存在的问题,提出并且设计了基于SOA架构的ERP系统架构——“3＋2”模式,为ERP系统的开发提供了指导性的架构,同时预见性地指出基于SOA架构的ERP系统的优势和劣势．     

辅仁参芪健胃颗粒治疗慢性萎缩性胃炎（CAG）和厌食症患者疗效分析评述

辅仁参芪健胃颗粒的组方源于医圣张仲景《金匮要略》中“黄芪建中汤”。“黄芪建中汤”沿用2000多年,有很多个案报道了显著的疗效。通过正确的辨证论治应用辅仁参芪健胃颗粒治疗中气虚寒证慢性浅表性胃炎、慢性萎缩性胃炎和胃粘膜癌前病变明确它的疗效。本文评述二篇论文由于科研设计存在问题,因而没有彰显出辅仁参芪健胃颗粒存在的确切疗效,有待改进之处。     

煤矿工人工作相关肌肉骨骼疾患的干预效果评估

目的评估煤矿工人工作相关肌肉骨骼疾患(WMSDs)健康教育的效果,为制定预防WMSDs的策略、措施提供理论依据。方法干预的538名煤矿工人群体,在时间段2 a内无任何其他同类干预的情况下,分别于2009年10月和2011年7月对该群体横断面整群抽样,并分析干预前后煤矿工人对WMSDs的认知和态度的变化,以及WMSDs患病率的改变。结果干预后与干预前相比,工人在WMSDs的认知和态度方面皆有改善(P<0.05)。任意部位WMSDs的年患病率在干预前、干预3个月后以及干预后21个月分别为78.3%,64.1%和73.7%(P<0.05)。其中,掘进区工人腰部WMSDs的年患病率下降明显,分别为70.8%、35.0%和54.5%(P<0.05)。煤矿工人根据干预措施采纳程度不同分为"全部采纳"组和"几乎无采纳"组,两组在主观回答WMSDs的防治效果上是不同的(P<0.05)。结论干预措施对掘进区工人腰部WMSDs患病率降低效果明显。在煤矿行业实施针对性的职业健康教育,使工人对WMSDs的"知和信"两方面都有改善,并能长期降低工人任意部位WMSDs的年患病率。因此,在我国针对煤矿行业WMSDs采取健康教育是一种经济有效的干预措施,应长期推广。     

图形识别中的预览效应

预览搜索是研究视觉搜索的新范式,本文以正五、六边形为实验材料,采用预览搜索范式,考察图形识别中是否存在预览效应及其产生的认知机制。结果发现:(1)当新、旧客体颜色不一致时,产生了完整的预览效应;(2)当新、旧客体颜色一致时,只产生了部分预览效应。说明图形识别中存在预览效应,且它是基于旧客体"位置"和"颜色"抑制共同作用的。     

电磁超声兰姆波换能器多目标优化设计

针对电磁超声兰姆波换能器激发的兰姆波存在多模式、频散现象和信号较弱的问题,结合铝合金板材检测背景,提出一种基于＂双交点法＂、＂零斜率准则＂和正交试验设计相结合的电磁超声兰姆波换能器多目标优化设计方法。其中,＂双交点法＂可有效削弱兰姆波多模式现象的影响,＂零斜率准则＂能够有效降低兰姆波的频散现象,而正交试验设计方法可有效提高电磁超声兰姆波信号的幅值。依据所提优化设计方法,对一个在铝板检测中常用的电磁超声兰姆波换能器的9个主要参数进行了多目标优化设计。实验表明,优化后,兰姆波信号中的多模式、频散现象得到显著抑制,而且信号幅值得到明显提升,有效改善了电磁超声兰姆波换能器的工程实用性。