基于时域建模的自动语音识别

端到端神经网络能够根据特定的任务自动学习从原始数据到特征的变换,解决人工设计的特征与任务不匹配的问题。以往语音识别的端到端网络采用一层时域卷积网络作为特征提取模型,递归神经网络和全连接前馈深度神经网络作为声学模型的方式,在效果和效率两个方面具有一定的局限性。从特征提取模块的效果以及声学模型的训练效率角度,提出多时间频率分辨率卷积网络与带记忆模块的前馈神经网络相结合的端到端语音识别模型。实验结果表明,所提方法语音识别在真实录制数据集上较传统方法字错误率下降10%,训练时间减少80%。     

基于端到端的英语翻译器语音自动纠正系统研究

针对英语翻译器语音自动翻译纠正准确率的问题,结合卷积神经网络(Convolutional Neural Networks, CNN)和Transformer模型,提出基于CNN+Transformer端到端的自动翻译纠正模型。模型通过利用CNN模型平移和旋转不变性的特点,以缓解语音信号的多变性,并结合Transformer模型的多头自注意力机制兼顾语音特征和距离特征帧之间的依赖关系,进而提高模型的并行计算能力,实现了高效、准确的英语翻译器语音自动翻译纠正。最后,通过在CCMT2019-BSTC数据集上进行仿真,验证了所提CNN+Transformer模型的有效性。仿真结果表明,所提CNN+Transformer模型具有良好的语音自动翻译效果,BLEU值为19.23,参数规模和训练时长分别为18.99 M和5.4 min,相较于当下常用端到端翻译模型seq2seq模型、级联翻译模型NMT模型和cascade模型,具有更好的翻译效果,且具有一定的有效性和优越性,可用于实际英语翻译器语音自动翻译。     

基于多头注意力机制的端到端语音情感识别

针对语音情感数据集规模小且数据维度高的特点,为解决传统循环神经网络（RNN）长程依赖消失和卷积神经网络（CNN）关注局部信息导致输入序列内部各帧之间潜在关系没有被充分挖掘的问题,提出一个基于多头注意力（MHA）和支持向量机（SVM）的神经网络MHA-SVM用于语音情感识别（SER）。首先将原始音频数据输入MHA网络来训练MHA的参数并得到MHA的分类结果;然后将原始音频数据再次输入到预训练好的MHA中用于提取特征;最后通过全连接层后使用SVM对得到的特征进行分类获得MHA-SVM的分类结果。充分评估MHA模块中头数和层数对实验结果的影响后,发现MHA-SVM在IEMOCAP数据集上的识别准确率最高达到69.6%。实验结果表明同基于RNN和CNN的模型相比,基于MHA机制的端到端模型更适合处理SER任务。     

改进卷积输入的端到端普通话语音识别

主流神经网络训练的交叉熵准则是对声学数据的每个帧进行分类优化，而连续语音识别是以序列级转录准确性为性能度量。针对这个不同，构建基于序列级转录的端到端语音识别系统。针对低资源语料条件下系统性能不佳的问题，其中模型使用卷积神经网络对输入特征进行处理，选取最佳的网络结构，在时域和频域进行二维卷积，从而改善输入空间中因不同环境和说话人产生的小扰动影响。同时神经网络使用批量归一化技术来减少泛化误差，加速训练。基于大型的语言模型，优化解码过程中的超参数，提高模型建模效果。实验结果表明系统性能提升约24%，优于主流语音识别系统。     

基于一维卷积神经网络和i-vector的孤立词语音识别

针对孤立词语音识别的任务,采用一维卷积神经网络(CNN)作为声学模型,利用卷积核在时间轴上的移动来反映语音信号的时变性,从而提高识别性能。然后引入了反映说话人特征的身份认证矢量i-vector,通过i-vector特征消除说话人差异对识别造成的影响,进一步提高识别性能。在实验室自建语音库上的实验表明,基于这两种方法的识别系统达到了91%的识别准确率。     

基于卷积神经网络的火车站语音情感识别方法

近年来，卷积神经网络在图像、文本、语音分类等领域广泛使用，但现有的研究大多忽视了特定场所下语音情感识别的性能。针对上述问题，提出一种基于卷积神经网络(CNN)的火车站语音情感识别模型。模型首先提取每条语音的梅尔倒谱系数(MFCC)特征，然后把提取的特征矩阵送到卷积神经网络训练，最后由网络输出每个语音的所属类别。此外在模型的输出层加入了置信度的设置，认为每一条语音属于某类别的概率大于90%则是可信的，否则不可信。实验结果表明，与循环神经网络(RNN)和多层感知器(MLP)相比，上述模型准确率更高。所提出的方法为深度学习技术在语音情感识别中的应用及火车站等场所危险情况的预警提供了一定的借鉴。     

基于时域信号特征和卷积神经网络的模拟电路故障诊断算法

模拟电路是现代电子技术的基础,及时识别与定位电路故障是保证系统正常工作的重要环节。针对此类工程问题,提出一种基于时域信号特征和卷积神经网络(CNN)的模拟电路故障判断算法。首先采集对象电路的激励输入和输出响应信号,经过处理后成为1^*N或2^*N的时域信号序列输入CNN中,端到端实现从原始输入时域信号到故障识别期望输出的映射。实验仿真和实测结果表明,与经过信号预处理的频谱图+CNN和小波包变换+反向传播(BP)神经网络算法相比,该算法对结构性电路故障的识别正确率明显提高,在参数变化型电路故障的识别效果上总正确率相差不到1个百分点,但对于电路正常的判断正确率由93%提高到97%,避免出现某一具体故障正确率很低的情况,总体性能优于对比算法。该算法能够准确快速地识别和定位模拟电路中的结构性故障和参数变化型故障。     

改进胶囊网络优化分层卷积的亚健康识别算法

针对传统卷积神经网络(CNN)为获得高准确率不断堆叠卷积层、池化层致使模型结构复杂、训练时间长且数据处理方式单一的问题,提出改进胶囊网络优化分层卷积的亚健康识别算法。首先,对原始振动数据进行小波降噪和小波包降噪两种数据处理,更好地保留原始信号中对亚健康识别有用的信息;其次,CNN采用分层卷积的思想,并行3个不同尺度的卷积核,多角度地进行特征提取;最后,将卷积核提取的特征输入到剪枝策略的胶囊网络中进行亚健康识别,改进的胶囊网络在保证准确率的同时加快亚健康识别时间,解决CNN结构过于复杂以及识别效果不佳的问题。实验结果表明,提出算法识别准确率高且识别时间较少。     

基于EEG和DE-CNN-GRU的情绪识别

近年,情绪识别研究已经不再局限于面部和语音识别,基于脑电等生理信号的情绪识别日趋火热.但由于特征信息提取不完整或者分类模型不适应等问题,使得情绪识别分类效果不佳.基于此,本文提出一种微分熵(DE)、卷积神经网络(CNN)和门控循环单元(GRU)结合的混合模型(DE-CNN-GRU)进行基于脑电的情绪识别研究.将预处理后的脑电信号分成5个频带,分别提取它们的DE特征作为初步特征,输入到CNN-GRU模型中进行深度特征提取,并结合Softmax进行分类.在SEED数据集上进行验证,该混合模型得到的平均准确率比单独使用CNN或GRU算法的平均准确率分别高出5.57%与13.82%.     

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大.针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型.该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经...     

基于循环神经网络的藏语语音识别声学模型

探索将循环神经网络和连接时序分类算法应用于藏语语音识别声学建模,实现端到端的模型训练。同时根据声学模型输入与输出的关系,通过在隐含层输出序列上引入时域卷积操作来对网络隐含层时域展开步数进行约简,从而有效提升模型的训练与解码效率。实验结果显示,与传统基于隐马尔可夫模型的声学建模方法相比,循环神经网络模型在藏语拉萨话音素识别任务上具有更好的识别性能,而引入时域卷积操作的循环神经网络声学模型在保持同等识别性能的情况下,拥有更高的训练和解码效率。     

基于改进的CNN语音识别研究

针对卷积神经网络进行语音识别时识别率较低的问题,结合序列的最大子序列理论,把真实数据和预测数据看作两个序列并计算两者的最大子序列,再使用欧氏距离计算MSLoss损失函数.使用闵氏距离和神经网络反向更新时的参数,提出自适应卷积核ACKS算法,根据网络传播情况动态地改变卷积核大小,改善模型在不同阶段对数据特性的提取效果.设...     

基于卷积神经网络的面罩语音识别

针对带噪面罩语音识别率低的问题,结合语音增强算法,对面罩语音进行噪声抑制处理,提高信噪比,在语音增强中提出了一种改进的维纳滤波法,通过谱熵法检测有话帧和无话帧来更新噪声功率谱,同时引入参数控制增益函数;提取面罩语音信号的Mel频率倒谱系数(MFCC)作为特征参数;通过卷积神经网络(CNN)进行训练和识别,并在每个池化层后经局部响应归一化(LRN)进行优化.实验结果表明:该识别系统能够在很大程度上提高带噪面罩语音的识别率.     

基于CNN-BLSTM-CRF模型的生物医学命名实体识别

命名实体识别是自然语言处理任务的重要步骤。近年来,不依赖人工特征的神经网络在新闻等通用领域命名实体识别方面表现出了很好的性能。然而在生物医学领域,许多实验表明基于领域知识的人工特征对于神经网络模型的结果影响很大。因此,如何在不依赖人工特征的情况下获得较好的生物医学命名实体识别性能是有待解决的问题。该文提出一种基于CNN-BLSTM-CRF的神经网络模型。首先利用卷积神经网络(CNN)训练出单词的具有形态特征的字符级向量,并从大规模背景语料训练中得到具有语义特征信息的词向量,然后将二者进行组合作为输入,再构建适合生物医学命名实体识别的BLSTM-CRF深层神经网络模型。实验结果表明,不依赖任何人工特征,该文方法在Biocreative Ⅱ GM和JNLPBA2004生物医学语料上都达到了目前最好的结果,F-值分别为89.09%和74.40%。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于改进卷积神经网络的铁轨伤损图像识别

铁轨探伤技术的可靠性关系到铁路运行的安全性。分析BP神经网络、卷积神经网络算法在图片识别中的优势,提出一种结合BP、卷积网络的新算法应用于铁轨伤损检测。改进算法利用卷积神经网络对铁轨样本进行特征提取,仅一次前向运算获得低维度铁轨图,再由BP神经网络对低维度铁轨图特征进行分类训练与测试。实验结果表明,改进算法在已训练好的模型测试中得到较好的误差收敛曲线与较高的测试精度,与BP算法、卷积算法相比,该算法训练时间更少,对铁轨伤损图片识别效果更好,在铁轨伤损检测方面有较好的应用前景。     

基于统计分析的卷积神经网络模型压缩方法

针对卷积神经网络中卷积层参数冗余,运算效率低的问题,从卷积神经网络训练过程中参数的统计特性出发,提出了一种基于统计分析裁剪卷积核的卷积神经网络模型压缩方法,在保证卷积神经网络处理信息能力的前提下,通过裁剪卷积层中对整个模型影响较小的卷积核对已训练好的卷积神经网络模型进行压缩,在尽可能不损失模型准确率的情况下减少卷积神经网络的参数,降低运算量.通过实验,证明了本文提出的方法能够有效地对卷积神经网络模型进行压缩.