基于CNN-SVM性别组合分类的单通道语音分离

实际语音分离时,混合语音的说话人性别组合相关信息往往是未知的。若直接在普适的模型上进行分离,语音分离效果欠佳。为了更好地进行语音分离,本文提出一种基于卷积神经网络-支持向量机（CNN-SVM）的性别组合判别模型,来确定混合语音的两个说话人是男-男、男-女还是女-女组合,以便选用相应性别组合的分离模型进行语音分离。为了弥补传统单一特征表征性别组合信息不足的问题,本文提出一种挖掘深度融合特征的策略,使分类特征包含更多性别组合类别的信息。本文的基于CNN-SVM性别组合分类的单通道语音分离方法,首先使用卷积神经网络挖掘梅尔频率倒谱系数和滤波器组特征的深度特征,融合这两种深度特征作为性别组合的分类特征,然后利用支持向量机对混合语音性别组合进行识别,最后选择对应性别组合的深度神经网络/卷积神经网络（DNN/CNN）模型进行语音分离。实验结果表明,与传统的单一特征相比,本文所提的深度融合特征可以有效提高混合语音性别组合的识别率;本文所提的语音分离方法在主观语音质量评估（PESQ）、短时客观可懂度（STOI）、信号失真比（SDR）指标上均优于普适的语音分离模型。      

说话人确认中以音素为中心的特征端因子分析

在说话人确认中,特征端因子分析(Acoustic Factor Analysis, AFA)利用MPPCA(Mixtures of Probabilistic Principal Component Analyzers, MPPCA)算法在通用背景模型(Universal Background Model, UBM)的每个高斯上分别对特征降维以去除语音特征中文本、信道和噪声等信息的干扰,获得增强的说话人信息并用于提升说话人确认的性能。但是通用背景模型属于无监督的聚类方法,其每个高斯成分物理意义不够明确,不能区分不同说话人发不同音素时的情况。为解决这一问题,本文利用语音识别中的声学模型深度神经网络(Deep Neural Network, DNN)取代传统的通用背景模型并结合特征端因子分析分别对不同音素上的语音特征进行降维提取出说话人信息,进而提取DNN i-vector用于说话人确认。在RSR2015数据库PartIII上的实验结果表明该方法相对于基于UBM的特征端因子分析方法在男女测试集上等错误率(Equal Error Rate, EER)分别下降13.49%和22.43%.      

基于卷积循环网络与非局部模块的语音增强方法

现有的深度神经网络语音增强方法忽视了相位谱学习的重要性,从而造成增强语音质量不理想。针对这一问题,文中提出了一种基于卷积循环网络与非局部模块的语音增强方法。通过设计一种编解码网络,将语音信号的时域表示作为编码端的输入进行深层特征提取,从而充分利用语音信号的幅值信息以及相位信息。在编码端和解码端的卷积层中加入非局部模块,在提取语音序列关键特征的同时,抑制无用特征,并引入门控循环单元网络捕捉语音序列间的时序相关性信息。在ST-CMDS中文语音数据集上实验结果表明,与未处理的含噪语音相比,使用文中方法生成的增强语音质量和可懂度平均提升了61%和7.93%。     

基于互信息量的神经网络语音盲分离算法

盲分离技术由于不需要知道信号的先验信息而得到广泛应用。利用神经网络信息后向传播的特点,在Infomax算法的基础上,提出一种改进的基于互信息的语音盲分离算法,以神经网络为优化结构,并以输出熵为目标函数,实验证明,算法能很好提取信号的独立分量,完成混合信号的分离。     

多尺度时域单通道语音分离网络设计

近年来,基于频域的语音分离方法取得了很大进展.然而该方法只分离幅度谱、不分离相位谱,造成分离后的语音在语音感知方面效果不佳.针对此问题,受到卷积时域网络结构启发,提出一种多尺度时域语音分离网络Mixconv-Tasnet,首先将一维信号映射到多维空间,之后将多维空间进行分组,每组采用不同大小的卷积核,不同大小的卷积核可提取不同尺度特征.改进后的网络可用于分离两说话人的混合语音.实验结果表明,相比于已有方法,所提方法在分离语音质量和模型大小等方面具有明显优势.     

采用表示分离自编码器的任意说话人语音转换

针对非平行语料库下任意说话人之间的语音转换存在语言内容信息和说话人个性特征难以分离,从而导致语音转换的性能不佳的问题,提出了一种采用表示分离自编码器的语音转换方法 RSAE-VC。该方法将语音信号的说话人个性特征视为时不变,而将内容信息视为时变,利用编码器中的实例归一化和激活引导层将两者进行分离,再由解码器将源语音的内容信息与目标语音的个性特征进行合成,从而生成转换后的语音。实验结果表明,RSAE-VC在梅尔倒谱距离上比现有的AGAIN-VC转换方法平均降低了3.11%,在基音频率均方根误差上降低了2.41%,MOS分和ABX值分别提升了5.22%和8.45%。RSAE-VC方法通过自内容损失进行约束使语音更好地保留内容信息,通过自说话人损失将说话人个性特征更好地从语音中分离,可以确保说话人个性特征尽少地遗留在内容信息中,从而提高语音转换性能。     

基于端到端的多语种语音识别研究

端到端语音识别模型无需发音词典进行训练,可以大幅降低开发新语种语音识别系统的负担。本文利用端到端模型的这一优势,建立了一种语种无关的端到端多语种语音识别系统。该模型使用基于字符的建模方法进行训练,同时构建多语种输出符号集,使其包括所有目标语言中出现的字符。模型训练生成单一模型,其网络参数为所有语种共享。在OLR竞赛提供的10个语种数据集上,相较于单语种语音识别系统,本文提出的多语种语音识别系统在所有语言上的表现都更加优秀。      

面向旋翼飞机螺旋桨干扰的AM通信语音信号智能增强方法

为改善旋翼飞机空地语音通信质量,针对旋翼飞机螺旋桨造成的幅度调制(Amplitude Modulation, AM)信号复杂多频干扰以及恶劣机舱背景噪声,提出了一种通信语音时频掩膜智能增强方法,从而实现对机舱噪声与复杂干扰的有效抑制。该方法首先对原始时域语音信号进行分帧与加窗,通过短时傅里叶变换获取幅度谱与相位谱;然后将原始幅度谱作为网络输入,采用深度神经网络分析其语音信号的特征,采用长短期记忆网络挖掘语音信号的时序上下文信息,实现对语音时频掩膜的准确估计,并将其用于增强原始幅度谱以得到网络输出;最后结合原始相位谱,通过逆短时傅里叶变换获得增强后的时域语音信号。仿真与实际测试表明,该方法可有效抑制旋翼飞机环境下的干扰噪声,提高通信语音信号质量。     

基于生成对抗网络联合训练的语音分离方法

基于深度神经网络的语音分离方法大都在频域上进行训练，并且在训练过程中往往只关注目标语音特征，不考虑干扰语音特征。为此，提出了一种基于生成对抗网络联合训练的语音分离方法。该方法以时域波形作为网络输入，保留了信号时延导致的相位信息。同时，利用对抗机制，使生成模型和判别模型分别训练目标语音和干扰语音的特征，提高了语音分离的有效性。实验中，采用Aishell数据集进行对比测试。结果表明，本文所提方法在三种信噪比条件下都有良好的分离效果，能更好地恢复出目标语音中的高频频段信息。      

基于时频注意力机制与U-Net的骨导语音鲁棒增强方法

近年来,基于神经网络的方法大量应用于骨导语音增强中。然而,由于骨导数据集样本较少,骨导语音高频部分缺失,不同说话人高频部分失真程度不同,神经网络难以有效学习骨导语音的频谱特征。因此,现有骨导语音增强模型对于未知说话人骨导语音数据集增强效果不佳、鲁棒性不强。为充分利用骨导语音的时频信息,引导模型关注骨导语音的低频部分特征,提出一种基于时频注意力机制和U-Net的骨导语音增强方法。该方法将时频注意力机制引入U-Net结构中,首先根据骨导语音时间、频率方向特征信息的重要程度自动为其分配权重,而后以加权后的骨导语音谱作为输入,对应的气导语音谱作为目标进入U-Net结构训练,最后利用训练完成的增强模型重构骨导语音全频带的语音。仿真实验与可视化分析结果表明,对比基线U-Net结构与其他注意力机制,该方法对于未知说话人骨导语音数据集能够取得更高的PESQ和STOI客观评价指标,增强语音更加清晰。      

结合相位差和谱减法的双传声器语音增强技术

结合基于传声器阵列和相位差的语音增强算法的优点,提出了可以在同时存在平稳噪声和干扰语音环境下使用的语音增强算法.首先对噪声估计技术进行了改进,利用相位差信息和幅度信息对语音存在概率进行估计,提高了噪声估计性能.其次用相位差信息对原谱减法的幅度增益函数进行改进.在普通房间使用间距为0.08m端射结构双传声器测试,实验结果...     

基于稀疏性的相位谱补偿语音增强算法

相位谱补偿语音增强算法通过调整相位谱对噪声进行压缩,提高重构信号的质量。针对传统的相位谱补偿(phase spectrum compensation, PSC)语音增强算法采用固定的相位补偿因子,且算法的性能易受噪声估计准确性的影响,提出了一种基于稀疏性的相位谱补偿(sparsity-based phase spectrum compensation, SPSC)语音增强算法。首先,利用噪声估计算法得到噪声幅度谱,利用基于幅度谱的语音增强算法得到目标语音幅度谱;接着,通过噪声和目标语音幅度谱之间的局部信噪比(Signal-to-Noise Ratio, SNR)来估计谱时间稀疏性;然后,利用sigmoid函数改进相位补偿因子,联合补偿因子和谱时间稀疏性,得到SPSC函数。最后,使用SPSC函数对相位谱中的谱分量进行补偿,通过短时傅里叶逆变换得到最终增强后的语音信号。仿真实验表明,在四种不同背景噪声的低信噪比下,新的相位谱补偿算法使增强语音获得了更好的LSD、PESQ和segSNR指标,说明新的算法在低信噪比下,可以有效恢复带噪语音中的语音成分,对噪声抑制效果明显,增强语音的质量和听感均有一定提升。      

基于深度学习特征融合和联合约束的单通道语音分离方法

为了提高单通道语音分离性能,该文提出基于深度学习特征融合和联合约束的单通道语音分离方法。传统基于深度学习的分离算法的损失函数只考虑了预测值和真实值的误差,这使得分离后的语音与纯净语音之间误差较大。该文提出一种新的联合约束损失函数,该损失函数不仅约束了理想比值掩蔽的预测值和真实值的误差,还惩罚了相应幅度谱的误差。另外,为了充分利用多种特征的互补性,提出一种含特征融合层的卷积神经网络(CNN)结构。利用该CNN提取多通道输入特征的深度特征,并在融合层中将深度特征与声学特征融合用来训练分离模型。由于融合构成的特征含有丰富的语音信息,具有强的语音信号表征能力,使得分离模型预测的掩蔽更加准确。实验结果表明,从信号失真比(SDR) 、主观语音质量评估( PESQ)和短时客观可懂度(STOI)3个方面评价,相比其他优秀的基于深度学习的语音分离方法,该方法能够更有效地分离目标语音。     

Speech Enhancement Using Phase‐Dependent A Priori SNR Estimator in Log‐Mel Spectral Domain

We propose a novel phase‐based method for single‐channel speech enhancement to extract and enhance the desired signals in noisy environments by utilizing the phase information. In the method, a phase‐dependent a priori signal‐to‐noise ratio (SNR) is estimated in the log‐mel spectral domain to utilize both the magnitude and phase information of input speech signals. The phase‐dependent estimator is incorporated into the conventional magnitude‐based decision‐directed approach that recursively computes the a priori SNR from noisy speech. Additionally, we reduce the performance degradation owing to the one‐frame delay of the estimated phase‐dependent a priori SNR by using a minimum mean square error (MMSE)‐based and maximum a posteriori (MAP)‐based estimator. In our speech enhancement experiments, the proposed phase‐dependent a priori SNR estimator is shown to improve the output SNR by 2.6 dB for both the MMSE‐based and MAP‐based estimator cases as compared to a conventional magnitude‐based estimator.     

频域内的卡尔曼滤波语音增强算法

提出了在频域内实现的卡尔曼滤波算法,该算法利用语音和噪声幅度谱的时变特性,先对语音幅度谱进行初步修正,提取较为准确的LPC系数,然后在每一频率点下对语音幅度用卡尔曼滤波进行递推估计,最终得到效果更好的增强语音.实验结果表明,本文算法有效地提高了增强语音的SNR,尤其是在高信噪比的情况下,效果更加明显.     

Robust Non‐negative Matrix Factorization with β‐Divergence for Speech Separation

This paper addresses the problem of unsupervised speech separation based on robust non‐negative matrix factorization (RNMF) with β‐divergence, when neither speech nor noise training data is available beforehand. We propose a robust version of non‐negative matrix factorization, inspired by the recently developed sparse and low‐rank decomposition, in which the data matrix is decomposed into the sum of a low‐rank matrix and a sparse matrix. Efficient multiplicative update rules to minimize the β‐divergence‐based cost function are derived. A convolutional extension of the proposed algorithm is also proposed, which considers the time dependency of the non‐negative noise bases. Experimental speech separation results show that the proposed convolutional RNMF successfully separates the repeating time‐varying spectral structures from the magnitude spectrum of the mixture, and does so without any prior training.     

基于波束形成的长短时记忆网络语音分离算法研究

在利用深度学习方式进行语音分离的领域,常用卷积神经网络(RNN)循环神经网络进行语音分离,但是该网络模型在分离过程中存在梯度下降问题,分离结果不理想。针对该问题,该文利用长短时记忆网络(LSTM)进行信号分离探索,弥补了RNN网络的不足。多路人声信号分离较为复杂,现阶段所使用的分离方式多是基于频谱映射方式,没有有效利用语音信号空间信息。针对此问题,该文结合波束形成算法和LSTM网络提出了一种波束形成LSTM算法,在TIMIT语音库中随机选取3个说话人的声音文件,利用超指向波束形成算法得到3个不同方向上的波束,提取每一波束中频谱幅度特征,并构建神经网络预测掩蔽值,得到待分离语音信号频谱并重构时域信号,进而实现语音分离。该算法充分利用了语音信号空间特征和信号频域特征。通过实验验证了不同方向语音分离效果,在60°方向该算法与IBM-LSTM网络相比,客观语音质量评估(PESQ)提高了0.59,短时客观可懂(STOI)指标提高了0.06,信噪比(SNR)提高了1.13 dB,另外两个方向上,实验结果同样证明了该算法较IBM-LSTM算法和RNN算法具有更好的分离性能。     

Feature Extraction Based on Speech Attractors in the Reconstructed Phase Space for Automatic Speech Recognition Systems

In this paper, a feature extraction (FE) method is proposed that is comparable to the traditional FE methods used in automatic speech recognition systems. Unlike the conventional spectral‐based FE methods, the proposed method evaluates the similarities between an embedded speech signal and a set of predefined speech attractor models in the reconstructed phase space (RPS) domain. In the first step, a set of Gaussian mixture models is trained to represent the speech attractors in the RPS. Next, for a new input speech frame, a posterior‐probability‐based feature vector is evaluated, which represents the similarity between the embedded frame and the learned speech attractors. We conduct experiments for a speech recognition task utilizing a toolkit based on hidden Markov models, over FARSDAT, a well‐known Persian speech corpus. Through the proposed FE method, we gain 3.11% absolute phoneme error rate improvement in comparison to the baseline system, which exploits the mel‐frequency cepstral coefficient FE method.