基于循环神经网络的语音增强加速器设计

使用深度学习的语音增强技术能够提升听者的言语识别率,但因神经网络的规模较大难以应用于边缘设备中。因此,本文提出了一种可用于助听器等边缘设备的循环神经网络语音增强加速器。该加速器将神经网络的计算用独立矩阵乘法硬件实现,并在多层神经网络的层之间实现硬件级的流水操作,通过并行和流水降低了计算延时。实验表明,与带噪语音相比,在volvo、factory2、babble噪声环境下,本算法的信噪比分别平均提升了17.302dB、8.412dB、4.732dB;短时语音可懂度分别平均提高了1.4%、0.8%和0.4%;语音质量感知评估平均提高了1.498、0.504和0.234;这三项指标均高于本文所对比的传统语音增强算法与神经网络算法。当时钟频率为10 MHz时,加速器的处理延时为9.2 ms,可以满足边缘侧应用的实时性需求。     

基于循环神经网络与子带谱熵法的助听器语音增强

在日常生活中常见的非平稳噪声环境下,现有助听器语音增强算法的降噪性能有所不足。对此,本文提出了一种结合子带谱熵法与双尺度循环神经网络的助听器语音增强算法。该算法将音频划分为16个子频段,各频段的对数功率谱被用作循环神经网络的输入特征,对应的频段增益作为输出特征,并使用子带谱熵法对增益进行修正。实验结果表明,相较于传统语音增强算法,在三类不同的噪声环境中,本文提出算法的平均信噪比分别提高了4.215dB、0.906dB、11.010dB。在FPGA上对该算法进行测试?输出与计算机模拟输出的信噪比差值为 0.117dB?互相关系数为0.9994,并且当时钟频率设置为10MHz时?算法的延时约为2ms,可以满足助听器的使用需求。     

低信噪比下高可懂度语音增强算法

提出了低信噪比下高可懂度的基于分段信噪比相对均方根（RMS）的语音增强子空间算法.现有的多数语音增强算法在低信噪比的恶劣条件下,改善带噪语音质量的同时通常会伴有语音可懂度的降低.一个重要原因是这些算法大都仅基于最小均方误差（MMSE）来抑制语音失真,却忽略了语音增强算法所导致的语音失真对差异类型语音分段的可懂度影响程度不同.为了改进这一缺点,提出了基于短时信噪比RMS对语音分段进行分类,然后调整处于信噪比中均方根语音分段的增益矩阵分量,来减小语音失真对增强语音可懂度的影响.客观评价实验说明,改进算法可以改善增强语音可懂度归一化协方差评价法（NCM）的评测值.主观试听实验说明,改进算法的确提升了增强后语音的可懂度.     

一种用于因果式语音增强的门控循环神经网络

传统基于深度学习的语音增强方法为了提高网络对带噪语音的建模能力,通常采用非因果式的网络输入,由此导致了固定时延问题,使得语音增强系统实时性较差。提出一种用于因果式语音增强的门控循环神经网络CGRU,以解决实时语音增强系统中的固定时延问题并提高语音增强性能。为了更好地建模带噪语音信号的相关性,网络单元在计算当前时刻的输出时融合上一时刻的输入与输出。此外,采用线性门控机制来控制信息传输,以缓解网络训练过程中的过拟合问题。考虑到因果式语音增强系统对实时性要求较高,在CGRU网络中采用单门控的结构设计,以降低网络的结构复杂度,提高系统的实时性。实验结果表明,CGRU网络在增强后的语音感知质量、语音客观可懂度、分段信噪比指标上均优于GRU、SRNN、SRU等传统网络结构,在信噪比为0 dB的条件下,CGRU的平均语音感知质量和平均语音客观可懂度分别达到2.4和0.786。     

一种低信噪比条件下的高可懂度的语音增强算法

研究表明,增强后的语音与纯净语音相比,会存在两种不同类型的畸变:放大畸变和衰减畸变,而放大畸变对语音可懂度的影响较大。传统的语音增强算法大多不能有效提高语音增强后的可懂度,因为这些算法仅使用最小均方误差的方法来限制这两种畸变,从而抑制噪声,提高语音的质量,但忽略了不同的畸变类型对可懂度的影响不同。提出一种基于子空间的提高可懂度的语音增强算法,使用先验信噪比及增益矩阵来判断语音畸变的类型。同时注意到,在估计先验信噪比时会存在估计误差:高估和低估,而高估会产生放大畸变,对可懂度造成较大的影响。先对高估先验信噪比(小于-10 dB)的增益矩阵进行修正,然后再对幅度谱畸变大于0 dB及6.02 dB的语音进行不同的限制。实验表明,所提出的算法能够有效增强语音的可懂度。     

基于RefineNet的端到端语音增强方法

为提高神经网络对语音信号时域波形的直接处理能力,提出了一种基于RefineNet的端到端语音增强方法.本文构建了一个时频分析神经网络,模拟语音信号处理中的短时傅里叶变换,利用RefineNet网络学习含噪语音到纯净语音的特征映射.在模型训练阶段,用多目标联合优化的训练策略将语音增强的评价指标短时客观可懂度(Short-time objective intelligibility,STOI)与信源失真比(Source to distortion ratio,SDR)融入到训练的损失函数.在与具有代表性的传统方法和端到端的深度学习方法的对比实验中,本文提出的算法在客观评价指标上均取得了最好的增强效果,并且在未知噪声和低信噪比条件下表现出更好的抗噪性.     

基于RefineNet的端到端语音增强方法

为提高神经网络对语音信号时域波形的直接处理能力,提出了一种基于RefineNet的端到端语音增强方法.本文构建了一个时频分析神经网络,模拟语音信号处理中的短时傅里叶变换,利用RefineNet网络学习含噪语音到纯净语音的特征映射.在模型训练阶段,用多目标联合优化的训练策略将语音增强的评价指标短时客观可懂度(Short-time objective intelligibility,STOI)与信源失真比(Source to distortion ratio,SDR)融入到训练的损失函数.在与具有代表性的传统方法和端到端的深度学习方法的对比实验中,本文提出的算法在客观评价指标上均取得了最好的增强效果,并且在未知噪声和低信噪比条件下表现出更好的抗噪性.     

基于循环神经网络的双麦克风语音增强算法

针对基于神经网络的语音增强算法难以部署在助听器中的问题,本文基于循环神经网络,提出了一种低延迟、低复杂度的双麦克风语音增强算法。该算法利用两个麦克风做空域滤波初步去除非期望方向噪声,并进一步通过循环神经网络得到纯净语音信号。为了解决助听器中全相位滤波器组阶数较多而引起群延迟较大的问题,本文创新性地提出一种分段式滤波器组,在保证性能的同时有效减少了阶数。仿真结果显示,该滤波器组在16K采样率下的群延迟为3.125 ms,在0 dB 的babble、volvo、factory1环境下,该语音增强算法的SNR平均提升了10.5565 dB,PESQ平均提升了0.6787。实际测试结果中,SNR平均提升了9.4394 dB,PESQ平均提升了0.7350。当DSP系统时钟频率为104 MHz时,助听器经过的系统延迟为8.4 ms,功耗为6.2 mA,可以很好满足助听器高续航的需求。     

具有较高可懂度的子空间语音增强算法

提出了一种具有较高可懂度的基于子空间的语音增强算法.现有的多数语音增强算法无法有效提高增强后语音的可懂度,一个重要原因是这些算法均只使用最小均方误差来限制语音的畸变,却忽视了不同区域语音畸变对可懂度的影响存在较大差异.为了弥补这一缺陷,提出了借助先验信噪比和增益矩阵来判断语音畸变区域,通过改变增益矩阵将对可懂度影响较大的放大倍数大于6.02dB的畸变进行幅度谱限制.客观评价表明,该算法能提高增强后语音可懂度NCM评测值.主观试听结果表明,该算法确实提高了增强后语音的可懂度.     

多通道助听器语音降噪算法研究

维纳滤波算法是改善噪声环境下听障患者语音理解度的常用算法之一。针对传统维纳滤波算法噪声谱估计偏差大的问题,提出一种基于改进的多通道维纳滤波算法的助听器语音降噪算法。算法首先结合人耳听觉特性和助听器响度补偿的特点,将语音信号进行Gammatone分解为多路子带信号。然后在每个子带内用基于先验信噪比估计的维纳滤波器进行语音增强处理。最后通过综合子带信号,得到增强的语音。此外,为了改善维纳滤波算法噪声谱估计的问题,提出一种基于包络估计的语音活动检测算法,并用于改善维纳滤波性能。实验结果表明,与传统维纳滤波法相比,该方法能更有效地抑制残留噪声,提高语音可懂度,具有较高的实用价值。