基于UNet自适应特征融合的语音增强

针对传统的语音增强网络对未知噪声增强效果不理想的问题,本文从语谱图增强,网络结构,特征融合机制三方面提出改进方法。首先为了提取语谱图深层特征信息,使用VGG19结构来代替UNet结构中编码器部分,同时在解码器部分加入残差网络以加深网络深度,防止训练退化;其次,为了更好地结合语谱图中特征信息,在UNet结构跳跃连接部分加入自适应特征融合机制来融合深浅层特征。此外,为增强说话人信息,通过直方图均衡算法对语谱图进行特征优化,得到直方图均衡化增强后的语谱图。在不同的噪声环境中,本文所提方法在质量和可理解性度量方面评分都优于其他增强方法。     

一种基于差异特征驱动的红外与可见光视频拟态融合方法

针对固定融合算法无法适应动态场景下视频帧间差异特征变化造成融合效果差的问题,提出了一种基于差异特征驱动的红外与可见光视频拟态融合方法.首先,分别提取了红外与可见光视频序列的3种差异特征;其次,利用改进的融合有效度公式计算不同融合算法对3种差异特征的融合有效度;最后,利用熵权法对融合有效度进行加权合成,进而得到多融合算法的决策评分,确定视频不同序列段上的最优融合算法.实验结果表明,所提出方法相较于在不同序列段选取的最优融合算法RP和MOD,在整段视频序列上融合效果更好,综合客观评价指标上比上述固定算法分别提升了59.925％、2.7608％,为红外与可见光视频融合提供了新思路.     

基于循环生成对抗网络的增强罗兰信号生成

在信号生成算法中,需要大量标记信号样本用于网络训练,但通常携带电文信息标记的信号难以批量获取。针对此问题本文提出一种基于循环生成对抗网络和迁移学习的方法,实现了无需大量信号及对应电文作为标记的增强罗兰信号生成,并使用迁移学习在少量实测信号情况下快速生成。循环生成对抗网络的结构包括两个生成器和两个判别器,利用无需一一对应的增强罗兰信号和电文数据集,使生成器学习到两个数据集之间的相互转换关系,实现输入电文数据可以生成与之相对应的增强罗兰信号,并且针对增强罗兰信号的特性,使用一维卷积、残差网络、自注意力机制对网络模型进行改进。实验证实,生成信号与实测数据的均方误差为0.015 3,平均皮尔逊相关系数为0.984 3,且所含电文信息准确率为99.02%。本文在PSK、ASK、FSK数据集上验证了算法,实验结果表明生成的信号满足预期,为未知参数的信号调制和解调提供一种新的思路。     

基于扩张卷积的注意力机制视频描述模型

针对视频描述过程中视觉特征和词特征关联度不足、训练效率低、生成的自然语言出现错误和指标分数不高的问题,提出了一种基于扩张卷积的注意力机制视频描述模型。在模型的编码阶段,采用Inception-v4对视频特征进行编码,然后将编码后的视觉特征和词特征输入到基于扩张卷积的注意力机制中,最后通过长短期记忆网络进行解码,生成视频的自然描述语句。在视频描述公共数据集MSVD上进行对比实验,通过评价指标(BLEU、ROUGE_L、CIDEr、METEOR)对模型进行验证,实验结果表明,基于扩张卷积的注意力机制视频描述模型在各个指标上都有明显提升,对比基线模型SA-LSTM (Inception-V4),在BLEU_4、ROUGE_L、CIDEr和METEOR指标下分别提升了4.23%、4.73%、2.11%和2.45%。     

基于双阶段多尺度生成对抗网络的图像复原方法

针对人脸图像复原任务中对图像尺度信息利用不足和眼镜结构复原错误的问题,提出一种基于双阶段多尺度生成对 抗网络复原模型。该模型第1阶段引入改进损失的U-Net 粗重构网络,利用跳连接减少原始图像信息的丢失,融合3种不同 的损失函数提高生成器的重构能力,采用双判别器考虑全局信息和局部信息,并提出一种混合域注意力机制用于关注图像的 空间和通道信息。第2阶段的精修复网络构建了全新的特征增强模块,增强网络对细节信息的提取能力和对结构的表达能 力,引入相对判别器,用于关注生成样本与真实样本之间的相对真实性,提高了生成质量和训练稳定性。实验结果表明,该方 法能够复原各类图像缺失的情况,并能够有效复原佩戴眼镜的人脸图像,与其他方法相比,该方法的峰值信噪比、结构相似性 和感知相似度评估等指标分别提升了3.81%、2.65%和0.45%。     

基于多特征融合的人脸识别方法

为了改善人脸识别方法只基于一种特征、识别方法单一造成的识别率低的问题。使用多种特征融合进行人脸识别,可以有效改善单一特征因光照、角度以及尺度变化对识别的影响,提高识别率。经过试验证实,将LBPH、SIFT以及通过卷积神经网络提取的VIPLFaceNet特征按照一定的权重进行组合时,可以有效的结合3种特征的识别特点,获得比单一特征更好的识别率。当VIPLFaceNet、SIFT和LBPH3种特征以4∶1∶5的权重进行融合时,可以获得95.35%的识别率,识别率明显提升。     

基于生成对抗网络的电力设施图像去雾方法

电力设施监控可有效避免重大电力事故的发生,但在恶劣天气下大雾等自然现象的影响会使电力设施监控图像模糊不清,难以正常工作。针对该问题,提出了一种基于生成对抗网络(GAN)的电力设施图像去雾方法,其通过将监控彩色图像分解为RGB三通道来进行深度去雾。设计了新型联合损失函数以加强生成对抗网络的学习能力。在电力图像去雾数据集上的实验验证得出,与对比方法相比,所提出的方法的PSNR提升了1.1,SD提升了2.97,具备更好的图像去雾性能。     

基于生成对抗网络的电能质量扰动数据增强方法

针对当前电能质量扰动自动识别受样本集的规模和质量影响较大及扰动数据匮乏的问题,提出一种在二维尺度上结合深度卷积生成对抗网络(deep convolutional generative adversarail networks, DCGAN)对电能质量扰动数据进行增强的方法。将典型扰动二维图像数据作为输入,以提高数据特征提取能力,再通过深度卷积生成对抗网络不断生成优化扰动数据,并选择验证集上取得最高AUC值的增强数据集进行电能质量扰动的识别测试。在某电网公司提供的真实数据集上进行测试,结果表明：基于DCGAN数据增强方法能生成较大规模、高质量的数据,在网络训练速度及电能质量扰动识别的准确率上有明显提升。     

基于生成对抗网络的车载语音增强应用

语音增强对智能车载系统和未来汽车工业的发展具有重要意义,为了解决汽车行驶过程中驾驶员语音被噪声污染的问题,提出一种基于高效通道注意力机制的最小二乘生成对抗网络模型。首先在生成网络模型中引入注意力机制,自适应选择一维卷积核大小生成通道权重,在降低模型复杂度的同时带来了明显的性能增益;然后利用最小二乘损失函数来代替Sigmoid交叉熵损失函数,使收敛速度更快,避免出现梯度消失的问题;最后经过生成对抗网络对抗博弈不断优化训练,从而实现语音增强。实验表明,该方法相较基线方法在语音质量和清晰度方面都有良好的提升,语音质量感知评估(PESQ)指标平均提升了3.79%,短时客观可懂度(STOI)指标平均提升了4.76%,因此更适合实际应用。     

利用全局与局部关联特征的行人重识别方法

针对因行人图像背景差异大、人体外观相似导致的行人再识别准确率低的问题,提出了一种利用特征融合与多尺度信 息的行人重识别方法。 首先,通过 ResNet50_IBN 提取人体图像全局特征图。 其次,设计分支结构,第 1 分支利用空间变换网络 对全局特征图进行自适应的空间特征对齐,水平切分全局特征图得到局部特征,采用全局特征与每个局部特征分别融合的方式 来挖掘特征之间的关联关系。 第 2 分支增加了 4 种不同尺度的卷积层提取全局图像的多尺度特征。 最后,在推理阶段将第 1 分支和第 2 分支的特征进行通道维度的串联,作为行人的对比特征。 通过在 Market-1501、DukeMTMC 数据集上的实验表明,所 提方法与 AlignedReID 和 EA-Net 等特征对齐和局部特征提取方法相比具备更强的性能,在 Market-1501 上,mAP 和 Rank-1 分别 达到了 86. 77%和 94. 83%。     

多视图融合和全局特征增强的车辆重识别网络

车辆重识别是智能交通领域重要应用之一,现有的车辆识别方法大多集中于预定义的局部区域特征或全局外观特征。然而,在复杂的交通环境下,传统的方法难以获取预定义的局部区域,同时很难捕捉有价值的车辆全局特征信息。因此,本文提出一种具有多视图融合的混合注意力机制和全局特征增强的端到端双分支网络。该网络旨在通过增强车辆的特征表达能力和特征质量来获得更完整、更多样的车辆特征。本文通过视图解析网络对车辆图片4个视角的视图进行分割,并通过视图拼接方法缓解分割不准确导致的信息丢失问题。为了更好地突出拼接视图中的显著性局部区域,本文提出一种由通道注意力机制和自注意力机制组成的混合注意力模块。通过该模块从车辆拼接视图中分别获取关键局部信息和局部信息之间的相关性,更好地凸显拼接视图中车辆局部的细节信息。除此之外,还提出了一个全局特征增强模块,通过池化和卷积获得全局特征的空间和通道关系。该模块不仅能提取到语义增强的车辆特征,而且还使车辆特征中包含完好的细节信息,解决获取的车辆图像受视角变化、光照条件变化等因素的影响。在Veri-776和VehicleID数据集上的大量实验表明,mAP、CMC@1和CMC@5分别达到...     

基于多特征融合的GIS局部放电状态检测方法

为了优化GIS局部放电状态检测效果,提高检测率,引入多特征融合方法原理,开展了基于多特征融合的GIS局部放电状态检测方法研究。首先,需要采集GIS设备的局部放电数据并对其进行预处理,为后续放电状态检测提供有力的数据支持。其次,提取GIS局部放电特征,包括时域特征与频域特征。在此基础上,融合提取到的时域特征和频域特征,根据融合处理后的GIS局部放电特征,检测GIS局部放电状态。实验结果表明,提出的方法应用后,4种不同类型的局部放电绝缘故障模型的放电状态检测率均达到了98%以上,能够更好地捕捉到GIS设备的局部放电特征,从而更准确地判断其放电状态。     

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。     

基于WDGAN-div的语音增强方法

针对在低信噪比环境下传统语音增强方法适应性差和增强效果不理想的问题,提出一种基于Wasserstein散度的深度生成对抗网络(Wasserstein Divergence Deep Generative Adversarial Network)的语音增强方法。该方法以5个生成器和1个判别器为基础组成深度生成对抗网络,利用5个生成器进行5次增强处理,有效提高对抗网络在低信噪比条件下的增强效果,使用Wasserstein散度优化网络训练,改善传统GAN网络训练过程中存在的训练不稳定等问题,提高深度生成对抗网络训练的稳定性。在低信噪比环境下该方法相比于传统语音增强方法噪声适应性和增强效果都有明显提升。实验结果表明,与原始带噪语音相比,增强语音的分段信噪比平均提高6.1dB,语音质量感知评估测度和短时客观可懂度分别平均提升28.9%和10.6%。     

基于局部特征和焦点融合的车辆重识别算法

由于城市监控中存在大量相似的车辆,造成了车辆重识别匹配率低。车头、车窗、车顶等局部特征是相似车辆细微差异性的所在。根据车辆检测算法卷积特征热力图注意力分布特性,提出了针对车辆局部特征区域检测的MCRF-SSD算法,并与GMM-EM聚类算法相结合,检测性能在公开的数据集上均优于目前主流算法。同时为了增大类间距离、缩小类内距离将arcface损失函数引入到了特征提取阶段。为了提高车辆重识别匹配性能,在全局特征与局部特征融合阶段提出了一种保留特征图空间分布的焦点融合（Ffs）方法,并引入了一个可学习参数,提高了特征融合效率。实验结果表明,所提出的算法在公开的VehicleID和VeRi数据集中性能表现优于目前性能最优的方案。     

基于数据增强的太阳能电池片缺陷检测

针对太阳能电池片缺陷数据量匮乏造成的网络过拟合和模型性能不达标的问题,提出基于深度卷积对抗生成网络和图像随机拼接的真假数据融合算法,将训练数据量提升了800倍;同时对网络模型进行轻量化优化,减少模型训练参数。实验结果表明,经过真假数据融合扩充数据集后训练的模型测试精度相比原始训练集和传统数据增强算法分别提升了近30%和17%;轻量化处理后的模型参数减少为之前的1/2,对每张图片的测试时间由57 ms缩短到22 ms。研究证明,真假数据融合算法能够有效的缓解训练数据不足造成网络过拟合问题;轻量化优化模型在保证精度的同时,压缩模型大小,加快测试速度。     

基于数据增强的太阳能电池片缺陷检测

针对太阳能电池片缺陷数据量匮乏造成的网络过拟合和模型性能不达标的问题,提出基于深度卷积对抗生成网络和图像随机拼接的真假数据融合算法,将训练数据量提升了800倍;同时对网络模型进行轻量化优化,减少模型训练参数。实验结果表明,经过真假数据融合扩充数据集后训练的模型测试精度相比原始训练集和传统数据增强算法分别提升了近30%和17%;轻量化处理后的模型参数减少为之前的1/2,对每张图片的测试时间由57 ms缩短到22 ms。研究证明,真假数据融合算法能够有效的缓解训练数据不足造成网络过拟合问题;轻量化优化模型在保证精度的同时,压缩模型大小,加快测试速度。     

基于特征融合的调制识别增强与迁移演化

针对调制识别中单一图像的特征信息不足,区分度不够高,识别范围受限的问题。本文提出了一种基于时频图和星座图特征融合的调制识别特征增强方法,利用深度学习神经网络提取信号图像的特征,构建特征空间,通过多维特征融合,挖掘和整合不同特征的优势,增强模型算法的鲁棒性。此外运用了模型迁移的方法,仅需对分类器进行训练,大幅节约了训练时间和资源,具有很强的实时性和实用性。仿真结果显示,在0db左右的条件下,相比于单一特征图像,采用特征融合增强的方法能将信号的平均识别率提高约25%,通过模型迁移,省去了卷积神经网络的训练,所需的训练时间约为迁移前的9.6%,消耗内存约为迁移前的7.3%,同时模型的识别率损失控制在了5%以内。     

基于IEC61850的系统描述工具中的SSD文件生成算法

剖析IEC61850标准规范细节,构建SSD系统说明文件的基本格式,研究了采用LINQ to XML技术实现SSD文件生成的可行性,设计从图形化的一次接线图生成SSD文件的算法,进而利用C#语言结合LINQ to XML技术完成SSD文件生成的具体实现,解决了系统描述工具和系统配置工具中一个关键文件的自动生成。     

基于条件生成对抗网络的空气预热器内红外补光监测视频图像清晰化方法

火电厂空气预热器（空预器）内部的灰尘、烟雾、光照变化等因素导致监控视频画面不清晰,影响监控效果。鉴于此,本文提出一种基于条件生成对抗网络（cGAN）的恶劣工业环境下红外补光监控视频图像清晰化方法。针对获取的红外补光图像样本数据进行预处理,包括高斯滤波去噪以及图像拼接操作,得到低清晰度图像和高清晰度图像的合成图像,低清晰图像作为待重建图像,高清晰图像作为重建图像的理想参考图像,采用建立的cGAN模型对低清晰图像进行重建,调节优化参数生成高清晰图像。试验采用空预器现场监控视频作为训练集对网络模型进行离线训练,实现了空预器红外补光监控图像清晰化处理。本文方法cGAN模型小、训练过程简单、计算效率高、图像清晰化处理效果好,适于相似复杂工业环境下对监控视频图像的恢复和清晰化处理。