面向目标检测的卷积神经网络优化方法

针对星载等功耗受限平台下遥感影像目标检测存在的高准确率、低功耗以及高吞吐量等要求,本文提出了一种面向目标检测的现场可编程门阵列(FPGA)卷积神经网络(CNN)优化方法.采用数据流调度技术以及基于乘法矩阵与前向加法链的卷积计算阵列设计对浮点卷积神经网络模型进行加速.利用该方法在FPGA开发板上实现了浮点卷积目标检测网络...     

面向训练的卷积神经网络加速器设计

随着深度神经网络的广泛应用,对神经网络模型的训练速度需求也不断增长,各类面向训练的加速器应运而生。然而,在训练过程的各阶段,同一个层展现出了巨大的计算差异,计算差异性使得单一数据流结构的加速器在某些阶段的处理上达不到最高的效率。而图形处理器(GPU)等通用性设计通常不能充分地利用各阶段操作的特性使得利用率较低。为了解决这个问题,本文针对卷积神经网络(CNN)训练不同阶段的操作,分别提出了高效的执行方案,设计了一个统一的加速器处理单元硬件结构,能够将所有阶段的执行方案高效地映射到其上运行,并以这个统一的处理单元为基础实现了一个高效的支持训练的卷积神经网络加速器。实验结果显示,基于4个常用的卷积神经网络模型,卷积层训练的前向过程、反向过程的运算资源利用率分别达到了77.6%、67.3%,相比于现有主流的利用Tensor核心加速深度学习任务的GPU,运算资源利用率提高了45.1%和41.7%。     

基于改进动态配置的FPGA卷积神经网络加速器的优化方法

卷积神经网络(CNN)已广泛应用于各种计算机视觉任务,基于GPU的卷积神经网络加速器往往存在功耗较高、体积较大和成本较高的问题。针对上述问题,文中提出一种基于改进动态配置的现场可编程门阵列(FPGA)卷积神经网络加速器的优化方法。使用高层次综合工具,在引入分割参数的基础上,通过在资源约束情况下基于流水线结构的层间模块复用,采用8-16位动态定点设计方案,以有限的硬件资源实现性能优化的卷积神经网络硬件结构,提升计算效率的同时缩短了开发周期。利用该方法在ZCU102平台上构建实现了AlexNet网络和VGG网络。在最大精度损失0.63%的条件下,将加速器性能分别从46.3 fps和37.2 fps提高到290.7 fps和54.4 fps,计算能效分别达到了TITAN-X的1.78倍和3.89倍。实验数据充分说明,采用改进动态配置的优化方法,利用高层次综合工具进行开发的FPGA卷积加速器,既满足了计算实时性的要求,同时也解决了功耗和体积问题,验证了本方法的有效性。     

基于卷积神经网络和LSTM循环神经网络的客户复购预测方法

通常一个销售代表会有数百名客户.销售代表无法定量预测哪位客户最近有下单需求,所以多采用轮询或者主观直觉的方式决定每天的回访客户名单.本文以深度学习的思路,把销售代表的历史回访记录作为输入数据,以卷积神经网络(CNN)和循环神经网络(RNN)为基础模型,让模型学习客户复购行为的内在逻辑以便指导初级销售代表的每日回访工作....     

基于多传感器信号和卷积神经网络的滚动轴承故障诊断

针对滚动轴承故障信号非平稳非线性且易受背景噪声干扰的特点,结合深度学习的优势,提出了一种基于卷积神经网络(CNN)的滚动轴承故障诊断法。将不同故障下多个传感器测得的1维(1D)振动信号转化为2维(2D)灰度图像作为网络输入,并将其分为训练集和测试集;将训练集输入卷积神经网络进行训练,自动提取其中的特征;测试集被用于验证学习完毕的网络的有效性,实现滚动轴承故障识别。该方法不依赖于人为经验和信号处理技术进行预先的信号特征提取,实验数据分析表明,相比于经典的支持向量机和概率神经网络方法,提出的方法识别准确率更高且更稳定。     

基于卷积神经网络和Transformer网络的鸟声识别

针对传统鸟声识别算法中特征提取方式单一、分类识别准确率低等问题,提出一种结合卷积神经网络和Transformer网络的鸟声识别方法。该方法综合考虑网络局部特征学习和全局上下文依赖性构造,从原始鸟声音频信号中提取短时傅里叶变换(Short Time Fourier Transform,STFT)语谱图特征,将其输入到卷积神经网络(ConvolutionalNeural Network,CNN)中提取局部频谱特征信息,同时提取鸟声信号的对数梅尔特征及一阶差分、二阶差分特征用于合成梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)混合特征向量,将其输入到Transformer网络中获取全局序列特征信息,最后融合所提取的特征可得到更丰富的鸟声特征参数,通过Softmax分类器得到鸟声识别结果。在Birdsdata和xeno-canto鸟声数据集上进行实验,平均识别准确率分别达到了97.81%和89.47%。实验结果表明该方法相较于其他现有的鸟声识别模型具有更高的识别准确率。     

基于卷积神经网络模型的遥感图像分类

研究了遥感图像的分类,针对遥感图像的支持向量机(SVM)等浅层结构分类模型特征提取困难、分类精度不理想等问题,设计了一种卷积神经网络(CNN)模型,该模型包含输入层、卷积层、全连接层以及输出层,采用Soft Max分类器进行分类。选取2010年6月6日Landsat TM5富锦市遥感图像为数据源进行了分类实验,实验表明该模型采用多层卷积池化层能够有效地提取非线性、不变的地物特征,有利于图像分类和目标检测。针对所选取的影像,该模型分类精度达到94.57%,比支持向量机分类精度提高了5%,在遥感图像分类中具有更大的优势。     

基于小波散射卷积神经网络的结构损伤识别

损伤识别是结构状态评估领域的关键问题之一,对确保结构安全性有重要意义。深度学习算法在基于振动的结构损伤识别方面带来了许多突破,但从海量数据中挖掘结构损伤关键信息仍是亟待解决的技术难题。该研究提出了基于一维卷积神经网络(one-dimensional-convolutional neural network, 1D-CNN)深度学习的结构多类型损伤识别模型,采用小波散射变换对1D-CNN架构第一层卷积滤波器进行替换,通过散射系数实现输入层原始数据降维与特征提取,结合CNN卷积层、激活层和池化层实现监测数据特征增强处理。在此基础上,结合1D-CNN全连接层与Softmax函数实现特征数据分类,从而实现结构多类型损伤定位与定量高效识别。通过钢桁架结构和斜拉桥两种数值模型对上述框架进行了验证。结果表明：与普通卷积神经网络模型相比,基于小波散射卷积神经网络的结构损伤识别精度显著提升,损伤分类准确率达95.0%以上。随着传感数据环境噪声比例的增加,小波散射卷积神经网络损伤分类准确率虽略有下降,但仍保持较高精准度,说明该方法具有较强的鲁棒性抗噪能力。     

基于多分支深度可分离卷积神经网络的滚动轴承故障诊断研究

针对传统滚动轴承故障诊断方法存在抗噪性差、需要人工特征提取、计算量较大、对运行设备要求高的问题,提出一种基于多分支深度可分离卷积神经网络(MBDS-CNN)的滚动轴承故障诊断方法,利用深度可分离卷积和权重剪枝技术对模型尺寸进行压缩,通过多分支结构保证模型的精度,避免梯度消失现象的发生.使用模型尺寸、诊断精度、预测速度作...     

结合卷积神经网络多特征融合的相关滤波跟踪

针对相关滤波跟踪中的多特征融合问题,本文提出了基于多通道相关滤波框架结合卷积神经网络(CNN)多特征融合的跟踪算法。首先引入梯度直方图和颜色名特征,利用传统的特征提取方法将提取的特征进行简单的矢量相加。然后采用在ImageNet上训练的卷积神经网络进行特征提取,使用conv5-4卷积层的输出作为特征,再分别训练各自的相关滤波器,对特征响应进行可靠性加权求和获得目标位置。最后,通过最大响应值和平均峰值相关能量的变化来判断是否更新模型。在标准测试集(OTB-100)上进行实验测试,与5种基于相关滤波的主流算法进行性能对比。实验结果表明,本文算法在光照变化、尺度变化及遮挡等复杂情况下的鲁棒性和跟踪精度都优于其他算法。     

基于补偿距离评估和一维卷积神经网络的离心泵故障快速智能识别方法

一维卷积神经网络可适用于振动等一维信号的识别与分类,但将其直接应用于机械故障诊断时小样本训练条件下的识别准确率与识别速度是其亟需解决的问题.针对上述问题,提出一种基于补偿距离评估和一维卷积神经网络的离心泵故障快速智能识别方法.基于离心泵振动分析与故障诊断理论,通过提取时域、频域、能量及熵特征来构造混合域全特征集,充分挖...     

基于双分支加权卷积神经网络的视网膜图像质量评价方法

近年来,眼底图像分析已成为一种直观且高效的辅助诊断技术。专家根据眼底相机捕获的视网膜图像对眼底疾病患者进行诊断,因此,眼底视网膜图像的质量对于医生提供及时且准确的疾病诊断至关重要。本文提出一种端到端的眼底视网膜图像质量评价方法,通过空间横向和纵向卷积的双分支模块进行特征提取,并对双分支所提取的特征进行加权融合,以提高模型的特征提取能力。通过自有数据集的训练,本文提出的模型准确率达到85.14%,AUC为0.9173,F1分数为0.7838。为验证模型的有效性,使用DRIMDB公开数据集进行测试,准确率达到92.11%,AUC为0.9911,F1为0.8966。实验结果表明,提出的方法对于眼底图像质量评价是有效的,具有优越的性能和高效的收敛速率。     

基于改进卷积神经网络的柴油机故障诊断方法研究EI北大核心CSCD

现有基于卷积神经网络(convolutional neural network,CNN)的柴油机故障诊断方法易过拟合,网络收敛速度较慢、处理小样本数据时诊断精度低,针对以上问题,提出了一种基于改进CNN的“端到端”柴油机故障诊断方法。该方法在CNN架构上,采用指数线性单元(exponential linear units,ELU)作为激活函数及小批量训练方法加速模型收敛,用全局平均池化(global average pooling,GAP)代替全连接层以降低过拟合风险。基于台架试验的诊断结果表明:所提方法进行柴油机典型故障诊断的精度达到99.18%;与未改进模型及现有基于CNN的柴油机故障诊断算法相比,该方法在处理小样本数据集时仍保持最高识别精度。     

基于稀疏子空间的卷积神经网络目标跟踪

针对粒子滤波目标跟踪过程中初始化和权值退化的数据处理情况,在粒子滤波框架下提出一种基于稀疏子空间的卷积神经网络目标跟踪算法。以仿生学为基础,在目标跟踪过程中引入稀疏子空间和卷积神经网络。首先,利用稀疏子空间模型筛选出与目标状态相似度较高的候选区域进行后续跟踪处理,减少冗余计算并降低跟踪的复杂性;然后,将稀疏子空间输出用作卷积神经网络的输入,并利用卷积神经网络模型对图像数据处理的优点进行目标跟踪的数据处理;最后,通过对目标数据的不断更新来减少目标表观变化的影响。实验表明,该算法能够更好地处理目标跟踪中的目标遮挡、运动模糊、光流与尺度变化,提高算法的准确性和数据处理能力。     

基于续尺度卷积网络的10 MW漂浮式风力机筋腱损伤识别EI北大核心CSCD

为提升复杂环境中漂浮式风力机平台筋腱结构隐性损伤识别率,基于卷积神经网络(convolutional neural network,CNN),提出连续多尺度卷积神经网络(continues-multi-scale convolutional neural network,CMS-CNN),建立“端到端”的损伤识别模型。为验证CMS-CNN方法的有效性,以10 MW漂浮式风力机为研究对象,对损伤位置、程度进行故障诊断,结果表明:连续多尺度模型比传统多尺度的诊断结果更佳;横荡加速度受环境载荷影响较小,基于此响应信号所训练的CMS-CNN诊断模型更可靠;CMS-CNN模型可在筋腱结构微弱损伤时实现精准定位,亦能完成结构隐性损伤程度识别。     

SCMA-D2D混合网络卷积自编码器

为满足物联网通信大连接、低功耗的需求,高效利用有限的频谱资源成为一项重要的挑战。在应用了稀疏码分多址接入(SCMA)技术的蜂窝网络中增加设备对设备(D2D)用户对,两者共享频谱资源,可以进一步提高频谱利用率,满足大规模连接和低功耗的通信需求。然而,当不同类型的用户共享相同的频谱资源时会导致严重的用户间干扰,导致多用户检测精度降低,译码复杂度增高。本文使用卷积神经网络(CNN)进行SCMA-D2D混合网络自编码器设计,通过端到端的联合训练,设计出合适的神经网络结构。用CNN单元实现混合网络的编码,学习SCMA蜂窝用户和D2D用户的有效码本;将混合网络的多用户检测问题建模为一个基于共享层机制的多任务分类解码问题,建立多用户分类解码器。实验结果表明,本文提出的自编码器能够生成对系统适应性更强的码本,结合接收端的多任务分类解码器能够有效地提高整个混合网络系统的误码率性能,同时减小译码计算复杂度。     

基于声成像与卷积神经网络的轴承故障诊断方法及其可解释性研究EI北大核心CSCD

常用的振动诊断技术一般采用接触式测量,在测量受限的场合具有一定的局限性。该研究提出一种具有非接触测量优势的基于声成像与卷积神经网络的滚动轴承声学故障诊断方法。首先,利用传声器阵列获取滚动轴承辐射的空间声场;然后,用波叠加法进行声成像,重建后的声像能够描述声场的空间分布信息;最后,建立卷积神经网络(convolutional neural network,CNN),使用不同轴承运行状态下的声像样本对CNN模型进行训练用于故障诊断。同时,针对深度学习模型的诊断结果缺乏可解释性的问题,采用梯度加权类激活图(gradient-weighted class activation map,Grad-CAM)算法对卷积神经网络在基于声像的轴承故障诊断中的可解释性进行了研究。轴承试验台的声阵列数据验证了所提方法的有效性及优越性。     

面向深度可分离卷积的硬件高效加速器设计

采用深度可分离(DS)卷积替代标准卷积已成为神经网络轻量化设计的趋势,但是由于深度可分离卷积不规则的数据维度和数据尺寸,现有卷积神经网络加速器在处理这类网络时计算并行度和计算单元(PE)利用率无法得到保证,导致加速器计算性能降低。针对这一问题,本文提出一种通道朝向的计算数据流,该数据流能够将数据维度不同的Depthwise卷积、Pointwise卷积和标准卷积在统一的数据流下展开运算。基于该数据流,设计了一款面向深度可分离卷积的加速器,该加速器采用统一的计算核心处理深度可分离卷积中各类卷积运算,在低面积开销下实现了高计算并行度。实验结果表明,与目前现有的深度可分离卷积加速器相比,该设计获得了 1.32倍处理速度和1.76倍面积效率的提升。