结合双金字塔特征融合与级联定位的车牌检测

为了解决复杂环境中不同因素干扰车牌检测精确度的问题,提出了一种基于双金字塔特征融合的复杂环境下车牌检测算法。通过采用Mish激活函数的残差网络（ResNet101-M）对输入图像进行初级特征提取;在传统特征金字塔网络（feature pyramid network,FPN）的基础上,提出了一种改进的双金字塔特征融合网络（siamese feature pyramid network,SFPN）。被提取的初级特征被送入该网络进行多层特征融合。融合后的特征被送入基于形状先验的锚点设置网络来确定感兴趣区域。将所生成的感兴趣区域送入级联定位网络从而得到准确的车牌检测结果。实验结果表明,该算法在AOLP与CCPD车牌数据集上均能够有效提升检测性能。     

多尺度密集网络在红外和可见光图像融合应用

为了进一步提升红外和可见光图像的融合效果,提出了一种基于多尺度卷积算子和密集连接网络的图像融合模型.该模型首先使用多尺度卷积算子计算图像的直接多尺度特征,然后使用密集连接网络计算图像的间接多尺度特征.为了得到图像像素信息在不同尺度下的融合权重,通过叠加的方式将各个尺度密集连接网络的输出进行融合,并使用活动图方法计算两类图像的融合权重,最后根据权重计算结果得到融合图像,实验在THO数据集和CMA数据集获得较好的识别率.     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于上下文特征融合的行为识别算法

针对LSTM网络无法充分提取短时信息导致人体行为识别率不高的问题,提出一种基于上下文特征融合的卷积长短时记忆网络联合优化架构,用于仅具有RGB数据的行为识别网络。使用3D卷积核对输入的动作序列提取其空间特征和短时时间特征,并将多通道信息进行融合,将融合后的特征送入下一级卷积神经网络和LSTM层中进行长期时间的特征学习,获取上下文的长期时空信息,最后用Softmax分类器进行人体行为的分类。实验结果表明,在人体行为识别公开数据集UCF-101上,提出的基于上下文特征融合的卷积长短时记忆网络的平均识别准确率达93.62%,相比于未进行特征融合的卷积长短时记忆网络提高了1.28%,且平均检测时间降低了37.1%。     

基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建

针对肺部计算机断层扫描（CT）图像的超分辨率（SR）重建中需要加大对肺结节的关注度、满足重建后的特征具有客观存在性等问题,提出一种基于特征金字塔网络（FPN）和密集网络的肺部图像SR重建方法。首先,在特征提取层利用FPN提取特征;其次,在特征映射层设计基于残差网络的局部结构,再用特殊的密集网络连接此类局部结构;再次,在特征重建层利用卷积神经网络（CNN）将不同深度的卷积层逐渐降为图像大小;最后,利用残差网络融合初始低分辨率（LR）特征与重建的高分辨率（HR）特征,形成最终的SR图像。对比实验显示,FPN中2次特征融合和特征映射中5个局部结构连接的深度学习网络效果更佳。所提出的网络相较于超分辨率卷积神经网络（SRCNN）等经典网络重建SR图像的峰值信噪比（PSNR）更高,并且可以获得更好的视觉质量。     

基于改进TCN模型的野外运动目标分类

野外运动目标信号的背景噪声复杂,利用单模态声音信号进行野外目标分类识别率低且鲁棒性差。针对该问题,提出一种基于声震多模态融合的网络模型。借鉴DenseNet网络密集连接的思想改进时域卷积网络,从而对四通道声音信号和单通道震动信号进行深层次的特征提取,并将两种信号相互融合得到最终的目标分类结果。同时,使用带权重的损失函数解决因数据不均衡导致的泛化性能差的问题。实验结果表明,融合网络的识别准确率达到92.92%,较单模态输入网络提高了6.63%~9.46%,且该网络具有较强的鲁棒性。     

双路径反馈网络的图像超分辨重建算法

图像超分辨率重建在安防系统,小目标检测以及医学图像等有着广泛的应用.本文提出一种双路径反馈网络来提高图像超分辨重建的性能.在双路径网络中,一条路径采用深度残差稠密网络学习重建图像的高频信息,另一条路径直接在输入图像上通过亚像素卷积层上采样到所需分辨率来给重建图像提供低频信息,然后将两条路径得到的特征图进行融合来自适应的选取所需要的信息,接着通过一个反馈型卷积层进行局部循环训练来获得大的感受野.通过在数据集DIV2K上训练,实验结果表明所提方法的有效性和优越性.     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

轻型金字塔池化注意力机制网络实现图像超分

在基于深度学习的图像超分辨率重建领域,通过扩大网络规模以提高性能将导致计算资源损耗增加。为此,提出了一种轻量级的基于金字塔池化注意力机制网络（light-weighted pyramid pooling-based attention network,LiPAN）,该算法模型由融合注意力机制的信息蒸馏块、多层金字塔池化结构和反向注意力融合模块组成。注意力机制确保了网络对重要特征的提取,金字塔池化结构可获取更多的上下文信息,得到更准确的重建结果,蒸馏结构的引入可有效地提高网络性能并减少网络参数。与目前主流的轻量级网络模型相比,提出的LiPAN模型在Set5、Set14、BSD100及Urban100四个公共数据集分别进行2倍、3倍和4倍下采样重建并定量评估,获得最优峰值信噪比和结构相似度。由此表明,提出的LiPAN在网络模型参数与当前主流的轻量级网络相当的情况下,具有更优的超分辨率重建性能。     

基于双残差超密集网络的多模态医学图像融合

针对基于残差网络和密集网络的图像融合方法存在网络中间层的部分有用信息丢失和融合图像细节不清晰的问题,提出了基于双残差超密集网络(Dual Residual Hyper-Densely Networks,DRHDNs)的多模态医学图像融合方法。DRHDNs分为特征提取和特征融合两部分。特征提取部分通过将超密集连接与残差学习相结合,构造出双残差超密集块,用于提取特征,其中超密集连接不仅发生在同一路径的层之间,还发生在不同路径的层之间,这种连接使特征提取更充分,细节信息更丰富,并且对源图像进行了初步的特征融合。特征融合部分则进行最终的融合。通过实验将其与另外6种图像融合方法对4组脑部图像进行了融合比较,并根据4种评价指标进行了客观比较。结果显示,DRHDNs在保留细节、对比度和清晰度等方面都有很好的表现,其融合图像细节信息丰富并且清晰,便于疾病的诊断。     

基于一维卷积神经网络与改进D-S证据理论的警务云安全数据融合技术

针对系统内评估信息来源单一、准确度偏差过大与异构数据提取融合不充分的问题,提出了一种可扩展攻击行为的多源异构网络安全数据融合框架。首先,建立以攻击模式为核心的安全事件分析模型,进一步精简安全数据;其次,针对决策层数据特征提取不足的问题,建立了基于攻击行为的1D-CNN （1D convolutional neural network,1D-CNN）模型,对警务安全数据进行特征学习和重构;为了进一步提高警务云安全数据的分类能力,模型改进了D-S证据理论并结合多源安全数据的可信度进行数据融合。实验分析表明,基于1D-CNN的改进D-S证据理论模型进一步提高了警务云中安全事件的报警识别率,与其他相关技术相比,该模型具有较好的分析能力,对警务云的安全入侵检测和漏洞分析具有重要意义。     

残差密集块的卷积神经网络图像去噪

针对加性高斯白噪声的图像信噪比低, 图像细节丢失问题, 结合现有卷积神经网络算法, 提出了一种基于残差密集块的卷积神经网络图像去噪模型. 该模型通过引入多级残差网络和密集连接, 并对整体网络使用Leaky ReLU激活函数, 去除不同等级强度噪声的同时, 更好保留图像的有效信息, 有效避免特征丢失. 本文提出算法和深度卷积神经网络残差学习(DnCNN)模型对比, 本文提出的模型在Set12和BSD68测试集上峰值信噪比平均提升了约0.12 dB, 结构相似性平均提升了约0.008 6, 通过观察实验效果, 表明该模型能够充分提取图像特征, 保留图像细节, 同时降低网络计算的复杂度.     

基于特征融合和改进卷积神经网络的环境音识别

由于环境声音复杂的结构,环境声音识别是一个具有挑战性的问题。本文提出一种将特征融合与改进卷积神经网络算法相结合的环境音识别方法。首先针对原始音频文件,提取从波形中学习到的特征以及传统音频特征,分别为MFCC（梅尔倒谱系数）、GFCC（伽玛通频率倒谱系数）、频谱对比度和CQT（恒定Q变换）;然后将提取到的特征分别输入到端到端的神经网络SF-CNN和多尺度卷积神经网络MS-CNN中进行识别;最后根据D-S证据理论决策规则进行决策级融合,输出最终识别结果。通过在公开数据集ESC-50进行的实验结果表明,本文提出的模型能够提高识别准确率,且优于单特征模型,更适用于复杂的声学场景。     

基于小波矩和BP网络的声音识别

目前大多数声音识别系统在无噪声环境下可以达到很高的识别率,但是在噪声环境下,识别率急剧下降。针对这个问题,提出一种基于小波矩和BP网络的声音识别方法。根据声音信号生成声谱图;通过小波矩对声谱图进行特征提取,选取有代表性意义的特征参数;根据选取的参数进行BP网络分类识别,从而识别声音的种类。实验结果表明,该方法在不同噪声种类以及不同信噪比的噪声环境下仍然具有较好的识别效果,克服了低信噪比下识别率低的缺陷。     

一种基于多特征证据理论融合的视觉词典构建方法-CIDE2013

现有的视觉词典构建方法一般是将多个特征构成一个向量并通过聚类形成视觉词典,这种方法在视觉聚类的过程中只考虑了特征的整体相似性而忽略了不同特征对构建视觉词典的影响。本文提出了一种基于Dempster-Shafer（D-S）证据理论的多特征融合的视觉词典构建方法,应用证据理论融合不同特征的视觉相似性,从而构造出更加精确的视觉词典。应用以上视觉词典构造方法并将之应用于分类实验,在支持向量机与朴素贝叶斯分类器上取得的分类实验结果表明,应用本文方法构建的视觉词典能有效提高视觉词典的精确度,分类效果得到了很大的提高。     

基于BP网络和D-S证据理论的瓦斯监测系统的研究

针对目前煤矿采用的瓦斯传感器输出信号具有模糊性、不确定性等问题,提出了一种基于BP网络和D-S证据理论的瓦斯监测系统的设计方案。该系统采用改进的BP算法获取煤矿环境的基本概率分配,采用D-S证据理论对BP网络输出结果进行信息融合,从而对井下瓦斯状态作出判断和决策。实验结果表明,该系统提高了瓦斯监测信息的准确性和决策的快速性。     

信息融合在飞行器智能健康诊断中的应用

提出了一种基于经验模态分析(Empirical mode decomposition,EMD)和D-S证据相结合的飞行器健康诊断方法.该方法首先对由声发射传感器募集到的飞行器关键结构部件原始声发射信号进行EMD,得到多个内禀模态分量,选取内禀模态能量构建声发射信号的特征向量,并分别采用模糊神经网络、GRNN网络和Elman神经网络对提取出的特征向量进行分类,最后运用D-S证据理论进行决策融合,对飞行器的健康状态进行诊断.实验表明,运用此方法对某型号真实飞行器关键结构部件的健康状态进行诊断,可以得到很好放入诊断结果.与单分类器相比,采用D-S证据理论进行决策融合有效地提高了故障诊断的精度.     

An adaptive PNN-DS approach to classification using multi-sensor information fusion

In this paper, an adaptive neural network approach to classification which combines modified probabilistic neural network and D-S evidence theory (PNN-DS) is proposed. It attempts to deal with the drawbacks of information uncertainty and imprecision using single classification algorithm. This PNN-DS approach firstly adopts a modified PNN to obtain posteriori probabilities and make a primary classification decision in feature-level fusion. Then posteriori probabilities are transformed to masses noting the evidence of the D-S evidential theory. Finally advanced D-S evidential theory is utilized to gain more accurate classification results in the last decision-level fusion. In order to implement PNN-DS, covariance matrices are firstly employed in the modified PNN module to replace the singular smoothing factor in the PNN’s kernel function, and linear function is utilized in the pattern of summation layer. Secondly, the whole scheme of the proposed approach is explained in depth. Thirdly, three classification experiments are carried out on the proposed approach and a large amount of comparable analyses are done to demonstrate the effectiveness and robustness of the proposed approach. Experiments reveal that the PNN-DS outperforms BPNN-DS, which provides encouraging results in terms of classification accuracy and the speed of learning convergence.     

基于注意力神经网络的糖尿病视网膜病变识别

针对目前糖尿病视网膜病变识别主要依赖于医生的临床经验,病变特征难以用肉眼区分且识别率较低等问题,提出一种基于注意力神经网络的糖尿病视网膜病变分类方法。首先,对原始数据集中的视网膜图像进行归一化、直方图均衡化和数据增强等预处理;其次,调整经典的DenseNet,在避免梯度消失和保证分类精度的前提下,有针对性地减少连接数,提出了2-DenseNet,同时将注意力模块嵌入到2-DenseNet中,指导网络关注视网膜图像中的渗出物、厚血管和微动脉瘤等特征,使用改进后的网络对预处理后的图像进行训练并测试;最后,在公开的Kaggle数据集上对多个网络进行对比,实验结果表明,该网络对糖尿病视网膜病变的分类性能高于其他对比网络。