卷积神经网络模型分析

随着深度学习概念的提出,深层神经网络成为机器学习的一个研究方向。在众多的神经网络模型中,卷积神经网络由于具有权值共享、局部感受野、降维等特点,取得了较好的应用成果。卷积神经网络结构包括输入层、卷积层、下采样层、全连接层、输出层,当前层的输出经过激活函数作用后成为下一层的输入。文章对卷积网络的数学模型进行详细推理,采用Python编码实现了深层卷积网络,分别在MNIST和CIFAR-10数据集上进行了测试。实验结果表明,无论是灰度图像还是彩色图像,卷积神经网络都具有较好的识别效果。     

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。     

基于多残差学习与注意力融合的中值滤波检测

针对小尺寸JPEG压缩图像携带有效信息较少、中值滤波痕迹不明显的问题,提出一种基于多残差学习与注意力融合的图像中值滤波检测算法。该算法将多个高通滤波器与注意力模块相结合,获取带权值的多残差特征图作为特征提取层的输入,特征提取层采用分组卷积形式,对输入的多残差特征图进行多尺度特征提取,融合不同尺度的特征信息,同时采用密集连接方式,每一层卷积的输入来自前面所有卷积层的输出和。实验结果表明,针对小尺寸JPEG压缩图像的中值滤波检测,本文算法比现有算法具有更高的检测精度,且能更有效地检测与定位局部篡改区域。     

基于深度学习的车联边缘网络交通事故风险预测算法研究

针对传统交通事故风险预测算法无法自动判别数据特征,且模型表达能力差等问题。该文提出一种基于深度学习的车联边缘网络交通事故风险预测算法,该算法首先针对车载自组织网络中采集的大量交通数据,采用边缘服务器中建立的卷积神经网络自主提取多维特征,经归一化、去均值等预处理后,再将得到的新变量输入卷积层、采样层进行训练,最后根据全连接层输出的判别值,得到模拟预测交通事故发生的风险性。仿真结果表明,该算法被验证能够预测交通事故发生的风险性,较传统的机器学习算法BP神经网络、逻辑回归具有更低的损失与更高的预测准确度。     

基于卷积网络通道注意力的人脸表情识别

针对目前人脸表情识别(Facial Expression Recognition,FER)方法准确率低、 模型大和识别时间长的问题,提出了一种基于卷积神经网络的通道注意力FER算法,在普通的卷积层中加入Xception网络中的可分离卷积网络,减少参数量和运算成本.在可分离卷积层的输出加入通道注意力Senet,实现对输出...     

深度卷积神经网络的柔性剪枝策略

尽管深度卷积神经网络在多种应用中取得了极大的成功,但其结构的冗余性导致模型过大的存储容量和过高的计算代价,难以部署到资源受限的边缘设备中。网络剪枝是消除网络冗余的一种有效途径,为了找到在有限资源下最佳的神经网络模型架构,提出了一种高效的柔性剪枝策略。一方面,通过计算通道贡献量,兼顾通道缩放系数的分布情况;另一方面,通过对剪枝结果的合理估计及预先模拟,提高剪枝过程的效率。基于VGG16与ResNet56在CIFAR-10的实验结果表明,柔性剪枝策略分别降低了71.3%和54.3%的浮点运算量,而准确率仅分别下降0.15个百分点和0.20个百分点。     

基于特征级联卷积网络的双目立体匹配

针对图像序列病态区域匹配歧义性以及稠密视差图连通性的问题,本文提出一种基于特征级联卷积神经网络的双目立体匹配计算方法.构造特征重用的全卷积密集块,利用"跳连接"机制将浅层提取的特征图级联到后续子层,对深层卷积丢失的局部特征信息进行补偿.引入指示函数划分一定大小的训练集,将其批量输入特征级联卷积网络模型进行前向传播,同时通过小批量梯度下降(Mini-Batch Gradient Descent,MBGD)策略更新初始权重和偏置参数.根据负连接神经元对网络模型的输出进行初始匹配代价计算,并利用十字交叉域代价聚合(Cross Based Cost Aggregation,CBCA)和半全局立体匹配(Semi-Global Matching,SGM)等算法对代价函数进行优化,求得精准稠密的视差图.分别采用Middlebury数据库提供的训练和测试立体图像集对本文方法和深度学习方法MC-CNN、CBMV、MC-CNN-WS等具有代表性方法进行对比测试.实验结果表明,本文方法具有较高的视差计算精度和鲁棒性,尤其对复杂场景、光照变化以及弱纹理等困难场景图像序列能有效提高匹配率和保持图像细节.     

基于注意力机制的交通信号控制技术

多年来深度强化学习算法与智能交通系统结合的方法在交通信号控制领域取得了突出成效。然而,仅依靠深度强化学习算法仍然无法弥补卷积神经网络提取特征的缺陷,从而影响智能体的整体策略输出。针对现存的特征提取问题,在深度双Q网络（double deep Q network, double DQN）模型基础上提出了一种基于注意力机制的深度强化学习模型进行交通信号控制。将压缩激活网络（squeeze and excitation networks, SENet）注意力机制添加到三维卷积神经网络中,通过建模特征图通道间的相互依赖来增强卷积神经网络的表征质量,从而输出最优的交通信号控制动作。实验结果表明,算法表现出了良好的交通信号控制效果,且具有显著的稳定性。     

基于深度卷积神经网络的协作频谱感知方法

针对传统卷积神经网络(CNN)频谱感知方法提取特征能力受限于网络结构简单,增加网络结构又容易出现梯度消失等问题,该文通过在传统卷积神经网络中添加捷径连接,实现输入层恒等映射更深的网络,提出一种基于深度卷积神经网络(DCNN)的协作频谱感知方法.该方法将频谱感知问题转化为图像二分类问题,对正交相移键控(QPSK)信号的协方差矩阵进行归一化灰度处理,并作为深度卷积神经网络的输入,通过残差学习训练深度卷积神经网络模型,提取2维灰度图像的深层特征,将测试数据输入到训练好的模型中,完成基于图像分类的频谱感知.实验结果表明:与传统的频谱感知方法相比,在低信噪比(SNR)下、多用户协作感知时,所提方法具有更高的检测概率和更低的虚警概率.     

基于F-CNN的雷达目标辨识算法

针对雷达真实目标、地杂波和密集假目标的辨识问题，提出了一种基于分解卷积神经网络的雷达目标辨识算法。以深度可分离卷积为基础建立分解卷积神经网络模型。为了减少模型参数，通过减少卷积核数量和全连接层连接节点数量，减少识别特征种类，建立了精简分解卷积神经网络。实测数据的处理结果表明，该算法与现有卷积神经网络方法相比，精简分解卷积神经网络对真实目标样本、地杂波样本和密集假目标样本具有更高的识别正确率，且精简模型参数数量不到现有方法的十分之一。     

改进的超分辨率图像重建算法

针对超分辨率卷积神经网络(SRCNN)卷积层较少、训练时间长、不易收敛且表达和泛化能力受限等问题,提出了一种残差反卷积SRCNN(RD-SRCNN)算法。首先利用不同大小的卷积核进行卷积操作,以更好地提取低分辨率图像中的细节特征;然后将获取的图像特征输入由不同大小卷积核构成的卷积层和指数线性单元激活层组成的残差网络,并通过短路径连接各个特征提取单元,以解决梯度消失、实现特征重用、减少网络冗余;最后,通过加入反卷积层增大感受野,得到清晰的高分辨率图像。实验结果表明,RD-SRCNN算法在视觉和客观评价标准上均取得了较好的效果。     

基于核化双线性卷积网络的细粒度图像分类

双线性卷积网络（Bilinear CNN,B-CNN）在计算机视觉任务中有着广泛的应用.B-CNN通过对卷积层输出的特征进行外积操作,能够建模不同通道之间的线性相关,从而增强了卷积网络的表达能力.由于没有考虑特征图中通道之间的非线性关系,该方法无法充分利用通道之间所蕴含的更丰富信息.为了解决这一不足,本文提出了一种核化的双线性卷积网络,通过使用核函数的方式有效地建模特征图中通道之间的非线性关系,进一步增强卷积网络的表达能力.本文在三个常用的细粒度数据库CUB-200-2011、FGVC-Aircraft以及Cars上对本文方法进行了验证,实验表明本文方法在三个数据库上均优于同类方法.     

Transparency-guided ensemble convolutional neural network for the stratification between pseudoprogression and true progression of glioblastoma multiform in MRI

For patients with glioblastoma multiform (GBM), differentiating pseudoprogression (PsP) from true tumor progression (TTP) is a challenging and time-consuming task for radiologists. Although deep neural networks can automatically diagnose PsP and TTP, lacking of interpretability has always been its major drawback. To overcome these shortcomings and produce more reliable outcomes, we propose a transparency-guided ensemble convolutional neural network (CNN) to automatically discriminate PsP and TTP in magnetic resonance imaging (MRI). A total of 84 patients with GBM were enrolled in the study. First, three typical convolutional neutral networks, namely VGG, ResNet and DenseNet, were trained to distinguish PsP and TTP. Subsequently, we used class-specific gradient information from convolutional layers to highlight the important regions in MRI scans. And radiologists selected the most lesion-relevant layer for each CNN. Finally, the selected layers are utilized to guide the construction of a multi-scale ensemble CNN whose classification accuracy reached 90.20%, and whose specificity is promoted 20% than that of a single CNN. The results demonstrate the presented network can enhance the reliability and accuracy of CNNs.     

基于自注意力机制的干扰信号检测识别

为了解决卫星通信系统在对抗电磁环境中的干扰实时检测识别问题,提出了一种基于自注意力(Self-attention,SA)机制的高效轻量化网络模型。通过采用DenseNet加速对原始IQ信号的特征提取,并引入自注意力模块代替参数量较大的多重卷积层,实现对卫星通信系统中常见的干扰样式进行分类识别。仿真结果表明,在识别准确率方面达到常规的神经网络模型和算法性能水平的条件下,所提模型在网络复杂度和运算时延方面得到有效压缩。     

Image super-resolution based on deep neural network of multiple attention mechanism

At present, the main super-resolution (SR) method based on convolutional neural network (CNN) is to increase the layer number of the network by skip connection so as to improve the nonlinear expression ability of the model. However, the network also becomes difficult to be trained and converge. In order to train a smaller but better performance SR model, this paper constructs a novel image SR network of multiple attention mechanism(MAMSR), which includes channel attention mechanism and spatial attention mechanism. By learning the relationship between the channels of the feature map and the relationship between the pixels in each position of the feature map, the network can enhance the ability of feature expression and make the reconstructed image more close to the real image. Experiments on public datasets show that our network surpasses some current state-of-the-art algorithms in PSNR, SSIM, and visual effects.     

基于双对数谱和卷积网络的船舶辐射噪声分类

卷积层平移等变性与线性谱不适配，卷积网络对高维特征的长距离依赖建模能力不足。该文提出一种双对数谱特征用于船舶辐射噪声分类。双对数谱通过重新排列对数谱频点，保证高频端分辨率的同时，规避使用太深的卷积网络。利用双对数谱各行表征同一目标的先验知识，构建卷积网络和目标函数。DeepShip数据集上的试验结果表明，特征维数相同情况下，提出的算法分类正确率比以线性谱为输入的卷积网络提高2.4%以上。     

基于增强卷积神经网络的尺度不变人脸检测方法

针对非约束场景下小尺寸人脸检测困难的问题,提出了一种基于增强卷积神经网络的尺度不变人脸检测方法。首先,在SSD基础检测网络的两个浅层特征图上,通过协调聚合当前层特征图和前后两层特征图的特征信息,对当前层特征图的鉴别性和稳健性进行增强。然后,对两个增强特征图进行负样本筛选,通过增加分类的难度来降低由小尺寸锚框引起的人脸检测假正率上升。最后,为原始特征图和增强特征图设置了两种基于锚框尺寸的损失函数,并通过加权求和的方式对其进行融合。在FDDB和WIDER FACE数据集上的测试结果表明,文中所提方法比目前主流人脸检测方法具有更高的检测精度。     

多层融合深度局部PCA子空间稀疏优化特征提取模型

子空间方法是主要利用全局信息的经典模式识别方法,随着深度学习思想的引入,局部自学习结构特征模型得到大家的关注.利用深度学习原理,本文提出一种多层融合的深度局部子空间稀疏优化特征自学习抽取模型解决目标识别问题.首先,对训练样本集通过最小化重构误差得到第一层的主成分（Principal Component Analysis,PCA）特征映射矩阵;然后,通过L₁范数约束对特征映射结果进行稀疏优化,提高算法鲁棒性.接着,在第二层映射层以第一层的特征输出为输入,进行同样的特征矩阵学习操作,最终将图像映射至深层PCA子空间;然后,对各个映射层的特征提取结果进行加权融合,进行二值化哈希编码和直方图分块编码,提取图像的深度子空间稀疏特征.在FERET、AR、Yale等经典人脸数据库以及MNIST、CIFAR-10等目标数据库上的实验结果表明,该算法可以取得较高的识别率以及较好的光照、表情、人脸朝向鲁棒性,并且相对于卷积神经网络等深度学习框架具有结构简洁、收敛速度快等优点.     

基于特征融合卷积神经网络的FMCW雷达人体动作识别

针对微多普勒特征识别人体动作的局限性,基于调频连续波( Frequency Modulated Continuous Wave,FMCW)雷达采用深度学习方法对人体动作识别,提出了一种特征融合卷积神经网络结构.利用FMCW雷达采样的人体动作回波数据分别构建出时间-距离特征和微多普勒特征图,将这两种特征图作为输入数据分别...     

基于卷积神经网络的Android流量分类方法

深度学习就是机器学习研究的过程,主要通过模拟人脑分析学习的过程对数据进行分析。目前,深度学习技术已经在计算机视觉、语音识别、自然语言处理等领域获得了较大发展,并且随着该技术的不断发展,为网络流量分类和异常检测带来了新的发展方向。移动智能手机与大家的生活息息相关,但是其存在的安全问题也日益凸显。针对传统机器学习算法对于流量分类需要人工提取特征、计算量大的问题,提出了基于卷积神经网络模型的应用程序流量分类算法。首先,将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。其次,设计了一种新的卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手,构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中的特征选择问题。最后,通过CICAndmal2017网络公开数据集进行模型测试,相比于传统的机器学习流量分类模型,设计的卷积神经网络模型的查准率和查全率分别提高了2.93%和11.87%,同时在类精度、召回率以及F1分数方面都有较好的提升。