残差神经网络及其在医学图像处理中的应用研究

残差神经网络（ResNet）是近几年来深度学习研究中的热点,在计算机视觉领域取得较好成就.本文对残差神经网络从以下几个方面进行总结：第一,阐述残差神经网络的基本结构和工作原理;第二,在模型发展方面,以时间为顺序总结了残差神经网络的8种网络模型;第三,在结构优化方面,从残差神经网络的卷积层、池化层、残差单元、全连接层以及整个网络5个方面进行总结;最后,将ResNet应用到医学图像处理领域,主要从图像识别和图像分割2个方面探讨.本文对残差神经网络的原理、模型、结构进行了系统地总结,对残差神经网络的研究发展具有一定的积极意义.     

融合卷积注意力机制与深度残差网络的遥感图像分类

针对遥感影像场景数据空间信息丰富,冗余地理特征干扰深度神经网络模型的问题,提出在深度残差网络中引入卷积注意力机制(Convolutional Block Attention Module,CBAM)的策略.为验证深度残差网络引入CBAM的有效性,用经典深度残差网络ResNet50和融合注意力机制的深度残差网络CBAM_...     

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明,本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB,SSIM +0.102）,从主观评价上看可以有效地减少视频边缘模糊的现象。      

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降。文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差网络在训练时学习到的数据特征信息更加全面,训练后的模型也更加准确。仿真结果表明,改进后的算法比常规的神经网络算法表现更佳,分类准确度从92.05%提高到了96.18%。     

基于门控卷积神经网络的图像超分辨重建算法北大核心CSCD

近年来,卷积神经网络被广泛应用于图像超分辨率领域。针对基于卷积神经网络的超分辨率算法存在图像特征提取不充分,参数量大和训练难度大等问题,本文提出了一种基于门控卷积神经网络(gated convolutional neural network, GCNN)的轻量级图像超分辨率重建算法。首先,通过卷积操作对原始低分辨率图像进行浅层特征提取。之后,通过门控残差块(gated residual block, GRB)和长短残差连接充分提取图像特征,其高效的结构也能加速网络训练过程。GRB中的门控单元(gated unit, GU)使用区域自注意力机制提取输入特征图中的每个特征点权值,紧接着将门控权值与输入特征逐元素相乘作为GU输出。最后,使用亚像素卷积和卷积模块重建出高分辨率图像。在Set14、BSD100、Urban100和Manga109数据集上进行实验,并和经典方法进行对比,本文算法有更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM),重建出的图像有更清晰的轮廓边缘和细节信息。     

一种基于改进残差神经网络的直扩信号感知方法

非合作条件下直扩信号感知问题一直是通信对抗领域研究的热点，传统的感知方法在低信噪比条件下性能下降严重。为有效提升直扩信号感知的性能，提出了一种基于改进残差神经网络的直扩信号感知方法。首先，通过广义互相关算法，快速提取直扩信号的相关峰特性；然后，以残差神经网络为基础，融合注意力机制，建立网络模型，分析识别抽象特征；最后，在仿真的数据集中进行实验验证。结果表明，相较于时域自相关法、卷积神经网络法等，所提方法具备更好的感知效果，能够在信噪比为-16 dB的情形下有效地感知直扩信号。     

基于深度残差网络的图像混合噪声去除

深度卷积神经网络的提出引发了图像处理算法的一系列突破。但是,使用更深入的网络并不总是有帮助,训练它们的巨大障碍是逐渐消失的梯度、大量增长的参数和过长的时间。本文提出了一种基于深度残差网络的图像混合噪声去除算法。通过全局残差学习与局部残差学习,有效地解决了梯度消失与网络参数的增长,提升了模型对图像特征的选择与提取能力,减少了训练时间。实验结果表明,深度残差网络在图像混合噪声去除中效果显著,本文提出的算法得到的去噪图像更好地恢复图像的原始结构,信息丰富,对比度高,鲁棒性强,并且可以更好地保持图像的细节。     

空调系统传感器故障诊断方法

针对空调系统中常见的传感器故障问题,提出了基于小波神经网络(WNN)故障诊断策略.在分析空调系统中传感器主要故障的基础上,建立了传感器故障诊断系统.通过传感器的真实测量值与预测值的残差比较,验证了基于WNN的故障诊断能力,分析了基于WNN与BP神经网络故障诊断的残差比结果.仿真实验表明,基于WNN的故障诊断系统具有结构...     

多级跳线连接的深度残差网络超分辨率重建

由于快速的卷积神经网络超分辨率重建算法(FSRCNN)卷积层数少、相邻卷积层的特征信息之间缺乏关联性,因此难以提取到图像深层信息导致图像超分辨率重建效果不佳。针对此问题,该文提出多级跳线连接的深度残差网络超分辨率重建方法。首先,该方法设计了多级跳线连接的残差块,在多级跳线连接的残差块基础上构造了多级跳线连接的深度残差网络,解决相邻卷积层的特性信息缺乏关联性的问题;然后,使用随机梯度下降法(SGD)以可调节的学习率策略对多级跳线连接的深度残差网络进行训练,得到该网络超分辨率重建模型;最后,将低分辨率图像输入到多级跳线连接的深度残差网络超分辨率重建模型中,通过多级跳线连接的残差块得到预测的残差特征值,再将残差图像和低分辨率图像组合在一起转化为高分辨率图像。该文方法与bicubic, A+, SRCNN, FSRCNN和ESPCN算法在Set5和Set14测试集上进行了对比测试,在视觉效果和评价指标数值上该方法都优于其它对比算法。     

基于DCResNet的SAR图像车辆目标识别

合成孔径雷达（SAR）图像自动目标识别中,特征提取和目标分类是两个重要环节。残差网络（ResNet）作为一种较新的卷积神经网络,凭借其对目标特征的自适应学习能力,在SAR图像分类领域表现突出。本文在ResNet基础上,设计出了密集连接型残差网络（DCResNet）,用于SAR图像目标识别。DCResNet在残差模块中增加了跳跃性连接的密度,不仅继承了ResNet的易学习的优点,还加强了特征的传播和利用率。除此之外,DCResNet采用平均池化的方式进行下采样,抑制了SAR图像中噪声对识别精度造成的影响。关于SAR图像目标识别的实验结果证明,本文提出的DCResNet与ResNet、AlexNet相比,不仅具有更快的收敛速度和推理速度,而且目标分类的准确率更高。     

Modulation classification based on the collaboration of dual-channel CNN-LSTM and residual network

Deep learning has recently been progressively introduced into the field of modulation classification due to its wide application in image, vision, and other areas. Modulation classification is not only the priority of cognitive radio and spectrum sensing, but also the link during signal demodulation. Combining the advantages of convolutional neural network (CNN), long short-term memory (LSTM), and residual network (ResNet), a modulation classification method based on dual-channel CNN-LSTM and ResNet is proposed to automatically classify the modulation signal more accurately. Specifically, CNN and LSTM are initially used to form a dual-channel structure to effectively explore the spatial and temporal features of the original complex signal. It solves the problem of only focusing on temporal or spatial aspects, and increases the diversity of features. Secondly, the features extracted from CNN and LSTM are fused, making the extracted features richer and conducive to signal classification. In addition, a convolutional layer is added within the residual unit to deepen the network depth. As a result, more representative features are extracted, improving the classification performance. Finally, simulation results on the radio machine learning (RadioML) 2018.01A dataset signify that the network's classification performance is superior to many classifiers in the literature.     

一种结合三重注意力机制的双路径网络胸片疾病分类方法

近年来,利用CNN进行医学图像处理,在胸片疾病分类任务中取得显著研究进展。然而,与单一结构CNN相比,双路径网络可结合不同CNN特点,从而提高疾病分类能力。其次,对于不同疾病,其位置、大小、形态、密度、纹理等特征均有不同,而注意力机制有助于模型提取不同病理特征,提升分类精度。因此针对胸片疾病分类问题,该文提出一种结合三重注意力机制的双路径卷积神经网络(TADPN),TADPN将ResNet和DenseNet结合的双路径网络DPN作为骨干网络,并利用3种不同形式的注意力机制改进DPN,在维持参数量稳定的同时提高网络复杂度,进而提升对胸片疾病的分类精度。在ChestXray14数据集上实验,并与目前较为先进的6种算法对比,14种疾病的平均AUC值达到0.8185,较前人提升1.1%,表明双路径CNN及三重注意力机制对胸片疾病分类的有效性及TADPN的先进性。     

基于ResNet_NSCS的通信信号调制识别

针对通信信号调制识别的特征提取问题,为进一步提高识别准确率,提出了一种基于嵌套式跳跃连接结构的残差网络(ResNet of Nested Shortcut Connection Structure,ResNet_NSCS)调制识别算法。该算法在残差神经网络(Residual Neural Network,ResNet)基础上,通过借鉴ResNet多通路选择思路,引入嵌套式恒等跳跃连接结构,利用提取的特征实现不同调制方式的分类。仿真结果表明,面向RadioML2016.10a数据集,较卷积神经网络(Convolutional Neural Network,CNN)算法和卷积神经网络_长短时记忆网络(Convolutional Neural Network_Long Short Term Memory Network,CNN_LSTM)算法,以增加网络复杂度为代价,ResNet_NSCS算法收敛速度快,识别准确率高。     

Recursive residual atrous spatial pyramid pooling network for single image deraining

In recent years, removing rain streaks from a single image has been a significant issue for outdoor vision tasks. In this paper, we propose a novel recursive residual atrous spatial pyramid pooling network to directly recover the clear image from rain image. Specifically, we adopt residual atrous spatial pyramid pooling (ResASPP) module which is constructed by alternately cascading a ResASPP block with a residual block to exploit multi-scale rain information. Besides, taking the dependencies of deep features across stages into consideration, a recurrent layer is introduced into ResASPP to model multi-stage processing procedure from coarse to fine. For each stage in our recursive network we concatenate the stage-wise output with the original rainy image and then feed them into the next stage. Furthermore, the negative SSIM loss and perceptual loss are employed to train the proposed network. Extensive experiments on both synthetic and real-world rainy datasets demonstrate that the proposed method outperforms the state-of-the-art deraining methods.     

AMSFF-Net: Attention-Based Multi-Stream Feature Fusion Network for Single Image Dehazing

In this paper, an end-to-end convolutional neural network is proposed to recover haze-free image named as Attention-Based Multi-Stream Feature Fusion Network (AMSFF-Net). The encoder-decoder network structure is used to construct the network. An encoder generates features at three resolution levels. The multi-stream features are extracted using residual dense blocks and fused by feature fusion blocks. AMSFF-Net has ability to pay more attention to informative features at different resolution levels using pixel attention mechanism. A sharp image can be recovered by the good kernel estimation. Further, AMSFF-Net has ability to capture semantic and sharp textural details from the extracted features and retain high-quality image from coarse-to-fine using mixed-convolution attention mechanism at decoder. The skip connections decrease the loss of image details from the larger receptive fields. Moreover, deep semantic loss function emphasizes more semantic information in deep features. Experimental findings prove that the proposed method outperforms in synthetic and real-world images.     

基于卷积神经网络和胶囊神经网络的宫颈病变图像分类方法研究

为了更好地治疗宫颈癌,准确确定患者的宫颈类型是至关重要的。因此,用于检测和划分宫颈类型的自动化方法在该领域中具有重要的医学应用。虽然深度卷积神经网络和传统的机器学习方法在宫颈病变图像分类方面已经取得了良好的效果,但它们无法充分利用图像和图像标签的某些关键特征之间的长期依赖关系。为了解决这个问题,文章引入了胶囊网络(CapsNet),将CNN和CapsNet结合起来,以提出CNN-CapsNet框架,该框架可以加深对图像内容的理解,学习图像的结构化特征,并开展医学图像分析中大数据的端到端训练。特别是,文章应用迁移学习方法将在ImageNet数据集上预先训练的权重参数传输到CNN部分,并采用自定义损失函数,以便网络能够更快地训练和收敛,并具有更准确的权重参数。实验结果表明,与ResNet和InceptionV3等其他CNN模型相比,文章提出的网络模型在宫颈病变图像分类方面更加准确、有效。     

SRNHARB: A deep light-weight image super resolution network using hybrid activation residual blocks

The quality of the images in all image-based applications and specially in computer vision applications is very crucial. Hence, design of a light-weight high-performance image super resolution scheme that enhances the quality of the acquired images is crucial for satisfactory functioning of such applications. Design of most of image super resolution schemes ignore extracting and processing of the negative-valued features of the images. In this paper, a novel light-weight residual block, which efficiently extracts and processes both the positive and negative-valued features, is proposed. This new residual block is capable of producing a richer set of features in order to improve the super resolution performance of the network using a set of such blocks. The network using the new residual blocks is shown to yield a performance superior to those of the existing light-weight super resolution networks using other types of residual blocks.     

基于深度卷积神经网络的红细胞识别算法研究

针对深度研究的项目特点,文章对卷积神经网络结构的研究现状进行分析,总结卷积神经网络结构及优化算法。旨在通过对这些内容的分析,针对红细胞图像提取特征,设计群优化算法的卷积神经网络结构,以提高图像检测的科学性、准确性,展现深度卷积神经网络的识别算法技术的使用价值。