基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

基于混合卷积与三重注意力的高光谱图像分类网络

针对高光谱图像光谱维度高、现有网络无法提供深度级的多层次特征,从而影响分类精度和速度的问题。首先采用核主成分分析对高光谱图像进行降维,使降维后的数据具有最佳区分度,提出了一种基于混合卷积与三重注意力的卷积神经网络(hybrid convolutional neural network with triplet attention, HCTA-Net)模型,该模型设计了一种基于三维、二维和一维卷积的混合卷积神经网络,通过不同维度卷积神经网络的融合,提取高光谱图像精细的光谱–空间联合特征。在二维卷积中加入深度可分离卷积,减少了模型参数,同时引入三重注意力机制,使用三分支结构实现跨维度信息交互,抑制无用的特征信息。在Indian Pines、Salinas和Pavia University数据集上的实验结果表明,本文提出的模型优于其他对比方法,总体分类精度分别达到了99.16%、99.87%和99.76%。     

融合多维度卷积神经网络的肺结节分类方法

针对CT图像肺结节分类任务中分类精度低,假阳性高的问题,提出了一种加权融合多维度卷积神经网络的肺结节分类模型,该模型包含两个子模型：基于二维图像的多尺度密集卷积网络模型,以捕获更宽泛的结节变化特征并促进特征重用;基于三维图像的三维卷积神经网络模型,以充分利用结节空间上下文信息。使用二维和三维CT图像训练子模型,根据子模型分类误差计算其权重,对子模型分类结果进行加权融合,得到最终分类结果。该模型在公共数据集LIDC-IDRI上分类准确率达到94.25%,AUC值达到98%。实验结果表明,加权融合多维度模型可以有效地提升肺结节分类性能。     

基于多尺度多模式图像的肺结节分类对比研究

基于深度卷积神经网络模型,讨论了不同尺度及不同模式肺结节图像对模型分类表现的影响,并提出了一种2D多视图融合的肺图像处理方法,该方法比传统的2D方式能获取更多的肺结节信息,同时又能比3D的方式引入更少的干扰组织。为了验证模型,对LIDC-IDRI和LUNA16数据集进行了预处理,得到了16、25、36三种尺度下2D、3D、2D全视图融合以及2D多视图融合四种不同模式的肺结节图像,然后构建了2D CNN、3D CNN、2D全视图融合卷积神经网络、2D多视图融合卷积神经网络四种模型。利用上述样本对模型进行训练和验证,最终结果表明,2D多视图融合模式下的肺结节图像相对于其他模式图像具有更佳的肺结节分类表现;对比多种尺度图像,小尺度下的分类表现相对更佳。     

改进Res2Net和注意力机制的高光谱图像分类

针对目前以卷积神经网络（CNN）为框架的高光谱图像分类模型参数量多，训练时间长，对样本数量依赖性大的问题，提出了一种改进Res2Net和注意力机制的高光谱图像分类模型。该模型首先使用主成分分析（PCA）对原始图像的通道维度进行降维，将降维后的数据输入三维空洞卷积层，并添加空间注意力模块以强化空间纹理特征；将所得特征映射输入两组空间-深度可分离残差结构结合通道注意力模块中，使用全局平均池化层将输出映射转换成一维向量；经过Softmax分类器获得分类标签。实验结果显示，该模型参数数量少，收敛速度快，使用少量训练样本在Indian Pines和Pavia University数据集上总体分类精度（OA）分别为98.95%和99.46%。     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

基于拉普拉斯金字塔和CNN的医学图像融合算法

医学图像融合技术因其包含多模态的图像信息,在临床应用中起着越来越重要的作用。医学图像融合效果符合人类视觉感知,减少先验知识对融合效果的影响和增强细节表现力一直是努力的方向。提出基于拉普拉斯金字塔和卷积神经网络的医学图像融合方法,针对图像伪影的问题采用区域拉普拉斯金字塔,为保存更多的细节信息并使参数自适应,对卷积神经网络进行改进。将源图像分别输入区域拉普拉斯金字塔进行分解,采用改进的卷积神经网络生成最优权重图指导融合过程,通过逆过程生成融合图像。实验结果表明,提出的方法在主观视觉和客观评价指标上都取得了良好的融合效果。     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中，未充分利用图像的局部和全局特征以及时间复杂度较高的问题，本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性，首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块，用于从输入图像中提取视觉特征；然后将特征输入到序列模型Transformer中，在编码器端借助自注意学习来获得所参与的视觉表示，在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用，进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验，BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

双通道卷积神经网络在静态手势识别中的应用

针对静态手势识别任务中,传统基于人工提取特征方法耗时耗力,识别率较低,现有卷积神经网络依赖单一卷积核提取特征不够充分的问题,提出双通道卷积神经网络模型。输入手势图片通过两个相互独立的通道进行特征提取,双通道具有尺度不同的卷积核,能够提取输入图像中不同尺度的特征,然后在全连接层进行特征融合,最后经过softmax分类器进行分类。在Thomas Moeslund和Jochen Triesch手势数据库上进行实验验证,结果表明该模型提高了静态手势识别的准确率,增强了卷积神经网络的泛化能力。     

结合深度学习和支持向量机的海马子区图像分割

目的 由于海马子区体积很小且结构复杂,传统的分割方法无法达到理想的分割效果,为此提出一种基于卷积神经网络和支持向量机的海马子区分割方法。方法 该方法构建一种新模型,将卷积神经网络和支持向量机结合起来,使用支持向量机分类器替换卷积神经网络的输出层,通过训练深层网络自动提取图像块特征,利用所提取的图像特征训练支持向量机实现图像的像素级分类。结果 实验选取美国旧金山CIND中心的32位实验者的脑部磁共振图像（MRI）进行海马子区分割测试,在定性和定量方面分别对比了本文方法与支持向量机（SVM）、卷积神经网络（CNN）和基于稀疏表示与字典学习方法的分割结果。所提方法对海马子区CA1、CA2、DG、CA3、Head、Tail、SUB、ERC和PHG的分割准确率分别为0.969、0.733、0.967、0.837、0.981、0.920、0.972、0.968和0.976。本文方法优于现有的基于稀疏表示与字典学习、支持向量机和卷积神经网络的方法,各海马子区分割准确率均有较大提升,对较大子区如Head,准确率较现有最优方法提升10.2%,对较小子区如CA2、CA3,准确率分别有36.2%和52.7%的大幅提升。结论 本文方法有效提升了海马子区的分割准确率,可用于大脑核磁共振图像中海马及其子区的准确分割,为诸多神经退行性疾病的临床诊断与治疗提供依据。     

基于三通道分离特征融合与支持向量机的混凝土 图像分类研究

混凝土的不同配合比可决定材料的性能,对于多种配比和粒径大小混凝土图像的分类研究,有 利于工业废弃混凝土的高效回收利用。为了提升分类效果,提出了一种新的特征提取模块(ITFA-DLF),该模块 在图像分离重构出的 R,G 和 B 3 个通道上,使用卷积神经网络(CNN)提取 3 通道图像的颜色特征,通过多块 局部二值模式(MB-LBP)提取 3 通道图像的纹理特征,将 2 种特征进行融合并输入到网格搜索算法(GS)优化的 支持向量机(SVM)中进行分类。采用混凝土图像进行实验,对比多种分类方法得出所提模型的效果最佳,9 类 图像识别率达到了 92%以上,在保证分类精度的同时缩短了分类时间,提高了混凝土图像的分类效率,验证了 所提方法的有效性。     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

多通道卷积的图像超分辨率方法

目的 超分辨率技术在实际生活中具有较为广泛的应用。经典的基于卷积神经网络的超分辨率（SRCNN）方法存在重建图像纹理结构模糊以及网络模型训练收敛过慢等问题。针对这两个问题,在SRCNN的基础上,提出一种多通道卷积的图像超分辨率（MCSR）算法。方法 通过增加残差链接,选择MSRA初始化方法对网络权值进行初始化,加快模型收敛;引入多通道映射提取更加丰富的特征,使用多层3×3等小卷积核代替单层9×9等大卷积核,更加有效地利用特征,增强模型的超分辨率重构效果。结果 MCSR迭代4×10⁶次即可收敛,在Set5与Set14数据集上边长放大3倍后的平均峰值信噪比分别是32.84 dB和29.28 dB,与SRCNN相比提升显著。结论 MCSR收敛速度更快,并且可以生成轮廓清晰的高分辨率图像,超分辨率效果更加优秀。     

RGB-D语义分割：深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution,DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction,DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection,DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution,DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌入视觉特征。DDC在额外深度信息的引入下,增强了可变形卷积的特征提取能力,可以根据物体形状提取更相关的特征。结果 为了验证方法的有效性,在NYUv2(New York University Depth Dataset V2)数据集上进行一系列消融实验并与当前最好的方法进行比较,使用平均交并比(mean intersection over union,mIoU)和平均像素准确率(pixel accuracy,PA)作为度量标准。结果显示,在NYUv2数据集上,本文方法的mIoU和PA分别为51.9%和77.6%,实现了较好的分割效果。结论 本文提出的深度信息引导的特征提取模块,可以自适应地调整深度信息嵌入视觉特征的程度,更加合理地利用深度信息,且在深度信息的作用下提高可变形卷积的特征提取能力。此外,本文提出的深度信息引导的特征提取模块可以比较方便地嵌入当下流行的特征提取网络中,提高网络的建模能力。     

多尺度密集残差网络的单幅图像超分辨率重建

目的 近几年应用在单幅图像超分辨率重建上的深度学习算法都是使用单种尺度的卷积核提取低分辨率图像的特征信息,这样很容易造成细节信息的遗漏。另外,为了获得更好的图像超分辨率重建效果,网络模型也不断被加深,伴随而来的梯度消失问题会使得训练时间延长,难度加大。针对当前存在的超分辨率重建中的问题,本文结合GoogleNet思想、残差网络思想和密集型卷积网络思想,提出一种多尺度密集残差网络模型。方法 本文使用3种不同尺度卷积核对输入的低分辨率图像进行卷积处理,采集不同卷积核下的底层特征,这样可以较多地提取低分辨率图像中的细节信息,有利于图像恢复。再将采集的特征信息输入残差块中,每个残差块都包含了多个由卷积层和激活层构成的特征提取单元。另外,每个特征提取单元的输出都会通过短路径连接到下一个特征提取单元。短路径连接可以有效地缓解梯度消失现象,加强特征传播,促进特征再利用。接下来,融合3种卷积核提取的特征信息,经过降维处理后与3×3像素的卷积核提取的特征信息相加形成全局残差学习。最后经过重建层,得到清晰的高分辨率图像。整个训练过程中,一幅输入的低分辨率图像对应着一幅高分辨率图像标签,这种端到端的学习方法使得训练更加迅速。结果 本文使用两个客观评价标准PSNR（peak signal-to-noise ratio）和SSIM（structural similarity index）对实验的效果图进行测试,并与其他主流的方法进行对比。最终的结果显示,本文算法在Set5等多个测试数据集中的表现相比于插值法和SRCNN算法,在放大3倍时效果提升约3.4 dB和1.1 dB,在放大4倍时提升约3.5 dB和1.4 dB。结论 实验数据以及效果图证明本文算法能够较好地恢复低分辨率图像的边缘和纹理信息。     

融合整体与局部信息的武夷岩茶叶片分类方法

针对武夷岩茶鲜茶叶叶片图像分类问题,提出一种融合整体与局部信息的分类方法。该方法使用两分支并行结构构建了一个整体与局部信息融合的卷积神经网络模型。实验表明,在9个品种共计7330张武夷岩茶鲜茶叶叶片图像数据集上,基于ResNet18构造的两分支并行卷积神经网络模型的分类准确率为96.68%,超过了其他CNN模型的分类准确率。这表明通过融合全局信息、边缘形状信息和纹理局部信息能有效提高分类准确率。     

基于多时序特征和卷积神经网络的农作物分类

近年来,以卷积神经网络为主的深度学习模型在各种遥感应用中都显示出巨大的潜力。以加州帝国郡为研究区,以Landsat 8 OLI年内时序遥感影像计算时序植被指数NDVI、EVI、RVI以及TVI,组合后输入到构建的一维卷积神经网络 模型,以实现作物的高精度精细分类。为了验证卷积模型的优越性,另搭建了基于递归神经网络及其变体的深度学习模型。结果表明：①引入其他时序特征后,能够有效地提高卷积神经网络的分类精度。NDVI+EVI+TVI+RVI组合特征总体精度和Kappa系数最高,分别是89.667 4%和0.856 0,对比NDVI时序特征总体精度和Kappa系数提高了近4%和0.6。②在与其他深度学习模型的对比中,一维卷积神经网络分类精度最高,能够从时序数据中较为准确捕捉作物时序特征信息,尽管递归神经网络被广泛应用于序列数据的研究,但分类结果要略差于卷积神经网络。实验表明在NDVI的基础上引入其他植被指数辅助,能够有效地提高分类精度。基于一维卷积神经网络的深度学习框架为长时间序列分类任务提供了一种有效且高效的方法。     

基于改进卷积神经网络的单幅图像超分辨率重建方法

对于重建图像存在的边缘失真和纹理细节信息模糊的问题，提出一种基于改进卷积神经网络（CNN）的图像超分辨率重建方法。首先在底层特征提取层以三种插值方法和五种锐化方法进行多种预处理操作，并将只进行一次插值操作的图像和先进行一次插值后进行一次锐化的图像合并排列成三维矩阵；然后在非线性映射层将预处理后构成的三维特征映射作为深层残差网络的多通道输入，以获取更深层次的纹理细节信息；最后在重建层为减少图像重建时间在网络结构中引入亚像素卷积来完成图像重建操作。在多个常用数据集上的实验结果表明，与经典方法相比，所提方法重建图像的纹理细节信息和高频信息能得到更好的恢复，峰值信噪比（PSNR）平均增加0.23 dB，结构相似性（SSIM）平均增加0.0066。在保证图像重建时间的前提下，所提方法更好地保持重建图像的纹理细节并减少图像边缘失真，提升重建图像的性能。