基于上下文和浅层空间编解码网络的图像语义分割方法

当前图像语义分割研究基本围绕如何提取有效的语义上下文信息和还原空间细节信息两个因素来设计更有效算法. 现有的语义分割模型, 有的采用全卷积网络结构以获取有效的语义上下文信息, 而忽视了网络浅层的空间细节信息; 有的采用U型结构, 通过复杂的网络连接利用编码端的空间细节信息, 但没有获取高质量的语义上下文特征. 针对此问题, 本文提出了一种新的基于上下文和浅层空间编解码网络的语义分割解决方案. 在编码端, 采用二分支策略, 其中上下文分支设计了一个新的语义上下文模块来获取高质量的语义上下文信息, 而空间分支设计成反U型结构, 并结合链式反置残差模块, 在保留空间细节信息的同时提升语义信息. 在解码端, 本文设计了优化模块对融合后的上下文信息与空间信息进一步优化. 所提出的方法在3个基准数据集CamVid、SUN RGB-D和Cityscapes上取得了有竞争力的结果.     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.     

基于改进的U-Net肺结节分割方法研究

由于肺部CT图像的特征信息复杂程度高,经典U型卷积网络对肺结节分割存在准确率较低和误分割等问题.针对这一问题,提出一种改进的U型卷积网络模型.该模型将U-Net网络和DenseNet网络融合,将解码器浅层特征连接至深层特征来增强特征的复用性.通过U-Net网络与卷积条件随机场(ConvCRF)的端到端结合训练来增强边缘特征,解决了边界模糊的问题.提出一种改进的focal loss损失函数,该函数提高了结节所占的权重,解决了正负样本不平衡的问题.在LUNA16数据集中作对比实验验证了模型的性能,分割精准度达到0.9374,敏感度为0.941,该结果证明了改进模型在肺结节分割中更优.     

结合序列学习和U型网络的海马体分割方法

针对普通二维语义分割网络难以精确分割海马体磁共振图像的问题,提出结合序列学习和U型网络的海马体分割方法.该方法中,U型网络由编码器和解码器2部分组成,编码器提取并编码图像特征,解码器组合特征并输出分割掩码;序列学习使用双向卷积长短期记忆网络引入相邻切片间的依赖信息以提升分割精度.在ADNI数据集上的实验结果表明,文中方法的分割性能较通常的U型网络更优,且网络的可视化结果表现出可解释性,与专家知识相符合.     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

基于DenseNet的复杂交通场景语义分割方法

针对交通场景语义分割方法存在参数量较大、计算效率较低、精度不足等问题,文中提出基于全卷积化DenseNet的多尺度端到端语义分割模型.首先,构建一种含混合空洞卷积的密集连接模块,同时沿通道维度级联各模块,用于提取图像特征.然后,采集多尺度视觉信息并以此作为监督信号回传至原通道中.最后,通过双线性插值法获得预测输出.在CityScapes数据集上的测试实验表明,文中方法对复杂交通场景的解析能力较强,预测精度和分割效率较高.     

可学习动态分组卷积神经网络的大规模点云分割

针对现有大规模点云语义分割算法提取特征时冗余干扰信息过多,导致神经网络分割性能较差的问题,提出可学习动态分组卷积神经网络架构,高效准确地实现大规模点云分割。对输入点云以分组的方式进行局部几何特征提取,并通过动态筛选和修剪冗余特征通道来减少无用特征信息对神经网络特征识别的干扰,进一步提高网络模型语义分割精度。构建位置编码模块,将点云位置特征映射到高维频域空间,使神经网络充分挖掘点云频域特征信息,增强特征的丰富性。对提取到的局部几何特征和全局单点位置特征进行融合,并构建可学习动态分组卷积神经网络,完成解码得到最终分割结果。实验结果表明,该算法在大规模点云分割数据集S3DIS和SemanticKITTI上的mIoU分别为69.6%和58.3%。与现有点云语义分割方法相比,所提出的网络模型具有更高的分割准确率和较低的参数量。     

改进双向LSTM的肺结节分割方法

基于深度学习网络在医学图像分割方面取得了很多成果。由于类圆形的肺结节不同于血管和大部分肺部结构呈扁平状,因此通过对U-Net进行扩展,提出一种带有多视图密集卷积的双向LSTM U-Net网络来消除血管和肺内组织结构以检测结节。与U-Net在跳跃连接中进行级联不同,改进双向LSTM网络将编码路径中提取特征图与解码卷积层进行非线性结合。为了加强特征传播和鼓励特征复用,在编码路径的最后一个卷积层采用密集卷积,最后使用批处理规范化（BN）来加速网络的收敛速度。实验结果表明该模型有效地提高了肺结节分割的准确率,对LUNA16和阿里巴巴天池竞赛数据集中每个候选样本提取轴位、冠状和矢状视图后训练的MIoU达到了90.1%。     

基于改进U-Net网络的多尺度番茄病害分割算法

针对当前农作物病害分割与识别模型病斑分割精度低、数据集不充分、训练速度过慢等问题,构建了一种基于改进的U-Net网络多尺度番茄叶部病害分割算法。在U-Net网络结构基础上进行改进,减小图像输入尺寸,在编码器中使用非对称Inception多通道卷积替换传统卷积,实现多尺度提取病害特征,提升模型准确度;在解码器中加入注意力模块,关注番茄病害边缘,减小上采样噪声;引入GN加速模型收敛,并将改进U-Net网络用在PlantVillage数据集上进行预训练,提高模型的分割准确度和速度。改进后的方法准确率、召回率和MIoU分别为92.9%、91.1%、93.6%,实验结果表明,该方法能够有效地提高模型对番茄的病害分割性能。     

基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet (network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。     

基于深度学习的息肉分割网络GLIA-Net

随着卷积神经网络的发展,现有改进的息肉分割U-Net网络能有效提高息肉分割准确率,但引入了大量参数,导致模型复杂度增大且计算效率降低。提出具有低复杂度、高性能的网络GLIA-Net,用于分割内窥镜图像中的息肉区域。以U-Net为基础架构,在双层卷积后加入全局与局部交互式注意力融合模块。全局注意力基于2个可学习的外部储存器,通过2个级联的线性层和归一化层来实现。局部注意力基于局部跨通道交互策略,将一维卷积代替全连接层,在保证网络性能的同时降低计算复杂度,加快网络的计算速度。结合高效通道注意力和外部注意力的优点,在不引入过多参数量和计算量的前提下融合局部注意力和全局注意力,同时在通道与空间2个维度上引入注意力机制,提取丰富的多尺度语义信息。在Kvasir数据集上的实验结果表明,GLIA-Net的平均交并比、Dice、体积重叠误差分别为69.4%、80.7%和5.0%,与ExfuseNet、SegNet、ResUNet等网络相比,在保证网络计算效率的同时具有较优的分割精度。     

对称式密集连接网络的地基云图分割方法

为了提高地基云图分割的精度，提出一种对称式密集连接卷积神经网络的云图分割方法进行地基云图分割研究。提出的新的网络结构通过普通卷积层提取地基云图特征，通过连续的密集连接块和上采样模块对特征图进一步处理，通过并联方式融合网络浅层和网络深层的特征图从而实现对地基云图精确的分割。其中，密集块中采用跨层连接的方式实现了网络中所用层的特征传递，使得云图特征得到复用，同时一定程度上减轻了训练过程中的梯度消失问题，通过并联浅层网络和深层网络的特征图实现了对地基云图的进一步精确分割。实验结果表明，该方法与其他用于地基云图分割的机器学习方法相比，能够提高地基云图的分割准确率，具有良好的泛化效果。     

基于改进U-Net的宫颈细胞核图像分割

原始的U-Net采用跳跃结构结合高低层的图像信息,使得U-Net模型有良好的分割效果,但是分割结果在宫颈细胞核边缘依然存在分割欠佳、过分割和欠分割等不足.由此提出了改进型U-Net网络图像分割方法.首先将稠密连接的DenseNet引入U-Net的编码器部分,以解决编码器部分相对简单,不能提取相对抽象的高层语义特征.然后对二元交叉熵损失函数中的宫颈细胞核和背景给予不同的权重,使网络更加注重细胞核特征的学习.最后在池化操作过程中,对池化域内的像素值分配合理的权值,解决池化层丢失信息的问题.实验证明,改进型U-Net网络使宫颈细胞核分割效果更好,模型也越鲁棒,过分割和欠分割比率也越少.显然,改进型U-Net是更有效的图像分割方法.     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

多尺度非局部自注意力MRI脑肿瘤分割网络

针对U-Net模型在MRI脑肿瘤分割上存在的感受野受限和全局信息捕获不足问题, 通过引入非局部自注意力机制与多尺度的金字塔卷积提出一种改进U-Net模型—PyCSAU-Net. 该模型以三维U-Net作为基础网络, 在第4层横向连接位置引入扩展的三维非局部注意力模块, 通过改善网络因卷积核大小受限导致的长距离建模能力不足问题来提升脑肿瘤分割精度; 此外, 在网络下采样阶段将普通卷积替换为具有多尺度特点的三维金字塔卷积, 在多级别和分辨率下来提取更具判别性的脑肿瘤深度特征. 在公开的BraTS 2019和BraTS 2020验证集上在完全肿瘤、增强肿瘤和肿瘤核心分割上分别取得了0.904/0.901、0.781/0.774和0.825/0.824的分割精度, 表明所提出PyCSAU-Net方法在脑肿瘤分割任务上的有效性和竞争力.     

改进U-Net的高分辨率遥感图像轻量化分割

针对传统图像分割方法分割效率低下, 遥感图像特征复杂多样, 复杂场景下分割性能受到限制等问题, 在基于U-Net网络架构的基础上, 提出一种能够较好提取遥感图像特征并兼顾效率的改进U-Net模型. 首先, 以EfficientNetV2作为U-Net的编码网络, 增强特征提取能力, 提高训练和推理效率, 然后在解码部分使用卷积结构重参数化方法并结合通道注意力机制, 几乎不增加推理时间的前提下提升网络性能, 最后结合多尺度卷积融合模块, 提高网络对不同尺度目标的特征提取能力和更好地结合上下文信息. 实验表明, 改进的网络在遥感图像分割性能提升的同时分割效率也提高.     

基于改进U-Net网络的细小裂纹检测

针对复杂背景下细小裂纹图像检测难、噪声干扰多和裂纹宽度信息易丢失的问题,提出一种基于U-Net改进的方法.利用残差块解决网络退化,加入BN层改善梯度弥散,融入深度可分离卷积以及高尺度的转置卷积,实现特征信息由浅入深的传递;改进注意力机制,实现细节特征的优化;延伸U-Net特征向量长度,在底部加入由最大池化层、小尺度深度...