一种基于改进ResU-Net的角膜神经分割算法

角膜神经图像的自动分割对于糖尿病神经病变等疾病的诊断与筛查至关重要。针对由于角膜神经图像存在对比度低且包含非神经结构而造成分割效率较低的问题,在ResU-Net结构基础上引入多尺度残差、注意力机制、多尺度图像输入与多层损失函数输出模块,提出一种基于注意力机制的角膜神经分割算法。多尺度残差模块通过在残差模块中加入多尺度表征信息以提高卷积层提取多尺度特征的能力,而注意力机制模块在双重注意力作用下,利用网络对编码器与解码器中的目标特征进行权重优化,使得在增强图像目标区域特征的同时抑制背景及噪声区域,并采用多尺度图像输入与多层函数输出模块以监督网络中每一层的特征学习。实验结果表明,与主流分割算法相比,该算法的分割效果更优,且曲线下面积与敏感度分别可达到0.990和0.880。     

基于改进卷积神经网络的腹部动脉血管分割

腹部动脉血管分割对于胃癌淋巴结的转移和肝动脉变异类型的判断至关重要。针对腹部动脉血管分割精度低、易断裂等问题,提出一种改进卷积网络架构的腹部动脉分割方法。卷积网络的编码部分使用带有卷积注意的预训练模块(resnet34),避免了梯度消失且可更好地获取图像的特征信息。为了扩大感受野和聚集多尺度特征信息,提出了一种新的多尺度特征融合模块。此外,动脉血管的边缘结构信息的学习至关重要,引入注意力导向滤波作为信息扩展路径,使输出特征更加结构化,提升血管分割的精度。所提方法在腹部动脉血管分割的实验结果表明,与基础网络U-Net相比,所提方法在灵敏度和交并比上分别提升了2.84%和1.19%。与CE-Net网络相比,在灵敏度和交并比上分别提升了1.34%和161%。     

基于多尺度注意力机制的道路场景语义分割模型

通过对道路场景进行语义分割可以辅助车辆感知周边环境,达到避让行人、车辆以及各类小目标物体障碍的目的,提高行驶的安全性。针对道路场景语义分割中小目标物体识别精度不高、网络参数量过大等问题,提出一种基于多尺度注意力机制的语义分割模型。利用小波变换的多尺度多频率信息分析特性,设计一种多尺度小波注意力模块,并将其嵌入到编码器结构中,通过融合不同尺度及频率的特征信息,保留更多的边缘轮廓细节。使用编码器与解码器之间的层级连接,以及改进的金字塔池化模块进行多方面特征提取,在保留上下文特征信息的同时获得更多的图像细节。通过设计多级损失函数训练网络模型,从而加快网络收敛。在剑桥驾驶标注视频数据集上的实验结果表明,该模型的平均交并比为60.21%,与DeepLabV3+和DenseASPP模型相比参数量减少近30%,在不额外增加参数量的前提下提升了模型的分割精度,且在不同场景下均具有较好的鲁棒性。     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

基于注意力机制和多尺度特征融合的道路裂缝检测

针对复杂背景下细小裂缝难以检测和裂缝检测出现断裂的问题,提出一种基于注意力机制和多尺度特征融合的道路裂缝检测方法EAFNet。在编码阶段设计边缘细化模块,更好提取裂缝细节特征;在网络中间部分设计基于注意力机制的多尺度特征融合模块对裂缝进行准确定位;在解码器部分设计融合优化模块,更好提取裂缝特征和定位裂缝位置。在公开数据集CRACK500训练集上进行训练并在两个道路裂缝数据集上进行测试,与现有的部分检测方法相比,该算法在分割精度和泛化性上都有提升,该算法对于细小裂缝的分割更为精细且有效解决了裂缝检测的断裂问题。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

交叉特征融合和RASPP驱动的场景分割方法

本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题, 提出了一种交叉特征融合和RASPP驱动的场景分割方法. 该方法以交叉特征融合的方式合并编码器输出的多尺度特征, 在融合高层语义信息时使用复合卷积注意力模块进行处理, 避免上采样操作造成的特征信息丢失以及引入噪声的影响, 细化目标边缘分割效果. 同时提出了深度可分离残差卷积, 在此基础上设计并实现了结合残差的金字塔池化模块——RASPP, 对交叉融合后的特征进行处理, 获得不同尺度的上下文信息, 增强特征语义表达. 最后, 将RASPP模块处理后的特征进行合并, 提升分割效果. 在Cityscapes和CamVid数据集上的实验结果表明, 本文提出方法相比现有方法具有更好的表现, 并且对场景中的目标边缘有更好的分割效果.     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。     

基于MAU-Net的CT多器官分割

基于计算机断层扫描(CT)图像的多器官精准分割能够准确诊断病灶, 快速制定治疗计划, 提高临床工作的效率. 传统分割算法针对形变大、体积较小且边缘模糊的器官分割效果相对较差. 本文提出了一种改进的U-Net的医学图像分割网络(MAU-Net), 通过引入两个模块, 旨在实现对多器官的精准分割. 多尺度空洞卷积模块通过不同内核大小实现捕捉目标器官多尺度特征. 动态注意力模块精确提取重要特征实现分支间的权重平衡. 通过消融实验和其他主流网络的对比实验, 验证了MAU-Net的优越性. 相比于传统的U-Net模型, MAU-Net在所有器官上平均Dice相关系数(DSC)提高了3.39%, 平均95%豪斯多夫距离(HD)降低了4.84 mm. MAU-Net在多器官分割任务中展现了出色的鲁棒性和应用潜力, 有助于提高临床工作效率和医疗诊断的准确性.     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

融合深度信息的室内场景分割算法

针对室内复杂场景中, 图像语义分割存在的特征损失和双模态有效融合等问题, 提出了一种基于编码器-解码器架构的融合注意力机制的轻量级语义分割网络. 首先采用两个残差网络作为主干网络分别对RGB和深度图像进行特征提取, 并在编码器中引入极化自注意力机制, 然后设计引入双模态融合模块在不同阶段对RGB特征和深度特征进行有效融合, 接着引入并行聚合金字塔池化以获取区域之间的依赖性. 最后, 采用3个不同尺寸的解码器将前面的多尺度特征图进行跳跃连接并融合解码, 使分割结果含有更多的细节纹理. 将本文提出的网络模型在NYUDv2数据集上进行训练和测试, 并与一些较先进RGB-D语义分割网络对比, 实验证明本文网络具有较好分割性能.     

Selection and Evaluation of the Optimal Scale in Multi-scale Segmentation of Remote Sensing Images

Multi-scale segmentation is the premise and key step of Object-Based Image Analysis (OBIA). The quality of multi-scale segmentation directly affects the accuracy of object-oriented classification. However, scale selection and evaluation remains a challenge in multi-scale segmentation. According to the fact that the optimal segmentation scale of the remote sensing image is closely related to the complexity of the objects of the image, a top-down method to select the optimal scale based on the complexity of segmented objects is proposed. In the top-down segmentation process, image features of each segmented object are extracted to construct the complexity function, and the optimal scale of each object is determined by setting a threshold value and iterating calculation. Then, the segmentation results with the best scale are obtained and applied to the ZY-3 satellite multispectral image and the GF-2 fusion image to obtain segmentation and classification results. Qualitative visual evaluation method, unsupervised evaluation method and supervised classification evaluation method were used to compare them with results obtained by the optimal single-scale segmentation and the unsupervised evaluation method. The experimental results show that the method can accurately obtain the scale matching with the ground targets, and improve segmentation effect and the classification accuracy, it is of practical value.     

遥感影像多尺度分割中最优尺度的选取及评价

多尺度分割是面向对象图像分析技术的前提和关键,多尺度分割的质量直接影响着面向对象分类的精度,但尺度选择仍然是多尺度分割中的一个难题。针对此问题,根据遥感影像的最优分割尺度与影像上目标复杂度密切相关的事实,提出了一种自上而下基于分割对象复杂度选取最优尺度的方法。该方法在分割过程中,提取每一对象的影像特征构建其复杂度函数,通过设置阈值,经迭代计算来确定每一对象的最优分割尺度,进而得到具有全局最优尺度的分割结果,并将其应用于ZY-3多光谱数据和GF-2融合影像,得到分割和分类结果。并将其与单一最优尺度和非监督评价法的分割及分类结果进行比较,结果表明：该方法能够获取与地面目标相匹配的分割尺度,改善了分割效果,提高了分类精度,具有一定实用价值。     

Supervised semantic segmentation based on deep learning: a survey

Recently, many semantic segmentation methods based on fully supervised learning are leading the way in the computer vision field. In particular, deep neural networks headed by convolutional neural networks can effectively solve many challenging semantic segmentation tasks. To realize more refined semantic image segmentation, this paper studies the semantic segmentation task with a novel perspective, in which three key issues affecting the segmentation effect are considered. Firstly, it is hard to predict the classification results accurately in the high-resolution map from the reduced feature map since the scales are different between them. Secondly, the multi-scale characteristics of the target and the complexity of the background make it difficult to extract semantic features. Thirdly, the problem of intra-class differences and inter-class similarities can lead to incorrect classification of the boundary. To find the solutions to the above issues based on existing methods, the inner connection between past research and ongoing research is explored in this paper. In addition, qualitative and quantitative analyses are made, which can help the researchers to establish an intuitive understanding of various methods. At last, some conclusions about the existing methods are drawn to enhance segmentation performance. Moreover, the deficiencies of existing methods are researched and criticized, and a guide for future directions is provided.

     

基于串联空洞卷积神经网络的网球场景语义分割

室外网球场实景环境下的语义分割是开发网球运动服务机器人需要解决的一项关键技术.针对室外网球场环境由于光照、视角等因素的变化导致难以进行精细分割的问题,提出一种基于Deeplabv3架构的串联空洞卷积神经网络SACNet.该模型扩展了空洞卷积的多尺度模块,通过奇偶混合扩张率增大训练中特征图感受野,利用分组卷积减小SACNet模型时空复杂度.为克服小样本训练容易过拟合的问题,在经过预训练残差神经网络ResNet-50的基础上,通过冻结批量归一化(BN)层进行迁移学习.在自制小样本网球场数据集上进行实验结果表明,SACNet比现有Deeplabv3模型在测试精度提高了10.22%,且对于网球场边界和小目标语义分割结果更加准确.     

一种用于机械故障特征提取的多尺度稀疏滤波网络

针对传统稀疏滤波网络缺乏多尺度特征提取能力,难以充分挖掘故障信息的问题,提出一种多尺度稀疏滤波网络.该网络包括5层:多尺度粗粒度层,以获取多尺度信号;样本分段层,对每个尺度的信号分段;局部特征提取层,计算每个片段的特征向量;特征平均化层,将单个尺度下所有片段的特征向量池化以得到输入信号在该尺度下的表征;特征堆叠层,将所...     

Multiscale Bayesian texture segmentation using neural networks and Markov random fields

This paper presents a wavelet-based texture segmentation method using multilayer perceptron (MLP) networks and Markov random fields (MRF) in a multi-scale Bayesian framework. Inputs and outputs of MLP networks are constructed to estimate a posterior probability. The multi-scale features produced by multi-level wavelet decompositions of textured images are classified at each scale by maximum a posterior (MAP) classification and the posterior probabilities from MLP networks. An MRF model is used in order to model the prior distribution of each texture class, and a factor, which fuses the classification information through scales and acts as a guide for the labeling decision, is incorporated into the MAP classification of each scale. By fusing the multi-scale MAP classifications sequentially from coarse to fine scales, our proposed method gets the final and improved segmentation result at the finest scale. In this fusion process, the MRF model serves as the smoothness constraint and the Gibbs sampler acts as the MAP classifier. Our texture segmentation method was applied to segmentation of gray-level textured images. The proposed segmentation method shows better performance than texture segmentation using the hidden Markov trees (HMT) model and the HMTseg algorithm, which is a multi-scale Bayesian image segmentation algorithm.