基于区域自我注意力的实时语义分割网络

高精度的语义分割结果往往依赖于丰富的空间语义信息与细节信息,但这两者的计算量均较大.为了解决该问题,通过分析图像局部像素具有的相似性,提出了一种基于区域自我注意力的实时语义分割网络.该网络可分别通过一个区域级的自我注意力模块和一个局部交互通道注意力模块计算出特征信息的区域级关联性和通道注意力信息,然后以较少的计算量获取...     

基于逆注意力机制和像素相似度学习的图像分割

针对图像语义分割中目标边界容易混淆、定位不准以及边界不平滑问题,在Deeplab v2 Resnet-101网络的基础上引入提出的逆注意层与像素相似度学习层,构造了一种新的语义分割的网络结构,并设计了注意力层和像素相似度学习层的损失函数。首先,使用Deeplab v2 Resnet-101网络提取图像语义特征;然后,利用提出的逆注意力层修正预测网络的分割结果,同时,利用提出的像素相似度学习层解决边界不够平滑的问题;最后融合两者分割的结果,得到语义分割的结果。在PASCAL-Context上取得了像素准确度76.2%、像素平均准确度59.7%、平均IoU(Intersection over Union)准确度指标49.9%的结果,在PASCAL Person-Part、NYUDv2、MIT ADE20K数据集上分别取得了平均IoU准确度指标69.6%、42.1%、44.38%的结果,与已有的主流方法相比,所提算法能够提升语义分割的精确度,验证了算法的有效性。     

基于卷积神经网络的图像语义分割技术

本文阐述了卷积神经网络的基本概念,并基于此引出全卷积神经网络和带孔卷积等卷积神经网络,对其含义、优缺点及其在图像语义分割中的应用进行了进一步的介绍和总结。本文阐述了卷积神经网络的基本概念,并基于此引出全卷积神经网络和带孔卷积等卷积神经网络,对其含义、优缺点及其在图像语义分割中的应用进行了进一步的介绍和总结。     

基于双注意力机制图像分割模型的研究

本文研究的图像语义分割是计算机视觉研究的重要部分,为提高场景图像语义分割的准确率,且考虑到基于全卷积神经网络的双重语义分割模型(Dual-Attention)存在边缘分割不均匀、正负样本不平衡的问题。本文采用边缘模块,增强边缘分割能力并且优化图像的边缘细节;采用一种基于样本距离的损失函数,来调节正负样本。在场景cityscapes数据集上进行了实验与验证,结果表明改进之后的模型单尺度平均交并比(MIoU)相比原算法相对提高2.96%。它能够更加精细地分割目标,较好地解决分割边界不精细,有效地抑制边界区域分割的不均匀问题。     

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中,往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征,尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡,但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面,算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意,为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构,先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支,然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理,也能在Cityspaces数据集上展现出优良的准确率,测试集的分割精度达到了72.2%。     

基于深度学习的图像语义分割方法综述

图像语义分割技术是计算机视觉领域的核心研究内容 之一,在生产生活中有着广泛的应用需求。随着计算机性能的提升和深度学习技术的不断发展,研究者们对图像语义分割的实际效果和性能有着越来越高的研究热情。文章通过对图像语义分割方法的研究整理,梳理出现阶段图像语义分割研究的主要问题,针对这些主要问题整理了研究者们提出的解决方法和思路,介绍了语义分割领域常用的公共数据集以及算法性能评价标准,最后对各个算法进行性能的比较和评价,并对图像语义分割领域下一步的研究热点方向进行了展望。     

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

分组双注意力语义分割网络

深度学习和自注意力机制的应用,使语义分割网络的性能得到了大幅提升.针对目前自注意力机制将每个像素的所有通道看作一个向量进行计算的粗糙性,基于空间维度和通道维度提出了一种分组双注意力网络.首先,将特征层分成多组;然后,自适应过滤掉每组特征层的无效基组,从而捕获精确的上下文信息;最后,将多组加权后的信息进行融合,获得较强的上下文信息.实验结果表明,本网络在两个数据集上的分割性能均优于双注意力网络,在PASCAL VOC2012验证集上的分割精度为85.6％,在Cityscapes验证集上的分割精度为71.7％.     

FRKDNet：基于知识蒸馏的特征提炼语义分割网络

传统的语义分割知识蒸馏方法仍然存在知识蒸馏不完全、特征信息传递不显著等问题,且教师网络传递的知识情况复杂,容易丢失特征的位置信息。针对以上问题,本文提出了一种基于知识蒸馏的特征提炼语义分割模型FRKDNet。首先根据前景特征与背景噪声的特点,设计了一种特征提炼方法来将蒸馏知识中的前景内容进行分离,过滤掉教师网络的伪知识后将更准确的特征内容传递给学生网络,从而提高特征的表现能力。同时,在特征空间的隐式编码中提取类间距离与类内距离从而得到相应的特征坐标掩码,学生网络通过模拟特征位置信息来最小化与教师网络特征位置的差距,并分别和学生网络进行蒸馏损失计算,从而提高学生网络的分割精度,辅助学生网络更快地收敛。最后在公开数据集Pascal VOC和Cityscapes上实现了优秀的分割性能,MIoU分别达到74.19%和76.53%,比原始学生网络分别提高了2.04%和4.48%。本文方法相比于主流方法具有更好的分割性能和鲁棒性,为语义分割知识蒸馏提供了一种新方法。     

基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

Stable self-attention adversarial learning for semi-supervised semantic image segmentation

The application of adversarial learning for semi-supervised semantic image segmentation based on convolutional neural networks can effectively reduce the number of manually generated labels required in the training process. However, the convolution operator of the generator in the generative adversarial network (GAN) has a local receptive field, so that the long-range dependencies between different image regions can only be modeled after passing through multiple convolutional layers. The present work addresses this issue by introducing a self-attention mechanism in the generator of the GAN to effectively account for relationships between widely separated spatial regions of the input image with supervision based on pixel-level ground truth data. In addition, the adjustment of the discriminator has been demonstrated to affect the stability of GAN training performance. This is addressed by applying spectral normalization to the GAN discriminator during the training process. Our method has better performance than existing full/semi-supervised semantic image segmentation techniques.     

融合注意力门控机制的大场景点云语义分割

室外大场景激光点云语义分割已成为3D场景理解、环境感知的关键性技术,在自动驾驶、智能机器人和增强现实(AR)等领域应用广泛。然而大场景的激光点云具有多目标、几何结构复杂,不同地物尺度变化大等特点,使得在稀疏的小目标点云(例如行人、摩托车等)上的分割性能较低。针对上述问题,本文提出一种融合注意力门控机制的室外点云语义分割算法,设计由注意力机制和多尺度上下文特征融合组成的注意力门控单元,提高对激光点云细粒度特征的表达,降低随机降采样过程中点云几何结构特征丢失程度,从而增强了网络对弱小目标的特征获取能力;同时设计基于共享MLP的平均池化单元,进一步简化自注意力局部特征聚合模块,有效地加速网络收敛,能高效地实现大场景点云的语义分割。本文方法在自动驾驶场景室外激光点云数据集SemanticKITTI上的实验表明,与文献RandLA Net相比,收敛速度提升483,平均交并比(mIoU)由539提升至545,提高06,尤其是在小目标上交并比(IoU)均有明显提高,person类和motorcycle类的交并比分别提高08和54。     

A Dual-Decoding branch U-shaped semantic segmentation network combining Transformer attention with Decoder: DBUNet

Semantic Segmentation is an extremely important medical image auxiliary analysis method. However, existing networks have the following problems: 1) The amount of feature information of Encoder and Decoder is not equal under multi-branch architecture; 2) The direct processing of the original image by ViT Encoder is not sufficient; 3) Multi-channel features are too independent and lack of fusion. Combined with the ViT Encoder framework, this study proposes a 'Single Encoder – Double Decoder' structure: DBUNet. Firstly, ViT Encoder is employed as a part of the Decoder branches to enhance the shallow features. Then, a polarization amplification of channel weights is proposed and placed in front of the ViT Encoder module to achieve early image processing. Finally, a Bottleneck for feature fusion is proposed to solve the problem of channel independence. The comprehensive verification of 13 comparative networks in three aspects, combined with ablation experiments, jointly proves the superiority of DBUNet.     

基于多信息深度学习的3D点云语义分割

点云语义分割是三维点云数据处理的基础步骤,是三维场景理解分析、重建和目标识别的关键环节.针对目前对三维点云进行语义分割使用的点云信息少和精度不高的问题,本文在利用点云三维坐标信息的基础上,增加了点云RGB信息和所属房间的归一化坐标信息,从而丰富了神经网络输入端的信息量,进一步提高了模型的分割精度,最后利用PointNe...     

基于双注意力的肺癌半监督学习分割网络

肺癌计算机断层扫描(computed tomography, CT)中对病灶的分割目前存在两个问题：一是病变区域的大小和形状差异大,二是标注数据量少。为了应对上述问题,提出一种用于肺癌分割的双注意力半监督学习网络(dual attention semi-supervised learning network, SDA-Net)。首先,在U-Net的编码阶段加入残差-密集块(residual-dense block, RDB)进行特征提取,尽可能多地保留浅层特征。其次,在编码阶段末端利用包含位置注意力和通道注意力的双注意力机制整合同一类别特征的语义相关性,增强目标的特征表达。最后,针对标注数据量少的问题,采用双路一致性半监督学习(semi-supervised learning, SSL)的方法,使得双注意力网络同时利用标注数据和未标注数据进行训练,大幅提高了网络分割的性能。测试结果表明,所提方法的Dice相似系数、杰卡德系数、灵敏度和精确度分别达到了0.843 2、0.733 1、0.809 2和0.886 1,优于当前典型的分割算法。     

Classifier aided training for semantic segmentation

Semantic segmentation is a prominent problem in scene understanding expressed as a dense labeling task with deep learning models being one of the main methods to solve it. Traditional training algorithms for semantic segmentation models produce less than satisfactory results when not combined with post-processing techniques such as CRFs. In this paper, we propose a method to train segmentation models using an approach which utilizes classification information in the training process of the segmentation network. Our method employs the use of classification network that detects the presence of classes in the segmented output. These class scores are then used to train the segmentation model. This method is motivated by the fact that by conditioning the training of the segmentation model with these scores, higher order features can be captured. Our experiments show significantly improved performance of the segmentation model on the CamVid and CityScapes datasets with no additional post processing.     

CRFNet: Context ReFinement Network used for semantic segmentation

Recent semantic segmentation frameworks usually combine low-level and high-level context information to achieve improved performance. In addition, postlevel context information is also considered. In this study, we present a Context ReFinement Network (CRFNet) and its training method to improve the semantic predictions of segmentation models of the encoder–decoder structure. Our study is based on postprocessing, which directly considers the relationship between spatially neighboring pixels of a label map, such as Markov and conditional random fields. CRFNet comprises two modules: a refiner and a combiner that, respectively, refine the context information from the output features of the conventional semantic segmentation network model and combine the refined features with the intermediate features from the decoding process of the segmentation model to produce the final output. To train CRFNet to refine the semantic predictions more accurately, we proposed a sequential training scheme. Using various backbone networks (ENet, ERFNet, and HyperSeg), we extensively evaluated our model on three large-scale, real-world datasets to demonstrate the effectiveness of our approach.     

基于高度有效驱动注意力与多层级特征融合的城市街景语义分割北大核心CSCD

针对DeepLabv3+网络在进行城市街景图像分割任务时,没有充分利用到网络中多层级特征信息,导致分割结果存在大目标有孔洞、边缘目标分割不够精细等不足;并且考虑到城市街景数据具有天然的空间位置特殊性,本文提出在DeepLabv3+网络的基础上引入高度有效驱动注意力机制(height-driven efficient attention model,HEAM)与多层级特征融合模块(multi-stage feature fusion model,MFFM),将HEAM嵌入特征提取网络与空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)结构中,使其对目标关注更多垂直方向上的空间位置信息;MFFM通过融合多层特征图,在网络中形成多条融合支路依次连接到网络解码端,采用逐次上采样提高解码时像素上的连续性。将改进的网络通过CamVid城市街景数据集验证测试,实验结果表明,该网络能有效改善DeepLabv3+的不足,并且合理运用了数据集的位置先验性,增强了分割效果,在CamVid测试集上平均交并比(mean intersection over union,MIoU)达到了68.2%。     

EFFICIENT IMAGE SEGMENTATION FOR SEMANTIC OBJECT GENERATION

This letter presents an efficient and simple image segmentation method for semantic object spatial segmentation.First,the image is filtered using contour-preserving filters.Then it is quasi-flat labeled.The small regions near the contour are classified as uncertain regions and are eliminated by region growing and merging.Further region merging is used to reduce the region number.The simulation results show its efficiency and simplicity,It can preserve the semantic object shape while emphasize on the perceptual complex part of the object.So it conforms to the humann visual perception very well.     

一种面向室内场景的语义分割网络

现有RGB D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了09、13、17,在镜子、书本、箱子等小物体的语义分割交并比指标提高了72、96、112。验证了提出的模型在处理室内场景具更强的适用性。