先验引导的特征金字塔阴影检测网络

阴影检测向来是计算机视觉领域的一个基础性挑战。它需要网络理解图像的全局语义和局部细节信息。本文提出了一种检测阴影区域的先验特征金字塔网络结构。该网络搭建了先验加权模块来提取图像中蕴含的阴影先验信息,通过使用阴影先验信息加权卷积特征,引导网络学习到阴影区域。同时,该网络还应用了特征融合模块来融合粗略的语义信息和自上而下路径中的精细特征,并且加入了后处理,进一步优化网络的预测结果。本文在两个公开的阴影检测基准数据集上进行了实验来评估其网络性能。实验表明,本文的方法能够更准确地检测到阴影,和过去最先进的方法相比也表现出色,在SBU数据集上正确率达到了96.6%,平衡检测错误因子为6.22。      

面向小样本SAR图像识别的自注意力多尺度特征融合网络

合成孔径雷达（Synthetic Aperture Radar,SAR）图像标签难以大量获取,存在着大量小样本SAR数据集。SAR图像充满着散斑噪声,直接将卷积神经网络（Convolutional Neural Network,CNN）应用在小样本SAR数据集上难以提取有效特征。针对以上问题,本文提出了一种面向小样本SAR图像识别的自注意力多尺度特征融合网络。首先,将自注意力机制与幽灵模块相结合构建自注意力幽灵模块,并利用该模块替代经典的卷积操作提取SAR图像特征。其次,在网络中添加通道混洗单元以构建多尺度信息融合支路。最后,引入知识蒸馏对设计的网络进行压缩,进一步控制网络参数量。实验结果表明,本文方法在不同工作条件下采集的MSTAR数据集上具有出色的识别性能,在构建的小样本SAR数据集上也表现出良好的鲁棒性。      

结合多尺度特征融合和多输入多输出编-解码器的去模糊算法

针对相机抖动、拍摄物体快速运动以及低快门速度等因素造成的图像非均匀模糊,提出一种结合多尺度特征融合和多输入多输出编-解码器的去模糊算法。首先使用多尺度特征提取模块来提取较小尺度模糊图像的初始特征,该模块使用扩张卷积来以较少的参数量获得更大的感受野。其次,通过特征注意力模块来自适应地学习不同尺度特征中的有效信息,该模块利用小尺度图像的特征来生成注意图,能够有效地减少冗余特征。最后,使用多尺度特征渐进融合模块逐步融合不同尺度的特征,使得不同尺度特征信息能够进行互补。相比以往的使用多个子网堆叠的多尺度方法,文中使用单个网络就能提取多尺度特征,从而降低了训练难度。为了评估网络的去模糊效果和泛化性能,提出的算法在基准数据集GoPro、HIDE和真实数据集RealBlur上均进行了测试。在GoPro和HIDE数据集上的峰值信噪比值分别为31.73 dB和29.39 dB,结构相似度值分别为0.951和0.923,其结果均高于目前先进的去模糊算法,并且在真实数据集RealBlur上也取得了最佳效果。实验结果表明,提出的去模糊算法相比现有算法去模糊更为彻底,能有效地复原图像的边缘轮廓和纹理细节信息,并且能够提升后续高级计算机视觉任务的鲁棒性。     

基于注意力的多尺度水下图像增强网络

水下图像往往会因为光的吸收和散射而出现颜色退化与细节模糊的现象,进而影响水下视觉任务。该文通过水下成像模型合成更接近水下图像的数据集,以端到端的方式设计了一个基于注意力的多尺度水下图像增强网络。在该网络中引入像素和通道注意力机制,并设计了一个多尺度特征提取模块,在网络开始阶段提取不同层次的特征,通过带跳跃连接的卷积层和注意力模块后得到输出结果。多个数据集上的实验结果表明,该方法在处理合成水下图像和真实水下图像时都能有很好的效果,与现有方法相比能更好地恢复图像颜色和纹理细节。     

MCR-YOLO model for underwater target detection based on multi-color spatial features

Within the fields of underwater robotics and ocean information processing, computer vision-based underwater target detection is an important area of research. Underwater target detection is made more difficult by a number of problems with underwater imagery, such as low contrast, color distortion, fuzzy texture features, and noise interference, which are caused by the limitations of the unique underwater imaging environment. In order to solve the above challenges, this paper proposes a multi-col...     

结合时序注意力机制的多特征融合行人序列图像属性识别方法

目前绝大多数的行人属性识别任务都是基于单张图像的,单张图像所含信息有限,而图像序列中包含丰富的有用信息和时序特征,利用序列信息是提高行人属性识别性能的一个重要途径.本文提出了结合时序注意力机制的多特征融合行人序列图像属性识别网络,该网络除了使用常见的空-时二次平均池化特征聚合和空-时平均最大池化特征聚合提取序列的特征外...     

DewaterNet: A fusion adversarial real underwater image enhancement network

Underwater image enhancement algorithms have attracted much attention in underwater vision task. However, these algorithms are mainly evaluated on different datasets and metrics. In this paper, we utilize an effective and public underwater benchmark dataset including diverse underwater degradation scenes to enlarge the test scale and propose a fusion adversarial network for enhancing real underwater images. Meanwhile, the multiple inputs and well-designed multi-term adversarial loss can not only introduce multiple input image features, but also balance the impact of multi-term loss functions. The proposed network tested on the benchmark dataset achieves better or comparable performance than the other state-of-the-art methods in terms of qualitative and quantitative evaluations. Moreover, the ablation study experimentally validates the contributions of each component and hyper-parameter setting of loss functions.     

语义增强引导特征重建的遮挡行人检测

行人被严重遮挡导致无法提取有效特征是行人检测中出现漏检的一个主要原因。为了解决该问题,提出一种语义增强引导特征重建的遮挡行人检测算法。首先,利用空间和通道之间的依赖性设计了语义特征增强模块,建立全局上下文信息用以增强遮挡行人特征。其次,为关注行人的可见区域,通过自适应特征重建模块生成语义分割图,自适应调整通道的有效权重,增强行人和背景的可判别性。最后,通过多层次级联语义特征增强和自适应特征重建两个模块得到多层次特征图,融合多特征用以最终的行人解析。实验结果表明,该方法在具有挑战性的行人检测基准CityPersons和Caltech上,对严重遮挡目标的漏检率分别实现了47.28%和44.04%,在遮挡行人的检测上相较于其他方法具有较好的鲁棒性。     

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

MRANet: Multi-atrous residual attention Network for stereo image super-resolution

In recent years, stereo cameras have been widely used in various fields. Due to the limited resolution of real equipments, stereo image super-resolution (SR) is a very important and hot topic. Recent studies have shown that deep network structures can directly affect feature expression and extraction and thus influence the final results. In this paper, we propose a multi-atrous residual attention stereo super-resolution network (MRANet) with parallax extraction and strong discriminative ability. Specifically, we propose a multi-scale atrous residual attention (MARA) block to obtain receptive fields of different scales through a multi-scale atrous convolution and then combine them with attention mechanisms to extract more diverse and meaningful information. Moreover, we propose a stereo feature fusion unit for stereo parallax extraction and single viewpoint feature refinement and integration. Experiments on benchmark datasets show that MRANet achieves state-of-the-art performance in terms of quantitative metrics and visual quality compared with several SR methods.     

融入残差注意力机制的DeepLabV3+图像拼接篡改取证网络

针对现有图像拼接检测网络模型存在边缘信息关注度不够、像素级精准定位效果不够好等问题,提出一种融入残差注意力机制的DeepLabV3+图像拼接篡改取证方法,该方法利用编-解码结构实现像素级图像的拼接篡改定位。在编码阶段,将高效注意力模块融入ResNet101的残差模块中,通过残差模块的堆叠以减小不重要的特征比重,凸显拼接篡改痕迹;其次,利用带有空洞卷积的空间金字塔池化模块进行多尺度特征提取,将得到的特征图进行拼接后通过空间和通道注意力机制进行语义信息建模。在解码阶段,通过融合多尺度的浅层和深层图像特征提升图像的拼接伪造区域的定位精度。实验结果表明,在CASIA 1.0、COLUMBIA和CARVALHO数据集上的拼接篡改定位精度分别达到了0.761、0.742和0.745,所提方法的图像拼接伪造区域定位性能优于一些现有的方法,同时该方法对JPEG压缩也具有更好的鲁棒性。     

基于改进U Net模型的焊缝特征提取

针对基于激光视觉自动焊接过程中,出现焊缝特征占比失衡,焊接偏移的问题,提出一种改进U Net模型,在U Net网络模型的基础上融合可学习的调整器模块,在编码块中接入特征增强模块,减少了弧光干扰,提升了焊缝特征提取的精度。以管道自动焊接机器人作为图像采集平台,设计了网络训练模型,同时辅以数据增强防止网络过拟合,实验结果表明,改进型U Net算法的像素分割准确率(acc)、平均交并比(mIou)、平均像素精确度(mpa)分别为9934%、8936%、9562%,与传统阈值分割算法、FCN算法、U Net算法、PSPNet算法相比,本文的精度指标最优,在强弧光干扰环境下能准确提取出焊缝特征,具有抗噪能力强,识别准确率高的优点。     

Dual cross knowledge distillation for image super-resolution

The huge computational requirements and memory footprint limit the practical deployment of super resolution (SR) models. Knowledge distillation (KD) allows student networks to obtain performance improvement by learning from over-parameterized teacher networks. Previous work has attempted to solve SR distillation problem by using feature-based distillation, which ignores the supervisory role of the teacher module itself. In this paper, we introduce a cross knowledge distillation framework to compress and accelerate SR models. Specifically, we propose to obtain supervision by cascading the student into the teacher network for directly utilizing teacher’s well-trained parameters. This not only reduces the difficulty of optimization for students but also avoids designing alignment with obscure feature textures between two networks. To the best of our knowledge, we are the first work to explore the cross distillation paradigm on the SR tasks. Experiments on typical SR networks have shown the superiority of our method in generated images, PSNR and SSIM.     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

Deep edge map guided depth super resolution

Accurate edge reconstruction is critical for depth map super resolution (SR). Therefore, many traditional SR methods utilize edge maps to guide depth SR. However, it is difficult to predict accurate edge maps from low resolution (LR) depth maps. In this paper, we propose a deep edge map guided depth SR method, which includes an edge prediction subnetwork and an SR subnetwork. The edge prediction subnetwork takes advantage of the hierarchical representation of color and depth images to produce accurate edge maps, which promote the performance of SR subnetwork. The SR subnetwork is a disentangling cascaded network to progressively upsample SR result, where every level is made up of a weight sharing module and an adaptive module. The weight sharing module extracts the general features in different levels, while the adaptive module transfers the general features to the specific features to adapt to different degraded inputs. Quantitative and qualitative evaluations on various datasets with different magnification factors demonstrate the effectiveness and promising performance of the proposed method. In addition, we construct a benchmark dataset captured by Kinect-v2 to facilitate research on real-world depth map SR.     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

基于迁移学习的注意力胶囊网络

胶囊网络(Capsule Network,CapsNet)通过运用胶囊取代传统神经元,能有效解决卷积神经网络(Conventional Neural Network,CNN)中位置信息缺失的问题,近年来在图像分类中受到了极大的关注。由于胶囊网络的研究尚处于起步阶段,因此目前大多数胶囊网络研究成果在复杂数据集上表现的分类性能较差。为解决这个问题,本文提出了一种新的胶囊网络,即基于迁移学习的注意力胶囊网络。该网络通过使用迁移学习的方法改进传统的特征提取网络,并融合注意力机制模块,进而完成图像分类任务。首先,使用9层采用ELU激活函数的特征提取网络提取特征;然后,将特征提取网络在ImageNet数据集上训练所得参数,通过迁移学习用于CIFAR10数据集上;再者,在特征提取网络后加入注意力模块提取关键特征;最后,在MNIST、FashionMNIST、SVHN和CIFAR10等公开数据集上进行了对比实验。实验结果表明,本文提出的胶囊网络在简单和复杂数据集上都取得了理想的分类效果。     

Attention-based contextual interaction asymmetric network for RGB-D saliency prediction

Saliency prediction on RGB-D images is an underexplored and challenging task in computer vision. We propose a channel-wise attention and contextual interaction asymmetric network for RGB-D saliency prediction. In the proposed network, a common feature extractor provides cross-modal complementarity between the RGB image and corresponding depth map. In addition, we introduce a four-stream feature-interaction module that fully leverages multiscale and cross-modal features for extracting contextual information. Moreover, we propose a channel-wise attention module to highlight the feature representation of salient regions. Finally, we refine coarse maps through a corresponding refinement block. Experimental results show that the proposed network achieves a performance comparable with state-of-the-art saliency prediction methods on two representative datasets.     

基于双解码路径DD-UNet的脑肿瘤图像分割算法

针对医学图像中病灶区域尺度不一、边界模糊和周围组织强度不均匀所导致的分割精度降低问题,提出了一种基于双解码器的脑肿瘤图像分割模型。为了增强特征的表征力,提出了高阶微分残差模块并使用不同空洞率的扩张卷积用于提取特征编码,提高了网络模型的分割性能;引入上下文语义信息感知模块(multi scale dilation, MSD),从不同的目标尺度中提取更多的精细信息,提高了对结构细节信息的捕获能力,同时减少了编解码器之间的特征差异;在空间解码路径中使用选择性聚合空间注意力模块(spatial aggregation attention module, SAAM),增加了对有效空间特征的权重比例,减少了无效的特征干扰。在脑肿瘤数据集上进行了实验验证,实验结果表明,所提算法的Dice系数、平均交并比、敏感性、特异性、准确率等指标分别为：93.35%、90.71%、91.15%、99.94%、96.75%。