基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

融合多尺度信息的道路场景实时语义分割

道路场景语义分割是自动驾驶车辆实现环境感知的重要技术。针对道路场景实时语义分割中存在目标区域尺度不一、变化迅速的问题,在DABNet语义分割网络的基础上进行优化改进提出一种融合多尺度信息的道路场景实时语义分割网络。对于网络设计：首先引入带有自适应卷积核的卷积层优化DAB模块,自适应地引导网络学习最合适的特征图感受野,提高网络获取多尺度语义信息的能力;然后在编码阶段后引入了金字塔池化PSP模块来聚合特征图中不同尺度子区域的上下文信息,提高网络获取全局信息的能力。本网络提高了对大目标区域完整分割,避免小目标区域漏分割的能力,保证较高的道路场景实时语义分割精度。     

融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法

针对交通场景语义分割算法中存在的易融入周围背景的纤细条状目标分割不连续、模型参数量大等问题,提出一种融合多尺度深度卷积的轻量级Transformer交通场景语义分割算法。首先,基于深度卷积构建多尺度条形特征提取模块,在不同尺度下增强对纤细条状目标特征的表示能力。其次,在浅层网络中利用卷积归纳偏置特性设计空间细节辅助模块,以弥补深层空间细节信息的丢失来优化目标边缘分割。最后,提出基于Transformer-CNN框架的非对称编解码网络,编码器结合Transformer与CNN减少细节信息丢失并降低模型参数量;而解码器采用轻量级的多级特征融合设计来进一步建模全局上下文。所提算法在Cityscapes和Cam Vid交通场景公开数据集上分别取得的平均交并比为78.63%和81.06%,能够在交通场景语义分割中实现分割精度和模型大小之间的权衡,具备良好的应用前景。     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

基于多源图像融合的光伏面板缺陷检测

传统光伏面板缺陷检测任务以人工目视方法为主，存在效率低、精度差、成本高等问题。提出基于深度学习的融合光伏面板可见光图像与红外图像的缺陷检测网络，即多源图像融合网络（MultisourceFusionNetwork,MF-Net），实现光伏面板的缺陷检测。MF-Net以YOLOv3tiny为主干结构，并针对光伏面板缺陷特征进行网络结构改进。其中包括：在特征提取模块中增加网络深度并融入密集块结构，使得MF-Net能够融合更多高层语义信息的同时增强特征的选择；将双尺度检测增加为三尺度检测，以提高网络对不同尺寸缺陷的适用度。此外，提出自适应融合模块，使特征图融合过程中可以根据像素邻域信息自适应分配融合系数。实验结果表明，相比基于YOLOv3 tiny的融合网络，改进后的融合检测网络m AP提高7.41%；自适应融合模块使m AP进一步提升2.14%，且自适应融合模块能够有效提高特征的显著性；在与单一图像（仅有可见光图像或红外图像）的检测网络及其他融合图像检测网络的对比实验中，所提出的网络F1 score最高（F1=0.86）。     

多尺度特征融合与极限学习机结合的交通标志识别

针对卷积神经网络只能使用相同尺寸图像和卷积核的网络进行特征提取,导致提取的特征不全面,在交通标志识别中因车载摄像头与交通标志的位置不断变化影响交通标志的识别精度等问题,提出了一种基于多尺度特征融合与极限学习机结合的交通标志识别方法。首先,将预训练适应3种不同尺寸图像的网络模型作为实验的初始模型;然后,融合3个网络模型构建多尺度卷积神经网络,将3个预训练网络的参数级联到融合模型的全连接层,对融合模型的全连接层进行训练,采用随机梯度下降算法更新网络参数;最后,将融合后的模型作为特征提取器提取特征,把提取到的多尺度特征送入极限学习机,实现交通标志识别。实验采用德国交通标志数据库(GTSRB)对算法性能进行测试,实验结果显示,多尺度特征融合与极限学习机结合的网络识别精度为99.23%,识别速度为46ms。相对于预训练的网络,网络的分类精度分别提高了2.35%,3.22%,3.74%。多尺度特征融合能够有效提取交通标志图像的特征信息,极限学习机可以提高分类精度和分类时间,该方法能满足交通标志识别的准确性和实时性的要求。     

多尺度语义信息融合的目标检测

针对当前目标检测算法对小目标及密集目标检测效果差的问题,该文在融合多种特征和增强浅层特征表征能力的基础上提出了浅层特征增强网络(SEFN),首先将特征提取网络VGG16中Conv4_3层和Conv5_3层提取的特征进行融合形成基础融合特征;然后将基础融合特征输入到小型的多尺度语义信息融合模块中,得到具有丰富上下文信息和空间细节信息的语义特征,同时把语义特征和基础融合特征经过特征重利用模块获得浅层增强特征;最后基于浅层增强特征进行一系列卷积获取多个不同尺度的特征,并输入各检测分支进行检测,利用非极大值抑制算法实现最终的检测结果.在PASCAL VOC2007和MS COCO2014数据集上进行测试,模型的平均精度均值分别为81.2％和33.7％,相对于经典的单极多盒检测器(SSD)算法,分别提高了2.7％和4.9％;此外,该文方法在检测小目标和密集目标场景上,检测精度和召回率都有显著提升.实验结果表明该文算法采用特征金字塔结构增强了浅层特征的语义信息,并利用特征重利用模块有效保留了浅层的细节信息用于检测,增强了模型对小目标和密集目标的检测效果.     

多尺度语义信息融合的目标检测

针对当前目标检测算法对小目标及密集目标检测效果差的问题,该文在融合多种特征和增强浅层特征表征能力的基础上提出了浅层特征增强网络(SEFN),首先将特征提取网络VGG16中Conv4_3层和Conv5_3层提取的特征进行融合形成基础融合特征;然后将基础融合特征输入到小型的多尺度语义信息融合模块中,得到具有丰富上下文信息和空间细节信息的语义特征,同时把语义特征和基础融合特征经过特征重利用模块获得浅层增强特征;最后基于浅层增强特征进行一系列卷积获取多个不同尺度的特征,并输入各检测分支进行检测,利用非极大值抑制算法实现最终的检测结果。在PASCAL VOC2007和MS COCO2014数据集上进行测试,模型的平均精度均值分别为81.2%和33.7%,相对于经典的单极多盒检测器(SSD)算法,分别提高了2.7%和4.9%;此外,该文方法在检测小目标和密集目标场景上,检测精度和召回率都有显著提升。实验结果表明该文算法采用特征金字塔结构增强了浅层特征的语义信息,并利用特征重利用模块有效保留了浅层的细节信息用于检测,增强了模型对小目标和密集目标的检测效果。     

复杂背景下多尺度X光违禁品检测

针对安检X光图像中违禁品的自动检测一直存在困难,使用不同尺度的特征比例平衡模块、U型网络递归模块和残差边注意力模块构建EM2Det(Enhanced M2Det)模型,进一步提升M2Det模型的检测性能.首先考虑主干网络深层中的高语义信息和浅层中的细节特征信息,借鉴特征金字塔思想设计特征融合增强模块,加强模型对主干网络中不同尺度特征的提取能力;然后设计8个U型网络递归模块,增强其对基本特征不同水平、不同尺度的细节特征提取能力;接着使用CBAM(Convolutional Block Attention Module)构建残差边注意力模块,使其关注有效特征,抑制无用的背景干扰;最后在SIXray_OD数据集上对模型进行验证.实验结果表明,设计的各个模块均有不同程度的提升效果,EM2Det模型的平均精度比M2Det模型提升6.4个百分点.     

VDNet: an infrastructure‐less UAV‐assisted sparse VANET system with vehicle location prediction

Vehicular Ad Hoc Network (VANET) has been a hot topic in the past few years. Compared with vehicular networks where vehicles are densely distributed, sparse VANET have more realistic significance. The first challenge of a sparse VANET system is that the network suffers from frequent disconnections. The second challenge is to adapt the transmission route to the dynamic mobility pattern of the vehicles. Also, some infrastructural requirements are hard to meet when deploying a VANET widely. Facing these challenges, we devise an infrastructure‐less unmanned aerial vehicle (UAV) assisted VANET system called V ehicle‐D rone hybrid vehicular ad hoc Net work (VDNet), which utilizes UAVs, particularly quadrotor drones, to boost vehicle‐to‐vehicle data message transmission under instructions conducted by our distributed vehicle location prediction algorithm. VDNet takes the geographic information into consideration. Vehicles in VDNet observe the location information of other vehicles to construct a transmission route and predict the location of a destination vehicle. Some vehicles in VDNet equips an on‐board UAV, which can deliver data message directly to destination, relay messages in a multi‐hop route, and collect location information while flying above the traffic. The performance evaluation shows that VDNet achieves high efficiency and low end‐to‐end delay with controlled communication overhead. Copyright © 2016 John Wiley & Sons, Ltd.     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

Boosting semantic segmentation via feature enhancement

Semantic segmentation aims to map each pixel of an image into its corresponding semantic label. Most existing methods either mainly concentrate on high-level features or simple combination of low-level and high-level features from backbone convolutional networks, which may weaken or even ignore the compensation between different levels. To effectively take advantages from both shallow (textural) and deep (semantic) features, this paper proposes a novel plug-and-play module, namely feature enhancement module (FEM). The proposed FEM first uses an information extractor to extract the desired details or semantics from different stages, and then enhances target features by taking in the extracted message. Two types of FEM, i.e., detail FEM and semantic FEM, can be customized. Concretely, the former type strengthens textural information to protect key but tiny/low-contrast details from suppression/removal, while the other one highlights structural information to boost segmentation performance. By equipping a given backbone network with FEMs, there might contain two information flows, i.e., detail flow and semantic flow. Extensive experiments on the Cityscapes, ADE20K and PASCAL Context datasets are conducted to validate the effectiveness of our design. The code has been released at https://github.com/SuperZ-Liu/FENet.     

基于语义属性的肺结节良恶性分类

现有肺结节良恶性计算机辅助诊断的依据通常为肺部CT图像的底层特征,而临床医生的诊断依据为高级语义特征.为克服这种图像底层特征和高级语义特征之间的不一致性,提出一种基于语义属性的肺结节良恶性判别方法.首先,利用阈值概率图方法提取肺结节图像;其次,一方面提取肺结节图像的形状、灰度、纹理、大小和位置等底层特征,组成样本特征集.另一方面,根据专家对肺结节属性的标注,提取结节属性集;然后,根据特征集和属性集建立属性预测模型,实现两者之间的映射;最后,利用预测的属性进行肺结节的良恶性分类.LIDC数据库上的实验结果表明所提方法具有较高的分类精度和AUC值.     

基于语义特征传播图神经网络的小样本图像分类算法

使用少量样本进行学习和概括的能力是人工智能和人类之间主要的区别。在小样本学习领域,大多数图神经网络专注于将标记的样本信息传递给未标记的查询样本,而忽略了语义特征在分类过程中的重要作用。为此构建了语义特征传播图神经网络,首先将语义特征嵌入到图神经网络中,解决了细粒度图像特征相似性带来的分类准确率低的问题,然后将注意力机制与骨干网络合并达到强化前景并提高特征提取质量的目的,利用马氏距离计算类的相似度得到更好的分类性能,最后使用Funnel ReLU函数作为激活函数进一步提高分类准确率。在基准数据集上实验表明,所提算法相比于基线算法在5类1/2/5样本任务上的准确率分别提高了903%、456%和415%。     

CRFNet: Context ReFinement Network used for semantic segmentation

Recent semantic segmentation frameworks usually combine low-level and high-level context information to achieve improved performance. In addition, postlevel context information is also considered. In this study, we present a Context ReFinement Network (CRFNet) and its training method to improve the semantic predictions of segmentation models of the encoder–decoder structure. Our study is based on postprocessing, which directly considers the relationship between spatially neighboring pixels of a label map, such as Markov and conditional random fields. CRFNet comprises two modules: a refiner and a combiner that, respectively, refine the context information from the output features of the conventional semantic segmentation network model and combine the refined features with the intermediate features from the decoding process of the segmentation model to produce the final output. To train CRFNet to refine the semantic predictions more accurately, we proposed a sequential training scheme. Using various backbone networks (ENet, ERFNet, and HyperSeg), we extensively evaluated our model on three large-scale, real-world datasets to demonstrate the effectiveness of our approach.     

基于双分支特征融合的无锚框目标检测算法

针对无锚框目标检测算法CenterNet中,目标特征利用程度不高、检测结果不够准确的问题,该文提出一种双分支特征融合的改进算法。在算法中,一个分支包含了特征金字塔增强模块和特征融合模块,以对主干网络输出的多层特征进行融合处理。同时,为利用更多的高级语义信息,在另一个分支中仅对主干网络的最后一层特征进行上采样。其次,对主干网络添加了基于频率的通道注意力机制,以增强特征提取能力。最后,采用拼接和卷积操作对两个分支的特征进行融合。实验结果表明,在公开数据集PASCAL VOC上的检测精度为82.3%,比CenterNet算法提高了3.6%,在KITTI数据集上精度领先其6%,检测速度均满足实时性要求。该文提出的双分支特征融合方法将不同层的特征进行处理,更好地利用浅层特征中的空间信息和深层特征中的语义信息,提升了算法的检测性能。     

Edge-aware object pixel-level representation tracking

Recently, there has been a trend in tracking to use more refined segmentation mask instead of coarse bounding box to represent the target object. Some trackers proposed segmentation branches based on the tracking framework and maintain real-time speed. However, those trackers use a simple FCNs structure and lack of the edge information modeling. This makes performance quite unsatisfactory. In this paper, we propose an edge-aware segmentation network, which uses the complementarity between target information and edge information to provide a more refined representation of the target. Firstly, We use the high-level features of the tracking backbone network and the correlation features of the classification branch of the tracking framework to fuse, and use the target edge and target segmentation mask for simultaneous supervision to obtain an optimized high-level feature with rough edge information and target information. Secondly, we use the optimized high-level features to guide the low-level features of the tracking backbone network to generate more refined edge features. Finally, we use the refined edge features to fuse with the target features of each layer to generate the final mask. Our approach has achieved leading performance on recent pixel-wise object tracking benchmark VOT2020 and segmentation datasets DAVIS2016 and DAVIS2017 while running on 47 fps. Code is available at https://github.com/TJUMMG/EATtracker.     

Research on image feature extraction and retrieval algorithms based on convolutional neural network

With the rapid development of mobile Internet and digital technology, people are more and more keen to share pictures on social networks, and online pictures have exploded. How to retrieve similar images from large-scale images has always been a hot issue in the field of image retrieval, and the selection of image features largely affects the performance of image retrieval. The Convolutional Neural Networks (CNN), which contains more hidden layers, has more complex network structure and stronger ability of feature learning and expression compared with traditional feature extraction methods. By analyzing the disadvantage that global CNN features cannot effectively describe local details when they act on image retrieval tasks, a strategy of aggregating low-level CNN feature maps to generate local features is proposed. The high-level features of CNN model pay more attention to semantic information, but the low-level features pay more attention to local details. Using the increasingly abstract characteristics of CNN model from low to high. This paper presents a probabilistic semantic retrieval algorithm, proposes a probabilistic semantic hash retrieval method based on CNN, and designs a new end-to-end supervised learning framework, which can simultaneously learn semantic features and hash features to achieve fast image retrieval. Using convolution network, the error rate is reduced to 14.41% in this test set. In three open image libraries, namely Oxford, Holidays and ImageNet, the performance of traditional SIFT-based retrieval algorithms and other CNN-based image retrieval algorithms in tasks are compared and analyzed. The experimental results show that the proposed algorithm is superior to other contrast algorithms in terms of comprehensive retrieval effect and retrieval time.