嵌入Transformer结构的多尺度点云补全

目的 当前点云补全的深度学习算法多采用自编码器结构,然而编码器端常用的多层感知器（multilayer perceptron,MLP）网络往往只聚焦于点云整体形状,很难对物体的细节特征进行有效提取,使点云残缺结构的补全效果不佳。因此需要一种准确的点云局部特征提取算法,用于点云补全任务。方法 为解决该问题,本文提出了嵌入注意力模块的多尺度点云补全算法。网络整体采用编码器—解码器结构,通过编码器端的特征嵌入层和Transformer层提取并融合3种不同分辨率的残缺点云特征信息,将其输入到全连接网络的解码器中,输出逐级补全的缺失点云。最后在解码器端添加注意力鉴别器,借鉴生成对抗网络（generative adversarial networks,GAN）的思想,优化网络补全性能。结果 采用倒角距离（Chamfer distance,CD）作为评价标准,本文算法在2个数据集上与相关的4种方法进行了实验比较,在ShapeNet数据集上,相比于性能第2的PF-Net （point fractal network）模型,本文算法的类别平均CD值降低了3.73%;在ModelNet10数据集上,相比于PF-Net模型,本文算法的类别平均CD值降低了12.75%。不同算法的可视化补全效果图,验证了本文算法具有更精准的细节结构补全能力和面对类别中特殊样本的强泛化能力。结论 本文所提出的基于Transformer结构的多尺度点云补全算法,更好地提取了残缺点云的局部特征信息,使得点云补全的结果更加准确。     

基于注意力机制的语义增强损失函数与全景分割北大核心CSCD

全景分割是计算机视觉中重要的研究方向。考虑到不同应用场景对语义分割精度的要求不同,本文提出一种基于注意力机制的语义增强损失函数和全景分割方法。首先将语义类别按照重要程度分组,加入注意力机制来对不同语义信息进行区分,并通过对损失权重的设计有效抑制了分类失衡问题;其次设计一种全景分割网络,利用MaskR CNN网络作为实例分割子分支并加入FPN结构作为语义分割基准,提高了所需物体种类的分割精度;最后通过设计重叠结果剔除规则避免了网络结构中的实例和语义分割分支输出的重叠问题。通过对COCO数据集的对比实验表明,本文提出的语义增强损失函数有效提高了优先级较高语义类别的分割效果,为不同应用场景的全景分割提供了更加高质量的语义信息。