面向三维视频的虚拟视点合成技术研究进展

基于深度图像的虚拟视点合成技术是三维视频信息处理、虚拟现实和计算机图形学领域的新兴交叉技术。介绍了三维视频虚拟视点绘制（或合成）技术的原理;分别就虚拟视点合成过程产生的重叠、伪影、空洞三种问题的产生机理进行分析总结;分类综述了空洞填补中基于背景重建的方法、基于图像补全的方法和基于相关图像的修复方法,并列举了提升合成图像质量的方法。总结并展望了深度学习等技术是虚拟视点合成技术的未来研究方向。     

MSTAR图像的矩特征分析与多阈值分割

图像分割是SAR图像自动目标识别应用中的基础性问题。定义并分析了MSTAR图像的矩特征,进而构造了多阈值处理策略,用于MSTAR图像的分割。首先研究了目标、阴影,以及背景区域统计特性,并确定了相应的数学模型描述,在此基础上给出了矩特征的定义,并分析了其基本特性。通过由图像空间到矩特征空间的转换,显著增强了目标区域与阴影、背景区域的差异性,因此通过构造不同的阈值化规则,实现了MSTAR图像中目标、阴影和背景区域的分割。对MSTAR图像的处理结果表明,与恒虚警率（CFAR）、最大类间方差（OTSU）、模糊C均值（FCM）和马尔可夫随机场（MRF）等典型分割算法相比,本文方法不需进行噪声抑制,但在分割效果和鲁棒性等方面性能更好,同时,对多尺度、多目标MSTAR图像的分割也显示出良好的适应性。     

基于深度学习的多模态医学图像分割综述

多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。     

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术（Double-sided Depth-Image Based Rendering,Double-sided DIBR）中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。（1）提出一种深度差值估计法。（2）在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。（3）对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。（4）改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比（Peak Signal to Noise Ratio,PSNR）以及结构相似（Structural SIMilarity,SSIM）都有所提高。     

渐进式前景更新和区域关联的图像协同分割

目的 图像协同分割技术是通过多幅参考图像以实现前景目标与背景区域的分离，并已被广泛应用于图像分类和目标识别等领域中。不过，现有多数的图像协同分割算法只适用于背景变化较大且前景几乎不变的环境。为此，提出一种新的无监督协同分割算法。方法 本文方法是无监督式的，在分级图像分割的基础上通过渐进式优化框架分别实现前景和背景模型的更新估计，同时结合图像内部和不同图像之间的分级区域相似度关联进一步增强上述模型估计的鲁棒性。该无监督的方法不需要进行预先样本学习，能够同时处理两幅或多幅图像且适用于同时存在多个前景目标的情况，并且能够较好地适应前景物体类的变化。结果 通过基于iCoseg和MSRC图像集的实验证明，该算法无需图像间具有显著的前景和背景差异这一约束，与现有的经典方法相比更适用于前景变化剧烈以及同时存在多个前景目标等更为一般化的图像场景中。结论 该方法通过对分级图像分割得到的超像素外观分布分别进行递归式估计来实现前景和背景的有效区分，并同时融合了图像内部以及不同图像区域之间的区域关联性来增加图像前景和背景分布估计的一致性。实验表明当前景变化显著时本文方法相比于现有方法具有更为鲁棒的表现。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

高速运动目标特征关联检测模型仿真

与静态目标不同，在高速运动过程中采集的视频图像存在阴影，为了实现对运动目标的高精度检测，提出基于深度学习的高速运动目标检测模型设计方法。采用光照评估方法判断图像中是否存在阴影，分割视频图像中的阴影区域，消除图像阴影；利用高斯核函数建立滤波器，对运动图像展开滤波处理，消除图像中存在的杂点，并通过剔除兴趣点中存在的冗余点以提高目标检测的准确度和效率，确定图像中的目标区域；采用深度特征网络提取目标特征，结合余弦距离和DeepSort算法展开特征匹配与数据关联分析，根据分析结果利用匈牙利算法构建高速运动目标检测模型，通过该模型实现目标检测。实验结果表明，所提方法的目标检测质量、目标检测精度和检测效率均具有较高的水平。     

实景空间中虚拟对象嵌入技术研究

实景空间是以实景图像为素材构造出的具有三维操纵能力的虚拟空间,增强现实技术可以把计算机产生的虚拟物体或其他信息合成到用户看到的真实场景中。该文主要讨论如何在实景空间中嵌入计算机生成的虚拟对象。首先介绍了实景空间的概念和模型,然后着重探讨了虚拟对象与实景空间的合成方法,主要解决合成中的几何一致性和光照一致性问题。     

基于深度学习的显著性目标检测综述

显著性目标检测通过模仿人的视觉感知系统，寻找最吸引视觉注意的目标，已被广泛应用于图像理解、语义分割、目标跟踪等计算机视觉任务中。随着深度学习技术的快速发展，显著性目标检测研究取得了巨大突破。本文总结了近5年相关工作，全面回顾了3类不同模态的显著性目标检测任务，包括基于RGB图像、基于RGB-D/T(Depth/Thermal)图像以及基于光场图像的显著性目标检测。首先分析了3类研究分支的任务特点，并概述了研究难点；然后就各分支的研究技术路线和优缺点进行阐述和分析，并简单介绍了3类研究分支常用的数据集和主流的评价指标。最后，对基于深度学习的显著性目标检测领域未来研究方向进行了探讨。     

基于增强现实技术的景观规划系统

增强现实是把计算机产生的虚拟物体或其他信息合成到用户看到的真实世界中的一种技术，利用增强现实技术，设计人员能够有效地进行建筑布局的规划和设计，本文介绍了一个典型的增强现实系统-景观规划系统的实现，针对合成虚拟景物和真实场景过程中需要解决的几何一致性和光照一致性问题，采用了局部三维重建和交互的相机定标技术来实现几何一致性；对于光照一致性，则采用了光照交互指定和自动恢复相结合的方法，同时还考虑了虚拟物体投射的阴影，针对不同场景的实际应用，依据系统生成的结果合成图象，设计人员能够比较有效地完成对景观规划结果的直观评估。     

数字图像合成技术综述

数字图像合成一直是图像处理中的研究热点,在图片编辑,平面设计,电影特效等领域有着广泛的应用。从原图像中准确地提取目标物体并将其无缝地合成到新背景下是图像合成的基本目标。按所使用的关键技术分类,现有的数字图像合成技术可分为基于α分量的图像合成,基于梯度场的图像合成和基于多分辨率模型的图像合成。首先详述了3类方法中的典型算法,并从合成质量、鲁棒性、运算效率等方面进行分析比较,然后对新的图像合成应用方式进行了扩展介绍,最后总结了现有图像合成方法的普遍局限性,并探讨了图像合成今后面临的挑战和发展方向。     

结合前景特征增强与区域掩码自注意力的细粒度图像分类

为解决细粒度图像分类中不相关背景信息干扰以及子类别差异特征难以提取等问题,提出了一种结合前景特征增强和区域掩码自注意力的细粒度图像分类方法。首先,利用ResNet50提取输入图片的全局特征;然后通过前景特征增强网络定位前景目标在输入图片中的位置,在消除背景信息干扰的同时对前景目标进行特征增强,有效突出前景物体;最后,将特征增强的前景目标通过区域掩码自注意力网络学习丰富、多样化且区别于其他子类的特征信息。在训练模型的整个过程,建立多分支损失函数约束特征学习。实验表明,该模型在细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft的准确率分别达到了88.0%、95.3%和93.6%,优于其他主流方法。     

Harmonized Portrait-Background Image Composition

Portrait-background image composition is a widely used operation in selfie editing, video meeting, and other portrait applications. To guarantee the realism of the composited images, the appearance of the foreground portraits needs to be adjusted to fit the new background images. Existing image harmonization approaches are proposed to handle general foreground objects, thus lack the special ability to adjust portrait foregrounds. In this paper, we present a novel end-to-end network architecture to learn both the content features and style features for portrait-background composition. The method adjusts the appearance of portraits to make them compatible with backgrounds, while the generation of the composited images satisfies the prior of a style-based generator. We also propose a pipeline to generate high-quality and high-variety synthesized image datasets for training and evaluation. The proposed method outperforms other state-of-the-art methods both on the synthesized dataset and the real composited images and shows robust performance in video applications.     

一种基于深度学习的遥感图像目标检测算法

遥感图像分析在国土资源管理、海洋监测等领域有着极为广阔的应用前景。深度学习技术已在图像处理领域取得突破性进展,然而,遥感图像固有的尺寸大、目标小而密集等特点,使得将面向普通图像的深度学习方法用于遥感目标检测普遍存在定位不准确、小目标检测难、大图检测精度差等问题。针对上述难题, 提出了一种新型遥感图像目标检测算法DFS。与传统机器学习方法相比,DFS 设计了新的维度聚类模块、定制损失函数和滑动窗口分割检测机制。其中,维度聚类模块通过设计聚类机制优化定制先验框,提高定位精度;定制损失函数提高对船只等小目标的检测精度;滑动窗口分割检测解决大图检测精度低的问题。在经典遥感数据集上开展的实验对比表明,与YOLOv2相比,DFS算法的mAP提高了256%,小目标检测效率及大图检测效能大幅提高。     

基于生成式对抗网络的画作图像合成方法

画作图像合成旨在将两个不同来源的图像分别作为前景和背景融合在一起,这通常需要局部风格迁移。现有算法过程繁琐且耗时,不能做到实时的图像合成。针对这一缺点,提出了基于生成式对抗网络(generative adversarial net,GAN)的前向生成模型(PainterGAN)。PainterGAN的自注意力机制和U-Net结构控制合成过程中前景的语义内容不变。同时,对抗学习保证逼真的风格迁移。在实验中,使用预训练模型作为PainterGAN的生成器,极大地节省了计算时间和成本。实验结果表明,比起已有方法,PainterGAN生成了质量相近甚至更好的图像,生成速度也提升了400倍,在解决局部风格迁移问题上是高质量、高效率的。     

Deep infrared pedestrian classification based on automatic image matting

Infrared pedestrian classification plays an important role in advanced driver assistance systems. However, it encounters great difficulties when the pedestrian images are superimposed on a cluttered background. Many researchers design very deep neural networks to classify pedestrian from cluttered background. However, a very deep neural network associated with a high computational cost. The suppression of cluttered background can boost the performance of deep neural networks without increasing their depth, while it has received little attention in the past. This study presents an automatic image matting approach for infrared pedestrians that suppresses the cluttered background and provides consistent input to deep learning. The domain expertise in pedestrian classification is applied to automatically and softly extract foreground objects from images with cluttered backgrounds. This study generates trimaps, which must be generated manually in conventional approaches, according to the estimated positions of pedestrian’s head and upper body without the need for any user interaction. We implement image matting by adopting the global matting approach and taking the generated trimap as an input. The representation of pedestrian is discovered by a deep learning approach from the resulting alpha mattes in which cluttered background is suppressed, and foreground is enhanced. The experimental results show that the proposed approach improves the infrared pedestrian classification performance of the state-of-the-art deep learning approaches at a negligible computational cost.     

联合聚焦度和传播机制的光场图像显著性检测

目的 图像显著性检测方法对前景与背景颜色、纹理相似或背景杂乱的场景,存在背景难抑制、检测对象不完整、边缘模糊以及方块效应等问题。光场图像具有重聚焦能力,能提供聚焦度线索,有效区分图像前景和背景区域,从而提高显著性检测的精度。因此,提出一种基于聚焦度和传播机制的光场图像显著性检测方法。方法 使用高斯滤波器对焦堆栈图像的聚焦度信息进行衡量,确定前景图像和背景图像。利用背景图像的聚焦度信息和空间位置构建前/背景概率函数,并引导光场图像特征进行显著性检测,以提高显著图的准确率。另外,充分利用邻近超像素的空间一致性,采用基于K近邻法（K-nearest neighbor,K-NN）的图模型显著性传播机制进一步优化显著图,均匀地突出整个显著区域,从而得到更加精确的显著图。结果 在光场图像基准数据集上进行显著性检测实验,对比3种主流的传统光场图像显著性检测方法及两种深度学习方法,本文方法生成的显著图可以有效抑制背景区域,均匀地突出整个显著对象,边缘也更加清晰,更符合人眼视觉感知。查准率达到85.16%,高于对比方法,F度量（F-measure）和平均绝对误差（mean absolute error,MAE）分别为72.79%和13.49%,优于传统的光场图像显著性检测方法。结论 本文基于聚焦度和传播机制提出的光场图像显著性模型,在前/背景相似或杂乱背景的场景中可以均匀地突出显著区域,更好地抑制背景区域。     

联合前景和背景对视频对象进行自动分割

提出了一种自动的运动对象分割算法,利用浮点图像的轮廓及其颜色特征将第一帧图像进行区域分割,然后根据帧间运动信息构造出前景和背景图像,最后以前景和背景图像作为参考,对同一场景中所有视频帧进行快速可靠的分割。