加权边沿自适应的场内插值去隔行方法*

为实现隔行扫描图像到逐行扫描图像的扫描格式转换,提出了一种基于空间加权和边沿自适应的场内插值去隔行算法。该算法包括LRV（left right vertical）评估和边沿自适应插值。相比传统的去隔行算法,LRV评估可以有效地消除伪边沿插值;在边沿自适应插值中增加预插值判断进行插值方向初步估计,可以抑制反向插值错误;在边沿方向搜索中增加空间权值,可以提高插值的准确率。实验结果表明,该算法在处理图片和视频流时的图像质量均要优于传统的算法。     

一种新型运动自适应去隔行算法

在分析了现有的各种去隔行算法特点的基础上,提出了一种新型的运动自适应去隔行算法。该算法充分结合了中值滤波算法及边沿保护插值算法的优越性,能区分图像的静止和运动部分,采用不同的算法进行去隔行。同时对运动部分采用的边沿保护插值去隔行算法进行了改进,大大简化了运动检测。软件仿真表明,去隔行处理后的逐行图像测评效果良好,该算法占用硬件资源少,结构简洁,极具实用价值。     

基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。     

基于无空洞填补的DIBR方法

针对传统DIBR空洞填补技术计算时间复杂度高的问题,提出一种无空洞填补的DIBR方法。核心思想是针对导致空洞产生的传统三维变换算法进行改进以获得更好效果。该方法首先采用深度膨胀算法对深度预处理,然后基于动态逆向插值算法的3D-WARPING直接生成虚拟视点图像,从而省去了空洞填补时间消耗。实验证明,相比传统DIBR方法,该方法重构的虚拟视点图像主观视觉质量更高;同时计算速度达到高清实时处理要求。     

一种利用背景信息的虚拟视点图像后处理方法

基于深度图像的虚拟视点绘制(Depth Image Based Rendering, DIBR)在双视图像融合后存在重叠、伪影和空洞等问题,为提高融合后图像质量,提出一种利用背景信息的虚拟视点图像后处理方法.首先,在图像融合时引入深度信息解决像素重叠问题.其次,根据视点移动方向定位左、右虚拟视图伪影区域,利用互补视点的背景像素擦除伪影.最后,利用不同视点参考图像信息之间的冗余性将左、右参考视点进行融合并消除前景像素,再进行正向映射得到虚拟视点背景图像填充双视融合后剩余的空洞.与基于图像分割的虚拟视点绘制算法相比PSNR值提高了0.6357dB,实验结果表明,该算法能有效提高绘制图像质量.     

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制（DIBR）是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。     

基于空间加权的虚拟视点绘制算法

在自由视点视频系统中,如何能在视频终端得到高质量的视频图像已成为基于深度图的绘制（DIBR）技术所研究的主要任务,其中虚拟视点像素插值是该技术中影响绘制质量的一个重要环节。针对虚拟视点绘制标准方案中存在的问题,提出了一种基于空间加权的像素插值算法。它是通过对多个投影像素点的深度值和水平方向绝对距离进行加权操作来实现像素插值的。在插值过程中,该算法考虑了不同区域投影像素点个数对像素插值准确性的影响,从而剔除了部分失真像素点,并且在图像输出前还分别对左、右参考虚拟视点进行了失真检测和矫正。实验结果表明,该算法改善了绘制的主、客观质量,其中,PSNR平均提高0.30 dB,SSIM平均提高0.001 3。因此,该算法可以有效地抑制像素插值过程引入的噪声,提高像素插值的精度。     

内容自适应与DOI的场内去隔行研究

提出了基于内容自适应与Direction Oriented Interpolation（DOI）的视频场内去隔行。首先通过内容纹理分析将视频单场划分为边缘、平滑和纹理区域,然后对不同区域采用不同的场内去隔行算法,其中针对边缘重点区域采用DOI方法进行插值。DOI方法为利用上部和下部空间方向矢量信息获得更准确的边缘空间方向,针对不同边缘方向具有自适应的搜索区域,并具有较大的灵活性和准确性。实验结果表明,该方法结果在图像主、客观质量上均优于线平均（Line Averaging,LA）、边缘线平均（Edge-based Line Averaging,ELA）、改进的边缘线平均（Modified Edge-based Line Averaging,M-ELA）和中值滤波等场内去隔行算法。     

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术（Double-sided Depth-Image Based Rendering,Double-sided DIBR）中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。（1）提出一种深度差值估计法。（2）在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。（3）对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。（4）改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比（Peak Signal to Noise Ratio,PSNR）以及结构相似（Structural SIMilarity,SSIM）都有所提高。     

基于共聚焦图像序列的深度估计方法

提出一种基于共聚焦图像的深度估计方法。采用虚拟孔径技术把相机阵列获得的多视角图像合成得到共聚焦图像序列,并将其作为聚焦测距的数据源进行聚焦分析,实现对场景深度信息的估计。针对共聚焦图像的特点,将传统聚焦测距方法中的清晰度评价算法与颜色一致性评价算法相结合,提出一种聚焦度测量算法,该测量算法同时适用于图像中强纹理区域和弱纹理区域的聚焦分析。实验结果表明,该方法对聚焦判别的有效性较高,可以获得较准确的场景深度估计。     

快速3维坐标变换的绘制算法

目的 基于深度图的绘制(DIBR)是一种新型的虚拟视点生成技术,在诸多方面得到了广泛的应用。然而,该技术还不能满足实时性的绘制需求。为了在保证绘制质量不下降的前提下,尽可能地提高绘制速度,提出了一种高效的3D-Warping(3维坐标变换)算法。方法 主要在以下3个方面进行了改进:1)引入了深度—视差映射表技术,避免了重复地进行视差求取操作。2)对深度平坦的像素块进行基于块的3D-Warping,减少了映射的次数。对深度非平坦像素块中的像素点采取传统的基于像素点的3D-Warping,保证了映射的准确性。3)针对两种不同的3D-Warping方式,分别提出了相应的插值算法。在水平方向上,改进的像素插值算法对紧邻插值和Splatting(散射)插值算法进行了折中,只在映射像素点与待插值像素点很近的情况下才进行紧邻插值,否则进行Splatting插值;在深度方向上,它对Z-Buffer(深度缓存)技术进行了改进,舍弃了与前景物体太远的映射像素点,而对其他映射像素点按深度值进行加权操作。结果 实验结果表明,与标准绘制方案的整像素精度相比,绘制时间平均节省了72.05%;与标准绘制方案的半像素精度相比,PSNR平均提高了0.355dB,SSIM平均提高了0.00115。结论 改进算法非常适用于水平设置相机系统的DIBR技术中的整像素精度绘制,对包含大量深度平坦区域的视频序列效果明显,不但能够提高绘制的速度,而且可以有效地改善绘制的客观质量。     

深度学习在单图像三维模型重建的应用

针对基于单图像重建的三维模型具有高度不确定性问题,提出了一种基于深度图像估计、球面投影映射、三维对抗生成网络相结合的网络模型算法。首先,通过深度估计器得到输入图像的深度图像,这有利于对图像进一步的分析;其次,将得到的深度图像通过球面投影映射转换为三维模型;最后,利用三维对抗生成网络对重建的三维模型的真实性进行判断,建立更逼真的三维模型。理论分析和仿真实验表明,与学习先验知识生成三维模型的算法LVP相比,所提模型在真实三维模型与重建三维模型的交并比（IoU）上提高了20.1%,倒角距离（CD）缩小了13.2%。实验结果表明,所提模型在单视图三维模型重建中具有良好的泛化能力。     

沿法线方向传播的深度图像补洞算法

密集的深度信息在计算机视觉的各种任务中有广泛的应用,然而深度相机在有光泽、透明、较远处的物体表面通常无法探测到深度信息,映射到深度图片上形成了大小不一的孔洞。因此,提出了一种沿法线方向传播的单一深度图像补洞算法。本文方法沿着物体本身的曲面变化进行扩散,把深度图片的补全问题转化成几何完成的问题。首先把2D的深度图像扩展到3D点云,然后3D点云沿着孔洞边界的法线方向向内收缩。收缩的过程中加入类似正态滤波器的约束函数来模拟深度的变化,使填充的点云更加适合整个物体的结构。最后把3D点云重新映射到2D图片上。本文的算法在NYU-Depth-v2数据集上进行测试,实验证明本文算法对孔洞的填充有较好的效果。     

基于相关性的三维医学图像插值

现有的插值方法在进行医学断层图像插值时，要么不能兼顾灰度和形状的变化，要么计算量太大。为解决这一问题，文中提出一种基于相关性的三维医学图像插值算法。通过对原图进行门限分割，获得体素的分割值。对相同密度物质采用灰度插值，不同密度物质，利用体素的相关性来进行插值，使新的图像不仅在灰度上，而且在组织形状上，介于原来的断层图像之间，满足了医学图像插值的要求。与线性插值相比，新算法的视觉效果好，计算误差小；插值结果可有效地应用于构建三维体模型。     

一种基于3维全景图像技术的深度测量方法

3维全景图像技术是一种能够记录和显示全真3维场景的图像技术。该技术采用微透镜阵列记录空间场景，空间任意一点的深度信息只需通过一次成像即可直接获得。本文研究采用全景图像技术直接获取物体空间信息的方法。此方法首先从全景图像中抽提视图。视图是通过抽提全景图像中对应于每个微透镜下同一局部位置的点人工合成的。每幅视图包含了全景图像中对原来的物空间场景按照某一特定方向的平行投影记录信息。接下来通过分析全景图像的光学成像过程。推导了用来描述物体深度信息和其在对应的视图间的视差关系的深度方程。从而得出空间任一点的深度可以通过其在对应视图间的视差来求得。最后，通过运用全景图像测量火柴盒的厚度的实例，验证了这一方法的可行性。其结果一方面可用于全景图像的数据处理本身，另一方面可望为开发新型的深度测量工具提供理论依据。     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

基于邻域扩展的半自动2D转3D方法*

半自动2D转3D是解决当前3D影视内容匮乏的重要途径,其核心是将用户分配的稀疏深度转换成稠密深度。现有方法大多借助局部邻域进行深度插值,忽略了图像的全局约束关系,因而难以准确恢复深度图的对象边界。针对该问题,提出邻域扩展的最优化深度插值方法。首先引入邻域的邻域,建立邻域扩展的最优化深度插值能量模型;其次在相似的像素点与其邻域加权深度平均值的差异近似相等的假设条件下,将深度插值能量模型的最优化问题转换成一个稀疏线性方程组的求解问题。实验结果表明,与当前流行的半自动2D转3D方法相比,本文方法估计的深度图PSNR更高,同时增强了深度图的对象边界质量。     

基于等高线的三维地形造型算法

提出了一个从等高线地形图转换成三维真实感地形显示的快速算法，给出用深度标记法求出各点地形高度的插值算法，并对三维造型的快速显示作了探讨。实验证明本文造型方法速度快、精度高。