基于全局优化的保细节分层多视图立体匹配

传统的基于全局优化的多视网立体匹配方法由于算法复杂度和内存容量的限制,难以处理高分辨率的图像,为此提出一种保细节的层次化多视图它体匹配方法.首先对每幅分割的图像进行结构微细度评估,为分割区域设定合适的匹配分辨率层;然后在图像的金字塔结构上:进行由粗到细的视差恢复:在一定的分辨率层上,对属于该分辨率层的图像区域进行全局优...     

基于环境映照自动对齐的高质量虚实融合技术

要实现高品质的增强现实效果需要解决虚拟物体与现实场景的光照一致性问题.虽然采用HDR技术能获取场景的环境映照,但需要解决所获取的光照环境信息与真实场景的对齐问题.为此提出一种基于特征自动匹配的环境映照对齐方法.首先采用Affine-SIFT算法和随机抽样一致性算法对环境映照和拍摄场景进行特征匹配并优化匹配结果,然后利用基于运动推断结构的摄像机定标算法求得匹配对的三维位置,从而计算出环境映照与真实场景的对应关系,实现了二者的自动对齐.基于该技术搭建的高真实感实时虚实融合系统采用基于关键帧的相机跟踪技术,可以实时地将虚拟物体注册到拍摄的视频场景里,并允许对其进行实时的交互编辑.在渲染时有效地利用了自动对齐后的光照环境信息,采用重要性采样算法和阴影映射技术实现了实时的高质量渲染.实验结果表明,所搭建的增强现实系统很好地解决了实时虚实融合中的几何一致性和光照一致性问题.     

基于图像序列的交互式快速建模系统

给出了一个基于图像序列的交互式三维建模系统.通过输入一段未标定的图像或视频序列,系统能够自动地恢复出摄像机参数;然后用户只需要在少量几帧图像上简单勾画出物体的形态结构,系统就能自动解析出多帧之间用户交互的对应关系,从而迅速、逼真地重建出场景的三维模型.该系统提供了点与线段的重建、直线与平面的重建、曲线与曲面的重建等功能,能够满足对现实世界中的复杂场景的快速高精度的重建要求.几组真实拍摄的图像序列的建模实验表明:该系统高效、实用.能够很好地满足实际建模需求.     

基于汉字标志的增强现实系统

增强现实是将虚实信息融合的技术,该系统目标是利用普通的网络摄像头,实时地在用户提供的包围在黑色方框中的汉字标志图像上附加相关的媒体信息,有效地扩展和丰富传统的看图识字。为了在复杂的光影下也能稳定地检测出标志,系统利用边缘提取优化了标志检测方法。为了稳定快速地求解摄像机参数,系统首先利用单应性矩阵快速求解出初值,并通过在优化函数中加入自适应的平滑性约束来抑制图像噪声的影响,使得求解的摄像机参数更加精确平滑。实验结果证明了该系统的稳定性和实用性。     

基于语义概率预测的动态场景单目视觉SLAM

目的 基于视觉的同步定位与建图（visual-based simultaneous localization and mapping,vSLAM）是计算机视觉以及机器人领域中的关键技术,其通过对输入的图像进行处理分析来感知周围的3维环境以及进行自身的定位。现有的SLAM系统大多依赖静态世界假设,在真实环境中的动态物体会严重影响视觉SLAM系统的稳定运行。同时,场景中静止与运动部分往往和其语义有密切关系,因而可以借助场景中的语义信息来提升视觉SLAM系统在动态环境下的稳定性。为此,提出一种新的基于语义概率预测的面向动态场景的单目视觉SLAM算法。方法 结合语义分割的结果以及鲁棒性估计算法,通过对分割进行数据关联、状态检测,从概率的角度来表示观测的静止/运动状态,剔除动态物体上的观测对相机位姿估计的干扰,同时借助运动概率及时剔除失效的地图点,使系统在复杂动态的场景中依然能够稳定运行。结果 在本文构建的复杂动态场景数据集上,提出的方法在跟踪精度和完整度上都显著优于现有的单目视觉SLAM方法,而且在TUM-RGBD数据集中的多个高动态序列上也取得了更好的结果。此外,本文定性比较了动态场景下的建图质量以及AR（augmented reality）效果。结果表明,本文方法明显优于对比方法。结论 本文通过结合语义分割信息以及鲁棒性估计算法,对分割区域进行数据关联以及运动状态检测,以概率的形式表示2D观测的运动状态,同时及时剔除失效地图点,使相机位姿估计的精度以及建图质量有了明显提升,有效提高了单目视觉SLAM在高度动态环境中运行的鲁棒性。     

基于边的自适应实时三维跟踪

针对缺乏纹理特征的物体,提出了一种基于边的自适应实时三维跟踪方法。在已知物体三维模型的情况下,通过基于历史运动信息的物体边缘检测与跟踪,可以有效准确地求解出摄像机的外参。基于并扩展了现有的基于边的实时跟踪算法,其主要工作体现在以下三个方面： 1）提出自适应阈值和基于历史信息估计当前帧的运动趋势的方法,从而提高边匹配算法在快速运动时的稳定性;2）提出一种基于随机抽样一致性（RANSAC）的边匹配策略,可以有效剔除误匹配的边,从而提高复杂模型的跟踪稳定性;3）利用抽取轮廓边的算法将边跟踪算法从CAD模型扩展到一般的面片模型。实验结果证明了该方法的鲁棒高效,能够满足增强现实、虚拟装配等应用需求。     

三维视觉前沿进展

在自动驾驶、机器人、数字城市以及虚拟/混合现实等应用的驱动下,三维视觉得到了广泛的关注。三维视觉研究主要围绕深度图像获取、视觉定位与制图、三维建模及三维理解等任务而展开。本文围绕上述三维视觉任务,对国内外研究进展进行了综合评述和对比分析。首先,针对深度图像获取任务,从非端到端立体匹配、端到端立体匹配及无监督立体匹配3个方面对立体匹配研究进展进行了回顾,从深度回归网络和深度补全网络两个方面对单目深度估计研究进展进行了回顾。其次,针对视觉定位与制图任务,从端到端视觉定位和非端到端视觉定位两个方面对大场景下的视觉定位研究进展进行了回顾,并从视觉同步定位与地图构建和融合其他传感器的同步定位与地图构建两个方面对同步定位与地图构建的研究进展进行了回顾。再次,针对三维建模任务,从深度三维表征学习、深度三维生成模型、结构化表征学习与生成模型以及基于深度学习的三维重建等4个方面对三维几何建模研究进展进行了回顾,并从多视RGB重建、单深度相机和多深度相机方法以及单视图RGB方法等3个方面对人体动态建模研究进展进行了回顾。最后,针对三维理解任务,从点云语义分割和点云实例分割两个方面对点云语义理解研究进展进行了回顾。在此基础上,给出了三维视觉研究的未来发展趋势,旨在为相关研究者提供参考。     

面向增强视频的基于结构和运动恢复的摄像机定标

提出了一种高效鲁棒的长序列摄像机定标算法,能稳定处理焦距未知且变化的视频序列,适用于增强视频的应用．该算法从长视频序列中根据特征匹配点提炼出相互之间具有较长基线的关键帧,以保证求解的稳定性．算法先在关键帧序列上渐进式求解,以准确恢复特征匹配点的互维结构信息;利用精确恢复的三维点,求解整个序列的摄像机运动参数．该算法选择最适合初始化的三帧求解,并将解及时从射影空间转换到欧氏空间．实验结果显示了所恢复的摄像机参数和三维点的高度精确性,证明了该方法稳定高效,能够满足增强视频的高端要求．     

《中国图象图形学报》三维视觉与智能图形专刊简介

在无人驾驶、虚拟/增强现实、智能机器人和人机交互等新兴应用的牵引下,在三维成像传感器、人工智能算法和高性能计算等能力升级的保障下,三维视觉与智能图形技术发展迅速,相互交融,在学术界和产业界均引起极大的关注。目前,在三维数据获取、三维场景建模、三维语义理解和高真实感绘制等方面依然存在诸多挑战。紧密结合人工智能与大数据技术的最新进展,推动三维视觉与智能图形理论与方法的进一步发展,促进相关技术的应用落地,都将对未来的学术、产业和社会带来重要影响。 为了促进我国三维视觉与智能图形相关技术、方法与应用研究的深入开展,及时反映我国学者在相关领域的最新研究进展,《中国图象图形学报》邀请业内专家共同策划推出“三维视觉与智能图形”专刊,主要收录国内学者在相关理论方法、关键技术、数据平台和典型应用等方面具有创新性、突破性的研究成果。 经过严格的评审,“三维视觉与智能图形”专刊共收录学术论文24篇,包括5篇“综述”、1篇“数据集”论文、6篇“深度估计与三维重建”论文、4篇“三维形状分析”论文、3篇“三维点云分割”论文、5篇“图像视频分析”论文。 5篇“综述”主要针对单目深度估计、三维点云配准、多源融合SLAM进行了系统性的总结与探讨,并对未来的研究方向和发展趋势进行了展望。 1)《基于深度学习的单目深度估计技术综述》对2014—2021年间深度学习用于单目深度估计的经典方法以及最新进展进行了全面综述,回顾了基于监督学习和无监督学习方法的发展历程。并对当前研究的现状、面临的问题及可能的解决方案进行了讨论。 2)《深度学习刚性点云配准前沿进展》聚焦于深度学习点云配准,重点阐述领域最新方法和发展趋势;对不同算法进行了详细阐述与归纳比较;介绍了多种度量指标以及在不同基准下的对比数据;最后讨论了当前深度点云配准面临的挑战,并对未来研究方向进行展望。 3)《三维点云配准方法研究进展》分别就非学习和基于学习的点云配准方法进行综述与对比分析,从应用场景、配准性能、应用条件、算法通用性方面指出了点云配准技术面临的挑战,并展望了未来的发展趋势。 4)《多源融合SLAM的现状与挑战》从多传感器融合(相机、激光雷达、惯性测量单元等两种或多种传感器的组合使用)、多特征基元融合(特征法与直接法,线、面等多维几何特征相结合)和多维度信息融合(几何信息、语义信息、物理信息、学习方法等相融合)3个层面对当前多源融合SLAM研究的状态、面临的挑战及未来方向进行综述。 5)《深度学习单目深度估计研究进展》分别论述了单图像训练模型、多图像训练模型和辅助信息优化训练的单目深度估计模型,系统分析了单目深度估计的最新研究现状和各类方法的优缺点,总结归纳了单目深度估计的未来研究趋势。 “数据集”论文《面向本征图像分解的高质量渲染数据集与非局部卷积网络》建立了新的高质量本征图像数据集,并提出一种基于图卷积的神经网络。由于显式地结合了非局部先验,该网络得到了更优的本征分解结果,并通过一系列应用任务得到了进一步的验证。 “深度估计与三维重建”栏目6篇论文分别：提出一种快速、鲁棒的结构化重建算法以自动生成轻量的多边形网格;提出一种基于多阶段指导网络的稠密深度图构建方法;为实现高精度的双目视差估计,提出采用单、双边多尺度相似性迭代查找的方法;提出一种显微光学系统成像模糊程度与景物深度关系曲线的获取方法;对多视图立体三维重建中的特征提取模块和代价体正则化模块进行研究,提出一种基于注意力机制的端到端深度学习架构;提出一种基于场景几何的方法在自动驾驶领域实现真实尺度恢复。 “三维形状分析”栏目4篇论文分别：提出了一种基于显著性图的点云替换对抗攻击方法;利用网格简化的边收缩操作建立网格层次结构,提出了一种新的网格池化操作;提出一种新颖的无翻转体映射计算方法,其核心是一种新的变形方法;为更好地提取残缺点云的局部特征信息,使得点云补全的结果更加准确,提出了嵌入注意力模块的多尺度点云补全算法。 “三维点云分割”栏目3篇论文分别：为建立三维模型语义部件之间的对应关系并实现模型自动分割,提出一种利用隐式解码器的无监督三维模型簇协同分割网络;为更好地在从无序的点云中挖掘形状特征,提出一种能够端到端且鲁棒地处理点云数据的多维度多层级神经网络MM-Net;提出了一种基于多特征融合几何卷积神经网络(MFFGCNN)的机载激光雷达点云地物分类方法。 “图像视频分析”栏目5篇论文分别：提出了聚合细粒度特征的深度注意力自动裁图方法DAIC-Net;针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法;针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间;提出一种多尺度可视化形状表示方法;提出一种基于热力图的6D物体姿态估计算法。 我们期待广大读者和科技人员通过本期“三维视觉与智能图形”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

基于多个手持摄像机的动态场景时空一致性深度恢复

针对现有的动态场景深度恢复方法普遍需要较多数目的同步摄像机才能获得理想深度估计的问题,提出一个能够从2～3个手持摄像机所拍摄的同步视频序列中自动地恢复出高质量的深度图序列的鲁棒、便捷的动态场景稠密深度恢复方法.首先对不同序列同一时刻的图像帧进行匹配以完成每帧的深度初始化,然后采用一种新的双层分割方法在手持摄像机自由移动的情况下将像素进行静动态分类,并对静态和动态像素点采用不同的方式进行时空一致性的深度优化.特别地,文中采用了一个基于多帧统计信息、迭代式的优化框架,使得深度优化与双层分割在该优化框架之下交替迭代地进行,最终实现高质量的动态场景的分割和深度恢复.最后通过各种动态场景实例证明了文中方法的鲁棒性和有效性.