基于自适应权值滤波的深度图像超分辨率重建

目的 越来越多的应用都依赖于对真实场景深度图像的准确且快速的观测和分析。飞行时间相机可以实时获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率较低,无法满足实际应用的需要。为此提出一种结合同场景彩色图像通过构造自适应权值滤波器对深度图像进行超分辨率重建的方法。方法 充分发掘深度图像的非局部以及局部自相似性先验约束,结合同场景的高分辨率彩色图像构造非局部及局部的自适应权值滤波算法对深度图像进行超分辨率重建。具体来说,首先利用非局部滤波算法来有效避免重建结果的振铃效应,然后利用局部滤波算法进一步提升重建的深度图像质量。结果 实验结果表明,无论在客观指标还是视觉效果上,基于自适应权值滤波的超分辨率重建算法较其他算法都可以得到更好的结果,尤其当初始的低分辨率深度图像质量较差的情况下,本文方法的优势更加明显,峰值信噪比可以得到1dB的提升。结论 结合非局部和局部自相似性先验约束,结合同场景的高分辨率彩色图像构造的自适应权值滤波算法,较其他算法可以得到更理想的结果。     

基于多目立体匹配的深度获取方法

提出一种深度获取方法,利用基于颜色分割的多目立体匹配算法,从多个视点图像中提取深度信息。利用mean-shift算法,根据颜色信息分割参考图像,提取图像中的颜色一致性区域,通过局部窗口匹配算法进行多目立体匹配得到多幅初始视差图,根据融合准则将多幅视差图合成为一幅视差图以提高视差图的精度并对视差图进行优化后处理,按照视差与深度的关系,将视差图转化为深度图。该算法能有效处理匹配过程中的遮挡区域,提高匹配精度和视差图的准确度。     

基于图像分割的自适应窗口双目立体匹配算法研究

针对传统双目立体匹配算法采用固定窗口导致弱纹理区域匹配精度较低的问题,提出了一种基于图像分割的自适应窗口立体匹配算法.首先,采用Mean-shift算法对图像进行分割,之后对分割图像进行局部子区灰度标准差统计,在此基础上提出了一种根据纹理丰富程度进行窗口大小自适应设定的算子.基于自适应窗口大小设定,组合使用Census变换和梯度值计算匹配代价,并分别通过自适应权重代价聚合及"胜者为王"策略进行初始视差计算,最后利用左右视差一致性原则和加权中值滤波得到稠密视差图.采用提出的自适应窗口匹配算法与固定窗口匹配算法对Middlebury数据集上的标准图片进行匹配实验,实验结果表明,所提算法的平均匹配错误率为2.04％,相比对比算法,所提方法的匹配错误率分别降低了4.5％和7.9％.     

基于分割稳健而快速的局部立体匹配及医学应用

为了快速消除双目立体匹配的歧义性,提出一种基于局部信息和分割、快速高效的两步立体匹配算法.首先分割彩色立体图像对,并基于改进的Geman-McClure函数得到初始匹配成本;在水平、垂直双方向上采用分割自适应权重方法,消除匹配特征的相似歧义,计算鲁棒匹配代价,择优选取初始视差.为了最优地分配遮挡等歧义区域,采用贪婪策略估计视差,包括不可靠视差检测、基于分割窄遮挡处理、基于极线最小二乘填充及基于映射的视差组合.实验结果表明,该算法结构简单、计算快速高效,能有效地消除匹配歧义,得到分段平滑、精度高的稠密视差图;可在临床医学疾病诊断应用中自动地为计算机辅助诊断系统提供可靠深度信息感知.     

多元线性回归引导的立体匹配算法

深度图像中视差跳变的像素点匹配一直是立体匹配的挑战性问题之一.基于引导滤波的局部立体匹配算法通过考虑匹配图像内容,可以在保持深度图像边缘的同时提高匹配精度、加快匹配速度,但引导滤波会产生图像光晕,在图像边缘区域也会引入大量的噪声.为此,将引导滤波的岭回归扩展到多元回归,提出一种基于多元线性回归的立体匹配算法.首先将引导滤波中只含图像像素值这一单变量的回归方程扩展为基于图像像素值和梯度信息等多个变量的多元回归方程,对初始代价值进行滤波聚合,并与单独进行引导滤波的匹配代价聚合值进行加权组合提高图像边缘的匹配效果;然后根据代价聚合最小值与次小值之间的相互关系定义了视差选择可信度,解决了视差选择时的歧义问题.在Middlebury测试平台进行了实验的结果表明,文中算法有效地提高深度图像中视差跳变像素点的匹配精度,降低了匹配噪声;与最新的高性能立体匹配算法相比,该算法可以以较小的计算复杂度获得高质量的视差图.     

基于视差范围自动提取的视差图优化算法研究

基于图割理论的立体匹配是从同一场景不同角度的两幅或多幅图像中得到视差图,进而求得场景的立体深度,为三维重建、视觉测量等提供有用的信息。然而,视图视差范围的选择往往被忽视,提出一种基于图像分割及GPU SIFT算法的视差范围快速自动提取算法,得到的视差范围值应用于立体匹配算法中视差范围的取值;并针对图割方法进行立体匹配时存在的正面平行表面缺陷的问题,提出一种最小二乘法的迭代改进方法,对立体匹配得到的视差图进行优化处理。对Middlebury中的标准数据进行测试的结果表明,该算法能准确地提取视图的视差范围,并有效提高各类平面与曲面的视差精度。     

基于自适应权重的遮挡信息立体匹配算法

针对传统局部立体匹配算法在深度不连续区域误匹配率高的问题,提出一种基于自适应权重的遮挡信息立体匹配算法。首先,采用左右一致性检测算法检测参考图像与目标图像的遮挡区域;然后利用遮挡信息,在代价聚合阶段降低遮挡区域像素点所占权重,在视差优化阶段采用扫描线传播方式选择水平方向最近点填充遮挡区域的视差;最后,根据Middlebury数据集提供的标准视差图为视差结果计算误匹配率。实验结果表明,基于自适应权重的遮挡信息匹配算法相对于自适应权重算法误匹配率降低了16%,并解决了局部立体匹配算法在深度不连续区域误匹配率高的问题,提高了算法的匹配精确性。     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

一种基于双重分割的立体匹配算法

立体匹配通过计算同一场景不同视点下图像的匹配像素的视差,恢复场景的深度信息.文中对传统的基于分割的立体匹配算法进行改进,提出了一种基于双重分割的立体匹配算法.首先对参考图像进行颜色欠分割,使每个区域包含足够的信息进行平面拟合;然后对初始匹配视差图进行分割,检测颜色分割中的欠分割区域并进行再分割,进而对再分割后的区域进行平面拟合;最后利用合作算法对不可信区域优化,以提高匹配算法的运行效率.Middlebury标准图像测试集上的实验结果表明,相对于传统分割算法,该算法时间开销更少、匹配精度更高.     

基于边缘检测的视差图效果优化

在立体视觉中,匹配之后得到的视差图利用投影模型可以得到原图像的深度信息和三维信息。为了达到提高立体匹配的精度与速度的目的,提高视差图的质量成为了立体匹配的核心问题。利用Canny检测算法、Sobel检测算法、Scharr检测算法对双目图像进行边缘提取。在此基础上,分别使用BM(Boyer-Moore algorithm)算法、SGBM(Semi-global block Matching)算法以及DP(Dynamic programming)算法进行立体匹配,并且分别计算视差图及误匹配率。经分析,Canny检测算法与SGBM算法相结合的方法剔除了大量不相关信息,大幅度减少数据的处理量。选取真实场景图片对该方法进行结论验证。实验结果表明,该方法提高了视差图的质量。     

垂直交叉双向搜索策略的自适应窗口匹配算法

目的 基于区域的局部匹配算法是一种简单高效的立体匹配方法.针对局部算法中窗口的抉择问题,提出了基于垂直交叉双向搜索的自适应窗口匹配算法.方法 该算法考虑到局部区域内灰度值与视差值的相关性,通过垂直交叉双向搜索策略自适应地调节窗口的形状和大小,并获得相应掩码窗口;再利用积分图像计算掩码窗口的匹配代价,获取视差图;最后采用米字投票和双边滤波器两个步骤对视差图进行修复.结果 针对不同图像采用提出的自适应窗口算法,得到了适用于各种图像结构的匹配窗口,相较于原始垂直交叉算法的匹配精度提高了约30％ (Teddy),同时两步骤视差后处理较好地保持了图像边缘.结论 实验结果表明,该算法改善了规则窗口产生的视差边缘扩充问题,在提高视差精度的同时提高了算法鲁棒性.     

丝路文化虚拟体验中的多视角立体重建技术研究

丝路文化是联系一带一路战略的重要纽带,其传承意义重大,但是由于历史地理原因,丝路文化中代表性的历史遗产分散或损坏,难以有效地呈现,因此,本文面向丝路文化的虚拟展示与数字化,提出并实现了基于虚拟现实技术的丝路文化传承平台,通过历史遗迹复原以及基于图像的三维重建,还原了丝路文化中重要节点宁夏固原有关的历史遗迹、文物和事件....     

基于射影不变量的三维重构

文中提出了利用射影不变量来求解基于图像对三维深度恢复问题。方法的基本思想是对于立体图像,利用密度段元素,引入了两个射影不变量来恢复密度段的深度信息。从这两个不变量,能推导立体图像中匹配的密度段对所满足的关系。利用这个关系,实现了密度段之间的匹配运算。这个方法能直接地从输入图像中得到密集和准确的深度,对变形的图像具有鲁棒性。     

自适应成本量的抗遮挡光场深度估计算法

目的 光场相机通过一次成像同时记录场景的空间信息和角度信息,获取多视角图像和重聚焦图像,在深度估计中具有独特优势。遮挡是光场深度估计中的难点问题之一,现有方法没有考虑遮挡或仅仅考虑单一遮挡情况,对于多遮挡场景点,方法失效。针对遮挡问题,在多视角立体匹配框架下,提出了一种对遮挡鲁棒的光场深度估计算法。方法 首先利用数字重聚焦算法获取重聚焦图像,定义场景的遮挡类型,并构造相关性成本量。然后根据最小成本原则自适应选择最佳成本量,并求解局部深度图。最后利用马尔可夫随机场结合成本量和平滑约束,通过图割算法和加权中值滤波获取全局优化深度图,提升深度估计精度。结果 实验在HCI合成数据集和Stanford Lytro Illum实际场景数据集上展开,分别进行局部深度估计与全局深度估计实验。实验结果表明,相比其他先进方法,本文方法对遮挡场景效果更好,均方误差平均降低约26.8%。结论 本文方法能够有效处理不同遮挡情况,更好地保持深度图边缘信息,深度估计结果更准确,且时效性更好。此外,本文方法适用场景是朗伯平面场景,对于含有高光的非朗伯平面场景存在一定缺陷。     

根据灰度值信息自适应窗口的半全局匹配

目的 立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法 以通过AD（absolute difference）算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果 实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2.29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28.5%。结论 加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。     

一种改进的立体像对密集点匹配算法

文中研究在随机光场照射下基于窗口的密集点匹配算法。针对基于窗口匹配中出现的细节平滑问题,提出了在窗口内对像素点引入权值参数来提高细节部分测量精度的方法。在匹配前对图像进行校正,使得各极线和图像坐标系的横轴平行,在匹配过程中不需要再计算极线方程,大大提高了匹配的效率。根据待匹配图像的灰度信息和摄像机的内外参数信息,通过求解对应窗口内像素点向量夹角的方式进行双目立体匹配。在试验中,完成了棋盘格图像的密集点匹配,并与典型区域匹配算法进行了匹配效率与视差图效果的对比分析,验证了文中算法在匹配效率和视差图效果方面的优越性。     

Map building through pseudo dense scan matching using visual sonar data

This paper presents a novel approach to the vision based grid map building and localization problem that works in a complex indoor environment with a single forward viewing camera. Most existing visual SLAM has been limited to the feature-based method and only a few researchers have proposed visual SLAM methods for building a grid map using a stereo vision system which has not been popular in practical application. In this paper, we estimate the planar depth by applying a simple visual sonar ranging technique to the single camera image and then associating sequential scans through our own pseudo dense adaptive scan matching algorithm reducing the processing time compared to the standard point-to-point correspondence based algorithm and finally produce a grid map. To this end, we construct a Pseudo Dense Scan (PDS) which is an odometry based temporal accumulation of the visual sonar readings emulating omni-directional sensing in order to overcome the sparseness of the visual sonar. Moreover, in order to obtain a much more refined map, we further correct the slight trajectory error incurred in the PDS construction step using Sequential Quadratic Programming (SQP) which is a well-known optimization scheme. Experimental results show that our method can obtain an accurate grid map using a single camera without the need for a high price range sensors or stereo camera.

单目相机轨迹的真实尺度恢复

目的 单目相机运动轨迹恢复由于输入只有单目视频序列而缺乏尺度信息,生成的轨迹存在严重漂移而无法进行高精度应用。为了能够运用单目相机普及度高、成本低的优势,提出一种基于场景几何的方法在自动驾驶领域进行真实尺度恢复。方法 首先使用深度估计网络对连续图像进行相对深度估计,利用估计的深度值将像素点从2维平面投影到3维空间。然后对光流网络估计出的光流进行前后光流一致性计算得到有效匹配点,使用传统方法求解位姿,使相对深度与位姿尺度统一。再利用相对深度值计算表面法向量图求解地面点群,通过几何关系计算相同尺度的相机高度后引入相机先验高度得到初始尺度。最后为了减小图像噪声对尺度造成的偏差,由额外的车辆检测模块计算出的补偿尺度与初始尺度加权得到最终尺度。结果 实验在KITTI （Karlsruhe Institute of Technology and Toyota Technological at Chicago）自动驾驶数据集上进行,相机运动轨迹和图像深度均在精度上得到提高。使用深度真实值尺度还原后的相对深度的绝对误差为0.114,使用本文方法进行尺度恢复后的绝对深度的绝对误差为0.116。对得到的相机运动轨迹在不同复杂路径中进行对比测试,使用尺度恢复的距离与真实距离误差为2.67%,恢复出的轨迹相比传统方法的ORB-SLAM2（oriented FAST and rotated BRIEF-simultaneous localization and mapping）更接近真实轨迹。结论 本文仅以单目相机图像作为输入,在自动驾驶数据集中利用自监督学习方法,不需要真实深度标签进行训练,利用场景中的几何约束对真实尺度进行恢复,恢复出的绝对深度和真实轨迹均在精度上有所提高。相比于传统方法在加入真实尺度后偏移量误差更低,且计算速度快、鲁棒性高。     

Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations

This paper proposes a new method of detecting an object containing multiple colors with non-homogeneous distributions in complex backgrounds and subsequently estimating the depth and shape of the object using a stereo camera. To extract features for object detection, this paper proposes fuzzy color histograms (FCHs) based on the self-splitting clustering (SSC) of the hue-saturation (HS) color space. For each scanning window in a pyramid of scaled images, the FCH is obtained by accumulating the fuzzy degrees of all of the pixels belonging to each cluster. The FCH is fed to a fuzzy classifier to detect an object in the left image captured by the stereo camera. To find the matched object region in the right image, the left and right images are first segmented using the SSC-partitioned HS space. The depth of the object is then found by performing stereo matching on the segmented images. To find the shape of the object, a disparity map is built using the estimated object depth to automatically determine the stereo matching window size and disparity search range. Finally, the shape of the object is segmented from the disparity map. The experimental results of the detection of different objects with depth and shape estimations are used to verify the performance of the proposed method. Comparisons with different detection and disparity map construction methods are performed to demonstrate the advantage of the proposed method.