基于深度图的水下图像复原

水下图像深度图估计的准确性影响复原后的图像质量,为得到更加准确的深度图,提出了一种基于衰减通道结合亮度图的深度图求解算法,并利用该深度图复原水下图像.首先,根据图像像素值与场景深度的关系估计水下图像的深度图,并使用图像的亮度图对深度图进行修正和细化;然后,利用深度图计算图像的大气光值和透射率图;最后,通过逆求解水下成像模型复原退化的图像.实验证明:与现有算法相比,利用该深度图得到的模型参数更加准确,复原后的图像不仅拥有更好的对比度,而且能保持自然真实的颜色.     

自由视点视频的虚拟图像合成

通过一种有效的基于深度图像描绘技术的虚拟图像合成方法评价一种快速深度图像估计算法.此快速算法采用区域匹配SSD算法得到初始视差,构造出图割算法的能量函数求深度图.仿真结果证明了快速算法能获得高质量的PSNR,可以合成较好的虚拟图.     

基于四维光场数据的深度估计算法

基于光场数据的四维结构信息,提出一种具有像素级精度的深度估计算法,为三维表面重构提供精确的深度信息.首先,由光场数据中视差与视点位移的等比关系,给出基于光场数据的区域匹配算法,得到初步视差图.其次,基于区域匹配的误差来源建立新的置信函数,对误匹配像素进行分类并优化,得到高精度的深度图.采用公开的HCI标准光场数据和实拍的光场数据进行了算法验证和成像精度评测.结果表明,与已有的算法相比,新算法具有更好的计算精度,在平滑区域和边缘遮挡区域有较好效果.     

一种基于微阵列相机的图像置换技术

本文提出了一种基于3×3微阵列相机所获取的阵列图像的置换技术.本文首先对阵列相机进行标定,然后根据图像数据一致性和相邻像素视差的连续性等约束条件,建立能量函数,再采用图割算法求得视差图,基于视差图生成深度图,最后依据目标物所在的深度层进行目标物置换,实现基于微阵列相机的图像置换功能.本文算法与一般置换技术相比减少了交互工作量,且能有效处理遮挡问题,实验结果表明基于微阵列相机的图像置换技术是切实可行的.     

基于运动估计的置信度传播立体视频匹配算法

基于置信度传播（BP：Belief Propagation）的立体匹配算法与局部算法相比,视差准确度高,但需要耗费大量的计算时间。为此,提出一个基于运动估计的置信度传播立体视频匹配算法。该算法首先通过传统的BP算法获得I帧的匹配视差图,并保存每个像素获得最佳视差值的传递信息;然后,通过参考I帧的运动估计信息,得到重新排列的I帧视差值的传递信息,将其作为P帧置信度传播算法的初值进行迭代运算,从而大大减少了P帧置信度传播算法的迭代次数。实验结果表明,该算法能大大提高置信度传播立体视频的匹配效率。     

利用边缘像素深度特性的深度估计方法

为了提高物体边缘处像素的深度估计准确性,改善任意视点电视系统中合成虚拟视图质量,提出一种新颖的深度估计方法.该方法首先充分利用物体边缘像素的深度特性,将视图中的像素划分为3类,然后为每类像素提出相应的匹配代价函数的平滑项.与现有的基于边缘辅助信息的半自动深度估计方法相比,本方法有效提高了物体边缘处像素的深度估计准确性,在任意视点电视(FTV)系统接收端合成的虚拟视图客观质量PSNR平均提高0.32dB.     

基于RGB三分量亮度法线相似度的立体匹配算法

为了解决立体匹配算法中匹配精度不高的问题,在分析RGB彩色空间图像的光学特性的基础上,提出了RGB彩色空间R、G、B三彩色分量亮度法线的概念,并得出亮度法线反映了RGB图像像素三分量的高频信息的结论。为了获得双目立体图像间的精确稠密视差图,提出了采用RGB三分量亮度法线相似度来计算自适应权值的局部立体匹配算法,通过Middlebury测试平台与其他当前流行的立体匹配算法进行结果比较,实验结果显示,提出的算法得到了更加精确的匹配结果。     

基于边缘检测的深度图与单视图配准算法

为解决由单视点图像和相关深度数据所创建的立体图像部分存在的重影问题,提出基于边缘检测的深度图与单视图配准算法。对单视图和深度图进行边缘检测得到各自的边界后,以单视图的边界为基准,配准深度图的边界及其邻域的深度数据。实验结果表明,该算法与已有的算法相比,匹配质量明显提高,使在立体图像中的重影现象得到了缓解。     

基于通道注意力的自监督深度估计方法

提出了一种基于自监督深度学习和通道注意力的深度估计方法。虽然以往的方法已经能够生成高精度的深度图，但是它们忽略了图像中的通道信息。对通道之间的依赖关系进行显式建模，并根据建模结果重新校准通道权重能有效地提高网络性能，从而提高深度估计的精度。本文从两个方面引入通道注意力机制以增强网络模型的能力：在网络中插入SE (Suqeeze-and-Excitation)模块以提高网络模型获得特征图中通道间关系的能力；设计了一个多尺度融合通道注意力模块，实现融合多尺度像素特征和重新校准通道权重的功能。通过在KITTI数据集上的实验验证，所提方法在精准度、误差和深度图的具体效果上都优于现有的基于自监督深度学习的深度估计方法。     

基于多尺度深度图自适应融合的单目深度估计

深度估计网络通常具有较多的网络层数,图像特征在网络编码和解码过程中会丢失大量信息,因此预测的深度图缺乏对象结构细节且边缘轮廓不清晰。本文提出了一种基于多尺度深度图自适应融合的单目深度估计方法,可有效保留对象的细节和几何轮廓。首先,引入压缩与激励残差网络（SE-ResNet）,利用注意力机制对不同通道的特征进行编码,从而保留远距离平面深度图的更多细节信息。然后,利用多尺度特征融合网络,融合不同尺度的特征图,得到具有丰富几何特征和语义信息的特征图。最后,利用多尺度自适应深度融合网络为不同尺度特征图生成的深度图添加可学习的权重参数,对不同尺度的深度图进行自适应融合,增加了预测深度图中的目标信息。本文方法在NYU Depth V2数据集上预测的深度图具有更高的准确度和丰富的物体信息,绝对相对误差为0.115,均方根误差为0.525,精确度最高达到99.3%。     

非参数变换和改进动态规划的立体匹配算法

针对传统稠密立体匹配方法在非纹理区、深度不连续处和遮挡处存在错误匹配率过高的问题,提出一种基于非参数变换和改进动态规划相结合的立体匹配算法.采用稀疏非参数变换相关方法计算初始局部匹配代价,并利用行列双向约束动态规划算法对匹配代价进行全局优化,在获取初始视差后分别对原始图像每一像素点进行可信性与纹理性检测,最后利用视差平面拟合结果代替非纹理与非可信区域像素点的原始视差,得到稠密视差图.实验表明,该算法具有较高的鲁棒性与匹配精度,尤其在处理图像的非纹理区、深度不连续处和遮挡处,可获得精确的匹配结果.     

Monocular depth estimation based on deep learning: An overview

Depth information is important for autonomous systems to perceive environments and estimate their own state. Traditional depth estimation methods, like structure from motion and stereo vision matching, are built on feature correspondences of multiple viewpoints. Meanwhile, the predicted depth maps are sparse. Inferring depth information from a single image(monocular depth estimation) is an ill-posed problem. With the rapid development of deep neural networks, monocular depth estimation based on deep learning has been widely studied recently and achieved promising performance in accuracy. Meanwhile, dense depth maps are estimated from single images by deep neural networks in an end-to-end manner. In order to improve the accuracy of depth estimation, different kinds of network frameworks, loss functions and training strategies are proposed subsequently. Therefore, we survey the current monocular depth estimation methods based on deep learning in this review. Initially, we conclude several widely used datasets and evaluation indicators in deep learning-based depth estimation. Furthermore, we review some representative existing methods according to different training manners: supervised, unsupervised and semi-supervised. Finally, we discuss the challenges and provide some ideas for future researches in monocular depth estimation.     

旋转尺度不变的实时高精度场景匹配算法

针对场景匹配技术中以二进制稳健基元独立特征( binary robust independent elementary features,BRIEF)为代表的实时算法匹配错误率高的问题,提出一种基于局部梯度二值化的特征描述算法.该算法利用重心向量方向归一化特征描述区域,保证了特征描述符的方向不变性.同时,融合基于局部梯度二值化的区域纹理信息以降低特征匹配错误率.使用国际通用数据库对算法进行了验证,实验结果表明：提出的场景匹配算法其平均匹配准确率比BRIEF算法高44.59%,具有较高的鲁棒性.     

一种基于GPU的快速半全局优化深度图计算方法

由于图像集规模巨大、匹配信息丰富,快速精准多视图立体匹配受计算效率严重制约。针对该问题,提出一种基于GPU的快速半全局优化深度图计算方法。首先,在CPU上通过平面扫描方法计算单张图像初始匹配代价。然后,提出GPU半全局优化并行计算架构,对匹配代价进行聚合,其核心算法为：在全局进行各方向聚合任务流并行以提升众核处理器的利用率;在局部通过将各像素计算任务准确分配到各线程块内实现并行处理,且注重GPU上数据重用以避免带宽限制。再通过GPU滤波剔除突变点进行图像增强。最后,将3维空间点在各深度图像上的一致性作为异常值检测和优化的约束条件。在多组数据集上测试结果显示,该方法计算速度最高为多核CPU系统中开启2线程实现方法的22.41倍,为开启8线程实现方法的9.13倍,且与两者精度相当;与同类深度图计算方法比较结果表明, 该方法在重建过程中加速效果均为其他算法的5倍及以上;通过使用开源点云比较软件在标准测试数据集上与其他算法比较,验证了该方法能有效提高重建结果的精度和完整度。     

Edge-Preserving Depth Map Super-Resolution with Intensity Guidance

Depth discontinuity edge affects the visual quality of synthesized images in 3D image warping. However, it suffers from accuracy degradation when up-sampled from low-resolution depth maps, especially at large scaling factors. To preserve the accuracy of depth discontinuity, a novel joint bilateral depth super-resolution with intensity guidance method is proposed. Particularly, the fast local intensity classification is exploited to estimate depth coefficients in joint bilateral up-sampling for depth maps, so as to eliminate depth discontinuity edge misalignment. Additionally, the proposed method is accelerated on graphic processing units (GPUs) to meet the requirement of real-time application. Experiments demonstrate that our method can preserve the accuracy of depth discontinuity edges after super resolution, leveraging the visual quality of synthesized image in 3D image warping.     

基于特征匹配算法的双目视觉测距

距离测量作为障碍物检测以及路径规划的前提和基础是机器人研究领域的一个重要分支。在众多测距方法中,由于双目立体视觉具有信息丰富、探测距离广等优点被广泛应用。本文将改进的SIFT特征匹配算法应用到双目视觉测距与标定系统中。首先建立双目视觉测距模型,测量值由空间物点在左右摄像机下的像素坐标值决定;其次根据该模型的特点提出了基于平行光轴的双目立体视觉标定方法;最后利用改进的SIFT特征匹配算法,提取匹配点的像素坐标完成视觉测距。实验结果表明,根据测量数据对障碍物进行三维重建,相对距离与真实场景基本吻合,能够有效地指导机器人进行避障。     

3D reconstruction method based on contour features

To guarantee the accuracy and real-time of the 3D reconstruction method for outdoor scene, an algorithm based on region segmentation and matching was proposed. Firstly, on the basis of morphological gradient information, obtained by comparing color weight gradient images and proposing a multi-threshold segmentation, scene contour features were extracted by a watershed algorithm and a fuzzy c-means clustering algorithm. Secondly, to reduce the search area, increase the correct matching ratio and accelerate the matching speed, the region constraint was established according to a region''s local position, area and gray characteristics, the edge pixel constraint was established according to the epipolar constraint and the continuity constraint. Finally, by using the stereo matching edge pixel pairs, their 3D coordinates were estimated according to the binocular stereo vision imaging model. Experimental results show that the proposed method can yield a high stereo matching ratio and reconstruct a 3D scene quickly and efficiently.     

基于二叉树结构的支气管解剖结构识别技术

针对支气管图像匹配精度较差、效率过低问题,提出了一种解剖识别支气管的方法。该方法包含对胸部CT图像中支气管的提取、支气管的细化和支气管的识别。通过对支气管图像细化得到单像素、连通的支气管骨架图,根据支气管骨架图的分支点建立二叉树模型,并将其与匹配模板进行匹配,最后标记支气管分支名称信息。实验表明提出的方法在匹配效率和精度上有明显的改进,可以在1-4级分支很好地标记出结果。     

基于模板匹配的发票号码识别算法

针对数字识别系统中的发票号码识别问题,提出了一种有效的基于模板匹配的发票号码识别算法.通过对发票数字图像进行前期处理以获得单个字符图像,根据印刷体数字二值化后矩阵特点,基于模板匹配的思想,将待识别字符图像与模板图像进行信息区叠加,对叠加后的图像进行不匹配像素统计,从而得到匹配系数,取匹配系数最小值为最佳匹配.结果表明,该方法简单有效,抗干扰性强且识别率较高,识别发票图像准确率可达99%.