基于图像区域分割和置信传播的立体匹配算法

传统基于像素的立体匹配算法误匹配率较高.为解决该问题,提出一种基于图像区域分割和置信传播的匹配算法.采用均值偏移对参考图像进行区域分割,通过自适应权值匹配计算初始视差图,对各分割区域的初始视差用平面模型拟合得到视差平面参数,使用基于区域的改进置信传播算法求得各区域的最优视差平面,从而得到最终视差图.与全局优化的经典置信传播算法和图割算法的对比实验结果表明,该算法能降低低纹理区域和遮挡区域的误匹配率.     

基于高效置信传播的改进马尔可夫随机场高光谱数据分类算法

针对马尔可夫随机场分类算法中类条件概率估计不准及全局能量最小化计算负担重的问题,提出一种基于高效置信传播的改进马尔可夫随机场高光谱数据分类算法.采用基于光谱信息的统计支持向量机方法提高类条件概率估计精度;通过马尔可夫随机场分类算法引入空间相关信息,实现光谱与空间信息的有效结合;设计一种高效置信传播优化算法,降低计算负担、提高算法精度.实验结果表明该算法平均分类精度达到95.78%,Kappa系数为93.34%,且计算时间约为标准置信传播算法的25%,因此是一种计算负担小、分类精度高且具有实用价值的高光谱数据地物分类方法.     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.     

基于LBP/C纹理分析的立体匹配算法

针对传统方法难以可靠估计图像中纹理单一区域像素点视差的问题,将纹理分析应用于立体匹配中,提出图像分块整体匹配的方法。首先用LBP/C纹理分析方法对图像纹理进行描述;然后进行基于区域生长的扩张检测,得到纹理单一图像块;最后对图像块进行整体匹配,得到纹理单一区域的稠密视差图。对国际标准图像进行测试,结果表明该算法能提高纹理单一区域稠密视差图的精度,具有实用价值。     

一种对称的基于分割的遮挡处理体视算法

为了解决体视中的遮挡问题,提出一种对称的基于分割的立体匹配算法.首先基于颜色信息对2幅图像进行初步分割;然后利用视差信息和不连续性约束把初始分割块分裂成更小块,使每个块内的像素具有相同的可见性;最后在分割级上构建一种加强可见约束的对称体视模型,利用信任度传播方法交替地估计2幅图像的视差平面和遮挡.实验结果表明:该算法具有很好的性能,尤其在遮挡区域、无纹理区域和视差不连续区域.     

基于像元集的置信传递立体匹配

为了提高立体匹配效率和克服处理区域的视差跳跃,提出了一种基于像元集的置信传递立体匹配方法。该方法首先以像素为基元,利用层次置信传递算法得到较为准确的初始视差;然后依次根据颜色和初始视差对参考图像进行分割,再利用分裂合并策略对分割后的像元集进行平面拟合,以消除颜色分割错误对匹配造成的影响;最后在拟合后的像元集空间,利用标准置信传递优化算法得到最终解。采用国际标准图像进行测试的实验结果表明,该方法的匹配效率和精度优于同类方法。     

一种基于最小割的稠密视差图恢复算法

针对经典最小割算法计算量大和适应性不足的问题,提出一种改进的基于网络最小割计算稠密深度图的全局优化方法.首先,根据视差变化与不连续区域之间的关系,定义了具有一定适应性的平滑约束和遮挡约束,然后使用网络最小割算法,求解遮挡情况下的稠密视差.其次,在分析最小割算法复杂性的基础上,给出了一种受限α-扩展(α-expansion)操作,该操作根据灰度连通性和特征点匹配的结果对每次网络构造的顶点进行控制,减少网络中顶点和边的数目,可有效提高计算效率.实验结果显示,该算法在保证视差恢复准确性的前提下,能以较快的速度计算出较理想的稠密视差图.     

基于分割稳健而快速的局部立体匹配及医学应用

为了快速消除双目立体匹配的歧义性,提出一种基于局部信息和分割、快速高效的两步立体匹配算法.首先分割彩色立体图像对,并基于改进的Geman-McClure函数得到初始匹配成本;在水平、垂直双方向上采用分割自适应权重方法,消除匹配特征的相似歧义,计算鲁棒匹配代价,择优选取初始视差.为了最优地分配遮挡等歧义区域,采用贪婪策略估计视差,包括不可靠视差检测、基于分割窄遮挡处理、基于极线最小二乘填充及基于映射的视差组合.实验结果表明,该算法结构简单、计算快速高效,能有效地消除匹配歧义,得到分段平滑、精度高的稠密视差图;可在临床医学疾病诊断应用中自动地为计算机辅助诊断系统提供可靠深度信息感知.     

基于纹理分析的视差估计算法

针对传统方法难以可靠估计图像中纹理单一像素点视差的问题,提出一种新的基于纹理分析的视差估计算法。与已有方法不同,在以极线约束计算像素点视差时,将极线上纹理单一且近似的像素点合并成直线段,根据连续性和唯一性约束对直线段进行整体匹配,采用直线段的视差得到纹理单一区域的稠密视差图。利用直线段进行整体匹配,提高比较基元包含的信息量,减少扫描范围,从而降低误匹配产生的概率和算法时间复杂度。实验结果表明,该方法能提高纹理单一区域稠密视差图的精度,匹配速度快,具有实用价值。     

采用高斯混合模型及树结构的立体匹配算法

针对传统立体匹配算法无法同时为图像边缘和低纹理区域提供一个合适大小的聚合窗口而导致匹配精度较低的难题,提出一种结合高斯混合模型及最小生成树结构的立体匹配算法。通过图像初始视差、像素颜色及距离信息将图像分为初始若干区域及待分割候选像素;基于高斯混合模型并行迭代更新各区域参数,得到最终的分割;在各分割上建立最小生成树计算聚合值求取视差;通过邻域内的有效视差修正误匹配点,获取精度较高的稠密视差图。与其他算法相比,该算法能有效降低误匹配率,尤其在深度不连续区域的匹配效果显著改善。     

一种基于特征约束的立体匹配算法

立体匹配一直是计算机视觉领域的一个中心研究问题,为了得到适用于基于图象绘制技术的视图合成高密度视差图,提出了基于边缘特征约束的立体西欧算法,该方法首先利用基于特征技术来得到边缘特征点的准确视差图,然后在边缘特征点视差图的约束下,对非边缘特征点采用区域相关算法进行匹配,这样既缩小了匹配搜索空间,又保证了匹配的可靠性,边缘特征点和边缘特征点的匹配采用双向匹配技术又进一步保证了匹配的可靠性,实验结果表明,该算法效果良好,有实用价值。     

基于模糊判别的立体匹配算法

立体视觉一直是计算机视觉领域所研究的一个中心问题,而立体匹配则是立体视觉技术中最关键也是最困难的部分,就得到适用于基于图象绘制技术中视图合成的准确、高密度视差图（Disparity Map）而言,现有的一些方法存在一定的局限性。考虑到立体匹配过程中存在的不确定性和模糊性,本文将已获得广泛应用的模糊理论引入立体匹配领域,提出了基于模糊判别的立体匹配算法,并用实际图象与合成图象进行了实验验证,结果表明该算法效果良好,具有实用价值。     

A LSS-based registration of stereo thermal–visible videos of multiple people using belief propagation

In this paper, we propose a novel stereo method for registering foreground objects in a pair of thermal and visible videos of close-range scenes. In our stereo matching, we use Local Self-Similarity (LSS) as similarity metric between thermal and visible images. In order to accurately assign disparities to depth discontinuities and occluded Region Of Interest (ROI), we have integrated color and motion cues as soft constraints in an energy minimization framework. The optimal disparity map is approximated for image ROIs using a Belief Propagation (BP) algorithm. We tested our registration method on several challenging close-range indoor video frames of multiple people at different depths, with different clothing, and different poses. We show that our global optimization algorithm significantly outperforms the existing state-of-the art method, especially for disparity assignment of occluded people at different depth in close-range surveillance scenes and for relatively large camera baseline.     

利用七宫格的遮挡车辆凹性检测与分割

目的:交通场景中车辆间的距离过近或相互遮挡容易造成识别上的粘连,增加了准确检测目标车辆的难度,因此需要建立有效、可靠的遮挡车辆分割机制。方法:首先在图像分块的基础上确定出车辆区域,根据车辆区域的长宽比和占空比进行多车判断;然后提出了一种基于“七宫格”的凹陷区域检测算法,用以找出车辆间的凹陷区域,通过匹配对应的凹陷区域得到遮挡区域;最后,将遮挡区域内检测出的车辆边缘轮廓作为分割曲线,从而分割遮挡车辆。结果:实验结果表明,在满足实时性的前提下算法具有较高的识别率,且能够按车辆的边缘轮廓准确分割多个相互遮挡的车辆。与其他算法相比,该算法提高了分割成功率和分割精度,查全率和查准率均可达到90%。结论:提出了一种新的遮挡车辆分割方法,有效解决了遮挡车辆不宜分割和分割不准确的问题,具有较强的适应性。     

基于边缘PUnet网络的虚拟视图空洞修复

基于深度图的绘制(DIBR)是虚拟视点合成的关键技术, 但其生成的虚拟视图存在大面积连续的空洞. 传统的图像修复算法修复后的空洞缺乏语义感, 现有的部分卷积神经网络修复后的空洞边缘失真, 因此本文提出基于边缘信息的部分卷积神经网络修复算法. 首先本文利用视差移位来生成虚拟视图, 并对虚拟视图进行赋值和膨胀预处理操作, 以消除裂缝和伪影对后期空洞修复的影响, 然后在部分卷积神经网络中加入设计的边缘检测器, 使部分卷积神经网络重点学习图片的边缘部分, 最后利用学习好的网络模型修复虚拟视图中的大面积空洞. 实验结果表明本文方法可以对大面积连续的空洞进行修复, 修复后的空洞区域不仅具有语义感, 且边缘细节也更精细.     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

一种改进的立体像对密集点匹配算法

文中研究在随机光场照射下基于窗口的密集点匹配算法。针对基于窗口匹配中出现的细节平滑问题,提出了在窗口内对像素点引入权值参数来提高细节部分测量精度的方法。在匹配前对图像进行校正,使得各极线和图像坐标系的横轴平行,在匹配过程中不需要再计算极线方程,大大提高了匹配的效率。根据待匹配图像的灰度信息和摄像机的内外参数信息,通过求解对应窗口内像素点向量夹角的方式进行双目立体匹配。在试验中,完成了棋盘格图像的密集点匹配,并与典型区域匹配算法进行了匹配效率与视差图效果的对比分析,验证了文中算法在匹配效率和视差图效果方面的优越性。     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

Disparity Estimation by Pooling Evidence From Energy Neurons

In this paper, we propose an algorithm for disparity estimation from disparity energy neurons that seeks to maintain simplicity and biological plausibility, while also being based upon a formulation that enables us to interpret the model outputs probabilistically. We use the Bayes factor from statistical hypothesis testing to show that, in contradiction to the implicit assumption of many previously proposed biologically plausible models, a larger response from a disparity energy neuron does not imply more evidence for the hypothesis that the input disparity is close to the preferred disparity of the neuron. However, we find that the normalized response can be interpreted as evidence, and that information from different orientation channels can be combined by pooling the normalized responses. Based on this insight, we propose an algorithm for disparity estimation constructed out of biologically plausible operations. Our experimental results on real stereograms show that the algorithm outperforms a previously proposed coarse-to-fine model. In addition, because its outputs can be interpreted probabilistically, the model also enables us to identify occluded pixels or pixels with incorrect disparity estimates.      

基于自适应权重的改进Census立体匹配算法

针对传统Census算法对噪声敏感且在弱纹理区域匹配精度低的不足,提出一种基于自适应权重的改进算法。在代价计算阶段,通过空间相似度加权计算得到参考像素值,设定阈值限定参考值与中心点像素的差异,使算法能够判断中心点是否发生突变并自适应选择中心参考像素值。在代价聚合阶段,引入多尺度聚合策略,将引导滤波作为代价聚合核函数,加入正则化约束保持代价聚合时尺度间的一致性。在视差计算阶段,通过胜者通吃法得到初始视差图。在视差优化阶段,对初始视差图做误匹配点检测及左右一致性检测,并对遮挡区域进行像素填充得到最终的视差图。基于Middlebury标准图的实验结果表明,该算法平均误匹配率为5.81%,对比于传统Census算法抗干扰性提升显著,并能在平均误匹配率表现上达到主流经典算法的性能水准。