一种基于视觉约束的当前视点画面生成方法

由于视点变化中画面可见性的变化以及在当前视点物体表面的扩张,仅由一幅带深度的源参考图像的三维重投影所得到的目标视点画面存在空洞问题.为此,人们采取多源参考图像的合成方法来解决此问题.如何从具有大量冗余信息的多幅源参考图像中快速提取当前目标视点所需信息,成为基于图像的虚拟环境建模和绘制的关键技术.该文给出一种从多幅源参考图像(目前仅两幅)合成当前视点画面的算法.算法结合正向映射及逆向映射技术完成对当前视点画面的合成,并且利用视觉约束-极线约束这一性质从其他源参考图像中寻找填补空洞的像素,从而避免了整幅参考图像的重投影过程及深度比较.同时,算法利用极线对上像素的排序特性和已有目标图像的信息加速填补空洞像素的搜索.算法在不增加原有图像映射算法复杂度的基础上,大大降低了原有多幅图像合成算法的计算量.     

求解二值图像连通域的改进算法

介绍了一种改进的二值图像连通域快速标记方法。该算法首先找出二值图像中每行的像素直线段,接着利用链表来确定它们之间的连通关系,以此来克服同类算法中像素重复标记和标记归并需大量运算等缺陷,具有一定的使用价值。     

基于Kinect相机的深度图像空洞修复及超像素分割算法

针对Kinect相机原始深度图像存在空洞的问题,提出了一种结合彩色图像局部边缘信息的深度图像空洞修复算法。首先,通过双边滤波修复较小空洞;其次,根据彩色图像局部边缘信息将较大空洞分为无边缘和有边缘2类;最后,对第1类无边缘空洞进行均值填充修复,对第2类有边缘空洞先根据彩色图像局部边缘特征分割空洞,再分别由外而内逐步修复,从而完成所有的空洞修复。空洞修复完成后,融合深度信息重新建立了线性谱聚类核函数,并基于此提出一种融合深度信息的线性谱聚类超像素分割算法(LSC-D)。实验结果表明,与其他方法相比,提出的深度图像空洞修复算法具有更高的修复准确度,提出的LSC-D超像素分割算法具有更低的欠分割错误率和更高的边界召回率。     

生成当前视点目标图像的快速逆映射算法

利用极线的属性及深度图像隐含的边界信息,提出了一种可以处理非深度连续图像的快速逆映射算法,以从多幅参考图像精确合成当前视点目标图像.该算法分为3步:首先由参考图像的深度信息得到图像中的边界;然后从参考图像中选出一幅作为主参考图像,利用极线的整体匹配特性和对应点在极线上分布的单调性,逐个处理目标极线,以生成目标图像;最后根据其他参考图像填补目标图像中的空洞.由于在第2步中只需处理参考图像的边界点对即可得到对应目标极线上所有点的深度信息及其在参考极线上的对应点,因此,新算法很好地提高了速度.在填补空洞时,利用参考图像的边界信息及所隐含的遮挡关系,还提出了一些加速的方法.     

基于等密度映射和纹理重构的分层图像变换

图像变换包括图像映射和图像重构两个重要部分,而现有重构方法存在计算量较大、容易产生视觉误差等问题,并不能真正快速有效地实现图像变换。本文通过建立等密度映射的方式将重构转化为一个可以依赖纹理硬件快速完成的纹理映射过程,从而改进了传统的图像变换模型,并在此模型基础上设计了一种分层图像变换的方法。分层图像变换,首先将参考像素以相近的分辨率映射到对应的密度层以避免形成大量空洞,然后通过背景层设置、密度层合并等操作将对应的目的像素存储在一个可控长度的双向链表上,最后从后向前遍历链表逐层生成和合成纹理得到目的图像。实验结果表明,分层图像变换在有效避免视觉误差的基础上,大大提高了计算效率。     

基于水平集的3D左心室表面重建

提出了基于分层2D MRI图像重建3D左心室表面的算法．分层2D MRI图像能够跟踪左心室边界在成像平面内的变形,但由于缺少层问数据,层间边界形变的信息难以获取．为了重建左心室的形状,使用基于形变模型的方法：首先建立变形曲面的动力学方程;再将成像坐标系中的图像平面映射到重建坐标系,根据图像数据构造外力,使用平均曲率构造变形曲面的弹性力,然后用水平集数值解法求解动力学方程以重建左心室的表面．实验结果证明了算法的有效性．     

基于地址-事件表示的高速二值连通域标记方法

为提高二值连通域标记的速度,将地址-事件表示AER（Address Event Representation）思想引入到二值图像处理,提出了一种基于事件对等价标号的二值连通域标记方法。该算法无需多次遍历图像中的背景点和冗余目标点,首先将待标记的连通域以AER“事件对”的方式编码保存,通过“事件对”的遍历生成临时标号和等价标记表;然后根据等价表修改临时标号;完成标号映射后最终实现连通域标记。整个算法只处理极低冗余的事件信息,避免了对全图像素的重复扫描与处理。实验结果表明,图像以AER“事件对”方式存储,数据量仅为全帧图像的10%~35%,有较高的压缩比;且该算法速度快,可达到了传统基于等价标号算法的1.5~8倍。     

一种用于视图合成的空洞填充算法*

针对较小的空洞提出了一种新的空洞填充算法。该算法总是先填充那些4邻域像素集中不空的像素大于等于本轮域值的空洞点,并且每填完一遍空洞点之后都重新搜索4邻域像素集中所有像素都不空的空洞点以开始下一轮填充。实验表明,该算法能较好地填充较小的空洞,特别是对纹理单一区域中的空洞能产生良好的填充效果。该算法适用于经过平滑深度图处理后剩余空洞的填充。     

一种利用背景信息的虚拟视点图像后处理方法

基于深度图像的虚拟视点绘制(Depth Image Based Rendering, DIBR)在双视图像融合后存在重叠、伪影和空洞等问题,为提高融合后图像质量,提出一种利用背景信息的虚拟视点图像后处理方法.首先,在图像融合时引入深度信息解决像素重叠问题.其次,根据视点移动方向定位左、右虚拟视图伪影区域,利用互补视点的背景像素擦除伪影.最后,利用不同视点参考图像信息之间的冗余性将左、右参考视点进行融合并消除前景像素,再进行正向映射得到虚拟视点背景图像填充双视融合后剩余的空洞.与基于图像分割的虚拟视点绘制算法相比PSNR值提高了0.6357dB,实验结果表明,该算法能有效提高绘制图像质量.     

基于超像素和随机游走的交互式分割算法

交互式图像分割通过先验信息指导获取图像中人们感兴趣的部分,但是现有算法无法在效率和精度上实现平衡。为了解决此问题,提出了一种基于超像素和随机游走的快速交互式分割算法(random walk on superpixel, SPRW)。首先,将图像预分割为具有局部相似性的超像素区域,使用像素颜色均值对超像素区域表示;其次,根据人工标记的先验信息建立F-B图结构,扩展随机游走的范围,并使用随机游走的方法求解,获得硬分割结果;最后,针对分割结果的边界不光滑问题,提出改进的抠图算法(fast robust matting, FRB)进行二次处理,得到软分割结果。在BSD500和MSRC数据集上的实验证实,所提出的硬分割方法与其他算法在时间和平均交并比等指标上有较大优势;在Alpha Matting数据集上的实验充分证实所提出的软算法在提高效率的同时精度也有一定的提升;此外,在生活照更换背景的实验上展现了该算法的应用价值。     

用于图像逆映射的搜索转移算法

图像逆映射是基于图像绘制技术的基础算法，但由于需要进行繁琐的参考域搜索过程，传统图像逆映射算法计算复杂度大、效率低。本文提出一种快速图像逆映射算法——搜索转移算法。该算法从场景的极线几何性质出发，将大量匹配搜索过程从参考域转移到目的域中进行，由于在目的域只需进行简单的判断操作，因此可以大大降低整体的匹配复杂度；同时，算法充分利用场景的空间连贯性，通过为目的域制定自适应的绘制顺序，有效地减小了实际需要搜索的步长。实验表明，搜索转移算法简单有效，能极大地降低搜索复杂度95％以上，提高计算效率10倍左右。     

基于几何与图像混合绘制中的快速WARP变换算法研究

基于几何与图像的混合绘制中，3D Warp算法以严格的数学变换为基础，从而能够保证准确的投影关系，但该算法在实时绘制阶段需进行大量的数学运算，故其时间复杂度较高，该文提出了一种新的快速Warp变换算法，算法以3D Warp算法为基础，采用了崭新的投影过程，从而使时间复杂度较3D Warp算法有较大幅度的下降（降低约7．51倍）。同时，该算法是一种流水结构，能够有效利用现有的加速硬件，而无需改变图形硬件的体系结构。     

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制（DIBR）是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。     

Accelerated Backward Warping

In this paper a plane-based backward warping algorithm is proposed to generate novel viwews from multiple reference images.First.depth information is employed to reconstruct space planes from individual refernce images and calculate the potential occluding relationship between these planes.Then the planes which represent each identical space plane from different reference images are compared with each other to decide the one with the best sample rate to be preserved and used in the later warping period while the other samples are abandoned.While the image of a novel view is produced,traditional methods in computer graphics,such as visibility test.and clipping,are used to process the planes reconstructed.Then the planes processed are projected onto the desired image form the knowledge on which plane the desired image pixels are warped from can be acquired.Finally,pixels‘ depth of the desired image is calculated and then a ackwared warping is performed from these pixels to the reference images to obtain their colors.The storage requirement in the algorithm is small and increases slowly with the number of reference images increases.By combining the strategy of only preserving the best sample parts and the backward warping algorithm ,the sample problem could be well tackled.     

基于平面的Warping技术

提出了一种基于平面的逆向Warping算法,用于根据多幅参考图像生成任意视点下的新图像.首先通过参考图像的深度信息来重建三维平面,然后寻找这些重建平面间的对应关系,并比较它们对空间平面同一部分的采样密度,以获得最好的采样结果.在生成新视点图像时,首先对那些采样密度最好的重建平面进行可见性判断,然后将其投影到新视点下,在此基础上求得目标图像上各点的深度,最后将目标图像上的点逆向Warping到相应的参考图像中,以获取它们的颜色值.同时,对于参考图像中不能被重建成平面的像素点,用正向Warping的方法对其进     

Vision-based vehicle guidance

This implementation of lane and obstacle detection for an autonomous, self-guided vehicle succeeds by tailoring vision and computational techniques to an affordable SIMD architecture. The authors use a geometrical transform called inverse perspective mapping (IPM). Using a priori knowledge of both the scene and the acquisition device, the IPM technique allows one to remove the perspective effect and produce a new image in which the information content is homogeneously distributed among all pixels. In the remapped image, the amount of information carried by each pixel no longer depends on the pixel's position, making the SIMD approach practical     

一种基于角点检测的图像密集匹配算法

提出了一种鲁棒的图像自动立体匹配算法.利用Sobel算子对图像中的像素点进行检测,若是边缘点,则使用最小同值分割吸收核方法判断该点是否为角点.在两幅待匹配的图像间计算角点的梯度大小、梯度方向及灰度等的相似度,去除无法对应的角点,建立起待匹配图像中角点的对应关系,并计算基础矩阵.对基础矩阵进行迭代,去除误配点,计算出较精确的基础矩阵.由对极几何约束,采用动态规划方法,寻找左右两幅图像在对应极线上的所有像素点之间的对应,从而建立起两幅图像间像素点的密集匹配对应关系.试验结果表明,算法效果满意.