深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄 像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的 深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重 要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时 域一致性。理 想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同, 这将严重影 响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以 通过对纹理图 的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出 一种基于 自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值 不连续的错误,产生 更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

一种对立体视频序列进行视差估计的新方法

提出了一种对立体视频序列进行视差估计的新方法,利用立体视频序列前后帧之间的运动信息,来提高视差估计的精度.为了得到精确的视差图,必须找出遮挡区域并对遮挡区域的视差进行补偿.在立体视频序列中,由于前景或背景对象的运动,当前帧中的遮挡区域在前后几帧中的运动对应区域可能不是遮挡区域,因此可以利用这些对应区域的视差值来补偿遮挡区域的视差.实验结果表明本方法能对大部分遮挡区域的视差进行补偿,得到更精确的视差图.     

双目立体视频最小可辨失真模型及其在质量评价中的应用

该文针对目前最小可辨失真(JND)模型只能应用于评价单视点视频的问题,探索一种以双眼亮度关系为基本出发点的双目立体视频的JND模型。首先根据立体视频特性引入双眼亮度关系模型,然后考虑了背景亮度掩盖、纹理掩盖、帧间掩盖、空间时间对比灵敏度、眼睛运动等因素,提出了双目JND模型,最后将该双目JND模型应用到立体视频质量评价方法中。实验结果表明该文提出的质量评价方法符合人类的视觉感知特性,更接近于主观测试结果。     

基于JNDD模型面向虚拟视绘制的快速深度图编码

为降低深度数据的编码复杂度并保证重建虚拟视点的质量,提出了一种基于JNDD模型面向虚拟视点绘制的快速深度图编码算法,引入最小可觉深度差模型,将深度图划分为对绘制失真敏感的竖直边缘区域与失真难以被人眼察觉的平坦区域,并相应地为编码过程中的宏块模式选择设计了两种搜索策略。实验结果表明,与JM编码方案相比,本文所提出的方法在保证虚拟视质量与编码码率基本不变的前提下,显著降低了编码复杂度,有助于在三维视频系统中提高深度编码模块的编码速度。     

3D多视点立体显示及其关键技术

作为基于 DTV/HDTV 的二维(2D)显示之后的下一代视频显示技术,三维(3D)多视点立体显示已成为国际上的研究热点之一.为建立多视点立体显示系统,阐述了相关的关键技术,包括:光场表示模型和光场获取系统、高效的与现行视频标准兼容的多视点编码和传输方法、解码端任意位置视点的高效绘制方法、3D显示技术以及多视点自由立体显示.针对上述关键技术,分析了当前国际上的发展趋势及存在的问题,同时提出了一种基于交互式自由立体显示的 3D 视频处理系统的解决方案.     

基于遗传算法的摄像机自标定方法

摄像机标定是计算机视觉领域的关键技术，其中的自标定是只根据图像计算摄像机的内参数，其标定过程简单，适用性强。由于传统的用于摄像机自标定的Kruppa方程不仅需要计算基础矩阵，还要计算图像的极点，而图像的极点又不是固定不变的，且会导致计算结果的不稳定，为此，针对传统摄像机自标定方法的上述不足，利用遗传算法完成了Hartley新的Kruppa方程的摄像机自标定过程，以便将这个过程完全转化为通过代价函数最小化来求得摄像机的内参数，这就排除了极点的不稳定因素。实验结果表明，该方法是简单、有效的，可以作为一种通用的标定工具。     

采用特征描述的H.264压缩视频运动分割

H.264视频压缩标准以其优良的压缩效率和编码灵活性得到了广泛的应用。提出了一种基于H.264压缩域的运动对象分割方法,首先从压缩视频中提取运动场,采用加权中值滤波方法滤除运动场的噪声矢量,再运用后向估计的方法重建预测运动场并进行运动场的累积,然后基于幅度、散度和旋度3个运动特征,采用改进的统计区域合并方法将运动对象分割出来。实验结果表明,该方法可有效地从H.264压缩视频中提取运动对象且分割质量较好。     

基于多目立体匹配的深度获取方法

提出一种深度获取方法,利用基于颜色分割的多目立体匹配算法,从多个视点图像中提取深度信息。利用mean-shift算法,根据颜色信息分割参考图像,提取图像中的颜色一致性区域,通过局部窗口匹配算法进行多目立体匹配得到多幅初始视差图,根据融合准则将多幅视差图合成为一幅视差图以提高视差图的精度并对视差图进行优化后处理,按照视差与深度的关系,将视差图转化为深度图。该算法能有效处理匹配过程中的遮挡区域,提高匹配精度和视差图的准确度。     

基于二项式R-D模型的多视点视频码率控制算法

针对目前尚未深入研究多视点视频编码(MVC)码率控制的状况,在分析现有视频码率控制中率失真模型的不足和多视点视频编码的特点的基础上,提出了一种基于二次率失真(R-D)模型的多视点视频编码码率控制算法。该算法的核心是先根据视差预测和运动预测的结构关系,将所有图像分成6种类型的编码帧,并改进二项式率失真模型,然后根据已编码信息进行视点间、帧层、基本单元层比特分配与码率控制。实验仿真结果表明,与目前采用固定量化参数的JVT的MVC相比,该算法能够有效地控制多视点视频编码的码率,同时保持高效的编码效率。     

交互式立体显示中基于图像拼合的视点合成

在立体显示中,视点合成是实现交互性的关键技术,即在三维(3D)场景中通过自由选择视点而获得环视能力.本文将视点插值和基于图像拼合的视点变形技术相结合,提出一种中间视合成算法.首先均匀化原始立体图像对;然后只对前景对象区域进行视差估计以提高视差匹配的速度和精度;接着确定左右视点中的可靠区域,根据可靠区域生成过渡中间视点;最后,采用视点插值结合变形的方法,由过渡视合成中间视点.实验结果表明合成的中间视点图像质量良好,而且合成速度也明显提高.本文算法可用于实时 3D 视频应用的交互式立体显示,可以实现任意视点的实时绘制.