基于压缩域信息的立体视频对象分割方法

立体视频对象分割是交互式多视点视频应用的关键技术。为了提高对象分割的时效性和精确性,提出了一种利用压缩域视差和运动信息的立体视频对象分割算法。该算法首先对运动矢量场和视差场进行提取和修正处理,然后对视频帧进行分割作为初始值,最后用均值偏移算法聚类得到最终的对象分割结果。实验结果表明,对于纹理复杂的场景有很好的分割效果,可以获得与语义一致的对象。     

用于立体视频会议系统的立体对象分割与跟踪算法

基于对象的立体视频编码压缩技术能在立体视频会议系统中得到很好的应用，从立体视频信号中正确分割出立体视频对象是基于对象的立体视频编码压缩的一个前提条件，基于立体视频会议图像序列的时空特性和左右通道间的视差特性，提出了一种立体视频对象分割与跟踪算法，首先利用空域分割和运动检测相结合的方法，提取左通道中的运动物体；然后，提出一种左右通道间基于边缘轮廓的二级视差匹配算法，并根据已分割的左通道运动对象提取右通道的视频运动对象；最后利用对象边界轮廓的跟踪方法对后续图像中的运动对象进行快速跟踪，实验结果说明文中算法能够应用于立体视频会议图像序列的立体对象分割与跟踪。     

立体视频对象分割及其三维重建算法研究*

为更加有效分析立体视频对象,本文提出了一种基于离散冗余小波变换的立体视频对象分割算法,首先采用离散冗余小波变换提取特征点结合DT网格技术的视差估计方法,获得了可靠的视差场,再利用视差信息对立体视频中静止对象进行分割。对于立体视频序列中的运动对象,采用离散冗余小波提取运动区域的方法进行分割。实验结果表明,本算法对有重叠的多视频对象具有较好的分割效果,可同时分割静止物体和运动物体,具有较好的精确性和鲁棒性。对于分割出的立体视频对象,结合深度信息对其进行三维重建,得到较好的三维效果。     

多视点视频信号的中间视点图象合成研究

为了能得到一种具有立体感和交互操作功能的新型视频,在基于时空信息的单通道视频对象分割基础上,给出了多视点视频编码中视频对象的提取方案,并提出了一种基于对象的视差匹配算法,以提高视差估计的精确性和可靠性;并通过视差插值实现了视频对象的中间视点图象合成.实验结果显示所提出的方法是可行和有效的.     

基于视差和阈值分割的立体视频对象提取

视频对象分割和提取是编码、通信以及视频检索等基于内容视频处理中的关键问题，为了从只有单一全局运动、含有重叠多对象的立体视频序列中提取对象，提出了一种基于视差分析和阈值分割的对象提取方法。该方法首先用改进的区域匹配法进行立体视差估计，并通过合理减少匹配窗的运算量及根据视差特性设定搜索路径来加快匹配速度；然后针对图像中不同的对象分别采用迭代阈值法和自适应阈值法进行二次分割；最后从阈值分割结果中提取出各个对象。实验提取出的各深度层视频对象效果良好，表明该方法是一种有效的适用于全局运动的立体视频序列对象提取方法。     

基于相位与区域分割的视差估计算法

提出一种结合小波变换与图像分割的立体匹配算法。该算法利用双树复小波多通道提取立体像对带通相位信息作为匹配基元,求取初始视差场。针对单独通道提出一个相位匹配程度方程式,将视差计算归结为求解该方程的极大值。结合图像分割与视差平面拟合的方法对初始视差场进行修正,从而得到精度较高的密集视差图。实验结果表明,该算法结构简单,能快速有效地产生密集视差场。     

基于可变特征基元的视差估计新方法

视差估计是立体视频和多视点视频信号处理中的一个关键问题。选择可变长线段作为特征基元,提出一种基于特征匹配的视差估计新方法。算法结合唯一性和顺序性约束条件来增强视察估计的可靠性与准确性。在详细介绍了算法的基本原理后进行了实验仿真,实验结果表明新算法能获得较为准确、可靠、亚像素精度的密集视差场,其性能优于固定块匹配（Fixed Size Block Matching,FSBM）、可变块匹配（Variable Size Block Matching,VSBM）等传统的视差估计算法。     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

面向立体视频的视差-运动同步联立预测算法

针对立体视频序列的时间空间冗余和交叉冗余,提出一种快速编码算法.应用立体-运动约束模型在视差域和运动域进行联合迭代搜索,根据每次迭代后的模型误差设置自适应修正窗口来保证预测矢量精度,视差矢量和运动矢量可以快速同步获得.实验结果表明,该算法在保证高率失真性能的同时,可以大幅度降低编码复杂度.     

基于分层视差估计的立体图象编码

基于立体视频数据压缩的目的，提出了一种基于分层视差估计/补偿的立体图象编码方案。该方案是采用JPEG标准独立编码参数图象，并利用视差估计/补偿技术编码目标图象，应用分层马尔可夫随机场（MRF）模型。率失真（RD）模型以及交叠块匹配的混合视差估计/补偿算法，可得到光滑准确的视差场，与通常的变尺寸块匹配（VSBM）相比，该算法得到的视差补偿图象的峰值信噪比（PSNR）可提高2.5dB左右；双向半像素精度的视差估计/补偿的性能要比单向整像素搜索提高3dB，实验结果表明，该立体图象编码方案能有效地压缩立体图象数据，并可推广到立体序列图象的编码压缩中。     

面向立体视频的自适应数字水印算法

鉴于立体视频是未来视频技术的一个重要发展方向,对其产品的知识产权进行保护需要提前解决,以避免盗版和侵权现象。为此,在前期数字水印和立体视频研究工作的基础上,通过详细分析立体视频的特点后,给出了一种面向立体视频的自适应数字水印新算法。新算法是将水印信息添加到增强层码流的视差矢量数据上,这种水印信息的嵌入不仅对基本码流没有影响,而且不会影响到基本码流重建后的视频图像质量。该水印算法采用自适应策略,使得嵌入水印后的图像质量损失达到最小。其水印的嵌入和提取操作均基于压缩域进行,无需视频码流的完全解码,而且水印的提取使用盲检法,无需视频原图像。整个算法简单、快速、高效。通过不同测试序列的仿真实验结果显示,水印的嵌入对原图像影响很小,使用自适应算法进行水印嵌入后图像的峰值信噪比下降值均小于非自适应算法。     

一种立体视频编码中的块效应后处理算法

分块DCT变换编码破坏了块与块之间的相关性,容易产生块效应。视频图象尤其是立体视频图象中的块效应消除算法要求简单、快速,能够实时处理。该文分析了立体视频编码不同编码帧图象中的块效应及其产生原因,并给出了消除各类块效应的后处理算法。对于I帧图象中的三类块效应:块虚像、角异点和环状噪声,给出了三种相应的滤波方案。对于B帧和P帧中由于错误匹配而产生的块虚像,通过优化运动估计和视差估计来去除。实验结果表明,新算法快速、有效。     

基于立体成像几何特性的动态有限搜索匹配法

提出了一种基于立体成像几何特性的动态有限搜索匹配法。该法根据被测物体与摄像机标定参照物在空间上的相互关系及被测物体形态，确定被测物体特征点视差匹配大致范围。利用立体成像几何特性，采用动态有限搜索法，以求出的视差为参考，根据左(右)图像中特征点与所得匹配对应点的水平视差值，确定在右(左)图像中的搜索方向和搜索范围，采用灰度区域相关计算，确定下一个匹配特征点，并依此类推。由于特征点灰度不稳定，且随视点的不同而有很大差异，为能得到正确匹配，需结合几何相似性约束。通过对一已知三维坐标标准件的计算机仿真实验，证实了该方法的有效性。     

基于自适应迭代松弛的立体点对匹配鲁棒算法

图像匹配是立体视觉的重要部分,也是双目立体测量系统必须解决和最难解决的问题。为了对图像进行鲁棒性匹配,提出了一种基于自适应迭代松弛的立体点对匹配方法。该方法首先利用视差梯度约束来构造匹配支持度函数;然后通过松弛方法优化该函数来完成立体点对的匹配。由于利用了动态更新松弛匹配过程参数的方法,因此有效地降低了误匹配率和误剔除率。在此基础上还提出了对松弛过程结束后的匹配结果,再次使用视差梯度约束来进行进一步检验的策略,该策略能够以一定幅度的误剔除率提升为代价,大幅度降低了误匹配率,从而可满足许多要求严格限制误匹配率的应用。实验结果证明,该新算法是有效的,并已经用于一个双目立体测量原型系统当中。     

基于视差优化的立体匹配网络

现有的立体匹配算法通常采用深层卷积神经网络提取特征,对前景物体的检测更加精细,但对背景中的小物体及边缘区域匹配效果较差。为提高视差估计质量,构建一个基于视差优化的立体匹配网络CTFNet。分别提取浅层与深层特征,并基于深层特征构建全局稀疏代价卷,从而预测初始视差图。在预测的初始视差图和浅层特征的基础上构建局部稠密代价卷并进行视差优化,以细化预测视差值邻域的概率分布,提高特征不明显区域的匹配精度。此外,引入新的概率分布损失函数,监督softmax函数计算的视差值概率分布在真实视差值附近成单峰分布,提高算法的鲁棒性。实验结果表明,该网络在SceneFlow和KITTI数据集上的误匹配率分别为0.768%和1.485%,在KITTI测评网站上的误差率仅为2.20%,与PSMNet网络相比,精度和速度均得到一定提升。     

基于半规则网格的视差估计算法

立体视频中视图间的视差估计是压缩的关键技术。针对视差估计中传统网格法的缺点,提出一种使用半规则的网格来估计视差的方法。该方法综合了节点均匀分布的规则网格和节点贴合物体边界的非规则网格这两种方法,选择具有最高的梯度和的行和列的交点作为网格的节点,并且利用每个节点的梯度值进一步剔除在缺少纹理区域中的节点,最后在多分辨率下混合块迭代和网格迭代对剩余的节点进行匹配。该算法剔除了匹配时易于出错的节点,同时也减少了需要估计的节点数。实验结果表明该方法改善了标准网格法的匹配质量,同时也降低了匹配的计算复杂度。