基于区域划分的立体视频整帧丢失错误隐藏新算法

针对立体视频传输中右视点整帧丢失,提出了一种基于区域划分的立体视频整帧丢失错误隐藏新算法。首先通过丢失帧视点内和视点间相邻帧的运动信息,估计丢失帧的运动区域与静止区域;然后利用视点间的全局视差,将丢失帧运动区域进一步划分为遮挡边界区域和非遮挡边界区域,并对遮挡边界区域和非遮挡边界区域分别采用运动补偿预测和视差补偿预测进行恢复,而对静止区域则直接采用帧拷贝的方法恢复丢失信息。实验结果表明,本文算法有效提高了所恢复的立体视频丢失帧图像的主客观质量。     

一种基于场一致性的H.264整帧丢失掩盖方法

针对H.264视频序列在传输中可能发生的整帧丢失现象,提出了一种新型的整帧丢失掩盖算法,该算法可用于P帧和B帧.对于P帧,该算法需要修改解码器的解码流程,使得掩盖丢失帧时能获取后一帧的运动矢量信息.然后,利用运动矢量映射的方法获取重建丢失帧的参考运动矢量列表,采用基于场一致性的判决方式分别选取前一帧中和后一帧中的最佳运动矢量以取得最终重建矢量.对于B帧,利用后P帧的运动矢量信息,采用基于场一致性的判决方式得到最终重建矢量.实验结果说明此算法和传统的整帧掩盖算法相比能获得更高的PSNR,并且有更好的视觉显示效果.所提算法在H.264视频发生整帧丢失时有较好的掩盖效果.     

结合显著性的MVD视频整帧丢失错误隐藏

基于多视点视频加深度（Multiview Video plus Depth,MVD）格式的三维视频能给用户提供多视角的沉浸式视觉体验.针对MVD视频流传输中彩色帧发生整帧丢失的情况,提出了一种结合视觉显著性的三维视频整帧丢失错误隐藏算法.先将丢失帧各区域划分为三种不同的显著等级,然后对低、中、高显著区域,分别采用时域直接拷贝、时域和视点间像素自适应搜索法和新型的运动矢量补偿法进行恢复.相较于目前的对比算法,经提出算法重建后的丢失帧的峰值信噪比值（Peak Signal to Noise Ratio,PSNR）和结构相似度值（Structural Similarity Index Measure,SSIM）能分别提高0.99～2.61 dB和0.005～0.012,并且重建图像主观视觉质量更佳.     

面向三维高效视频编码的深度图错误隐藏

基于多视点视频序列视点内、视点间存在的相关性,并结合视点间运动矢量共享技术,该文提出一种面向3维高效视频编码中深度序列传输丢包的错误隐藏算法。首先,根据3D高效视频编码(3D-HEVC)的分层B帧预测(HBP)结构和深度图纹理特征,将深度图丢失块分成运动块和静止块;然后,对于受损运动块,使用结合纹理结构的外边界匹配准则来选择相对最优的运动/视差矢量进行基于位移矢量补偿的错误掩盖,而对受损静止块采用参考帧直接拷贝进行快速错误隐藏;最后,使用参考帧拆分重组来获取新的运动/视差补偿块对修复质量较差的重建块进行质量提升。实验结果表明:相较于近年提出的对比算法,该文算法隐藏后的深度帧平均峰值信噪比(PSNR)能提升0.25～2.03 dB,结构相似度测量值(SSIM)能提升0.001～0.006,且修复区域的主观视觉质量与原始深度图更接近。     

基于MV自适应选取的帧间隐藏算法

数字视频通信在多媒体通信系统中占据重要的地位,但视频帧传输错误将导致接收视频质量的下降.视频帧传输错误不仅会破坏当前的解码帧,还会在时间上扩散造成对后续帧的预测错误.为减少视频帧传输错误对视频质量的影响,设计了一种基于运动矢量自适应选取的错误隐藏算法,算法充分利用相邻宏块间运动矢量的空间相关性来自适应地恢复受损宏块的运动矢量.仿真实验结果表明,相对于典型的错误隐藏算法,所述算法在主观视觉质量和客观评价指标上都有一定的提高.     

基于多视点视频整帧丢失的自适应错误掩盖算法

为解决多视点视频压缩(MVC)导致视频整帧丢失风险增大的问题,基于MVC的特点提出了一种4方向和多参考帧的错误掩盖算法。首先,在同一视点内,将相邻帧沿其各自运动矢量外推,得到视点内的最佳运动矢量;在视点间采用同样的方法,得到最佳视差;以外推的重叠面积为判断依据,在视点内错误掩盖和视点间错误掩盖之间选择较优的掩盖方式;最后,在MVC已有块模式的基础上引入新的块组合模式,合并具有相同错误掩盖方式、运动矢量的绝对差值小于阈值的相邻块,以减小图像的块效应。实验结果表明,与已有算法相比,本文算法有效利用了MVC的内部机制,改善了重建帧的客观指标,增强了主观质量。     

立体视频右视点图像宏块丢失错误隐藏算法

根据宏块的运动特性,提出了一种立体视频右视 点图像宏块丢失的错误隐藏算法。根 据视点内时域相邻帧及 视点间相邻帧的相关性估计丢失宏块的运动静止特性,将丢失宏块分为运动块和静止块。对 于静止块,直接使用时 域帧拷贝的方法恢复;对于运动块,使用外边界匹配准则选择候选块并赋予相应的权重得到 加权候选块,根据最优 候选块和加权候选块的边界匹配值自适应地选择最优块或空域插值方法恢复丢失信息。实验 表明,本文算法提高了 隐藏图像的主客观质量。在不同量化参数(QP)和不同宏块丢包率(PLR) 的情况下,经本文算 法恢复后图像的峰值信噪比(PSNR)与普通JM算法相比,平均提高0. 77～3.22dB。     

一种多参考帧时域视频错误隐藏算法

提出一种自适应扩大搜索范围的多参考帧错误隐藏算法。该算法以视频序列的运动剧烈程度为基础,在多个参考帧中根据视频序列运动的剧烈程度的不同自适应地扩大搜索范围以寻找最优匹配块,用最优匹配块替换受损块。实验结果表明,与多帧恢复的时域错误隐藏算法相比,错误隐藏算法无论是在PSNR值上还是主观视觉效果上都有所提高。     

一种低复杂度立体视频错误隐藏新方法

针对立体视频流传输中右视 点整帧丢失,提出 了一种低复杂度的错误隐藏算法。首先,为了高效地感知立体视频的时域质量和视点间质量 ,定义了时域相似尺度(TSM)、 视间相似尺度(ISM)的概念;将前一时刻右视点图像进行时域和视点间匹配,分别求取 其以像素为单位的TSM和 ISM映射图;然后,计算前一时刻右视点图像当前宏块的TSM和ISM值,通过比较得 到当前宏块的预测模式;最后,根据视频序列的时域一致性,将前一时刻右视点图像宏块 的预测模式作为丢失图像宏 块的预测模式,从而使用运动补偿预测(MCP)或者视差补偿预测(DCP )的方法恢复丢失信息。研究结果表明,与已有错误隐藏 算法相比,本文算法获得更好主客观视觉效果;同时与基于图像结构相似度(SSIM)的错误隐藏算法相比,在保持主观视觉质量情况下,错误隐藏时间节省20%左右。     

应用于多视点视频压缩的多参考B帧快速编码算法

基于H.264平台就多视点视频压缩中多参考帧技术存在计算复杂度高的现状,根据多视点视频序列特性,提出了一种针对多参考B帧的快速多视点视频编码压缩算法。新算法改进了多参考帧列表策略,并结合多视点视频序列的时空域相关性特性,提出了适用于多视点视频编码的参考帧列表调整策略。此外,还针对多种块模式编码引入了块模式预判策略。新算法在保证率失真性能的基础上,有效地降低了计算复杂度,提高了多视点视频编码速度。虽然本文是基于M-Picture编码结构实现了新算法,但它同样适用于其它应用多参考B帧预测技术的多视点视频编码结构中。     

一种整帧丢失时的视频差错掩盖算法

压缩视频对于信道误码十分敏感,可导致重组视频的质量严重下降。在低码率的情况下,当网络传输中数据包丢失时,通常对应于一整帧图像内容的丢失。为了恢复丢失帧,提出了一种针对整帧图像丢失时的基于运动向量外推法的空时域相结合的差错掩盖算法。试验结果表明,该算法不仅能够恢复整个丢失帧,而且在主观上与客观上其掩盖效果均优于传统的掩盖算法。     

Fuzzy Logic Based Temporal Error Concealment for H.264 Video

In this paper, a new error concealment algorithm is proposed for the H.264 standard. The algorithm consists of two processes. The first process uses a fuzzy logic method to select the size type of lost blocks. The motion vector of a lost block is calculated from the current frame, if the motion vectors of the neighboring blocks surrounding the lost block are discontinuous. Otherwise, the size type of the lost block can be determined from the preceding frame. The second process is an error concealment algorithm via a proposed adapted multiple‐reference‐frames selection for finding the lost motion vector. The adapted multiple‐reference‐frames selection is based on the motion estimation analysis of H.264 coding so that the number of searched frames can be reduced. Therefore the most accurate mode of the lost block can be determined with much less computation time in the selection of the lost motion vector. Experimental results show that the proposed algorithm achieves from 0.5 to 4.52 dB improvement when compared to the method in VM 9.0.     

Proposed dynamic error control techniques for QoS improvement of wireless 3D video transmission

Error control techniques like error resilience (ER) and error concealment (EC) are efficient techniques to ameliorate the lost macroblocks (MBs) in the 3D video (3DV) communication system. In this paper, we propose efficient and adaptive hybrid ER‐EC algorithms for 3DV transmission over error‐prone wireless channels. At the encoder, adaptive preprocessing ER mechanisms are proposed through using the context adaptive variable length coding entropy, slice structured coding modes, and explicit flexible macroblock ordering mapping. They are used to assist the suggested EC techniques at the decoder to accurately reconstruct the erroneous MBs and frames. At the decoder, an efficient postprocessing EC technique with multiproposition methods is proposed to dynamically select the convenient EC hypothesis method based on the size of the lost MBs, the faulty view, and the frame type. It conceals the received erroneous MBs of intra‐encoded and inter‐encoded frames of the transmitted 3DV by exploiting the temporal, spatial, and inter‐view correlations among frames and views. To further improve the decoded 3DV quality, a weighted overlapping block motion and disparity compensation technique is used to reinforce the performance of the suggested ER‐EC techniques. Experimental results on various 3DV streams prove that the suggested techniques have considerably acceptable subjective and objective 3DV performance. They achieve an improved average peak signal‐to‐noise ratio gain by almost 2.85 dB compared to the conventional error control algorithms at a packet loss rate = 40%.     

一种基于分层B帧架构的高效比特分配算法

随着分层B帧码率控制技术在SVC(可伸缩视频编码)中的广泛应用,视频编码的质量得到了很大提高,然而传统的H.264码率控制技术并未将B帧的比特分配考虑在内。提出一种基于分层B帧架构自适应调节B帧比特分配的码率控制算法,该算法研究了基于同一个图像组(GoP)中各时域层权重因子的自适应调节,为各时域层分配不同的目标比特;同时基于同一个时域层中各帧复杂度的不同,为各帧分配不同的目标比特。实验结果表明,与目前流行的分层B帧码率控制算法相比,该算法在比特控制误差并未降低的情况下,客观质量PSNR可提高0.1～0.4 dB。     

Residual motion coding method supporting error concealment in low bitrate video coding

A residual motion coding (RMC) method supporting error concealment (EC) in low bitrate video coding is proposed. In the RMC method, the residual motion vector (RMV) is interleaved into the bitstream at the encoder to improve the error resilience of MVs. Experimental results show that the EC using RMV performs better than conventional EC methods.     

Recovery of motion vectors for error concealment based on an edge-detection approach

A new approach to error concealment is presented which exploits both spatial and temporal information from the current and previous frames. The technique consists of two stages, motion vector estimation and enhancement of the estimated motion vector. In the first stage the proposed method estimates a replacement for the corrupted motion vector by applying dynamic weights to related motion vectors from the top, bottom, left and right sub-macroblocks. The estimated motion vectors are then enhanced using a new approach based on edge detection in the second stage. The experimental results for several test video sequences are compared with conventional error concealment methods and higher performance is achieved in both objective peak signal-to-noise ratio measurements and subjective visual quality.     

基于H.264/AVC的多参考帧时域误码掩盖

根据H．264／AVC编码的新特点,提出两种基于多参考帧的误码掩盖方法：一种是基于运动矢量均值的多参考帧误码掩盖;另一种是基于加权的多参考块的误码掩盖。仿真实验表明,解码后的图像质量优于H．264／AVC传统校验模型JM5．0的误码掩盖方法。     

一种基于立体视邻接帧时空相关性的最小代价函数帧估计算法

为了在立体视频序列编码中获得高的压缩率,需要对立体视频序列中一个视的序列按传统方法进行独立编码;另一个视的序列中,只对其中一些参考帧(I帧或P帧)按视差补偿预测的方法进行编码,其余帧不进行编码和传输,而在解码端用立体视帧估计的方法得到重建.本文提出了一种基于立体视中邻接帧在图像、视差场和运动矢量场之间高度相关性的方法.对于因遮挡而缺乏估计的区域,则结合了图像强度的连续性和运动,视差矢量的分布特性,构造了代价方程并估计出该部分的运动矢量及强度值.实验证明,重建出来的帧图像在视觉和信噪比意义上均具有较好的效果.     

关于MPEG-2空域时域自适应错误隐藏算法

MPEG-2的压缩算法,由于采用可变字长编码使得其对信道错误十分敏感,即使单比特错误都有可能导致图像质量的严重下降,使部分或整条信息丢失。在解码端的错误隐藏技术是解决这个问题的有效方法之一。该文基于图像像素间的最大光滑连接,利用丢失宏块的邻域宏块的全部信息,导出了加权内插的错误隐藏公式。提出了一种自适应的错误隐藏方法,序列中的第一帧使用空域信息重构丢失的区域,其它帧使用本文建议的空域时域自适应错误隐藏方法。仿真实验的结果表明本文建议的算法优于一些传统算法。