Statistical motion learning for improved transform domain Wyner-Ziv video coding

Wyner-Ziv (WZ) video coding is a particular case of distributed video coding (DVC), the recent video coding paradigm based on the Slepian-Wolf and Wyner-Ziv theorems which exploits the source temporal correlation at the decoder and not at the encoder as in predictive video coding. Although some progress has been made in the last years, WZ video coding is still far from the compression performance of predictive video coding, especially for high and complex motion contents. The WZ video codec adopted in this study is based on a transform domain WZ video coding architecture with feedback channel-driven rate control, whose modules have been improved with some recent coding tools. This study proposes a novel motion learning approach to successively improve the rate-distortion (RD) performance of the WZ video codec as the decoding proceeds, making use of the already decoded transform bands to improve the decoding process for the remaining transform bands. The results obtained reveal gains up to 2.3 dB in the RD curves against the performance for the same codec without the proposed motion learning approach for high motion sequences and long group of pictures (GOP) sizes.     

分布式视频编码中关键帧丢失错误保护

目的 分布式视频编码较其传统视频编码具有编码简单、误码鲁棒性高等特点,可以很好地满足如无人机航拍、无线监控等新型视频业务的需求。在分布式视频编码中,视频图像被交替分为关键帧和Wyner-Ziv帧,由于受到信道衰落和干扰等因素的影响,采用传统帧内编码方式的关键帧的误码鲁棒性远不如基于信道编码的Wyner-Ziv帧。关键帧能否正确传输和解码对于Wyner-Ziv帧能否正确解码起着决定性的作用,进而影响着整个系统的压缩效率和率失真性能。为此针对关键帧在异构网络中的鲁棒性传输问题,提出一种基于小波域的关键帧质量可分级保护传输方案。方法 在编码端对关键帧同时进行传统的帧内视频编码和基于小波域的Wyner-Ziv编码,解码端将经过错误隐藏后的误码关键帧作为基本层,Wyner-Ziv编码产生的校验信息码流作为增强层。为了提高系统的分层特性以便使系统的码率适应不同的网络条件,进一步将小波分解后图像的各个不同层的低频带和高频带组合成不同的增强层,根据不同信道环境,传输不同层的Wyner-Ziv校验数据。同时对误码情况下关键帧的虚拟噪声模型进行了改进,利用第1个增强层已解码重建的频带与其对应边信息来获得第2个和第3个增强层对应频带的更加符合实际的虚拟信道模型的估计。结果 针对不同的视频序列在关键帧误码率为1%20%时,相比较于传统的帧内错误隐藏算法,所提方案可以提高视频重建图像的主观质量和整体系统的率失真性能。例如在关键帧误码率为5%时,通过传输第1个增强层,不同的视频序列峰值信噪比（PSNR）提升可达25 dB左右;如果继续传输第2个增强层的校验信息,视频图像的PSNR也可以提升0.51.6 dB左右;如果3个增强层的校验信息都传输的话,基本上可以达到无误码情况下关键帧的PSNR。结论 本文所提方案可以很好地解决分布式视频编码系统中的关键帧在实际信道传输过程中可能出现的误码问题,同时采用的分层传输方案可以适应不同网络的信道情况。     

Adaptive deblocking filter for transform domain Wyner?Ziv video coding

Wyner-Ziv (WZ) video coding is a particular case of distributed video coding, the recent video coding paradigm based on the Slepian-Wolf and Wyner-Ziv theorems that exploits the source correlation at the decoder and not at the encoder as in predictive video coding. Although many improvements have been done over the last years, the performance of the state-of-the-art WZ video codecs still did not reach the performance of state-of-the-art predictive video codecs, especially for high and complex motion video content. This is also true in terms of subjective image quality mainly because of a considerable amount of blocking artefacts present in the decoded WZ video frames. This paper proposes an adaptive deblocking filter to improve both the subjective and objective qualities of the WZ frames in a transform domain WZ video codec. The proposed filter is an adaptation of the advanced deblocking filter defined in the H.264/AVC (advanced video coding) standard to a WZ video codec. The results obtained confirm the subjective quality improvement and objective quality gains that can go up to 0.63 dB in the overall for sequences with high motion content when large group of pictures are used.     

Network-driven low complexity coding for wireless multi-view video system

For wireless multi-view video system, which has very limited capability for storage and computation at the encoder, it is essential to design a video coding scheme with low complexity. Wyner-Ziv (WZ) coding scheme shifts large computational complexities to decoder with side information reconstruction, however, its encoding efficiency is not high enough. To obtain higher encoding efficiency and lower encoding complexity for wireless multi-view video applications, a network-driven low complexity video coding method is proposed in the paper. The proposed method is designed to implement color correction, motion vector extrapolation and disparity extraction at the central node of network, so as to reduce large computational complexities of motion estimation at the encoder and disparity estimation at the decoder. Experimental results show that encoding efficiency of the proposed method is higher than those of WZ coding and H.264 intraframe coding methods. The encoding complexity of the proposed method is greatly decreased and the decoded views are of color consistency, which is favorable to high quality view rendering at the decoder.     

多解析度自适应零块判决算法

在视频会议等应用中,视频编码的速度是保证系统实时性的关键.为了减小视频编码的运算量并提高系统的整体性能,提出了多解析度的自适应零块发现判决算法.多解析度通过对图像的子采样从而大幅度降低了搜索最佳匹配块的次数;而自适应的零块判决算法使得运动搜索速度收敛的更快,在不影响图像质量的前提下提高了编码的效率,并且减少了后续模块(DCT、量化等)所占用的时间.利用H.263算法进行了测试,结果显示在图像主客观质量基本不变的前提下,编码时间最多减少了近40%.     

基于深度学习的光流插帧边信息生成算法

在分布式视频编码(DVC)中,如何在各种运动场景下生成高质量的边信息并提升解码性能是一个重点研究领域。提出一种基于深度学习的光流插帧边信息生成算法(optical flow interpolation, OFI),编码端采用区间重叠的分布式算术编码(distributed arithmetic coding, DAC)对视频进行编码,解码端生成边信息时提取已解码关键帧,输入深度学习光流插帧网络。网络采用多层光流模块产生光流,并结合光流向后弯曲关键帧产生初步的边信息估计,再由融合过程消除遮挡产生更加细化的结果,最后边信息辅助解码树完成解码。实验结果表明,与现有方法相比,该方法PSNR最大可提升2.25 dB,主要体现在线性运动场景下。同时在线性和非线性场景下SSIM指标可提升0.001 5～0.064 8,在解码视频率失真曲线上也体现出一致的结果,证明了该算法对线性运动边信息估计有较好的提升,对非线性运动边信息结构也有良好的恢复性。     

面向多媒体传感器网络的视频压缩新算法

视频压缩可以降低多媒体传感器网络中的数据信息量。传统分布式视频编码方案采用区域统一编码,可能导致运动剧烈区域解码估计的失真。提出一种改进的分布式视频编码算法。该算法基于图像梯度场,针对Wyner-Ziv帧不能准确编解码的区域,通过ROI判定准则提取该区域并基于熵编码压缩,图像其他区域则基于LDPC实现分布式编解码,进而实现视频的优化传输。仿真实验表明：本文算法可增强运动剧烈区域的编码效率,在降低码率的同时提高解码图像质量,最终降低传感器节点能耗。     

适于实时传输的AVS视频码流加密算法*

为应对日益严重的盗版问题,提出了一种针对AVS标准的视频信息加密算法。通过加密运动矢量,使得视频图像重建时无法找到匹配的参考块,并通过误差扩散,引起视频图像错乱,从而达到对视频信息加密的目的。加密算法不改变码流结构,因此,接收端未经解密的视频码流可以由标准解码器正常解码,但是解码重建的视频图像质量明显下降,而经解密的视频重建图像可完全恢复到加密前的水平。实验结果表明,提出的加密方案具有良好的加密效果,其算法复杂度低,对编码效率影响也很小,基本上不影响视频的主客观质量。     

像素级运动矢量场边信息生成算法

在分布式视频编码（DVC）中,解码端生成的边信息的质量对整个系统的率失真(RD)性能有着重要影响。为了提高边信息的质量,进而提升DVC系统的RD性能,提出一种基于像素级运动矢量场的边信息生成算法(SGPMVF)。首先,通过运动估计分别获得前后两关键帧的像素级运动矢量场;然后,为Wyner-Ziv帧的每个像素选择合适的运动矢量;最后,通过帧间内插得到高质量的边信息。算法中提出基于SAD（绝对误差和）差值的搜索范围确定方法与像素级运动矢量选择方法。实验结果表明,对于快速运动的序列,该算法在不增加编码复杂度和码率的情况下使边信息的PSNR最大提高1.45 dB,并使DVC系统的RD性能提高0.3～0.7 dB。     

残差分布式视频压缩感知*

压缩感知(CS)是一种能同时进行数据采集和压缩的新理论,为简化编码算法提供了依据,同时,分布式视频编码(DVC)为低复杂度的视频编码提供了思路。因此,通过整合DVC和CS各自的特性以构建编码简单的视频编码框架,并采用残差技术来提高系统性能,最终提出了一种残差分布式视频压缩感知(RDCVS)算法:对关键帧进行传统的帧内编、解码;而对非关键帧,编码端采用一种基于残差联合稀疏模型的随机观测,解码端利用边信息和改进的梯度投影重建(GPSR)算法进行优化重构。由于将运动估计和变换编码等复杂度较高的运算转移到解码端进行,因而RDCVS保持了低复杂度的编码特性。实验结果表明,RDCVS算法比参考方案的恢复质量提高了2～3 dB。     

Wyner-Ziv视频编码中边信息估计算法改进*

与传统视频编码方法相比,DVC（distributed video coding）在编码性能方面还存在着较大差距。边信息估计是其中的关键技术之一,在很大程度上决定着编码效率。为缩短性能差距,改善边信息估计效率,提出一种针对像素域Wyner-Ziv视频编码系统的改进算法,在解码端改善了关键帧之间的运动矢量获取以及采用重叠块运动补偿来生成边信息。通过对大量测试序列的实验,验证了改进算法的率失真性能得到改善。     

基于ROI运动区域的分布式视频编码方法

传统的分布式视频编码方法中,视频帧的解码通常采用内插或外推的方法,然而对于运动剧烈视频帧的解码效果却并不理想,会产生重影、鬼脸等现象.因此,提出了一种基于ROI运动区域的分布式视频编码解决方案,通过在编码端提取ROI辅助信息,然后在解码端将其与边信息做融合处理来得到更加准确的边信息,从而提高视频解码的质量.实验结果表明,与传统的分布式视频编码方法相比,基于ROI运动区域的分布式视频编码解决方案在性能上平均有3.1db的提高.     

基于时空联合的解码边信息插值算法

在Wyner-Ziv视频编码中,边信息质量是影响系统编码效率的关键因素,但解码端获得的运动矢量不精确而导致内插边信息的质量不高。为此,提出一种基于时空联合的解码边信息插值算法。该算法将多种块分割模式与双向运动估计相结合,匹配准则采用双向平均绝对误差和(SBAD)判断运动矢量时间变化,利用边界绝对误差(BAD)判断运动矢量的空间变化,通过时空联合匹配准则保证运动矢量的空间平滑性和时间连贯性。实验结果表明,该算法降低了编码码率,内插边信息的主观和客观质量均有所提高,边信息的峰值信噪比(PSNR)最大提高1.41dB。     

频率域Wyner-Ziv视频编码算法的改进

为提高分布式视频编码压缩率,依据无线传感网络终端设备及Wyner-Ziv视频编码特点,针对Bernd Girod的频域Wyner-Ziv视频编码方案提出改进算法。该算法在编码端通过简单DCT运算提出将图像块分为Skip模式、低频模式和全频模式三种可选模式,在解码端根据相应的编码模式分别选择平均插值、自适应搜索运动估计插值和自适应搜索精细运动估计插值的边信息估算方法联合解码。该算法既能通过消除大量的帧间预测与熵编码实现低码率传输,又能以最小的解码代价获得更精确的边信息,从而有效地避免图像解码质量下降。实验结果表明,在相同峰值信噪比情况下,该算法的码率比Bernd Girod提出的频域Wyner-Ziv算法平均下降40%。     

基于运动矢量细化的帧率上变换与HEVC结合的视频压缩算法

将帧率变换技术与新型视频压缩编码标准HEVC相结合有利于提升视频的压缩效率。针对直接利用HEVC码流信息中的低帧率视频的运动矢量进行帧率上变换时效果不理想的问题,文中提出了一种基于运动矢量细化的帧率上变换与HEVC结合的视频压缩算法。首先,在编码端对原始视频进行抽帧,降低视频帧率;其次,对低帧率视频进行HEVC编解码;然后,在解码端与从HEVC码流中提取出的运动矢量相结合,利用前向-后向联合运动估计对其进行进一步的细化,使细化后的运动矢量更加接近于对象的真实运动;最后,利用基于运动补偿的帧率上变换技术将视频序列恢复至原始帧率。实验结果表明,与HEVC标准相比,所提算法在同等视频质量下可节省一定的码率。同时,与其他算法相比,在节省码率相同的情况下,所提算法重建视频的PSNR值平均可提升0.5 dB。     

集成超分辨率重建的图像压缩编码新型框架及其实现

提出一种集成超分辨率重建的图像压缩编码新型框架。在编码端对输入图像以因子2进行下采样,对下采样图像用JPEG标准编解码,而后采用事先通过外部训练库训练得到的字典,对解码后的图像进行基于学习的超分辨率重建。为了进一步提高解码重建图像质量,在算法框架中设计了反馈环节,即在编码端用原始图像减去超分辨率重建图像得到残差辅助图像,在解码端用该残差辅助图像弥补在超分辨率图像重建环节中损失的高频细节信息,在保证残差辅助图像较低编码比特率的情况下,大幅度提高了解码重建图像质量。此外,还实现了框架图像编码控制量化参数的单一化,实用性较强。实验结果表明,算法较JPEG标准在相同峰值信噪比的情况下,编码比特率大幅度降低,压缩倍数提高较多。     

Fast motion and disparity estimation for multiview video coding

Multiview video involves a huge amount of data, and as such, efficiently encoding each view is a critical issue for its wider application. In this paper, a fast motion and disparity estimation algorithm is proposed, utilizing the close correlation between temporal and inter-view reference frames. First, a reliable predictor is found according to the correlation of motion and disparity vectors. Second, an iterative search process is carried out to find the optimal motion and disparity vectors. The proposed algorithm makes use of the prediction vector obtained in the previous motion estimation for the next disparity estimation and achieves both optimal motion and disparity vectors jointly. Experimental results demonstrate that the proposed algorithm can successfully save an average of 86% of computational time with a negligible quality drop when compared to the joint multiview video model (JMVM) full search algorithm. Furthermore, in comparison with the conventional simulcast coding, the proposed algorithm enhances the video quality and also greatly increases coding speed.     

Distributed video coding based on part intracoding and soft side information estimation

Recently, distributed source coding (DSC) has been proposed to implement source compression by exploiting source statistics at the decoder only, which enables low-complexity video coding. However, to date, the video codecs based on DSC have been unable to compress as efficiently as traditional predictive video codecs, such as H.264. So, new techniques have to be investigated to improve the performance of the distributed video coding scheme for practical applications. In this paper, I propose a novel distributed video coding scheme based on part intracoding and soft side information estimation. Firstly, at the encoder side, to improve the compression performance of distributed video coding system, we divide the video data into strongly correlative data encoded by Slepian–Wolf codec and weakly correlative data encoded by Intracoding codec. Secondly, at the decoder side, to improve the accuracy of side information estimation, a soft side information estimation method is proposed, which is more suitable for video coding due to the non-stationary feature of video data. Our experimental results show that the performance of our coding system is better than that of the traditional distributed video coding system while keeping the simple encoding property. Also the concept of soft side information is a new idea in distributed video coding and will significantly influence the side information estimation method.

一种基于小波分析的多分辨运动补偿视频编码器的设计

为了在甚低比特率下实现对数字视频的有效压缩和编码,提出了一种混合的多分辨运动补偿零树视频编码方案。在该编码方案中,运动矢量的获取采用了可变块大小的多分辨运动估计算法,运动估算在小波域中进行。编码器的核心部分是同基于内容的自适应量化方法相结合的预测误差帧的小波零树编码,它产生了一种具有嵌入特征的比特流,从而为精确的速率控制和基于内容的位流调节提供了可能。基于上述编码方案的实验表明:在甚低比特率下,所提出的编码方案在峰值信噪比和恢复视频的主观质量方面都具有较好的性能。     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。