基于H.264标准的多视点视频编码方案的研究

为研究一种新的高效的多视点视频编码方法,提高编码效率,并有效地提高视点间随机切换访问的能力,利用H.264中的新技术多参考帧、SP/SI帧、分层B帧编码等,根据时空预测编码结构的方法,提出了一种基于分层B帧并有利于视点间随机切换访问的多视点视频编码方案.实验结果表明,该方案在提高了编码效率的同时,在视点较多的情况下能够有效地提高视点间随机切换访问的能力.     

灵活的多视点视频编码预测结构

多视点视频的时空相关性不仅随着序列的变化而改变,而且视频序列内的相关性特征随着时间的推移也会发生变化,固定的预测结构难以适应复杂情况下多视点视频编码的各种要求。在分析分层B帧预测结构和多视点视频图像中当前帧及其参考帧之间时间相关性和视点间相关性的基础上,提出一种灵活的预测编码结构,根据该多视点视频的时间及视点间相关关系和当前帧与其时间参考帧之间的距离来确定该帧是否采用耗时的视点间预测。实验结果表明,与分层B帧的改进算法——可扩展性预测结构多视点编码算法相比,本文算法在保证编码效率基本不变的前提下,编码复杂度降低了约45%,随机访问性能提高28%,解码图像缓冲区要求降低46%左右。     

一种改进预测结构的多视点视频编码

多视点视频编码是视频编码的研究热点之一。针对联合多视点视频编码（Joint Multi-view Video Coding,JMVC）采用的分层B帧预测结构编码复杂度高,随机访问性能较差等缺点,提出了一种改进的预测结构。所提出的预测结构对B视点中以前一帧作为其时间参考的帧仅采用时间预测,对所有P视点的非关键帧均不进行视点间预测,有效地降低了计算复杂度,提高了随机访问性能。通过选取合适的I视点位置,以减少结构简化带来的编码效率损失。实验结果表明,与分层B帧预测结构相比,所提出的预测结构在保证编码效率损失不大的情况下,显著降低了平均编码时间。改进的预测结构也具有更好的随机访问性能。     

空时形状预测与高效编码

目的 形状是视觉对象的关键特征,形状编码是对象基图像和视频处理中的关键技术,但现有无损形状编码方法压缩效率普遍不高.为此,提出一种基于链码表示和空时预测的高效无损形状编码新算法.方法 首先逐帧提取视觉对象的形状轮廓并转化为链码表示;然后基于对象轮廓的帧间活动性将形状视频序列分成帧内预测编码帧和帧间预测编码帧,并基于轮廓链码的空域相关性和时域相关性对二者分别进行空域和时域补偿与预测;最后基于链码的方向约束特性对预测后的位移矢量和预测残差进行高效编码压缩.结果 为了检验所提算法的性能,基于MPEG-4标准形状测试序列进行了编码实验测试.与现有主要方法相比本文算法能提高压缩效率6%到71.6%不等.结论 本文算法可广泛应用于对象基编码、基于内容的图像检索、图像分析与理解等领域.     

立体视频编码中运动和视差联合估计算法的研究

立体视频编码不仅要在同一个视点间进行运动估计,还要在相邻视点间进行视差估计,计算复杂度非常高.如何有效地结合运动估计和视差估计,降低运算复杂度是当前亟待解决的问题.本文详细分析了立体视频左右通道视频流之间的相关性,提出一种运动和视差联合估计快速算法.根据运动—视差模型,结合时空域的多参考帧来进行联合的运动和视差估计,实现对数据的有效编码压缩.实验证明,该算法与传统的全搜索算法相比,能在保证率失真性能基本不变的前提下,降低96.45%的运算复杂度,大大提高编码速度.     

一种多视点视频系统中随机访问的解码路径计算新方法

在多视点视频系统中,用户端的随机访问性能是表征交互能力的一个重要指标。当用户进行随机访问时,需要快速确定相应的解码路径,以快速有效地获得相应视点与时刻的图像帧。针对H.264多视点视频系统中随机访问效率不高这个情况,分析了传统多视点视频系统随机访问解码路径的计算方法,讨论了其中存在的非最优解码路径问题,提出帧等级矩阵的概念。然后,提出针对HBP（hierarchical B pictures) 这种具有代表性的多视点视频编码预测结构的解码路径计算快速算法。实验结果表明,所提算法能获得较优解码路径,从而有效地提高随机访问性能,降低解码复杂度。     

多模式3维视频形状编码

目的 具有立体感和高端真实感的3D视频正越来越受到学术界和产业界的关注和重视,未来在3D影视、机器视觉、远程医疗、军事航天等领域将有着广泛的应用前景。对象基3D视频是未来3D视频技术的重要发展趋势,其中高效形状编码是对象基3D视频应用中的关键问题。但现有形状编码方法主要针对图像和视频对象,面向3D视频的形状编码算法还很少。为此,基于对象基3D视频的应用需求,提出一种基于轮廓和链码表示的高效多模式3D视频形状编码方法。方法 对于给定的3D视频形状序列逐帧进行对象轮廓提取并预处理后,进行对象轮廓活动性分析,将形状图像分成帧内模式编码图像和帧间预测模式编码图像。对于帧内编码图像,基于轮廓内链码方向约束和线性特征进行高效编码。对于帧间编码图像,采用基于链码表示的轮廓基运动补偿预测、视差补偿预测、联合运动与视差补偿预测等多种模式进行编码,以充分利用视点内对象轮廓的帧间时域相关性和视点间对象轮廓的空域相关性,从而达到高效编码的目的。结果 实验仿真结果显示所提算法性能优于经典和现有的最新同类方法,压缩效率平均能提高9.3%到64.8%不等。结论 提出的多模式3D视频形状编码方法可以有效去除对象轮廓的帧间和视点间冗余,能够进行高效编码压缩,性能优于现有同类方法,可广泛应用于对象基编码、对象基检索、对象基内容分析与理解等。     

基于双目感知的多视点视频快速编码算法

为了减少多视点视频编码过程中多参考帧预测技术巨大的编码复杂度,提出基于双目恰可察觉失真（BJND）的多视点视频多参考帧快速选择算法,通过分析多参考帧选择与BJND之间的统计特性,提前结束多参考帧选择过程。当BJND大于阈值时,确定参考帧列表中时间或者视点上第一参考帧为最优参考帧。实验结果表明,所提出的快速算法在几乎不影响编码率失真性能的情况下,比多视点视频编码校验模型平均节约76%的编码时间。     

DCT域中任意比例的图像上下采样算法

在许多实际应用中, 为了满足传输信道和终端显示设备的要求, 需要通过上采样和下采样来改变图像的尺寸. 压缩域中的图像上下采样可以在空域中进行, 然而, 直接在压缩域中实现将更为快速. 本文根据空域中块与子块的相互关系以及酉变换对矩阵乘法的分配率, 提出了 DCT 域内任意比例图像上下采样算法. 与现存的算法相比, 本算法具有较高的信噪比, 较低的运算复杂度, 并适用于帧内与帧间编码的不同情况, 可应用于不同视频编码转码的实时处理.     

基于相关性分析的多模式多视点视频编码

多视点视频编码方法除需具有较高编码效率外,还必须支持视点或时间的随机访问、低延时编解码、视点可分级等性能.多视点视频信号的时间、视点间相关性随相机密度、光照、对象运动等因素不同而变化.文中提出基于多视点视频信号相关性分析的多模式多视点视频编码方法,改变传统单一预测模式的多视点编码结构,将多种性能优良的预测编码模式有机结合,根据多视点视频相关性分析灵活选择合适的预测编码模式,以获得优异的编码综合性能.实验结果表明,所提出的多模式多视点视频编码方法在保证高压缩效率的前提下,可进一步降低复杂度,提高随机访问性能.     

基于自适应参考帧模式选择的多视点视频编码方法

基于多视点视频序列相关性,提出独立片的概念,进而提出一种采用自适应参考帧模式选择的多视点视频编码方法.在保证高率失真性能的前提下,应用独立片、自适应算法有效地降低了多视点视频编码计算复杂度,将多种性能进行有机结合,可以根据用户外部设置的参数调整自适应模式.实验结果表明,该方法在保证高压缩效率的前提下,能有效地降低计算复杂度,并改善随机访问性能.     

基于网络编码和多访问点协作的视频多播方案

随着智能手机和平板等无线设备的普及,基于互联网的视频浏览成为无线设备的重要功能。然而,由于无线网络的链路间存在干扰、可靠性较低,为了提高视频多播传输的可靠性,文中分析了覆盖区域发生重叠的访问点间相互协作对于提高系统增益和系统公平性的作用,提出一种基于网络编码和多访问点协作的视频多播方案。该方案首先将每个视频划分为大小相同的报文段,并利用RLNC机制对每个段的报文进行编码。然后以使用户接收到的报文数量的期望值最大化的同时,实现公平调度为目标,考虑了访问点间的完全干扰和非完全干扰两种模型,将访问点间的传输范围发生重叠时的视频多播问题建模为线性规划优化问题,提出了双阶段启发式算法来进行求解,该算法通过利用多个访问点来获取空间和时间分集增益,提高了数据传输的可靠性,通过允许发生干扰的访问点并行传输数据,提高了系统效用。最后的仿真实验也验证了本文方案在接收报文总量、解码报文数量和公平性方面的有效性。     

MPEG-4标准中基于内容的视频编码

MPEG－4除了具有MPEG－1和MPEG－2标准的基于“帧”的功能以外，主要特点是对数据采用基于内容的操作，存取及传输。本文阐述MPEG－4视频编码算法中基于内容人的功能及其算法结构。     

Isolated regions in video coding

Different types of prediction are applied in modern video coding. While predictive coding improves compression efficiency, the propagation of transmission errors becomes more likely. In addition, predictive coding brings difficulties to other aspects of video coding, including random access, parallel processing, and scalability. In order to combat the negative effects, video coding schemes introduce mechanisms such as slices and intracoding, to limit and break the prediction. This paper proposes the use of the isolated regions coding tool that jointly limits in-picture prediction and interprediction on a region-of-interest basis. The tool can be used to provide random access points from non-intrapictures and to respond to intrapicture update requests. Furthermore, it can be applied as an error-robust macroblock mode decision method and can be used in combination with unequal error protection. Finally, it enables mixing of scenes, which is useful in coding of masked scene transitions.     

融合视觉感知特性的HEVC率失真优化

目的 高效视频编码(HEVC)采用率失真优化技术选择最佳的编码参数,实现编码比特率和视频图像失真之间的平衡。失真度量通常采用均方误差和绝对误差和,这些方法并没有考虑人眼的主观感受。为了提高视频编码的主观感知质量,提出一个融合视觉感知特性的率失真优化算法,并应用于帧间率失真优化过程中。方法 首先定义了一个视觉感知因子,该因子考虑了人类视觉系统对视频图像的空域活动性区域、纹理区域、时域运动性区域和亮度的感知特性,然后以编码树单元为单位对拉格朗日乘子进行自适应调整,最后根据拉格朗日乘子与量化参数之间的关系,对量化参数做进一步的修正。结果 与HEVC参考软件相比,本文算法明显提高了率失真性能,对于相同的结构相似度(SSIM)分值,本文算法在随机访问和低延时配置下平均分别节省3.1%,4.9%的码率,最高能节省9.0%的码率。与代表性文献算法相比,对于相同的SSIM,本文算法在随机访问和低延时配置下平均分别增加了0.7%,2.2%的码率节省。结论 本文率失真优化策略能够根据图像不同的视觉特性自适应的调整率失真优化过程中的拉格朗日乘子,在保持编码质量基本不变的情况下,节省了码率,提高了HEVC的编码性能。     

视频编码技术的若干新进展

对数字视频编码技术的新进展进行了综述。先对传统视频编码方法进行了分析,指出其存在的不足,然后对基于压缩感知理论的视频编码、分布式视频编码、基于视觉特性的视频编码和可分级视频编码这四种视频编码技术的新进展进行了介绍,最后对未来可能的发展方向进行了展望,可为视频编码技术的相关研究提供参考。     

一种基于多描述编码的视频传输方案

论文提出一种基于多描述编码的视频传输方案。该方案将一个视频源编码为多个码流(称为描述),各描述分别经过Reed-Solomon编码后,通过多个独立的信道传输。该方案不仅利用了信道编码的纠错能力,又利用了多描述编码的鲁棒性,模拟结果表明新方案在有噪信道上表现出较好的性能。