基于深度预测的HEVC编码单元快速划分算法

高效视频编码HEVC(High Efficiency Video Coding)采用计算复杂度较高的率失真优化方法对编码单元CU(Coding Unit)划分进行判决,具有较高的时间复杂度,编码所需时间较长。为降低HEVC编码复杂度,加快编码速度,提出一种基于深度预测的CU快速划分算法。首先依据当前CU与周围相邻CU和参考帧中当前位置CU的深度相关性,预测当前CU的最优深度,然后使用相邻相关分割法或依据当前CU深度和预测深度的关系对当前CU进行递归划分。为减少预测带来的误判,在CU深度级别由2级到3级的划分中,使用率失真或百分比的方式进行二次判定。实验结果表明,该算法与原始的HEVC编码方法相比,在亮度峰值信噪比减小0.07 d B,编码比特率增加0.88%的情况下,整体编码单元划分时间缩短37.7%,具有较高的时间效率。     

HEVC快速编码深度选择算法

高效视频编码（High Efficiency Video Coding,HEVC）作为下一代新的视频编码标准,旨在有限网络带宽下传输高质量的网络视频。与现有的视频编码标准相比,高效视频编码具有更高的灵活性和压缩率。编码单元（Coding Unit,CU）是视频编码处理的基本单元,原有的算法通过四叉树递归获取最佳CU深度,在提高视频压缩性能的同时引入了较高的计算复杂度。针对该问题,提出了一种快速编码深度选择算法,该算法利用相邻CU的深度信息计算一个深度预测特征值,通过该特征值进行深度选择,以避免不必要的计算,降低计算复杂度。实验结果表明,该算法在保证视频压缩效果的同时有效降低了计算复杂度。     

基于局部边界特性的HEVC帧内快速预测算法

HEVC(High Efficiency Video Coding)的编码性能足可以达到H.264/AVC的两倍。在帧内编码方面HEVC的性能提高主要来自于更精准的预测模式和更灵活的分块大小,同时带来了巨大的计算复杂度。为了大幅降低编码复杂度,提出的算法利用视频的局部纹理特性,首先用索贝尔算子提取当前编码单元CU(Coding Unit)的局部边界信息。分析边界信息后,停止不包含明显边界的CU的子块划分,对包含明显边界的CU快速选择预测方向为边界纹理方向。实验结果证明,提出的算法可以在视频质量基本不变的情况下,使帧内编码复杂度降低近一半。     

针对HEVC编码单元的二分深度划分算法

为了降低高效率视频编码（HEVC）的编码单元（CU）进行四叉树递归遍历的时间,提出一种改进的编码单元快速划分算法.首先,利用帧间时间域的相关性,提取前一帧相同位置CU的最优划分结构,以预测当前CU的划分深度;然后通过改进编码CU结构划分遍历的算法,减少CTU （Coding Tree Unit）四叉树结构的遍历,即从二分深度开始遍历,在每一步遍历之前,判断是否提前终止遍历.实验表明,与HM15.0中的基准划分算法相比,本文算法能够在保证编码性能的同时,降低了55.4%的编码时间,提高了HEVC的编码效率.     

基于提前终止编码单元划分的快速帧内预测算法

为了降低高效视频编码HEVC(High Efficiency Video Coding)帧内预测过程的计算复杂度,提出一种提前终止编码单元(CU)划分的快速帧内预测算法。首先,针对HEVC编码结构,提出一种纹理复杂度测度的方法(即像素亮度方差值)。然后,分析不同纹理特性对帧内预测编码单元层次结构的影响,提出一种基于像素亮度方差值统计的提前终止编码单元的方法。对不同层次结构的编码单元进行像素亮度方差值统计,同时结合平均像素代价值统计,设置合理的阈值,自适应提前终止编码单元的划分,从而降低了帧内预测的编码复杂度。实验结果表明,在保证信噪比和比特率不变的情况下,该算法与HEVC参考软件HM10.0相比,编码时间平均节省32%。     

基于多尺度特征融合网络的HEVC帧内编码单元快速划分研究

高效视频编码HEVC显著提高了编码效率，但同时增加了编码复杂度，在基于四叉树结构的编码单元(CU)划分过程中尤为明显，因此研究CU快速划分具有重要意义。多尺度特征融合的网络可以实现HEVC编码单元快速划分。为此，结合U-Net和CU划分特性设计了UcuNet网络，同时为加强不同尺度像素的特征提取，采用了非对称卷积AC和CBAM注意力机制。为更好地训练深度学习模型，收集了不同分辨率的原始视频和对应的编码信息构建出大规模的数据集。最后将模型嵌入到HEVC编码架构中，提前预测CU划分的结果，跳过了原始CU划分方法中递归的率失真优化(RDO)计算过程，从而有效降低CU划分带来的编码复杂度。实验结果表明，对比HEVC官方测试模型(HM16.20),UcuNet在BD-BR仅损失2.63%的情况下，使平均编码时间缩短了68.13%。     

基于背景帧的监控和会议视频帧间快速算法

为降低高性能视频编码（High Efficiency Video Coding,HEVC）中监控和会议视频的编码复杂度,减少编码时间,提出了一种基于虚拟背景帧的监控和会议视频帧间编码的快速编码单元（Coding Unit,CU）划分和预测单元（Prediction Unit,PU）模式选择算法。对原始视频序列进行像素统计分析生成虚拟背景帧,利用生成的虚拟背景帧对CU分类。通过分析不同类别的CU继续划分的比例和其纹理复杂度,快速决策当前CU的划分和PU的模式类型。这种利用虚拟背景帧做判决的算法通过减少CU深度和PU模式遍历而降低编码复杂度,达到快速帧间编码的效果。实验结果表明,与HM16.9相比,该算法在峰值信噪比（Peak Signal-to-Noise Ratio,PSNR）平均下降0.07 dB和码率平均增加1.93%的情况下,能平均减少33.31%的编码时间。     

基于LightGBM的HEVC编码单元快速划分算法

针对高效视频编码帧间预测过程中,编码单元率失真代价计算导致编码复杂度较高的问题,提出一种基于LightGBM的高效视频编码标准(HighEfficiencyVideoCoding,HEVC)快速划分算法。算法将编码单元(Coding Unit,CU)的划分情况视为分类问题,采用LightGBM对CU块进行划分分类预测。实验结果表明,在低时延模式下,该算法与标准编码器相比,平均码率变换率增加1.95%,平均节省的编码时间效率为27.72%,具有较高的编码效率。     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

基于决策树的HEVC编码单元划分算法

为了有效降低高效视频编码标准HEVC编码过程中的计算复杂度,提出了一种基于决策树的编码单元划分算法。该算法将编码单元划分问题归为分类问题,提取编码单元的划分信息到决策树模型中进行学习,得到决策树分类器。利用分类器对满足分类条件的编码单元进行划分,跳过了率失真计算,从而降低了视频编码的计算复杂度。实验结果表明,本算法在保证视频质量的同时有效降低了编码计算复杂度。     

利用时空相关性的HEVC帧内编码块快速划分

目的 为了提升高效视频编码（HEVC）的编码效率,使之满足高分辨率、高帧率视频实时编码传输的需求。由分析可知帧内编码单元（CU）的划分对HEVC的编码效率有决定性的影响,通过提高HEVC的CU划分效率,可以大大提升HEVC编码的实时性。方法 通过对视频数据分析发现,视频数据具有较强的时间、空间相关性,帧内CU的划分结果也同样具有较强的时间和空间相关性,可以利用前一帧以及当前帧CU的划分结果进行预判以提升帧内CU划分的效率。据此,本文给出一种帧内CU快速划分算法,先根据视频相邻帧数据的时间相关性和帧内数据空间相关性初步确定当前编码块的编码树单元（CTU）形状,再利用前一帧同位CTU平均深度、当前帧已编码CTU深度以及对应的率失真代价值决定当前编码块CTU的最终形状。算法每间隔指定帧数设置一刷新帧,该帧采用HM16.7模型标准CU划分以避免快速CU划分算法带来的误差累积影响。结果 利用本文算法对不同分辨率、不同帧率的视频进行测试,与HEVC的参考模型HM16.7相比,本文算法在视频编码质量基本不变,视频码率稍有增加的情况下平均可以节省约40%的编码时间,且高分辨率高帧率的视频码率增加幅度普遍小于低分辨率低帧率的视频码率。结论 本文算法在HEVC的框架内,利用视频数据的时间和空间相关性,通过优化帧内CU划分方法,对提升HEVC编码,特别是提高高分辨率高帧率视频HEVC编码的实时性具有重要作用。     

基于图形信息的HEVC帧间预测快速算法

由于最新的视频编码标准HEVC（high efficiency video coding）应用四叉树的递归结构进行编码单元的划分,使得帧间预测的过程极为复杂,编码的时间效率比较低下。针对HEVC帧间预测过程,提出了一种基于纹理信息和稳定区域检测的快速算法,旨在检测出相对平坦的区域和随时间变化较稳定的区域,来提前终止四叉树的编码单元的划分。这些平坦或者稳定的区域用较大的编码预测单元就能进行比较准确的运动估计和预测,不需要再进行更小编码预测单元的划分,因此HEVC编码器的时间复杂度大幅度降低。实验结果表明,改进后的算法编码时间平均节省了34%左右,并且造成的视频质量损失非常低,有0.038 dB的PSNR下降和0.56%的码率增加。     

Fast encoding algorithm for high-efficiency video coding (HEVC) system based on spatio-temporal correlation

Video compression technology is an important research part to the intelligent user interface for interactive multimedia system using technologies and services such as image processing, pattern recognition, computer vision and cloud computing service. Recently, high-efficiency video coding (HEVC) has been established as the demand of very high-quality multimedia service like ultrahigh definition video service. High-efficiency video coding (HEVC) standard has three units such as coding unit (CU), prediction unit (PU) and transform unit. It has too many complexities to improve coding performance. We propose a fast algorithm which can be possible to apply for both CU and PU parts. To reduce the computational complexity, we propose CU splitting algorithm based on rate–distortion cost of CU about the parent and current levels to terminate the CU decision early. In terms of PU, we develop fast PU decision based on spatio-temporal and depth correlation for PU level. Finally, experimental results show that our algorithm provides a significant time reduction for encoding with a small loss in video quality, compared to the original HEVC Test Model (HM) version 10.0 software and the previous algorithm.     

结合随机森林的FVC帧内编码单元快速划分

目的 未来视频编码（FVC）是在高效视频编码标准（HEVC）的基础上提出的新一代编码技术,复杂度极高。针对现有的基于HEVC的快速编码方法不适用于FVC中的四叉树加二叉树编码结构或节省时间有限的问题,提出了一种结合随机森林的FVC帧内编码单元（CU）快速划分算法。方法 针对FVC中的四叉树加二叉树结构进行优化。首先,提取视频编码过程中的各CU的图像纹理特征和划分结果;然后,分别使用各划分深度下的纹理特征和划分结果进行在线训练,建立多个随机森林模型,不同深度的CU对应不同的模型;最后,使用模型对视频其余帧的CU进行划分结果预测,从而减少了划分模式遍历和率失真代价计算的次数,节省了编码时间。结果 实验结果表明,与原始平台算法相比,本文算法能够节省44.1%的时间,在相同峰值信噪比的情况下,比特率仅上升2.6%;与当前先进的方法相比,能进一步节省20%以上的时间。结论 通过提取图像的纹理特征,建立随机森林模型,对CU划分结果进行预测,在保证编码率失真性能的前提下,有效地降低了FVC的帧内CU划分复杂度。     

Fast transcoding from H.264 to HEVC based on region feature analysis

The new video coding standard, High Efficiency Video Coding (HEVC), achieves much higher coding efficiency than the state-of-the-art H.264. Transcoding H.264 video to HEVC video is important to enable gradual migration to HEVC. Therefore, a fast H.264 to HEVC transcoding algorithm based on region feature analysis is proposed. First, each frame is segmented into three regions in units of coding tree unit (CTU) based on the correlation between image coding complexities and coding bits of the H.264 source stream. Then the searching depth range of each CTU is adaptively decided according to the region type. After that, motion vectors are de-noise filtered and clustered in order to analyze the region features of coding unit (CU). Based on the analysis results, the minimum searching depth of CU and partitions of prediction unit (PU) are optimally selected, and the motion vector predictor and search window size of motion estimation are also optimally decided for further reduction of the computational complexity. Experimental results show that the proposed algorithm achieves a significant improvement on transcoding speed, while maintaining high Rate-Distortion performance.     

Proof-of-concept: role of generic content characteristics in optimizing video encoders

The influence of content characteristics on the efficiency of redundancy and irrelevance reduction in video coding is well known. Each new standard in video coding includes additional coding tools that potentially increase the complexity of the encoding process in order to gain further rate-distortion efficiency. In order to be versatile, encoder implementations often neglect the content dependency or they optimize the encoding complexity on a local scale, i.e. on a single frame or on the coding unit level without being aware of the global content type. In this contribution, an analysis is presented which coding tool settings of the recent High Efficiency Video Coding (HEVC) standard are most efficient for a given content type when balancing rate-distortion against computational complexity measured in encoding time. The content type is algorithmically determined, leading to a framework for rate-distortion-complexity based encoder parameter decision for any given video sequence. The implementability is demonstrated using a set of 35 Ultra-HD (UHD) sequences. The performance results and evaluations show that the encoding parameters may be predicted to optimize the video coding. For instance, predicting motion search range achieves complexity reduction of 36% on average when HEVC reference HM is used at a cost of bitrate (2%). When another HEVC coding standard software, x265, is used to predict the coding unit (CU) size, there is a reduction of 20% in bitrate and of 8% in distortion but there is a reduction of 6% in execution time.     

利用运动信息及率失真代价的HEVC帧间快速算法

针对高效视频编码（HEVC）帧间预测过程所引入较高的复杂度,分别提出提前决策skip模式,编码单元（CU）提前终止分割以及变换单元（TU）提前终止分割。首先,根据自然视频序列多采用skip模式,利用当前块和空间相邻块的已编码信息提前决定skip模式;其次,为了避免编码不必要的深度,利用先前已编码块的率失真代价（rdcost）决策[CU]提前终止分割;最后,利用当前预测残差块的纹理复杂度决策TU的提前终止分割。实验结果表明,提出的算法最终可以节省编码时间43.78%,同时造成bj?ntegaard delta bit rate（BDBR）的损失为1.675%。通过实验数据的比较,在对视频质量的影响忽略不计的情况下,能够很大程度上减少复杂度。     

基于随机森林分类的HEVC帧内CU快速划分算法

针对HEVC帧内编码中递归式四叉树编码单元（Coding Unit,CU）划分引起的高计算复杂度问题,提出了基于随机森林分类（Random Forest Classifier,RFC）的CU快速划分算法。该算法包括模型离线训练和CU快速编码算法两部分。在模型离线训练中,将CU最佳划分结果（+1,－1）作为分类标签,将当前CU的对比度、逆差矩和熵信息作为特征属性,训练RFC模型。在编码时,提取当前CU的特征属性值,利用训练好的RFC模型快速预测当前CU的划分结果。实验结果表明,该算法与HEVC的标准算法相比,在保证编码质量的前提下,平均可以节约45.18%的编码时间。