基于加权非局部相似性的视频压缩感知多假设重构算法

分布式视频压缩感知(Distributed Compressed Video Sensing,DCVS)多假设重构算法将传统视频编码中的多假设预测运动估计思想引入到分布式压缩感知视频编码系统中,改善了对视频序列的重构质量。在该算法中,大变化块采用本帧邻域块信息作为参考,而当本帧邻域块含有较多纹理和细节时,算法性能有待提高。为此,对非局部相似性的思想进行改进,提出基于加权非局部相似性的分布式视频压缩感知多假设重构算法。在该算法中,对大变化块中的纹理块采用加权非局部相似性在相邻已重构帧中寻找自相似块,最终生成辅助重构信息块;对于非纹理块,则简单利用加权非局部相似性生成相似块。对不同特点的视频序列的仿真实验结果表明,改进后的算法有效改善了视频序列的重构质量,具有较优的重构SSIM,PSNR指标,其中PSNR约提高1dB。     

一种SPIHT编码和运动补偿相结合的可扩展视频压缩算法

提出了一种SPIHT(set partition in hierarchical trees)编码和分块运动补偿相结合的视频压缩算法．适用于视频监控、视频会议、可视电话等许多视频图像的运动范围较小的场合。该算法具有如下3个特点：一是采用基于最低码率的自适应算法，实现了波动带宽下编码端和解码端参考帧的一致性；二是采用对预测残差帧的小波压缩编码，进一步增加了残差图的零像素数量，从而获得了更高的压缩比；三是采用了SPIHT多级树集合分裂算法，实现了码率的可扩展性，能适应波动带宽和不同性能接受端的需要。运用本文提出的算法，能进一步提高视频编码的压缩比和解码复原质量。实验结果表明，本算法对于运动范围较小的视频序列Akiyo，具有很高的压缩比和较好的复原质量，在27kbps带宽下，压缩比可达355：1，相应的PSNR(Y)=36．33dB，PSNR(U)=40．22dB，PSNR(V)=42．52dB；对于运动范围较大的Singer序列，本算法与MPEG-4校验模型相比，性能相差不大。此外，在最大码率下，本算法的PSNR(Y)比MPEG-4校验模型平均提高约4．0dB。     

基于菱形编码的视频信息隐藏算法

针对基于视频帧内预测模式调制的信息隐藏算法嵌入容量较小、比特率上升较明显等问题,提出一种基于菱形编码的帧内视频信息隐藏算法。该算法基于高效视频编码（HEVC）,将相邻两个4×4块预测模式组成模式对,采用改进的菱形编码算法指导模式调制和信息嵌入过程;并采取二次编码方式在保留原始平台最优编码划分下进行第二次隐秘信息嵌入编码,在保证嵌入量的同时抑制帧内失真漂移。实验结果表明：所提算法峰值信噪比（PSNR）值下降在0.03dB以内,码率增长低于0.53%,嵌入量有大幅提升,并能很好地保证视频主客观质量。     

空间可扩展视频编码中增强层上的帧内预测算法研究

针对空间可扩展视频编码,提出了一种新的增强层上的帧内预测算法。该算法充分考虑了相邻层间所固有的空域相关性,在无法正确获取本层邻块预测值的情况下,利用基本层上插值放大后的解码,通过重构宏块来对增强层上的编码宏块进行帧内预测。此外,还在预测过程中,通过引入与图像纹理特征相关联的自适应加权因子对(Wv,Wh)来进一步提高新算法的编码性能。实验结果表明,与H.264标准中的帧内预测算法相比,新算法在保持原有码率和不增加额外的计算复杂度的前提下,可一定程度地提高亮度分量的PSNR值,因此可以作为空间可扩展视频编码中增强层上的帧内编码方案。     

基于GLSL的多重视频纹理映射与融合

为将实时视频与三维场景进行融合来构建大范围增强虚拟环境(augmented virtual environment,AVE),消除融合后出现的反向投影、纹理拉伸、拼缝等现象,实现基于OpenGL着色语言(OpenGL shading language,GLSL)的反向投影剔除算法和深度测试算法,提出基于GLSL的多重视频纹理的横向加权融合算法和对角加权融合算法。实验结果表明,所提算法能够在显存为1GB的计算机上使包含200万三角面和6路实时视频的三维场景的运行帧率保持在40fps以上,高效地实现了实时视频与三维场景的融合。     

基于H.266/通用视频编码的帧内双模式的视频水印算法

针对现有水印算法对编码器造成较大的率失真损失的问题,结合通用视频编码（VVC）标准,提出了一种基于帧内预测模式奇偶性的视频水印算法。首先,进行第一轮粗选来计算35种偶数角度模式,并从中选出6个模式;其次,在进行第二轮粗选时,根据二值水印状态来决定是否计算第二轮粗选的奇数模式;接着,在进行矩阵加权帧内预测（MIP）和最可能模式（MPM）候选列表时,根据二值水印状态决定计算奇数模式或偶数模式;最后,选择具有最小率失真代价的模式作为最优模式以完成水印的嵌入,然后由解码端根据收到的4×4块的预测模式的奇偶性提取出水印。对9个视频序列嵌入水印,与原始编码器的算法相比,所提算法的峰值信噪比（PSNR）平均下降了0.005 4 dB,码率平均上升了0.07%,每帧可嵌入的水印容量平均为625 b;与同样将水印嵌入预测模式的奇偶性的算法相比,所提算法的PSNR平均下降了0.005 dB,码率平均上升了0.06%,可嵌入的水印总容量平均为3 183 b,而对比算法的PSNR平均下降了0.035 dB,码率平均上升了1.12%,可嵌入的水印总容量平均为10 309 b。实验结果表明所提算法损失的率失真性能小于对比算法。     

结合时序网络和金字塔融合的稳像修复方法

针对视频稳像领域内视频图像缺损填充效果不佳,严重影响视觉效果,且导致稳像处理后的视 频不稳的黑边填充问题,提出了一种基于时序网络预测和金字塔融合的图像修复方法。首先结合预裁剪机制自 适应判断当前帧是否需修复;然后将截止至当前时刻的所有帧送入卷积神经网络(CNN)和门控循环单元(GRU) 的模型进行待填充部分的预测;随后采用改进的加权最佳缝合线进行拼接并在高斯拉普拉斯金字塔中进行图像 融合重构;最终在重构完成后裁剪尺寸。实验结果表明,该方法平均峰值信噪比(PSNR)相较于对比算法提高了 2~5 dB,平均结构相似度(SSIM)较对比算法提升了约 2%~7%。该方法修复后的视频缺损填充自然,视觉效果 较为稳定,即使在黑边面积较大时也有良好的修复效果,可用于多种摄像平台及不同场景下。     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

可分级视频编码空域增强层的快速帧间模式选择算法

针对可分级视频编码(SVC)技术中层间残差预测(ILRP)大大增加了编码复杂度的问题,提出一种快速算法。带残差的帧间预测和不带残差的帧间预测都采用全搜索的预测算法,编码复杂度很大,所提算法分析了增强层带残差的帧间预测和不带残差的帧间预测之间的率失真代价(RDCost)差异,动态判定增强层是否需要采用层间残差预测以减少层间残差预测过程;同时依据层间预测模式相关性,利用基本层最优帧间预测模式指导增强层最优帧间预测模式的选择过程,进一步节省编码时间。实验结果表明,与参考模型JSVM中的算法相比,改进的快速算法在编码质量降低小于0.01dB,码率提高不大于3%的前提下,可节省平均编码时间50%左右,有效地降低了编码复杂度,对于编码器的优化方面有理论参考价值和实际应用意义。     

自适应分割的视频点云多模式帧间编码方法

基于视频的点云压缩(Video based point cloud compression, V-PCC)为压缩动态点云提供了高效的解决方案,但V-PCC从三维到二维的投影使得三维帧间运动的相关性被破坏,降低了帧间编码性能.针对这一问题,提出一种基于V-PCC改进的自适应分割的视频点云多模式帧间编码方法,并依此设计了一种新型动态点云帧间编码框架.首先,为实现更精准的块预测,提出区域自适应分割的块匹配方法以寻找最佳匹配块;其次,为进一步提高帧间编码性能,提出基于联合属性率失真优化(Rate distortion optimization, RDO)的多模式帧间编码方法,以更好地提高预测精度和降低码率消耗.实验结果表明,提出的改进算法相较于V-PCC实现了-22.57%的BD-BR (Bjontegaard delta bit rate)增益.该算法特别适用于视频监控和视频会议等帧间变化不大的动态点云场景.     

基于场景检测的自适应Intra帧差错掩盖算法

为了减小视频传输中的错误对解码端重建视频质量的影响,提出了一种基于场景检测的自适应Intra帧差错掩盖算法。该算法利用H.264/AVC的帧内预测模式分布差异检测Intra帧的场景切换,对非场景切换的Intra帧进行空时域掩盖的失真度估算,在此基础上进行自适应的空时域掩盖。实验结果表明,该算法充分利用了Intra帧的时域相关性,与已有的Intra帧差错掩盖算法比较,该算法恢复的视频序列平均峰值信噪比提高了1~2 dB,具有更好的差错掩盖效果。     

一种新型的H.264码率控制初始化方法

良好的码率控制对视频信号的编码与传输有重要的影响;基于待编码帧的复杂度和缓冲区状态,提出了一种新型的H.264码率控制初始化方法;第一个I帧和P帧首先进行预编码,以修正第一个I帧的比特分配;根据I帧的图像复杂度建立新型I帧码率-量化参数(R-Q)模型,根据该模型,第一编码帧的量化参数得以确定;仿真结果证明,该初始化方法可以有效提高重建视频的峰值信噪比(PSNR),对实验所用QCIF序列,平均PSNR提高了0.86dB,同时大幅减少了跳帧情况的发生。     

基于可伸缩视频编码Hierarchical-B结构的恒定质量控制

针对H.264视频编码标准可伸缩扩展部分采用Hierarchical-B结构实现了时域上的可分级特性.同时与传统的IPPP或者IBP编码结构相比,在编码增益上也有较大的提高。但其特殊的预测结构会造成图像质量的抖动,在有快速运动和场景切换时此现象尤甚。提出了一种简单的基于PSNR和MAD的恒定质量控制算法,通过在帧级选择合适的量化参数来限制图像质量的波动范围。该算法在JVT规定的标准基础上进行了仿真,实验结果表明,PSNR的方差大幅减小,并基本接近目标PSNR。     

基于无线噪声信道的编码端码率控制算法研究

针对分布式视频编码系统的关键帧在无线信道中传输受到噪声污染的情况,提出一种基于无线噪声信道的编码端码率控制算法。首先对解码端边信息携带的无线信道噪声进行了理论和实验分析,建立了边信息中无线信道噪声的分布模型;然后结合相关噪声模型推导出编码端的噪声联合模型,并根据分布式视频编码的率失真理论,提出了在无线信道下WZ帧不同系数带的码率控制算法,同时将新的码率控制算法引入基于无线噪声信道的Wyner-Ziv编码器中。实验表明,与现有的编码端码率控制算法相比,所提出的算法在不同无线信道噪声下可使解码重构视频的PSNR值平均提高约0.1～1.8 dB,且未增加复杂度。     

基于结构张量的视频超分辨率算法

针对传统正则化超分辨率（SR）重建模型中,正则化参数选择过大会使重建结果模糊,导致边缘和纹理等细节丢失,选择过小模型去噪能力又不足的问题,提出一种基于结构张量的双正则化参数的视频超分辨率重建算法。首先,利用局部结构张量对图像进行平滑区域和边缘的检测;然后,利用差异曲率对全变分（TV）进行先验信息加权;最后,对平滑区域和边缘采用不同的正则化参数进行超分辨率重建。实验数据显示提出的算法将峰值信噪比（PSNR）提高了0.033～0.11 dB,具有较好的重建效果。实验结果表明：该算法能够有效地提升低分辨率（LR）视频帧重建效果,可应用于低分辨率视频增强、车牌识别和视频监控中感兴趣目标增强等方面。     

A low energy intra prediction hardware for high efficiency video coding

Intra prediction algorithm in the recently developed high efficiency video coding (HEVC) standard has very high computational complexity. Therefore, in this paper, we propose pixel equality and pixel similarity based techniques for reducing amount of computations performed by HEVC intra prediction algorithm and, therefore, reducing energy consumption of HEVC intra prediction hardware. The proposed techniques significantly reduce the amount of computations performed by 4 × 4 and 8 × 8 luminance angular prediction modes with a small comparison overhead. Pixel equality based technique does not affect the PSNR and bit rate. Pixel similarity based technique increases the PSNR slightly for some video frames and it decreases the PSNR slightly for some video frames. We also designed and implemented a low energy HEVC intra prediction hardware for 4 × 4 and 8 × 8 angular prediction modes including the proposed techniques using Verilog HDL. The proposed techniques significantly reduce the energy consumption of this HEVC intra prediction hardware.     

基于运动矢量细化的帧率上变换与HEVC结合的视频压缩算法

将帧率变换技术与新型视频压缩编码标准HEVC相结合有利于提升视频的压缩效率。针对直接利用HEVC码流信息中的低帧率视频的运动矢量进行帧率上变换时效果不理想的问题,文中提出了一种基于运动矢量细化的帧率上变换与HEVC结合的视频压缩算法。首先,在编码端对原始视频进行抽帧,降低视频帧率;其次,对低帧率视频进行HEVC编解码;然后,在解码端与从HEVC码流中提取出的运动矢量相结合,利用前向-后向联合运动估计对其进行进一步的细化,使细化后的运动矢量更加接近于对象的真实运动;最后,利用基于运动补偿的帧率上变换技术将视频序列恢复至原始帧率。实验结果表明,与HEVC标准相比,所提算法在同等视频质量下可节省一定的码率。同时,与其他算法相比,在节省码率相同的情况下,所提算法重建视频的PSNR值平均可提升0.5 dB。     

A novel H.264 rate control algorithm with consideration of visual attention

In video coding, a well-designed rate control scheme should be concerned with both the objective and subjective quality. However, the existing H.264 rate control algorithms mainly aim at improving the objective quality without considering the human visual system. In this paper, we propose a novel rate control algorithm that takes into account visual attention. In a group of pictures, bits allocated to each frame are related to the local motion attention in it, and more bits are allocated to the frames with strong local motion attention. Similarly, in each frame, more bits are assigned to visually significant macroblocks (MBs), and fewer to visually insignificant MBs. Experiment results show that the proposed algorithm improves the coding quality in frames with strong local motion, and reduces PSNR fluctuation across frames by up to 22.15%. In addition, PSNR in visually important regions is increased by up to 1.45 dB as compared to the standard H.264 rate control scheme that improves the subjective quality. Increased computation complexity of the proposed algorithm is less than 4%, which is negligible.     

基于运动估计与回溯自适应正交匹配追踪的视频压缩传感

为了解决传统视频压缩传感方法中对视频逐帧单独重构所产生的图像模糊,将压缩传感理论与MPEG标准视频编码的相关技术相结合,提出了一种基于运动估计与运动补偿的视频压缩传感方法,以消除视频信号在空域和时域上的冗余。该方法在充分考虑视频序列时域相关性的同时,首先对视频图像进行前、后向和双向预测和补偿,然后采用回溯自适应正交匹配追踪(BAOMP)算法,对运动预测残差进行重构,最后实现当前帧的重构。实验结果表明,该方法较逐帧重构的视频图像质量有较大改善,且可获得更高的峰值信噪比。