基于广义高斯分布建模帧级变换系数的VVC编码失真预测模型

通用视频编码（versatile video coding,VVC）采用多种高级编码工具共同实现卓越的编码性能。与高效视频编码（high efficient video coding,HEVC）相比,VVC的变换系数分布（transform coefficient distribution,TCD）具有更尖锐的峰值。针对这一现象,对帧级TCD进行概率密度函数（probability density function,PDF）建模,并提出一种基于统计建模的帧级编码失真预测模型,将帧级失真建模为TCD分布参数和量化参数的函数。实验结果表明,相比于拉普拉斯分布以及柯西分布,广义高斯分布在TCD概率密度拟合方面表现最佳;基于广义高斯分布的失真预测模型的预测结果最接近实际编码失真。     

基于策略梯度的目标跟踪方法

针对目标跟踪过程中的遮挡、形变和快速运动等问题,提出基于策略梯度的目标跟踪方法. 该方法利用策略梯度算法训练策略网络. 该策略网络能够根据当前跟踪结果的可靠性进行动作决策,以避免错误的模板更新或者重新检测丢失的目标. 在决策过程中,通过计算加权置信度差值分析当前跟踪结果的鲁棒性和准确性,使得策略网络能够更准确地评估跟踪结果. 在重检测过程中,提出有效的重检测方法,对大量的搜索区域进行过滤,大大提高了搜索效率,利用决策模块检验重检测结果,确保重检测结果的准确性. 利用提出的算法在OTB数据集及LaSOT数据集上进行评估. 实验结果表明,提出的跟踪算法在原算法的基础上提高了2.5%~4.0%的性能.     

基于增强可逆性插值滤波器设计的编码方法

可逆性分像素插值滤波器可以解决插值没有真实样本的难点,但是,存在传统卷积核形状固定、正则项损失函数冲突等不足。为此,提出一种增强的可逆性插值滤波器设计优化方案。首先,引入可变形卷积层,改变卷积核的形状和不同位置的像素参与卷积的权重,增大了感受野,提高了网络的适应性;然后,在正则项设计中,引入生成对抗网络,提升了网络的收敛能力;最后,使用基于运动模糊方法生成的训练样本来替代原本的基于离散余弦变换生成的样本,达到更逼近真实运动的效果。实验结果表明,和H.265相比,改进方案的BD-rate指标提升了2.56%。     

基于嵌入式流媒体服务器的视频点播系统

移动通信网络流媒体服务资费较高,限制了人们在没有有线电视、宽带互联网连接、无线WiFi互联网连接的地方用手机收看视音频节目.针对这一现状,提出了一种基于嵌入式流媒体服务器的多功能视频点播系统.以ARM板和WiFi网络适配器作为流媒体服务器,设计一款Android手机播放器作为客户端,实现在智能手机上、多个客户端同时免流量接收服务器本地或外接设备推送的高清、超高清视频.该系统适用于公交、广场、电梯、商场、景区等场合,人们用手机观看视音频,实现不用耗费自己的流量,自由快速地选择自己喜欢的节目.     

面向三维高效视频编码的深度图错误隐藏

基于多视点视频序列视点内、视点间存在的相关性,并结合视点间运动矢量共享技术,该文提出一种面向3维高效视频编码中深度序列传输丢包的错误隐藏算法。首先,根据3D高效视频编码(3D-HEVC)的分层B帧预测(HBP)结构和深度图纹理特征,将深度图丢失块分成运动块和静止块;然后,对于受损运动块,使用结合纹理结构的外边界匹配准则来选择相对最优的运动/视差矢量进行基于位移矢量补偿的错误掩盖,而对受损静止块采用参考帧直接拷贝进行快速错误隐藏;最后,使用参考帧拆分重组来获取新的运动/视差补偿块对修复质量较差的重建块进行质量提升。实验结果表明:相较于近年提出的对比算法,该文算法隐藏后的深度帧平均峰值信噪比(PSNR)能提升0.25～2.03 dB,结构相似度测量值(SSIM)能提升0.001～0.006,且修复区域的主观视觉质量与原始深度图更接近。     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

快速在线主动学习的图像自动分割算法*

提出经前馈神经网络快速在线学习、构建像素分类模型进行图像分割的算法。首先利用谱残差法计算像素显著度,通过对少数高显著度点的分布进行多尺度分析,获得符合人眼视觉特性的显著图和注视区域。然后从注视区域和非注视区域随机抽样构成由正负样本像素组成的训练集,在线训练一个两分类的随机权前馈神经网络模型。最后使用该模型分类全图像素,实现图像分割。实验表明,文中算法在谱残差法基础上提升对图像中显著目标的分割性能,分割结果与人类视觉感知匹配度较好。     

TM1300独立式DSP系统引导方案的设计与实现

文章介绍了Philips公司TriMedia系列多媒体DSP芯片TM 130 0及其PCI/XIO总线接口的功能及特性 ,简单分析了TM 130 0在两种不同工作方式系统引导过程 ,以及PCI/XIO总线接口在独立式系统引导方式的实现方案中的应用。     

基于视频时域感知特性的恰可察觉失真模型

现有的时域恰可察觉失真(just noticeable distortion,JND)模型对时域特征参量的作用刻画尚不够充分,导致空时域JND模型精度不够理想。针对此问题,提出能准确刻画视频时域特性的特征参量以及异质特征参量同质化融合方法,并基于此改进时域JND模型。关注前景/背景运动、时域持续时间、时域预测残差波动强度、帧间预测残差等特征参量,用来刻画视频内容的时域特征;基于人眼视觉系统(human visual system,HVS)特性探索感知概率密度函数,将异质特征参量统一映射到自信息和信息熵尺度上,实现同质化融合度量;从能量分配的角度探究视觉注意与掩蔽的耦合方法,并据此构建时域JND权重模型。在空域JND阈值的基础上,融合时域权重以得到更加准确的空时域JND模型。为了评估空时域JND模型的性能,进行了主观质量评估实验,与现有的JND模型相比,在感知质量接近的情况下,提出的空时域JND模型能够容忍更多失真,具有更强的掩藏噪声的能力。     

基于变换系数重用的 H.264 /AVC自适应块变换模式 *

提出了基于单指令多数据 ( single instruction multiple data, SIMD)指令集架构的 4 ×4变换系数重用算法,用于简化 H. 264/AVC自适应块变换 ( adaptive block-size transforms, ABT)模式的计算复杂度。在 ABT编码模式下 ,该算法通过重用 4 ×4变换系数 ,用 8 ×8导出变换量化计算得到 8 ×8变换量化系数。提出的算法可在 PC和 DSP等 SIMD指令集架构中简单实现 ,显著减少 H. 264 / AVC ABT模式中 8 ×8变换的计算时间和资源开销。仿真结果显示 ,变换系数重用算法能节省 8 ×8变换的计算时间约达 50%。