视觉语言预训练综述

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transformer框架的发展,越来越多的预训练模型被运用到视觉语言多模态学习上,相关任务在性能上得到了质的飞跃.系统地梳理了当前视觉语言预训练模型相关的工作,首先介绍了预训练模型的相关知识,其次从两种不同的角度分析比较预训练模型结构,讨论了常用的视觉语言预训练技术,详细介绍了5类下游预训练任务,最后介绍了常用的图像和视频预训练任务的数据集,并比较和分析了常用预训练模型在不同任务下不同数据集上的性能.     

全媒体内容质量评价研究综述

在全媒体时代,媒体内容的表现形式逐渐丰富,开始成为影响信息传播的一个重要因素。内容质量评价仍停留在“流量思维”阶段,难以客观评价内容质量,亟需发展以用户为中心的全媒体内容质量评价方法。本文主要概述近十年来国内外公开发表的不同媒介的评价模型,回顾了图像、视频、音频、文本四类的客观质量评价在全媒体数据中的研究工作及相应的应用,主要介绍基于传统方法和基于深度学习方法两大方向中一些影响力较大的方法,每类方法有分成有参考和无参考的方法,对此总结了各方法特点,对一些具有代表性的方法进行了实验对比分析。最后对四种媒介内容质量评价领域仍面临的问题进行了总结并展望未来可能的发展方向。      

H.266/VVC分步全零块判决快速算法

为了减少编码计算复杂度,提出分步全零块判决快速算法. 基于硬决策量化公式推导固定阈值,判决出真全零块. 通过与变换块尺寸和量化参数（QP）相关的自适应阈值,判决出伪全零块. 通过提取出8个与量化结果密切相关的特征,基于全连接神经网络（FCNN）对剩余未判决的块进行最后判决. 实验结果表明,提出的分步全零块判决快速算法在Low Delay B和Random Access配置下,在性能平均损失分别仅为0.458%和0.575%的情况下,分别平均减少了7.382%和7.237%的编码复杂度.     

基于深度学习的RGBD图像协同显著目标检测

本文旨在研究一种基于深度学习的RGBD图像协同显著目标检测模型。首先,本文构建了多分支的编码器结构,有效地提取RGBD图像的深层卷积特征;然后,使用多模态特征融合模块充分融合来自编码器的深层特征;最后,通过基于残差基本块的解码器来预测得到显著性图。此外,本文以深层次监督的方式对整个网络进行约束优化。在两个公开数据集上的测试结果表明,所提模型在预测精度上优于当前6种主流模型,这其中我们的显著性图呈现出更精确的边缘细节。