基于视频的人体运动捕捉综述

系统地总结和介绍了基于视频的人体运动捕捉研究的技术方法和最新进展.将基于视频的人体运动捕捉方法分为自顶向下的方法和自底向上的方法2大类,阐述了每一类中各种方法的原理、技术特点和研究现状,最后分析了该领域的难点问题和发展趋势.     

一种有效的体育视频目标跟踪算法

论文研究了面向体育视频的运动目标跟踪技术,提出了一种最优化的混合跟踪方法。首先,采用粒子滤波算法来预测运动目标的初略位置,通过比较预测位置上的目标同目标模型之间的相似度,当相似度小于一定的阀值时,认为目标运动模型发生了根本变化,需要启用新的运动模型;当相似度大于一定的阀值时则认为目标运动模型没有发生大的变化,不需要启用新的运动模型,通过这种方式找到目标的最优化运动模型。最后将最优化的运动模型用于基于核的均值转移算法中,从而获得运动目标的精确位置。     

PNET:像素级台标识别网络

台标识别是典型的细微目标识别问题,针对台标区域小、信息量低,且镂空、半透明台标极易受到画面背景影响的难题,提出一个基于端到端全卷积网络的像素级台标识别网络——PNET.首先构建一个像素级标注的台标数据集,通过视频抽帧和图像预处理获得台标图像集,并提出一种逐图像的像素级半自动标注方法获得二值标签图像集;然后提出一个像素级台标识别网络,在典型分类网络AlexNet,VGG的基础上,通过微调,将分类网络在分类任务中学习到的网络参数转换为像素级台标识别网络在台标分割任务中的所需的网络参数;最后引入跨层架构,融合来自网络深层的全局信息和浅层的局部信息.实验结果表明PNET实现了准确的像素级分割,准确率高达98.3%,在NVIDIA Tesla K80上单幅图像识别时间不超过1.5 s.     

动态场景视频序列中的前景区域自动提取

首先提出一种具有自适应外点过滤功能的全局运动估计算法,通过交替地进行参数估计和外点过滤,能够有效地抑制噪声的影响,实现准确的背景对准;然后,通过直方图拟合获得准确的背景噪声方差值,克服了以往只能依据经验设定背景噪声方差的缺点,并使用显著性测试技术有效地对帧差图进行二值化,最终消除帧间的重叠背景,提取出前景区域．实验结果表明,该算法能够有效地实现动态场景视频序列中的背景对准,并准确地提取出前景区域．     

高通量视频内容分析技术

大数据环境下,如何对高并发的视频数据进行实时地分析处理,是一个亟待解决的科学问题。本文介绍了面向互联网视频内容监管的高通量视频内容分析技术,着重对其中的四个主要关键技术(基于众核的视频高速解码和视频特征提取、基于分布式系统的高维索引和语义识别)的研究现状和发展趋势进行了综述和总结,并介绍了作者在这四个主要关键技术研究的最新成果,主要包括面向众核处理器的并行环路滤波、高鲁棒性和高并行度的局部特征提取与挖掘、分布式高维索引、面向大数据的集成学习方法,以充分发挥多粒度并行硬件平台的高并行计算能力,为互联网视频内容监管、视频搜索等重要应用提供关键技术支撑。     

基于空域与频域关系建模的篡改文本图像检测

近年来,篡改文本图像在互联网的广泛传播为文本图像安全带来严重威胁。然而,相应的篡改文本检测（TTD,tampered text detection）方法却未得到充分的探索。TTD任务旨在定位图像中所有文本区域,同时根据纹理的真实性判断文本区域是否被篡改。与一般的文本检测任务不同,TTD 任务需要进一步感知真实文本和篡改文本分类的细粒度信息。TTD 任务有两个主要挑战：一方面,由于真实文本和篡改文本的纹理具有较高的相似性,仅在空域（RGB）进行纹理特征学习的篡改文本检测方法不能很好地区分两类文本;另一方面,由于检测真实文本和篡改文本的难度不同,检测模型无法平衡两类文本的学习过程,从而造成两类文本检测精度的不平衡问题。相较于空域特征,文本纹理在频域中的不连续性能够帮助网络鉴别文本实例的真伪,根据上述依据,提出基于空域和频域（RGB and frequency）关系建模的篡改文本检测方法。采用空域和频域特征提取器分别提取空域和频域特征,通过引入频域信息增强网络对篡改纹理的鉴别能力;使用全局空频域关系模块建模不同文本实例的纹理真实性关系,通过参考同幅图像中其他文本实例的空频域特征来辅助判断当前文本实例的真伪性,从而平衡真实和篡改文本检测难度,解决检测精度不平衡问题;提出一个票据篡改文本图像数据集（Tampered-SROIE）来验证上述篡改文本检测方法的有效性,该数据集包含986张图像（626 张训练图像和 360 张测试图像）。该方法在 Tampered-SROIE 上的真实和篡改文本检测 F 值分别达到95.97%和 96.80%,同时降低检测精度不平衡性 1.13%。该方法从网络结构与检测策略的角度为篡改文本检测任务提供了新的解决方案,同时Tampered-SROIE为以后的篡改文本检测方法提供了评估基准。     

基于稀疏表示的含噪图像超分辨重建方法

传统的含噪图像超分辨方法只能将图像去噪和图像超分辨分别进行处理,基于稀疏表示与字典训练的含噪声图像超分辨重建方法将两者融合在一起。提出一种基于图像块在训练字典下稀疏表示的协同处理方法,来解决含噪图像超分辨的问题。由于图像块可以由字典下的稀疏系数来表示,所以可训练一个分别适用于含噪低分辨率图像块和清晰高分辨率图像块的字典对,使得高低分辨率图像块在该字典对下具有相同的稀疏表示。当输入含噪低分辨率图像块时,先计算出其在低分辨率字典下的稀疏表示系数,然后利用此稀疏系数在高分辨率字典下进行重建,可得到清晰高分辨率图像块,最后通过整体优化完成清晰高分辨率图像,实现图像超分辨和图像去噪的目的。实验证明,采用局部自适应插值的方法放大低分辨率图像到中间分辨率再进行特征提取,比以往采用的双三线性插值的方法在重建图像质量上有提高,并通过研究字典λ参数的设置使得超分辨重建和去噪结果同时达到最佳,即在图像的视觉和质量上都具有较为明显的优势,具有很好的鲁棒性和有效性。     

GPU加速的基于增量式聚类的视频拷贝检测方法

为有效地保护版权,提高大规模视频集的拷贝检测速度,提出一种完全实现在GPU上的基于增量式聚类的拷贝检测方法.对数据库中新增加的视频,首先调用GPU上的硬件解码单元对视频流解码,以实时的速度提取高维SIFT特征点;然后对特征点进行增量K-means聚类,以动态地反映数据库的变化,并根据聚类结果更新视觉关键词词典;再将每帧表示成归一化的词频向量;最后使用基于帧级别词频向量的时空顺序匹配法来判定查询视频是否为数据库中视频的拷贝.实验结果表明,该方法比原有的CPU实现方法整体提速最高达63倍.     

利用仿射变换的快速空间关系验证

为了合理利用视觉关键词之间的空间关系,以提高基于视觉关键词的对象检索方法的准确度,提出一种利用仿射变换进行空间关系验证的算法.首先通过视觉关键词仿射协变的空间邻近特征集进行初步空间关系一致性匹配;然后计算对应仿射协变区块的多组可能的仿射变换矩阵,并选择满足区块匹配最多的变换矩阵作为对象与图像之间最终仿射变换矩阵,其中,仅利用一对协变区块来计算自由度为6的仿射变换的算法有效地提高了计算速度和鲁棒性;最后通过计算出的仿射变换矩阵来精确验证对象与图像之间的空间位置关系是否一致.实验结果表明,与现有方法相比,文中算法更鲁棒,能以较低的计算开销显著地提高基于对象的实时图像检索的准确度.