一种基于TextTiling的镜头边界检测算法

镜头边界检测是基于内容的视频检索中的关键技术,提出一种利用TextTiling方法来识别视频镜头边界的算法。通过滑动窗口对视频进行初步切割,利用主成分分析将视频帧投影到特征子空间,并在投影空间上计算相邻帧间距离,再根据相邻窗口之间的深度值确定视频镜头边界。针对TREC-2001视频测试数据集的实验结果显示,该算法检测镜头边界的平均查全率和平均查准率分别为89%和96.5%。     

基于内容检索中的镜头相似度度量

基于内容的视频检索中的一个最普遍的方法是根据给定例子视频的检索，因此视频相似度度量是基于内容检索中的一个基本问题。该文在视频签名算法基础上提出了镜头粒度上的镜头基调算法，同时为了增加匹配的准确性。提出了赋权的镜头基调，以体现基调中各帧在镜头相似度中的重要性差异，并解决了原算法可能出现的基调帧对逆序的问题。     

基于内容的视频检索的关键帧提取

关键帧提取是基于内容的视频检索中的一个重要技术。本文在总结前人的工作基础上,提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧,并与视频聚类的关键帧提取方法进行了比较。实验结果表明,利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。     

基于融合特征的视频关键帧提取方法

当前对视频的分析通常是基于视频帧,但视频帧通常存在大量冗余,所以关键帧的提取至关重要.现有的传统手工提取方法通常存在漏帧,冗余帧等现象.随着深度学习的发展,相对传统手工提取方法,深度卷积网络可以大大提高对图像特征的提取能力.因此本文提出使用深度卷积网络提取视频帧深度特征与传统方法提取手工特征相结合的方法提取关键帧.首先使用卷积神经网络对视频帧进行深度特征提取,然后基于传统手工方法提取内容特征,最后融合内容特征和深度特征提取关键帧.由实验结果可得本文方法相对以往关键帧提取方法有更好的表现.     

自然保护区海量视频数据快速分析与检索

近年来,随着视频监控系统在自然保护区的大量部署,如何有效利用日益增加的海量视频监控数据成为亟待解决的难题.通过基于图像相似度的关键帧提取算法对海量视频数据进行清洗和压缩,同时利用基于深度学习的目标检测算法提取关键帧中的有效视频信息,并提供多种基于内容的视频检索方式,自动对用户提交的检索内容进行分析与处理,从而快速检索出感兴趣的视频.通过对青海湖野生动物视频监控数据进行分析与检索,验证了该系统的有效性.     

一种基于特征跟踪的视频镜头检测算法

将视频切分为镜头是视频内容分析及基于内容的视频检索和浏览的第一步。针对视频镜头边界检测,提出了一种基于特征跟踪的新算法。该算法从镜头起始帧中提取出一组角点特征,然后在后续帧中基于Kalman滤波进行特征窗跟踪,最后根据对应特征窗内的像素特征变化规律,得到镜头边界检测所需的测度,判断镜头切换的性质和渐变镜头的起止时间。实验结果表明该算法运算复杂度低,且具有较强的鲁棒性。     

一种视频局部高层语义特征提取算法

准确提取视频高层语义特征,有助于更好地进行基于内容的视频检索。视频局部高层语义特征描述的是图像帧中的物体。考虑到物体本身以及物体所处的特定场景所具有的特点,我们提出一种将图像帧的局部信息和全局信息结合起来提取视频局部高层语义特征的算法。在TRECVID2005数据集上的实验结果表明,与单独基于局部或者单独基于全局的方法相比,此方法具有较好的性能。     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来.现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配.与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题.首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度卷积神经网络从输入的视频帧中提取特征,基于估计到的运动信息,将浅层深度卷积神经网络提取到的特征匹配到中间视频帧对应的特征中,并将得到的特征进行有效融合;最后,采用一个深度卷积神经网络重建视频帧.大量的实验结果验证了基于深度学习特征匹配的方法能有效地解决视频超分辨率问题.与现有的基于视频帧匹配的方法相比,所提方法在现有的公开视频超分辨率数据集上取得了较好的效果.     

基于深度学习的图像检索系统

基于内容的图像检索系统关键的技术是有效图像特征的获取和相似度匹配策略.在过去,基于内容的图像检索系统主要使用低级的可视化特征,无法得到满意的检索结果,所以尽管在基于内容的图像检索上花费了很大的努力,但是基于内容的图像检索依旧是计算机视觉领域中的一个挑战.在基于内容的图像检索系统中,存在的最大的问题是“语义鸿沟”,即机器从低级的可视化特征得到的相似性和人从高级的语义特征得到的相似性之间的不同.传统的基于内容的图像检索系统,只是在低级的可视化特征上学习图像的特征,无法有效的解决“语义鸿沟”.近些年,深度学习技术的快速发展给我们提供了希望.深度学习源于人工神经网络的研究,深度学习通过组合低级的特征形成更加抽象的高层表示属性类别或者特征,以发现数据的分布规律,这是其他算法无法实现的.受深度学习在计算机视觉、语音识别、自然语言处理、图像与视频分析、多媒体等诸多领域取得巨大成功的启发,本文将深度学习技术用于基于内容的图像检索,以解决基于内容的图像检索系统中的“语义鸿沟”问题.     

基于粒子群的关键帧提取算法

关键帧提取是基于内容的视频检索中的重要一步,为了能够有效地提取出不同类型视频的关键帧,提出一种基于粒子群的关键帧提取算法。该方法首先提取出视频中每帧的全局运动和局部运动特征,然后通过粒子群算法自适应地提取视频关键帧。实验结果表明,采用该算法对不同类型的视频提取出的关键帧具有较好的代表性。     

基于颜色空间的自适应阈值镜头分割算法

镜头分割是基于内容的视频检索的关键步骤,它会直接影响到视频检索的效果。文中介绍了几种常用的镜头分割方法,并且根据YUV颜色空间的各分量可分离的特点,提出了一种改进的基于YUV颜色空间的自适应阈值镜头分割方法。在突变镜头检测模块,为了消除由噪声带来的误检,加入了帧差值比法。在渐变镜头检测模块,使用了滑动窗口值方法。镜头分割的难点是渐变检测,算法在渐变检测上也取得了不错的成果。经过大量实验结果表明,改进的算法对镜头分割有很好的实验效果,算法计算复杂度低,易于实现。     

视频镜头时域分割方法的研究

视频时域分割指将视频序列分成若干镜头，是视频内容分析以及基于内容的视频浏览和检索的第一步．该文首先对视频结构以及视频镜头种类进行了简要的描述，然后对为计算不连续性而采用的提取特征和建立测量准则的常用方法进行概述．其后，文章介绍了检测镜头切变和渐变的算法及其优缺点．在压缩域上检测镜头变换边界的问题也在文中予以分析．在结论与展望中，提出了一些这一领域的难点和对今后工作的展望．     

基于颜色直方图变化率的视频镜头检测

镜头分割是基于内容的视频检索(CBVR)的关键步骤,它会直接影响到视频检索的结果。针对传统镜头分割算法实现过程复杂,渐变检测不理想等不足,提出了颜色直方图变化率HCR(Histogram Change Ratio)的概念,并在此基础上提出了一种基于颜色直方图变换率的视频镜头分割算法。实验证明,该镜头分割算法实现过程简单,而且对镜头突变和渐变均具有很好的检测效果。     

基于特征信息的镜头检测研究

视频镜头检测是基于内容视频检索的第一步,提出了一种基于特征信息的视频镜头检测方法,该方法首先利用小波变换提取原始视频帧的颜色特征和纹理特征,计算相邻帧颜色特征的互信息量和纹理特征的信息熵差,然后计算镜头间的相似度,该方法可以有效地检测出突变镜头和渐变镜头,对闪光灯及物体和摄像机运动有较强的鲁棒性,实验结果表明该方法具有良好的性能。     

基于剧本及字幕信息的视频分割方法

对视频进行分割并建立索引有利于视频的浏览和检索。提出一种融合剧本和字幕对电影类视频进行场景分割与索引的方法。该方法通过字幕与场景中对白文本的匹配获得场景视频片段的初始分割边界,分析视频帧之间的颜色分布差异,以确定场景间的最终边界。实验结果表明,与完全依赖视频内容分析的方法相比,该方法对电影视频场景片段的分割速度和准确度较高。     

Evaluation of key frame-based retrieval techniques for video

We investigate the application of a variety of content-based image retrieval techniques to the problem of video retrieval. We generate large numbers of features for each of the key frames selected by a highly effective shot boundary detection algorithm to facilitate a query by example type search. The retrieval performance of two learning methods, boosting and k-nearest neighbours, is compared against a vector space model. We carry out a novel and extensive evaluation to demonstrate and compare the usefulness of these algorithms for video retrieval tasks using a carefully created test collection of over 6000 still images, where performance is measured against relevance judgements based on human image annotations. Three types of experiment are carried out: classification tasks, category searches (both related to automated annotation and summarisation of video material) and real world searches (for navigation and entry point finding). We also show graphical results of real video search tasks using the algorithms, which have not previously been applied to video material in this way.     

A video summarization approach based on the emulation of bottom-up mechanisms of visual attention

This work addresses the development of a computational model of visual attention to perform the automatic summarization of digital videos from television archives. Although the television system represents one of the most fascinating media phenomena ever created, we still observe the absence of effective solutions for content-based information retrieval from video recordings of programs produced by this media universe. This fact relates to the high complexity of the content-based video retrieval problem, which involves several challenges, among which we may highlight the usual demand on video summaries to facilitate indexing, browsing and retrieval operations. To achieve this goal, we propose a new computational visual attention model, inspired on the human visual system and based on computer vision methods (face detection, motion estimation and saliency map computation), to estimate static video abstracts, that is, collections of salient images or key frames extracted from the original videos. Experimental results with videos from the Open Video Project show that our approach represents an effective solution to the problem of automatic video summarization, producing video summaries with similar quality to the ground-truth manually created by a group of 50 users.     

一种基于小波的视频片断检索方法

视频片断检索是基于内容的视频检索的主要方式,该文首先利用颜色信息对视频库进行初步筛选,然后根据集合的相似性度量进行精确检索,通过实验,该方法可以获得更快的检索速度。     

基于声像特征的场景检测 *

视频的结构分析是实现视频基于内容组织和检索的基础。目前 ,已经有很多用于视频镜头分割的成熟算法 ,但准确探测视频场景边界还比较困难。提出了一种融合视频中音频与可视特征进行场景检测的方法。该方法首先分别依据镜头的声、像特征相关性来对镜头进行聚类 ,然后综合处理依声、像相关性得到的镜头聚类来获取场景。实验结果证明 ,此方法较一般使用单一特征的场景检测方法提高了探测的准确率 ,同时也降低了误判率。     

一种层次的电影视频摘要生成方法

合理地组织视频数据对于基于内容的视频分析和检索有着重要的意义。提出了一种基于运动注意力模型的电影视频摘要生成方法。首先给出了一种基于滑动镜头窗的聚类算法将相似的镜头组织成为镜头类;然后根据电影视频场景内容的发展模式,在定义两个镜头类的3种时序关系的基础上,提出了一种基于镜头类之间的时空约束关系的场景检测方法;最后利用运动注意力模型选择场景中的重要镜头和代表帧,由选择的代表帧集合和重要镜头的关键帧集合建立层次视频摘要(场景级和镜头级)。该方法较全面地涵盖了视频内容,又突出了视频中的重要内容,能够很好地应用于电影视频的快速浏览和检索。