基于帧数据量波动特性的压缩域视频快速检索方法

为实现压缩域视频快速检索,提出基于帧数据量波动特性的检索方法。该方法首先计算压缩域各图像帧的数据量,得出查询片段和目标视频等长内的数据量曲线,然后在I帧对齐的基础上将查询片段在目标视频上进行滑动,滑动窗长为单个图组长度。再在每次滑动后计算查询片段与目标视频数据量曲线波动的差异程度,同时每次滑动后要更新目标视频的数据量曲线。最后结合设定门限进行相似判决并返回结果。该方法不需要为每一帧抽取高维特征向量,用一个向量而不是一组高维向量来表述一段视频。实验结果表明,相比现有快速检索算法,该方法使检索速度得到提高,同时也能达到较高的准确率。 另外,该方法既可用于基于压缩域视频库的快速检索,也可用于在线的视频片段匹配,实时发现与设定目标相似的视频。     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来.现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配.与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题.首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度卷积神经网络从输入的视频帧中提取特征,基于估计到的运动信息,将浅层深度卷积神经网络提取到的特征匹配到中间视频帧对应的特征中,并将得到的特征进行有效融合;最后,采用一个深度卷积神经网络重建视频帧.大量的实验结果验证了基于深度学习特征匹配的方法能有效地解决视频超分辨率问题.与现有的基于视频帧匹配的方法相比,所提方法在现有的公开视频超分辨率数据集上取得了较好的效果.     

基于关键人物的分布式视频检索系统设计与实现

针对基于关键人物的视频检索问题,以Hadoop分布式计算平台为支撑,设计并实现了一个可处理大量视频数据的分布式视频检索原型系统.分析了系统的三大关键问题:基于人脸检测的视频帧提取、基于人脸匹配的视频帧筛选和基于PCA的相关视频检索.以2014年大数据竞赛提供的TED演讲视频基准数据集为例,对系统实现效果和检索性能进行了评测.     

一种改进的视频关键帧提取算法研究

视频镜头分割和关键帧提取是基于内容的视频检索的核心问题.提出了一种改进的关键帧提取算法,其为视频检索奠定了基础,镜头分割部分采用改进直方图方法及基于像素方法的综合方法.首先,通过结合直方图交集及非均匀分块加权的改进直方图方法,根据视频内容将视频分割为镜头;然后,利用基于像素的帧差法,对得到的检测镜头进行二次检测,优化检测结果;最后,在HSV颜色空间的基础上,计算每个镜头内每帧的图像熵,从而确定关键帧序列.实验结果表明,提出的改进算法所得到的关键帧结构紧凑且分布均匀.     

应急测绘视频帧与GIS系统匹配技术北大核心CSCD

针对应急测绘中无人机视频帧数据与三维地理信息平台中的底图影像数据分辨率不一致、GNSS/IMU几何精度差,且基于已有的匹配方式会出现匹配错位等问题,提出视频关键帧与底图数据库影像匹配融合方法。通过对视频帧影像实时提取、视频帧影像与GNSS/IMU数据实时同步,根据GNSS/IMU精度以及底图数据类型情况,分别采用帧影像实时纠正、帧影像与底图实时匹配以及几何纠正与帧影像两两匹配相结合的方法,实现了视频关键帧与底图数据库影像匹配融合。该方法提高了视频帧影像与三维地理信息平台的实时融合效果,为无人机视频实时应急测绘提出了解决方法。     

视频序列的全景图拼接技术

提出了一种对视频序列进行全景图拼接的方法。主要讨论了有大面积的非刚性运动物体出现的序列，不过此方法也同样适用于无运动物体的纯背景序列。为计算各帧间的投影关系，用仿射模型来描述摄像机运动，并用特征点匹配的方法计算出模型中各参数的值。由于用相关法计算的匹配结果准确率比较低，所以用RANSAC（Random Sampling Consensus）对匹配结果进行了筛选，可以准确求出摄像机运动参数。利用运动参数进行投影，然后用多帧相减并求交集，估计出每帧图像中运动物体存在的区域，最后计算得到了全景图。该方法的结果与前人得到的结果进行了比较，证明用此方法能获得质量较高的全景图。     

在线学习视频索引与检索方法

针对交互式的多媒体学习系统的特点,提出了一种基于自然语言的方法来实现基于内容的视频检索,用户可以用自然语言和系统进行交互,从而方便快捷地找到自己想要的视频片段.该方法集成了自然语言处理、实体名提取,基于帧的索引以及信息检索等技术,从而使系统能够处理用户提出的自然语言问题,根据问题构建简洁明了的问题模板,用问题模板与系统中已建的描述视频的模板进行匹配,从而降低了视频检索问题的复杂度,提高了系统的易用性.     

基于行列块编码的视频查询方法

基于内容的视频分析方法是多媒体检索领域内最近兴起的研究课题,多数研究集中在视频序列结构化,索引,识别和浏览等技术上,而对用户常用的视频查询却研究较少,为此讨论了基于“窗口对”查询方法存在的不足,并根据视频编码制式的特点,视频本身特性和常用的视频分析方法,提出了一种可处理可视视频格式的方法,该法基于视频帧行列块编码,采用了一种逐帧匹配的流式查询方法,该方法可用少量的字节来表征视频帧的颜色和位置信息,其占用内存少,简单易得,计算量少,而且对于移位和亮度的变化均不敏感,使得查全率和准确率大为提高,提取了较为理想的实验结果。     

基于累积帧的自适应双闭值镜头边界检测算法

镜头边界检测是基于内容视频检索的重要组成部分。针对渐变的视频序列,提出一种基于累积帧的自适应阈值镜头边界检测方法。考虑用一个累积帧把每一帧之间的差异累积起来,放大渐变的特征变化,利用块匹配算法对运动进行估计和补偿,以减少物体运动对镜头边界检测的影响。通过分析帧亮度和饱和度与阈值的关系,用自适应双阈值提高镜头边界检测的准确性。实验结果表明,该算法可以在较小的计算强度下较好地实现对镜头渐变的检测。     

一种基于子镜头聚类的情节代表帧选取方法

情节代表帧选取方法是视频语义分析和基于内容的视频检索的很重要的方法。代表帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一种快捷的方法。该文在子镜头的关键帧提取方法基础上,利用模糊C-均值聚类算法,实现了一种基于子镜头聚类的情节代表帧选取方法。实验证明该方法计算简单,可以较好地代表视频情节。     

Query by video clip

Typical digital video search is based on queries involving a single shot. We generalize this problem by allowing queries that involve a video clip (say, a 10-s video segment). We propose two schemes: (i) retrieval based on key frames follows the traditional approach of identifying shots, computing key frames from a video, and then extracting image features around the key frames. For each key frame in the query, a similarity value (using color, texture, and motion) is obtained with respect to the key frames in the database video. Consecutive key frames in the database video that are highly similar to the query key frames are then used to generate the set of retrieved video clips. (ii) In retrieval using sub-sampled frames, we uniformly sub-sample the query clip as well as the database video. Retrieval is based on matching color and texture features of the sub-sampled frames. Initial experiments on two video databases (basketball video with approximately 16,000 frames and a CNN news video with approximately 20,000 frames) show promising results. Additional experiments using segments from one basketball video as query and a different basketball video as the database show the effectiveness of feature representation and matching schemes.     

基于视觉词袋的视频检索校准方法

随着互联网技术的飞速发展,视频数据呈现海量爆炸式增长,传统的视频搜索引擎 多数采用单一的基于文本的检索方法,该检索方法对于视频这类非结构化数据,存在着内容缺失、 语义隔阂等问题,导致检索结果相关度较低。提出一种基于视觉词袋的视频检索校准方法,该方 法结合了视频数据的可视化特征提取技术、TF-IDF 技术、开放数据技术,为用户提供优化后的 视频检索校准结果。首先,基于HSV 模型的聚类算法提取视频的关键帧集合及关键帧权值向量; 接着用关键帧图像的加速稳健特征等表示视频的内容特征,解决视频检索的内容缺失问题;然后 利用TF-IDF 技术衡量查询语句关键字的权值,并开放数据获得查询语句关键字的可视化特征和 语义信息,解决视频检索的语义隔阂问题;最后,将提出的基于视觉词袋的视频检索校准算法应 用于Internet Archive 数据集。实验结果表明,与传统的基于文本的视频检索方法相比,该方法的 平均检索结果相关度提高了15%。     

Automatic scene detection for advanced story retrieval

Browsing video scenes is just the process to unfold the story scenarios of a long video archive, which can help users to locate their desired video segments quickly and efficiently. Automatic scene detection of a long video stream file is hence the first and crucial step toward a concise and comprehensive content-based representation for indexing, browsing and retrieval purposes. In this paper, we present a novel scene detection scheme for various video types. We first detect video shot using a coarse-to-fine algorithm. The key frames without useful information are detected and removed using template matching. Spatio-temporal coherent shots are then grouped into the same scene based on the temporal constraint of video content and visual similarity of shot activity. The proposed algorithm has been performed on various types of videos containing movie and TV program. Promising experimental results shows that the proposed method makes sense to efficient retrieval of video contents of interest.     

结合稀疏编码和金字塔匹配的视频检索

针对金字塔匹配下的视频检索系统中基础特征用矢量量化方法表示不够精确的问题,结合稀疏编码方法进行视频检索。视频的基础特征通过稀疏编码表示后,用金字塔方法进行多次匹配,将多次匹配结果线性合并,作为修正后的相似性度量结果。通过对UCF50的检索实验表明,该方法能显著提高检索的准确率。     

Motion Flow-Based Video Retrieval

In this paper, we propose the use of motion vectors embedded in MPEG bitstreams to generate so-called ldquomotion flowsrdquo, which are applied to perform video retrieval. By using the motion vectors directly, we do not need to consider the shape of a moving object and its corresponding trajectory. Instead, we simply ldquolinkrdquo the local motion vectors across consecutive video frames to form motion flows, which are then recorded and stored in a video database. In the video retrieval phase, we propose a new matching strategy to execute the video retrieval task. Motions that do not belong to the mainstream motion flows are filtered out by our proposed algorithm. The retrieval process can be triggered by query-by-sketch or query-by-example. The experiment results show that our method is indeed superb in the video retrieval process.     

基于剧本及字幕信息的视频分割方法

对视频进行分割并建立索引有利于视频的浏览和检索。提出一种融合剧本和字幕对电影类视频进行场景分割与索引的方法。该方法通过字幕与场景中对白文本的匹配获得场景视频片段的初始分割边界,分析视频帧之间的颜色分布差异,以确定场景间的最终边界。实验结果表明,与完全依赖视频内容分析的方法相比,该方法对电影视频场景片段的分割速度和准确度较高。     

Extracting representative motion flows for effective video retrieval

In this paper, we propose a novel motion-based video retrieval approach to find desired videos from video databases through trajectory matching. The main component of our approach is to extract representative motion features from the video, which could be broken down to the following three steps. First, we extract the motion vectors from each frame of videos and utilize Harris corner points to compensate the effect of the camera motion. Second, we find interesting motion flows from frames using sliding window mechanism and a clustering algorithm. Third, we merge the generated motion flows and select representative ones to capture the motion features of videos. Furthermore, we design a symbolic based trajectory matching method for effective video retrieval. The experimental results show that our algorithm is capable to effectively extract motion flows with high accuracy and outperforms existing approaches for video retrieval.     

在线聚类算法用于基于内容的镜头检索

视频数据具有一定的隐舍层次性,因此在对视频进行镜头分割后,可以利用模糊聚类算法依据相似度提取关键帧和关键镜头,对视频内容进行抽象概括,并以此时镜头进行检索.本文用非监督学习方法中的在线聚类算法自动提取镜头的关键帧,以相似方法对关键帧进行聚类以自动提取关键镜头,并对分类结果进行自我调整.将上述方法实现并用于镜头检索,获得了良好的检索结果,并减少了经验对聚类的影响,而且较好地表示了视频内容的层次性.     

基于多帧图像的视频文字跟踪和分割算法

视频中文字的提取是视频语义理解和检索的重要信息来源．针对视频中的静止文字时间和空间上的冗余特性，以文字区域的边缘位图为特征对检测结果作精化，并提出了基于二分搜索法的快速文字跟踪算法，实现了对文字对象快速有效的定位．在分割阶段，除了采用传统的灰度融合图像进行文字区域增强方法，还结合边缘位图对文字区域进行进一步的背景过滤．实验表明，文字的检测精度和分割质量都有很大提高．