视频片段检索研究综述

视频片段检索旨在利用用户给出的自然语言查询语句,在一个长视频中找到最符合语句描述的目标视频片段.视频中包含丰富的视觉、文本、语音信息,如何理解视频中提供的信息,以及查询语句提供的文本信息,并进行跨模态信息的对齐与交互,是视频片段检索任务的核心问题.系统梳理了当前视频片段检索领域中的相关工作,将它们分为两大类：基于排序的方法和基于定位的方法.其中,基于排序的方法又可细分为预设候选片段的方法和有指导地生成候选片段的方法,而基于定位的方法则可分为一次定位的方法和迭代定位的方法.同时对该领域的数据集和评价指标进行了介绍,并对一些模型在多个常用数据集上的性能进行了总结与整理.此外,介绍了该任务的延伸工作,如大规模视频片段检索工作等.最后,对视频片段检索未来的发展方向进行了展望.     

基于领域本体的新闻视频检索

新闻视频作为视频数据中有代表性的一种媒体,受到人们的广泛关注,对新闻视频的检索要求也越来越高.传统的新闻视频检索大多是非语义层面的,采用的是基于关键词的检索方法，难于获得令人满意的查准率和查全率．本文提出一种基于领域本体的新闻视频检索框架，定义了新闻视频检索中的新闻视频对象，使用语义表达能力强的领域本体来指导视频语义对象的标注，并针对“一词多义”问题提出了“概念域-概念”两阶段概念消歧算法；针对自然语言检索问题，使用领域本体进行查询优化和查询扩展，并提出了查询语句自动生成方法．实验表明，基于领域本体的新闻视频检索方法可以有效的提高检索性能．     

基于贝叶斯学习的视频检索相关反馈算法设计*

针对信息检索中如何提高检索的精度问题,提出了一个基于相关反馈的视频检索算法.使用概率框架来描述检索问题,并根据贝叶斯学习按照用户的行为来更新概率分布,实现自动相关反馈,提高了检索精度.实验表明,用该算法检索的准确度比基于最近邻特征线(NFL)的视频检索方法有明显提高.     

自然保护区海量视频数据快速分析与检索

近年来,随着视频监控系统在自然保护区的大量部署,如何有效利用日益增加的海量视频监控数据成为亟待解决的难题.通过基于图像相似度的关键帧提取算法对海量视频数据进行清洗和压缩,同时利用基于深度学习的目标检测算法提取关键帧中的有效视频信息,并提供多种基于内容的视频检索方式,自动对用户提交的检索内容进行分析与处理,从而快速检索出感兴趣的视频.通过对青海湖野生动物视频监控数据进行分析与检索,验证了该系统的有效性.     

基于相似性判断的广告片段检索

本文针对广告视频检索,提出了一种基于相似性判断的检索方法,该方法建立并维护一个广告视频片段的数据库.该库将不同的广告产品进行分类,每一类都有其对应的产品名称以及图标.对于一个新的视频广告片段,运用SIFT特征提取算法和PE匹配算法,对该片段进行匹配.而当用户需要检索时,可直接输入广告中产品的名字或者与该产品相关的产品logo或图像,通过与系统中预先建立的广告片段数据库进行匹配,从而给用户提供其所需要的视频片段.     

基于图嵌入的软件项目源代码检索方法

源代码检索是软件工程领域的一项重要研究问题,其主要任务是检索和复用软件项目API（application program interface,应用程序接口）.随着软件项目的规模越来越大、越来越复杂,当前,源代码检索一方面需要提高基于自然语言API查询的准确性,另一方面需要定位和展示目标API及其相关代码之间的关联,以更好地辅助用户理解API的实现逻辑和使用场景.为此,提出一种基于图嵌入的软件项目源代码检索方法.该方法能够基于软件项目源代码自动构建其代码结构图,并通过图嵌入对源代码进行信息表示.在此基础上,用户可以输入自然语言问题、检索并返回相关的API及其关联信息构成的连通代码子图,从而提高API检索和复用的效率.在以开源项目Apache Lucene和POI为例的检索实验中,该方法检索结果的F1值比现有基于最短路径的方法提高了10%,同时显著缩短了平均响应时间.     

基于内容的视频查询系统研究

由于多媒体数据库管理和检索的效率直接决定了人们利用多媒体数据信息的效率,因此随着MPEG-7标准的提出,基于内容的图象/视频存储和检索已成为研究的热点.为了快速地对视频进行浏览和检索,在研究基于内容的视频数据库管理和检索等热点问题的基础上,首先使用MPEG-7视觉内容描述子和语义描述子来构建视频数据库的语义结构,并结合底层视觉特征和高层语义特征,采用相关反馈机制和半自动权重更新体制来对视频数据库进行管理和检索;然后采用语法分析器来支持自然语言查询;最后在此基础上实现了基于内容的视频数据库的管理和查询系统.实验证明,该系统能够有效地对视频数据进行管理和检索,并且具有一定的智能性和适应性.     

基于内容检索中的视频处理技术研究

基于内容的检索能使用户根据媒体特征对媒体内容进行检索和查询。由于多媒体数据中含有丰富的视频数据，并且是随时间动态变化的，其特征很难用一般的静态特征来描述。这给基于内容的检索带来很大困难。为了取得视频数据的特征，对视频数据的处理非常重要。本文介绍了基于内容的视频检索中视频的处理技术和方法，提出了一种渐变镜头的检测方法。讨论了基于内容的视频检索研究中值得探索的几个主要问题。     

基于情感音乐模板的音乐检索系统研究

传统的基于文本信息描述的音乐检索技术已经无法满足人们对检索智能化的需求,于是产生了基于内容的音乐检索方法.在此基础上将情感需求引入到检索中,对基于情感的音乐检索方法及模型进行了相关研究.首先构建了音乐情感空间来获得用户的情感描述;然后通过对情感音乐模型进行定义提出了情感音乐模板库,以得到满足用户情感需求的匹配模板;最后,在此基础上提出了基于情感音乐模板的音乐检索系统模型,力求探讨出一种基于情感的有效检索方法.     

面向水利信息资源的智能问答系统构建与应用

当前特定领域的问答系统主要采用基于关键字匹配的方法完成问答,类似水库大坝的建成时间、坝高等,无法充分理解用户自然语言提问的检索意图并给出准确回答。为此基于知识图谱技术,利用语义解析方法,本文设计并开发面向水利信息资源的智能问答系统。针对语义解析自然语言问句转化为结构化查询语句需要多步操作,容易导致语义鸿沟问题,还为了后续基于知识表示的问答方法,积累用户语料,本文提出一种语料扩展方法构建语料库。     

基于MPEG-7的视频语义检索系统

设计和实现一个支持语义的分布式视频检索系统:"语寻"。该系统利用一个改进的视频语义处理工具(该工具基于IBM VideoAnnEx标注工具,并增加镜头语义图标注和自然语言处理的功能)对视频进行语义分析和标注,生成包含语义信息的MPEG-7描述文件,然后对视频的MPEG-7描述文件建立分布式索引,并同时分布式存储视频文件;系统提供丰富的Web查询接口,包括关键字语义扩展查询,语义图查询以及自然语句查询,当用户提交语义查询意图后,便能够迅速地检索到感兴趣的视频和片段,并且可以浏览点播;整个系统采用分布式架构,具备良好的可扩展性,并能够支持海量视频信息的索引和检索。     

A natural language approach to content-based video indexing and retrieval for interactive e-learning

As a powerful and expressive nontextual media that can capture and present information, instructional videos are extensively used in e-learning (Web-based distance learning). Since each video may cover many subjects, it is critical for an e-learning environment to have content-based video searching capabilities to meet diverse individual learning needs. In this paper, we present an interactive multimedia-based e-learning environment that enables users to interact with it to obtain knowledge in the form of logically segmented video clips. We propose a natural language approach to content-based video indexing and retrieval to identify appropriate video clips that can address users' needs. The method integrates natural language processing, named entity extraction, frame-based indexing, and information retrieval techniques to explore knowledge-on-demand in a video-based interactive e-learning environment. A preliminary evaluation shows that precision and recall of this approach are better than those of the traditional keyword based approach.     

Application of Laplacian Mixture Model to Image and Video Retrieval

In this paper, we study the peaky nature of wavelet coefficient distributions. The study shows that the wavelet coefficients cannot be effectively modeled by a single distribution. We then propose a new modeling scheme based on a Laplacian mixture model and apply it to the indexing and retrieval of image and video databases. In this work, the parameters of the model are first used to represent texture information in image retrieval. Then we explore its application to video retrieval. Traditionally, visual information is used for video indexing and retrieval. However, in some cases audio information is more helpful for finding clues to the video events. The proposed feature extraction scheme is based on the fundamental property of the wavelet transform. Therefore, it can also be adopted to analyze the audio contents of the video data. The experimental evaluation indicates the high discriminatory power of the proposed feature set. The dimension of the extracted feature vector is low, which is important for the retrieval efficiency of the system in terms of response time. User feedback is used to enhance the retrieval performance by modifying the system parameters according to the users' behavior. A nonlinear approach for defining the similarity between the two images is also explored in this work.     

An efficient compressed domain video indexing method

Video indexing is employed to represent the features of video sequences. Motion vectors derived from compressed video are preferred for video indexing because they can be accessed by partial decoding; thus, they are used extensively in various video analysis and indexing applications. In this study, we introduce an efficient compressed domain video indexing method and implement it on the H.264/AVC coded videos. The video retrieval experimental evaluations indicate that the video retrieval based on the proposed indexing method outperforms motion vector based video retrieval in 74 % of queries with little increase in computation time. Furthermore, we compared our method with a pixel level video indexing method which employs both temporal and spatial features. Experimental evaluation results indicate that our method outperforms the pixel level method both in performance and speed. Hence considering the speed and precision characteristics of indexing methods, the proposed method is an efficient indexing method which can be used in various video indexing and retrieval applications.     

新闻视频的场景分段索引及摘要生成

在提出一种新闻视频检索系统结构的基础上，介绍了基于标题条检测的新闻场景分段索引方法，并阐述了两种新闻摘要的生成策略．该方法利用新闻节目标题条出现的时空位置线索，结合标题关键词的识别，建立起一个层次化的新闻视频索引结构，并帮助用户通过新闻摘要实现不同要求的视频浏览．实验证明该方法有较高的检索成功率，并且简单快捷，为新闻视频检索提供了新的有效途径．     

基于颜色特征的视频数据库检索系统

为了在视频数据库中提供有效的视频检索和浏览功能,必须建立高效的索引.由于视频数据具有层次性的结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度对镜头关键帧进行处理,对视频数据建立索引.该系统采用颜色特征,使用Twin Comparison算法实现镜头检测和直方图平均法实现关键帧提取,对关键帧采用K均值聚类算法处理,建立视频数据库索引.实验结果表明该系统能较好地实现视频快速浏览和检索功能.     

Document ranking and the vector-space model

Efficient and effective text retrieval techniques are critical in managing the increasing amount of textual information available in electronic form. Yet text retrieval is a daunting task because it is difficult to extract the semantics of natural language texts. Many problems must be resolved before natural language processing techniques can be effectively applied to a large collection of texts. Most existing text retrieval techniques rely on indexing keywords. Unfortunately, keywords or index terms alone cannot adequately capture the document contents, resulting in poor retrieval performance. Yet keyword indexing is widely used in commercial systems because it is still the most viable way by far to process large amounts of text. Using several simplifications of the vector-space model for text retrieval queries, the authors seek the optimal balance between processing efficiency and retrieval effectiveness as expressed in relevant document rankings