基于MPEG-7的视频语义检索系统

设计和实现一个支持语义的分布式视频检索系统:"语寻"。该系统利用一个改进的视频语义处理工具(该工具基于IBM VideoAnnEx标注工具,并增加镜头语义图标注和自然语言处理的功能)对视频进行语义分析和标注,生成包含语义信息的MPEG-7描述文件,然后对视频的MPEG-7描述文件建立分布式索引,并同时分布式存储视频文件;系统提供丰富的Web查询接口,包括关键字语义扩展查询,语义图查询以及自然语句查询,当用户提交语义查询意图后,便能够迅速地检索到感兴趣的视频和片段,并且可以浏览点播;整个系统采用分布式架构,具备良好的可扩展性,并能够支持海量视频信息的索引和检索。     

基于语义人脸的视频新闻标注

视频和图像中的人脸蕴涵了丰富的语义信息，可以使用人脸对视频内容进行分析与标注，尤其是视频新闻节日。而要达到这样的目的，就必须先将对视频新闻具有语义价值的人脸从视频流中检测出来。本文提出基于语义人脸捡测的视频新闻语义聚类与标注算法：在这个算法中，首先使用肤色模型检测人脸可能出现区域，然后提取人脸可能区域的独立成分特征，用训练好的支持向量机检测出所有人脸，套用语义人脸模板过滤出最终的语义人脸集合，最后通过高斯混合聚类，将视频新闻标注为主持人镜头、访谈类新闻镜头和其他新闻故事镜头三类。实验表明，该算法在视频新闻结构化中可以得到较好的应用。     

视频语义结构化提取与标注的方法

视频本身具有一定的层次结构,不同层次会产生不同粒度的语义,而且不同粒度的语义之间会形成一定的层次结构。因此,视频语义提取和标注强调语义的结构化。为此,首先,以镜头为单位提取其语义,并组成镜头语义序列。随后,带有简单时序关系的镜头语义序列经过结构化支持向量机的分析将产生结构化的视频语义;最好,将连续且内容相关的镜头作为一个场景,以视频场景为基本单位利用决策树算法C4.5根据镜头的语义信息及镜头之间的结构信息完成场景语义的推理。     

一种用于MAM的语义可扩展视频编目与检索方法

针对媒体资产管理系统(media assetmanagement,MAM)对视频检索有着精确定位的特殊要求,提出了一种新的编目与检索方法,该方法结合了基于内容检索和基于手工检索的优点。首先采用主元分析(PCA)的方法对视频图像帧的高维特征进行降维,实现镜头自动分割,并对大量存在的新闻相似镜头进行语义自动标注,然后实现视频编目语义的动态更新与扩展。实验结果表明该方法有效、可行,大大提高了编目工作的效率以及编目语义的质量。     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于时序概率超图模型的视频多语义标注

在基于语义的视频检索系统中,为了弥补视频底层特征与高层用户需求之间的差异,提出了时序概率超图模型。它将时间序列因素融入到模型的构建中,在此基础上提出了一种基于时序概率超图模型的视频多语义标注框架（TPH-VMLAF）。该框架结合视频时间相关性,通过使用基于时序概率超图的镜头多标签半监督分类学习算法对视频镜头进行多语义标注。标注过程中同时解决了已标注视频数据不足和多语义标注的问题。实验结果表明,该框架提高了标注的精确度,表现出了良好的性能。     

基于基色调的镜头边界检测方法

视频结构化组织是建立视频检索和浏览系统的基础，而镜头边界检测是视频结构化的第一步. 在本文中，我们提出了基于基色调的镜头边界检测方法. 该方法首先利用 I 帧的比特数信息，减少参与检测的 I 帧；然后在考虑基色调的基础上得到局部的自适应阈值；最后用双阈值方法检测镜头边界. 实验证明，该方法可以对长视频序列进行较好的镜头突变和渐变检测，并且减少了计算量，同时能够排除大物体运动和摇镜头对镜头检测的影响.     

视频语义上下文标签树及其结构化分析

视频内容具有非常强的时间关联和逻辑结构,镜头语义是视频内容理解的基本单元。 从符合人类认识理解视频内容的角度来看,镜头语义之间隐含着时间上、语义上、结构上的多种 上下文关联信息。合理地描述这种上下文信息至关重要。为此,首先采用一棵带有上下文标签的 标签树作为镜头语义上下文层次结构的表征模型,以序列化的镜头语义序列为底层叶节点,以内 节点的上下文标签表征镜头语义间的上下文关联,其树形结构与视频内容层次化表征形式一致, 能为视频内容理解提供显著的信息增益。然后,着眼于解决镜头语义从其序列结构向标签树的层 次结构转化,采用结构化支持向量机的分析方法,根据镜头语义序列和视频语义上下文标签树的 联合特性构造了语义上下文结构化函数和损失函数,实现了镜头语义的结构化分析。实验结果表 明,视频语义上下文标签树在时序性、层次性、领域性、逻辑性等方面具有良好的表征能力,而 基于结构化支持向量机的结构化分析方法在镜头语义上下文分析的准确率、召回率及F1 值表现 良好。     

教学视频的文本语义镜头分割和标注

为了对教学视频这一专门类别视频进行自动标注,本文首先提取视频中的字幕信息,通过文本预处理后,使用视频中的字幕文本信息内容结合潜在狄利克雷分布（Latent Dirichlet allocation,LDA）主题模型方法获得视频镜头在主题上的概率分布,通过计算主题概率分布差异,进行语义层面镜头分割。然后以镜头为样本,使用安全的半监督支持向量机（Safe semi-supervised support vector machine,S4VM）方法,通过少量的标注镜头样本,完成对未标注镜头的自动标注。实验结果表明,本文方法利用字幕文本信息和LDA模型,有效完成了视频的语义镜头分割,不仅可以对镜头完成标注,而且可以对整个视频进行关键词标注。     

视频结构化浏览和查询系统：Videowser

显然目前存在一些基于镜头的视频分析方法能够为用户操纵视频提供一些方便,但由于在一个长视频中其镜头数太多,单元太小,而且单个视频镜头往往也无法表达出潜在的视频语义,所有这些都说明了必要的一个更高的层次上去组织视频。本文提出的视频目录层次结构把视频中镜头在其自身时间及内容的约束下形成若干镜群,再对镜群中的镜头进行聚类获得若干视觉相似镜头的集束－镜组,据此设计和实现的Videowser可让用户通过视频的目录层次结构进行非线性的浏览及观看;用户除了进行非线性的浏览外,还可根据自己的需要直接进行基于视频内容和语义的综合查询。     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

基于规则分析的新闻视频口播帧检测

新闻视频的主体内容是一系列的新闻单元,准确地对新闻单元进行分割是新闻视频自动索引的重要依据,同时也是对新闻视频进行基于内容的视频分析的过程中所要解决的一个基本问题。由于新闻主持人口播镜头的开始通常是一个新闻单元的开始,所以检测新闻主持人口播帧是定位和分割新闻单元的有效途径。论文提出的基于规则分析的口播帧检测方法(DBRA,DetectionBasedonRuleAnalysis)是一种全新的口播帧检测方法,该方法通过分析新闻视频口播帧具有的一些规则(亦可称其为特点),由计算机系统完全独立地对新闻视频进行分析、并自动检测出口播帧。该检测方法与现有的检测方法相比,不仅使用较为方便,而且具有一定的智能性。     

基于COM技术的新闻视频主持人镜头实时检测方法

在新闻视频分析研究中 ,主持人镜头的实时检测具有十分重要的意义。文中提出了一种基于COM技术的新闻视频主持人镜头实时检测方法。实验证明 ,这种方法具有算法简单、可靠、实时性好的特点 ,具有较高的实用价值     

新闻视频主持人镜头检测方法

提出用于新闻视频主持人镜头检测的基于扩展人脸区域的模板匹配方法。利用一段新闻节目中主持人服装不变的重要线索,在线提取主持人镜头的扩展人脸区域模板,采用分块HSV颜色直方图作为模板参数,利用该模板对新闻视频镜头中检测出的扩展人脸区域进行匹配,根据匹配结果确定主持人镜头。实验结果表明,该方法计算简单、检测精度高、实时性强,具有很好的通用性。     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

自适应的新闻视频播音员镜头探测方法

提出一种基于聚类算法的新闻视频播音员镜头探测方法。该方法利用人脸探测得到的人脸属性进行聚类,在此基础上利用人物及人物边缘背景区域的颜色特征在聚类的结果中进行聚类分析,确定播音员镜头候选类型。通过背景边缘的颜色相似度分析对播音员镜头候选类型进行完善得到最终的播音员镜头类型。实验证明该方法通用性和效率都比较好。     

融合多特征的新闻故事自动分割

新闻视频是由一系列的新闻故事构成的,准确地对新闻故事进行探测与分割将对新闻视频的自动检索与语义的理解产生重要作用。通过对新闻视频的结构特征进行分析,提出了融合静音、镜头切变、主持人特征和文本信息等多种特征的新闻故事探测与分割的方法。通过对不同的新闻视频进行实验,获得了平均95.2%的探测准确率。实验证明,提出的方法能够较好地解决新闻故事分割的任务。     

新的基于综合特征的新闻事件分割方法

提出了一种基于新闻视频中的标题字幕信息和音视频特征对新闻事件进行分割的方法,并实现了一个新闻事件分割、浏览和检索的原型系统。提出的方法综合利用新闻视频中的标题检测、主持人画面检测以及静音片段和语者切换检测技术分割整段新闻中的新闻事件。实验结果表明,该方法较仅利用标题的新闻事件分割方法在分割准确性上有了显著提高。     

利用主色模板匹配检测新闻视频口播帧

检测新闻主持人口播帧是定位和分割新闻单元的有效途径,利用主色模板匹配检测口播帧的方法首先提取口播帧的主色模板,然后利用该模板对新闻视频的帧序列进行匹配,并由计算机自动对口播帧进行检测和标识,该检测方法与现有的检测方法相比,具有设计简单、计算量小、速度快的特点,并通过实验证明其具有较高的检出率和准确率．