基于卷积神经网络和语义信息的场景分类

作为计算机视觉领域的一个重要分支,场景分类在许多场所有着重要和广泛的应用。由于场景的整体布局、目标物体的出现以及位置关系的变化等因素使得整体场景更加多样化,然而,利用场景与目标间的语义信息可以有效克服这个问题。本文提出一种同时利用卷积神经网络与语义信息来进行场景分类的方法,该方法首先利用卷积神经网络获取颜色信息对场景进行初始分类,然后利用图像目标物体与场景间的语义信息对分类结果进行修正。我们与目前流行的场景分类方法进行了实验对比,实验结果表明与利用海量训练数据集得到好的分类效果的方法相比,本文方法利用有限的训练数据集的情况下,仍能取得良好的分类效果。     

足球视频镜头分类方法

根据视频语义分析和视频摘要等应用对于视频数据结构化的需求,提出了一种针对足球视频的镜头分类方法.通过logo模板匹配检测并定位出视频中的慢镜头,对其余的正常比赛部分做镜头边界检测完成视频切分.基于分块的思想,对正常比赛镜头帧计算其各块的场地像素比率值作为特征,利用SVM分类器将正常比赛镜头分为远镜头、中镜头、球员特写或场外镜头3类.至此,整个视频流可以表示为结构化的四类镜头类型标示序列.实验结果表明,该方法在视频切分和镜头类型识别的准确性方面具有良好的效果.     

基于子窗口区域的足球视频镜头分类

为了对海量视频数据进行有效的管理和快速浏览,急需对数字视频进行基于内容的视频检索。镜头分类是足球视频处理与检索的重要部分,针对目前现有足球镜头分类方法存在算法准确性不高或运算量过大的问题,提出了一种新的基于子窗口区域的镜头分类方法。该方法采用在HSV颜色空间中计算足球视频帧子窗口区域球场色像素比率,并辅以边缘信息的检测,对足球视频中的主镜头、中镜头、特写镜头和其他镜头进行了分类,实验结果表明该方法切实可行,具有很高的检出率和准确率。     

基于HMM的足球视频语义结构分析

提出了一种足球视频的语义结构,即足球视频由多个语义事件构成,每个语义事件由数个语义镜头组成。为了分析这种语义结构,建立了“精彩事件”和“一般事件”两种语义事件的多个隐马尔科夫模型(HMMs),并提出了场地比率、人脸比率、边缘、运动强度四种特征作为HMMs的观测值输入。利用HMM的三种算法训练HMMs,分析出精彩事件,并为每个镜头标注语义。     

视频语义场景聚类算法研究

视频聚类是视频索引和检索的重要组成部分.本文针对镜头已分割好的视频如何提取更高语义层次的场景,考虑帧图像间以帧分块的局部似然比特征和小波变换的全局边缘特征相结合的综合相似性度量,利用视频编辑的一种常用特征及代表性镜头的选取原则,给出了一种新的语义场景的提取算法.数值实验表明该算法对基于对话类的视频类型有很好的场景提取效果,与WBS(Window-based Sweep Algorithm)算法相比,查全率和查准率分别提高了8.7%和28.4%.     

概念间关联依赖多标记视频语义概念分类方法

一个镜头中的语义概念通常依赖于其他多个语义概念,几个同时出现的语义概念决定着另一个语义概念的出现。为此提出一种概念间关联依赖多标记视频语义概念分类方法。为得到概念间关联依赖规则,合并和修剪技术用于产生候选的项集;计算各候选项集的支持度后,得到满足最小支持度的频繁项集;经过一系列频繁项集迭代,产生具有强关联依赖关系的复合标记;在标记过程中,将具有强关联依赖关系的多个语义标记作为单标记进行标注。实验结果表明,对真实媒体数据本文方法比现有多标记分类方法更能有效进行分类。     

基于自适应双阈值的足球视频分割算法研究

提出了一种利用双阈值自适应变化逼近视频镜头分割最佳阈值的算法,在双阈值各区间漏检或误检的判别通过相似度差异来完成。实验结果表明,该算法能够得到较为理想的错检率,并能得到比固定阈值算法更低的漏检率。     

一种基于均值漂移的视频场景检测方法

提出了一种高效的视频场景检测方法。首先基于均值漂移,在滑动镜头窗内对各镜头聚类,并获得相应的聚类中心,然后根据电影视频场景的发展模式,计算两个镜头类之间的时序距离,接着基于时空关系进行场景检测,并且由相应的聚类中心获得场景关键帧,最后对场景过分割进行后续处理。实验证实该方法能快速聚类,并且有效地检测出场景和场景关键帧。     

一种有效的视频场景检测方法

合理地组织视频数据对于基于内容的视频分析和应用有着重要的意义。现有的基于镜头的视频分析方法由于镜头信息粒度太小而不能反映视频语义上的联系，因此有必要将视频内容按照高层语义单元——场景进行组织。提出了一种快速有效的视频场景检测方法，根据电影编辑的原理，对视频场景内容的发展模式进行了分类，给出了场景构造的原则；提出一种新的基于滑动镜头窗的组合方法，将相似内容的镜头组织成为镜头类；定义了镜头类相关性函数来衡量镜头类之间的相关性并完成场景的生成。实验结果证明了该方法的快速有效性。     

一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

一种新的基于对象的足球视频镜头分类方案

论文提出了一种基于对象的足球视频镜头分类方案。首先对足球视频中的场地和运动员对象进行检测和分割,然后利用识别出的场地特征、运动员数目及运动员与场地比例等特征,对足球视频中的长距镜头、中距镜头、特写及其它类型的镜头进行分类。实验表明,该分类方案取得了良好的效果。     

Scene Determination Based on Video and Audio Features

Determining automatically what constitutes a scene in a video is a challenging task, particularly since there is no precise definition of the term scene. It is left to the individual to set attributes shared by consecutive shots which group them into scenes. Certain basic attributes such as dialogs, settings and continuing sounds are consistent indicators. We have therefore developed a scheme for identifying scenes which clusters shots according to detected dialogs, settings and similar audio. Results from experiments show automatic identification of these types of scenes to be reliable.     

一种基于镜头的视频场景检测方法

在数字视频的分析、浏览、检索中,现有的以镜头为基础的方法由于镜头粒度信息太小而不能表达视频语义上的联系,因此有必要将视频内容按照高层语义单元——场景进行组织。从分析视频剪辑的基本原则入手,给出了一种视频场景构造方法;首先使用改进了的像素匹配二次差分法结合双阈值法进行镜头突变和渐变的检测,然后对镜头内的帧间距离进行判断来提取关键帧;提出了一种基于双滑动镜头窗口的聚类方法,将内容相似语义相同的镜头聚合在一起形成新的场景。试验表明,该方法是有效的。     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

基于视觉注意模型和HMM的足球视频语义分析

HMM模型具有良好的适应性,可以自动学习,对预测随机时序数据性能良好。场景是足球视频的基本特征,场景的转换体现了足球视频的摄制、编辑模式,表现了足球视频的语义。提出了一种基于场景分析和HMM的视频语义分析框架,用于识别足球视频中的一些语义事件。为了克服以往基于主颜色和其他底层特征的视频场景分析中存在的较大误差,又提出基于视觉注意模型对足球视频中的场景进行分析。实验结果表明,基于场景分析和HMM的事件识别方法对足球视频中的任意球事件有良好的识别效果