语义视频检索综述

视频内容检索是多媒体应用的一个活跃研究方向,现有的内容检索技术大多是基于低层次特征的。这些非语义的低层特征难以理解,与人思维中的高层语义概念相差甚远,严重影响视频内容检索系统的易用性。低层特征和高层语义概念间的语义鸿沟很难逾越。如何跨越语义鸿沟,用语义概念检索视频内容是目前基于内容视频检索最具挑战性的研究方向。本文介绍语义视频检索出现的背景,分析语义鸿沟出现的原因,对现有尝试跨越语义鸿沟的主要方法进行综述;评述了相关技术的优缺点,探讨了各方法将来可能的研究发展方向以及视频语义检索近期、长期可能的技术突破点。     

一种视频局部高层语义特征提取算法

准确提取视频高层语义特征,有助于更好地进行基于内容的视频检索。视频局部高层语义特征描述的是图像帧中的物体。考虑到物体本身以及物体所处的特定场景所具有的特点,我们提出一种将图像帧的局部信息和全局信息结合起来提取视频局部高层语义特征的算法。在TRECVID2005数据集上的实验结果表明,与单独基于局部或者单独基于全局的方法相比,此方法具有较好的性能。     

基于语义的图像检索技术研究

本文从图像语义模型、图像语义的描述方法、图像语义的提取方法三方面介绍基于语义的图像检索技术的发展动态,并根据研究现状,进一步分析如何有效地解决“语义鸿沟”问题。     

基于SVM的图像低层特征与高层语义的关联

在基于内容的图像检索中，针对图像的低层可视特征与高层语义特征之间的鸿沟，提出了一种基于支持向量机（SVM）的语义关联方法。通过对图像低层特征的分析，提取了颜色和形状特征向量（221维），将它们作为支持向量机的输入向量，对图像类进行学习，建立图像低层特征与高层语义的关联，并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索。实验结果表明，该方法可适应于不同用户的图像检索，并提高了检索性能。     

基于SVM的图像低层特征与高层语义的关联*

在基于内容的图像检索中,针对图像的低层可视特征与高层语义特征之间的鸿沟,提出了一种基于支持向量机(SVM)的语义关联方法。通过对图像低层特征的分析,提取了颜色和形状特征向量(221维),将它们作为支持向量机的输入向量,对图像类进行学习,建立图像低层特征与高层语义的关联,并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索。实验结果表明,该方法可适应于不同用户的图像检索,并提高了检索性能。     

基于潜在语义分析的视频检索

潜在语义分析技术是建立在视频分析基础之上的，它通过某种映射关系来建立视频特征矩阵，实现了基于内容的视频检索。阐述了潜在语义分析技术，进行了视频颜色和纹理特征提取研究，实验结果表明，潜在语义分析对于视频内容检索效果较好。     

基于内容的静态语义概念视频检索方法研究

本文针对互联网视频检索技术的发展,阐述了目前主流视频搜索引擎的技术现状,分析了互联网视频检索的关键技术,特别是对于视频特征的提取技术。本文的创新点是提出了一种通用的基于内容的静态语义视频检索方法,该方法可以弥补基于文本视频检索的有关不足,并且在TRECVID的视频概念检索数据的静态语义概念中得到验证,运行稳定。     

一种基于图像高层语义信息的图像检索方法

由于基于图像高层语义信息的图像检索与传统的图像特征匹配检索相比，在检索的准确性、结果相关性以及降低误检率等方面具有明显的优势，因此高效的图像检索方法应该充分利用图像蕴涵的高层语义信息。为了利用图像的高层语义信息来进行图像检索，在深入研究图像高层语义的低层特征描述的基础上，提出了图像语义的层次划分，并对每个高层语义层提出了语义抽取和检索算法。实验结果表明，该检索算法可以有效地对图像高层语义信息进行提取，并可作为新型高效图像检索系统的一个模型。     

基于语义匹配的交互式视频检索框架

近年来基于内容的视频检索技术受到人们越来越多的关注. 本文提出了一套基于语义匹配的交互式视频检索框架, 其贡献主要为以下三方面: 1)定义新型的视频高层特征---语义直方图用以描述视频的高层语义信息; 2)使用主导集聚类算法建立基于非监督学习的检索机制, 用以降低在线计算复杂度和提高检索效率; 3)提出新型的相关反馈机制---基于语义的分支反馈, 该机制采用分支反馈结构和分支更新策略实现检索性能的提升. 实验结果表明了本框架的有效性.     

FSVM在图像低层特征与高层语义关联中的应用

基于内容的图像检索中,针对图像的低层可视特征与高层语义特征之间的鸿沟,提出了一种新的基于模糊支持向量机(FSVM)的语义关联方法.重点分析了支持向量机语义关联中存在的误分、拒分现象,在传统支持向量机中引入模糊隶属度函数,解决了不可分区域问题.通过对图像低层特征的分析,提取了颜色和形状特征向量(221维),将它们作为模糊支持向量机的输入向量,对图像类进行学习,建立图像低层特征与高层语义的关联.并应用于鸟类、花卉、海洋以及建筑物等几个典型的语义类别检索,实验结果表明,该方法可适应于不同用户的图像检索,在相同的条件下可以达到比支持向量机方法更为理想的语义关联效果,提高了检索性能.     

一种图像底层视觉特征到高层语义的映射方法

基于语义内容的图像检索已经成为解决图像底层特征与人类高层语义之间“语义鸿沟”的关键。根据图像语义检索的思想,提出了一种采用支持向量机(Support Machine Vector)实现图像底层视觉特征到高层语义的映射方法,并在此基础上针对特例库实现了图像的语义标注和检索。实验结果表明,该映射方法能较好地表达人的语义,以提高图像的检索效率。     

三维扩散模型在视频行为识别中的应用

内容识别是视频和图像分析的主要目的之一,由于视频内容的复杂性,视频内容自动分析和识别并不容易实现,目前没有通用的视频行为识别方法和理论。三维各向异性扩散方程可以实现视频信号的多尺度分析,方便行为特征的描述和提取。通过多尺度分析结合支持向量机分类,可以系统地解决视频对象识别、运动识别和行为识别等一系列问题。实验表明,即使在样本行为特征未知的情况下,通过机器学习,也可以实现对视频行为的识别,说明这种行为识别方法可以用于任意已知样本的行为识别问题。     

基于内容的视频分层语义联想模型

提出一种视频的分层语义联想模型,构造三个层次的信息：概念层次树,场景网络和语义对象网络。利用概念层次树来适应不同的应用环境,场景网络表示视频的时间信息,而语义对象及其关系用来表示视频镜头的内容,通过分属不同镜头的语义对象的关系来表示镜头间的语义相关度。该模型采用基于时间和语义关系的检索方法,搜索结果是收敛的。     

基于本体的视频语义检索系统研究

在语义层次上检索视频内容,可以突破“语义鸿沟”,提高视频内容的利用效率。利用本体的标注和推理能力,研究视频语义检索,充分挖掘视频内容的结构和语义信息,构建层次化的语义索引,能极大提高系统的语义检索能力。该视频语义检索系统(OVSR)的本体架构集成了领域本体、视频本体和核心本体,具有很强的扩展和交互能力。主要论述OVSR的本体架构,视频语义模型和索引模型,研究OVSR的查询重写算法以及本体推理算法。     

用于图像恢复的基于SVR的自适应新滤波器的研究*

提出了一种用SVR回归器识别脉冲噪声的思想,并将其应用于图像滤波和恢复,形成了用于对脉冲噪声进行滤波的SVR自适应滤波器。这种滤波器在滤波时,先用SVR对待识别像素作噪声识别,再对含噪声的像素作中值滤波。用SVR作噪声识别时,先对滤波窗口作SVR回归,通过待识别像素回归距的大小判断其是否含有噪声。在进行SVR回归时,使用鲁棒的Huber损失函数。由于更充分地利用了待识别像素点的局部背景信息,这种滤波器提高了脉冲噪声识别的正确率。实验表明,在保留原图像的细节信息方面,其滤波效果要优于基于SVC的中值滤波器。     

面向特定目标自识别的交通图像语义检索方法

为了从海量的道路交通图像中检索出违反交通法规的图像,提出了一种特定目标自识别的语义图像检索方法。首先,通过交通领域专家建立交通领域本体及道路交通规则描述;然后,通过卷积神经网络（CNN）对交通图像的特征进行提取,并结合改进的支持向量机决策树（SVM-DT）算法对图像特征进行分类的策略,对交通图像中的特定目标及目标间空间位置关系进行自动识别,并映射成为相应的本体实例及其对象之间的关联关系（规则实例）;最后,利用本体实例和规则实例,通过推理得到语义检索结果。实验结果表明,相比关键字和本体交通图像语义检索方法,所提方法具有更高的准确率、召回率和检索效率。     

基于动态数据的支持向量分类机算法实现

在支持向量分类机模型中,要从样本中选出具有代表性的数据作为输入值。一般地,选定的数据是静态的,但实际情况中数据是动态的。文章提出了基于动态数据的支持向量分类机模型,并给出了相应的算法。     

基于SVM与数据融合的车辆视频分类系统

影响基于视频检测的车型分类系统准确率的一个主要因素是采集的车辆外型参数的准确性。针对这种情况,提出了基于多源数据融合的方法提取车辆的外型参数,并使用SVM（支持向量机）对车辆进行分类。实验结果表明,多源数据融合的方法能够有效控制在采集过程中产生的噪音干扰和镜头畸变引起的误差,提高车型参数的准确性。使用支持向量机分类能够克服神经网络中无法避免的局部极值问题。该方法能够提高车型分类准确率,实时性强,适用于实时车型分类系统。     

基于拓扑独立成分分析和高斯混合模型的视频语义概念检测

针对目前词袋模型(BoW)视频语义概念检测方法中的量化误差问题,为了更有效地自动提取视频的底层特征,提出一种基于拓扑独立成分分析(TICA)和高斯混合模型(GMM)的视频语义概念检测算法。首先,通过TICA算法进行视频片段的特征提取,该特征提取算法能够学习到视频片段复杂不变性特征;其次利用GMM方法对视频视觉特征进行建模,描述视频特征的分布情况;最后构造视频片段的GMM超向量,采用支持向量机(SVM)进行视频语义概念检测。GMM是BoW概率框架下的拓展,能够减少量化误差,具有良好的鲁棒性。在TRECVID 2012和OV两个视频库上,将所提方法与传统的BoW、SIFT-GMM方法进行了对比实验,结果表明,基于TICA和GMM的视频语义概念检测方法能够提高视频语义概念检测的准确率。     

R-SVR中r与输入噪声间近似线性反比关系

为使r范数SVR更具鲁棒性,深入研究了r范数SVR中参数与输入噪声之间的关系。运用SVR的贝叶斯框架,分别推导出了鲁棒的r范数SVR中参数r与拉斯噪声和均匀噪声之间呈近似的线性反比关系。并结合仿真结果和已有的相关结论,得到了更为一般的结论,即鲁棒的r范数SVR中参数r与输入噪声之间呈近似的线性反比关系。这一结论为输入样本含有分布未知噪声的情况下r范数SVR参数的选择提供了理论依据。