综合利用声视特征的新闻视频结构化模型

视频结构化表征和基于这种表征进行相似度比较是视频检索的前提和最基础的重要工作。该文受视频制作过程的启发,通过分析新闻视频的内容结构特点,提出一个基于多语义抽象层次表示的5层视频目录结构化模型;在此基础上,采用分层处理思想,通过综合利用声视特征实现了基于目录结构的新闻视频结构化,克服了单纯用视觉特征难以胜任场景分段的困难,实验验证了该文思想及相应算法的有效性。     

基于超图聚类的故事单元的抽取与分析

合理而有效地结构化组织视频数据是浏览、检索和管理视频的重要前提.提出了一种新的层次化的结构化组织视频数据的提取故事单元的方法.它采用k-近邻超图描述镜头间的内容相似关系,利用超图模型对镜头聚类,并通过分析镜头类别间的时间投影关系提取故事单元,并采用一维字符串描述故事单元.此外,还提出了结合领域知识确定故事单元的类型的算法框架,并将其用于对话场景的检测.将算法用于测试多段视频,实验结果令人满意.     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

基于视频对象的视频内容分级描述模型

本文提出了一种基于视频对象的视频内容分级描述模型.视频序列首先被分成一个个的镜头,在每个镜头内对视频对象进行分割和跟踪.按照镜头、视频对象、视频对象平面和视频对象区域四级框架提取特征,对视频内容进行分级描述.本文对视频内容信息的描述可以用于视频检索、视频注释等应用.     

面向结构化数据的数字信息的应用研究

随着信息技术和网络技术的迅猛发展,数字信息尤其是视频数据日益丰富,成为人们获取信息和相互交流的重要方式.但是由于视频数据的数据量非常大、数据的结构复杂以及视频内容非常丰富等特点,使得对视频进行有效的分析和处理变得非常困难.怎样高效的组织、管理和使用这些多媒体数据,逐渐引起了人们的关注.视频检索就是从海量的视频数据中搜索出所需要的视频.对视频监控场景的实时监控预警的需求和对监控视频流基于内容的结构化处理的需求,促使我们开展了基于内容的自动视频监控研究.     

基于模式识别视频搜索技术的研究

本文中视频搜索技术针对音视频这类非结构化数据,使用了实时音频索引、自动抽帧和内容自动关联等技术,从内容上对视频进行检索,通过对视频中的语音、图象和文字的自动分析和处理,根据不同的视频分解粒度和对象重要度判定模型,建立模式识别算法,生成视频摘要,从而形成高效的视频搜索系统。     

基于XMT的MPEG-4场景视频制作及系统设计

介绍了MPEG-4标准中的二进制格式的场景描述，基于XML的两种可扩展文本格式的描述框架：XMT-A和XMT-Ω及其支持的节点、属性、域与BIFS流的映射关系；给出了MPEG-4标准场景视频制作及发布系统的功能结构和基于XMT的系统层次分析。利用该系统制作和发布的多媒体交互式场景视频，可以进行网上教学的节目制作和远程点播。系统建立在MPEG-4标准上，提高了远程教学的质量，满足了用户与场景视频的交互需求；利用XMT作为中间描述格式，满足了相同场景在MPEG-4、SMIL、VRML等标准间的内容交换及互操作功能。     

视觉场景描述及其效果评价

作为计算机视觉、多媒体、人工智能和自然语言处理等领域的交叉性研究课题,视觉场景描述的研究内容是自动生成一个或多个语句用于描述图像或视频中呈现的视觉场景信息.视觉场景中内容的丰富性和自然语言表达的多样性使得视觉场景描述成为一项充满挑战的任务,综述了现有视觉场景描述方法及其效果评价.首先,论述了视觉场景描述的定义、研究任务及方法分类,简要分析了视觉场景描述与多模态检索、跨模态学习、场景分类、视觉关系检测等相关技术的关系;然后分类讨论视觉场景描述的主要方法、模型及研究进展,归纳日渐增多的基准数据集;接下来,梳理客观评价视觉场景描述效果的主要指标和视觉场景描述技术面临的问题与挑战,最后讨论未来的应用前景.     

2019年度人工智能案例TOP100

1、公安部、东方网力:视频图像信息综合应用平台该项目是全国视频监控联网体系的制高点,系统将视频结构化数据及物联网多维感知采集的数据,通过视频解析、混合云计算、视图大数据聚类挖掘等技术进行处理,遵循GA/T 1399《公安视频图像分析系统》和GA/T 1400《公安视频图像信息应用系统》等标准,可以对原始视频、图像信息进行内容解析,并与其他感知数据(RFID、GPS)相结合,为公共安全领域提供具备实战应用能力、一体化的视图信息综合服务。2020年1月,公安部公共安全视频监控应用云平台项目——联网平台升级子项目已通过初步验收。     

视频结构挖掘的概念和框架

视频信息处理的关键是视频信息的结构化，视频除了有基本层次结构之外，还有隐藏其中的视频结构语法和结构语义。该文提出了一种视频结构挖掘的概念框架和视频结构挖掘的系统框架，在概念框架中对视频结构挖掘相关概念给出了明确定义和界定；视频结构挖掘框架主要包括：视频基本层次结构挖掘，视频结构语法挖掘和视频结构语义挖掘。讨论了视频结构模式和知识的具体应用，包括指导视频的组织与管理、实现基于内容的个性视频推荐和改善视频摘要系统。     

Detecting Roads in Stabilized Video with the Spatio-Temporal Structure Tensor

Video provides strong cues for automatic road extraction that are not available in static aerial images. In video from a static camera, or stabilized (or geo-referenced) aerial video data, motion patterns within a scene enable function attribution of scene regions. A “road”, for example, may be defined as a path of consistent motion — a definition which is valid in a large and diverse set of environments. The spatio-temporal structure tensor field is an ideal representation of the image derivative distribution at each pixel because it can be updated in real time as video is acquired. An eigen-decomposition of the structure tensor encodes both the local scene motion and the variability in the motion. Additionally, the structure tensor field can be factored into motion components, allowing explicit determination of traffic patterns in intersections. Example results of a real time system are shown for an urban scene with both well-traveled and infrequently traveled roads, indicating that both can be discovered simultaneously. The method is ideal in urban traffic scenes, which are the most difficult to analyze using static imagery.     

基于特征知识库的动漫视频暴力场景检测方法

针对海量动漫视频剪辑中可能包含不符合观众认知或接收程度的内容,为观众带来不愉快体验的问题,提出了基于知识库的卡通视频暴力场景检测方法。首先,利用低级特征(RBG颜色、亮度、色调)开发连续函数,进行场景中镜头边界识别;然后,利用运动信息,计算视频帧中的运动。接着,使用空间信息和运动信息进行分割处理,并使用欧氏距离方法进行对象识别;最后,利用包含所有常见物品、卡通角色及其视觉特征和行为特征的知识库,计算场景的暴力概率。实验结果表明,该系统能够成功检测到卡通视频中的暴力场景。     

基于半监督特征融合的监控视频场景识别研究

针对单模态特征条件下监控视频的场景识别精度与鲁棒性不高的问题,提出一种基于特征融合的半监督学习场景识别系统。系统模型首先通过卷积神经网络预训练模型分别提取视频帧与音频的场景描述特征;然后针对场景识别的特点进行视频级特征融合;接着通过深度信念网络进行无监督训练,并通过加入相对熵正则化项代价函数进行有监督调优;最后对模型分类效果进行了仿真分析。仿真结果表明,上述模型可有效提升监控场景分类精度,满足针对海量监控视频进行自动化结构化分析等公安业务需求。     

基于内容的视频分层语义联想模型

提出一种视频的分层语义联想模型,构造三个层次的信息：概念层次树,场景网络和语义对象网络。利用概念层次树来适应不同的应用环境,场景网络表示视频的时间信息,而语义对象及其关系用来表示视频镜头的内容,通过分属不同镜头的语义对象的关系来表示镜头间的语义相关度。该模型采用基于时间和语义关系的检索方法,搜索结果是收敛的。     

3D video and free viewpoint video—From capture to display

This paper gives an end-to-end overview of 3D video and free viewpoint video, which can be regarded as advanced functionalities that expand the capabilities of a 2D video. Free viewpoint video can be understood as the functionality to freely navigate within real world visual scenes, as it is known for instance from virtual worlds in computer graphics. 3D video shall be understood as the functionality that provides the user with a 3D depth impression of the observed scene, which is also known as stereo video. In that sense as functionalities, 3D video and free viewpoint video are not mutually exclusive but can very well be combined in a single system. Research in this area combines computer graphics, computer vision and visual communications. It spans the whole media processing chain from capture to display and the design of systems has to take all parts into account, which is outlined in different sections of this paper giving an end-to-end view and mapping of this broad area. The conclusion is that the necessary technology including standard media formats for 3D video and free viewpoint video is available or will be available in the future, and that there is a clear demand from industry and user for such advanced types of visual media. As a consequence we are witnessing these days how such technology enters our everyday life     

一种面向动画视频的摘要方法

动画视频摘要是目前热门的动画视频处理和检索技术的重要组成部分.针对动画视频与新闻视频、体育运动视频显著不同的特点,提出了一种适合动画视频的摘要方法.首先通过对动画视频的结构分析得到动画视频的可视特征与层次结构,然后分析动画视频内容的重要度选取视频中的重要片段,最后通过缩略粒度选择,按照时序方式组合得到故事板和缩略视频形式的视频摘要.实验证明,该方法比较有效地获得了动画视频摘要,两种形式的摘要对动画视频能够很好的概括和缩略.     

基于动画特征的视频 方法*

针对动画视频与新闻视频、体育运动视频的不同特点,提出了一种适合动画视频的 技术。首先通过对动画视频的结构分析得到动画视频的可视特征与层次结构;然后根据动画视频内容的重要度来选取视频中的重要片段;最后通过粒度选择,按照时序方式组合得到故事板和缩略视频形式的视频 。实验表明该方法能有效地获得动画视频 。