视频数据的时间序列挖掘方法研究

不同类型的视频具有不同的内容和不同的内容组织结构.目前由于安全防护问题的升温,综合视频监控系统和交通监控系统引起了较多的关注.但是并没有文献对这一类型视频数据的挖掘提出一个较完整的挖掘框架.文中针对监控视频等具有相对固定背景特征视频数据的视频运动挖掘问题,提出了在跟踪视频对象运动的基础上,提取视频对象的运动轨迹,结合时间特性形成时间序列数据,并进一步对视频数据进行相似性查询和聚类挖掘的系统模型.     

Video Semantic Event/Concept Detection Using a Subspace-Based Multimedia Data Mining Framework

In this paper, a subspace-based multimedia data mining framework is proposed for video semantic analysis, specifically video event/concept detection, by addressing two basic issues, i.e., semantic gap and rare event/concept detection. The proposed framework achieves full automation via multimodal content analysis and intelligent integration of distance-based and rule-based data mining techniques. The content analysis process facilitates the comprehensive video analysis by extracting low-level and middle-level features from audio/visual channels. The integrated data mining techniques effectively address these two basic issues by alleviating the class imbalance issue along the process and by reconstructing and refining the feature dimension automatically. The promising experimental performance on goal/corner event detection and sports/commercials/building concepts extraction from soccer videos and TRECVID news collections demonstrates the effectiveness of the proposed framework. Furthermore, its unique domain-free characteristic indicates the great potential of extending the proposed multimedia data mining framework to a wide range of different application domains.     

Statistical sequential analysis for real-time video scene change detection on compressed multimedia bitstream

The increased availability and usage of multimedia information have created a critical need for efficient multimedia processing algorithms. These algorithms must offer capabilities related to browsing, indexing, and retrieval of relevant data. A crucial step in multimedia processing is that of reliable video segmentation into visually coherent video shots through scene change detection. Video segmentation enables subsequent processing operations on video shots, such as video indexing, semantic representation, or tracking of selected video information. Since video sequences generally contain both abrupt and gradual scene changes, video segmentation algorithms must be able to detect a large variety of changes. While existing algorithms perform relatively well for detecting abrupt transitions (video cuts), reliable detection of gradual changes is much more difficult. A novel one-pass, real-time approach to video scene change detection based on statistical sequential analysis and operating on a compressed multimedia bitstream is proposed. Our approach models video sequences as stochastic processes, with scene changes being reflected by changes in the characteristics (parameters) of the process. Statistical sequential analysis is used to provide an unified framework for the detection of both abrupt and gradual scene changes.     

多媒体数据集中的数据挖掘:系统框架和方法

分析了目前信息环境对多媒体挖掘技术提出的需求,提出了一种适合多媒体挖掘的系统框架、一般结构和挖掘过程;描述了各种媒体可用于挖掘的特征,阐述相应的适合多媒体挖掘的基本方法;讨论了多媒体挖掘技术今后发展可能遇到的问题和面临的挑战。     

基于城市交通大数据的车辆类别挖掘及应用分析

实时城市交通监控已成为现代城市管理的一个重要组成部分，视频监控采集的交通大数据在城市管理和交通控制方面得到了越来越多的应用；然而，全城范围内庞大的监控交通大数据还鲜少用于城市交通及城市计算研究。在一个省会城市全城范围内的监控交通大数据上展开了车辆类别挖掘及应用分析研究。首先，定义了周期性私家车、类出租车和公共通勤车三种对城市交通具有重要影响的车辆类别，将车辆类别定义与频繁序列模式挖掘算法相结合提出了相应的挖掘方法。在济南市一周1704个视频监测点，1.2亿次车辆记录数据上，验证了所提定义及挖掘方法的有效性；其次，以4个居民小区为例挖掘分析了居民出行的交通方式及与周围兴趣点（POI）分布关系，此外，还探索了城市交通大数据与POI相结合在城市规划、需求预测和偏好推荐方面的应用潜能。     

基于高速公路场景的车辆目标跟踪

车辆目标检测与跟踪是高速公路视频监控系统实时监控获取交通参数的关键步骤.本文提出了一种面向高速公路场景的目标轨迹时序信息结合核相关滤波KCF算法的车辆目标跟踪方法,实现了车辆目标的高精度持续跟踪.该方法首先采用基于深度学习的单目标检测SSD算法,通过建立车辆数据集,实现了适用于高速公路场景的车辆目标的分类与检测.然后,基于目标轨迹时序信息实现目标车辆与轨迹的匹配,并且采用KCF跟踪算法对丢失目标进行预测重定位,从而实现车辆目标轨迹的持续跟踪.实验表明,该跟踪方法精度高,且适应多种不同场景,具有较高的应用价值.     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

视频中运动目标的实时检测和跟踪

基于视频的自动目标检测和跟踪是计算机视觉中一个重要的研究领域，特别是基于视频的智能车辆监控系统中的运动车辆的检测和跟踪。提出了一种自适应的背景相减法来分割运动物体，为了准确地定位运动车辆的区域，采用差分图像投影和边缘投影相结合的方法来定位车体，同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪，即将对运动车辆区域跟踪问题转化为搜索具有最大权的联合图的问题。该算法不仅能实时地定位和跟踪直道上运动的车辆，同时也能实时地定位和跟踪弯道上运动的车辆，从实验结果看，提出的背景更新算法简单，并且运动车辆区域的定位具有很好的鲁棒性，从统计的检测率和运行时间来看，该算法具有很好的检测效果，同时也能满足基于视频的智能交通监控系统的需要。     

背景估计与运动目标检测跟踪

基于视频的自动目标检测和跟踪是计算机视觉中一个重要的研究领域,特别是基于视频的智能车辆监控系统中的运动车辆的检测和跟踪。提出一种自适应的背景估计方法来实时获得当前背景图像,从而分割出运动物体。为了准确地定位运动车辆的区域,采用差分图像投影和边缘投影相结合的方法来定位车体,同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪,即将对运动车辆区域跟踪问题转化为搜索具有最大权的联合图的问题。该算法不仅能实时地定位和跟踪直道上运动的车辆,同时也能实时地定位和跟踪弯道上运动的车辆,从实验结果看,提出的背景更新算法简单,并且运动车辆区域的定位具有很好的鲁棒性,从统计的检测率和运行时间来看,该算法具有很好的检测效果,同时也能满足基于视频的智能交通监控系统的需要。     

基于视频检测技术的智能隧道交通安全监控系统设计

隧道实时交通安全监控系统是确保隧道安全运营的重要手段.针对隧道环境的特殊性,提出基于差异深度积累的目标检测算法和基于卡尔曼滤波的目标跟踪算法,实现了多运动目标的检测与跟踪,并综合运用图像处理、计算机视觉、模式识别和软件工程等技术设计了基于视频检测技术的智能隧道交通安全监控系统.该系统能准确地检测出各种交通运行参数和交通事件,为隧道交通安全提供了有力保障.     

短时记忆与CenterTrack的车辆多目标跟踪

目的 车辆多目标跟踪是智能交通领域关键技术,其性能对车辆轨迹分析和异常行为鉴别有显著影响。然而,车辆多目标跟踪常受外部光照、道路环境因素影响,车辆远近尺度变化以及相互遮挡等干扰,导致远处车辆漏检或车辆身份切换（ID switch,IDs）问题。本文提出短时记忆与CenterTrack的车辆多目标跟踪,提升车辆多目标跟踪准确度（multiple object tracking accuracy,MOTA）,改善算法的适应性。方法 利用小样本扩增增加远处小目标车辆训练样本数;通过增加的样本重新训练CenterTrack确定车辆位置及车辆在相邻帧之间的中心位移量;当待关联轨迹与检测目标匹配失败时通过轨迹运动信息预测将来的位置;利用短时记忆将待关联轨迹按丢失时间长短分级与待匹配检测关联以减少跟踪车辆IDs。结果 在交通监控车辆多目标跟踪数据集UA-DETRAC （University at Albany detection and tracking）构建的5个测试序列数据中,本文方法在维持CenterTrack优势的同时,对其表现不佳的场景获得近30%的提升,与YOLOv4-DeepSort（you only look once—simple online and realtime tracking with deep association metric）相比,4种场景均获得近10%的提升,效果显著。Sherbrooke数据集的测试结果,本文方法同样获得了性能提升。结论 本文扩增了远处小目标车辆训练样本,缓解了远处小目标与近处大目标存在的样本不均衡,提高了算法对远处小目标车辆的检测能力,同时短时记忆维持关联失败的轨迹运动信息并分级匹配检测目标,降低了算法对跟踪车辆的IDs,综合提高了MOTA。     

基于粒子滤波算法的高速公路车辆停车检测

提出了一种基于粒子滤波视频跟踪算法的停车事件检测方法,实现了对高速公路交通视频的自动监控。首先用混合差分技术,快速提取出视频中的车辆对象;并用粒子滤波算法实现了运动车辆的跟踪;进而通过对车辆运动的数学建模,对停车事件进行了自动检测。最后,对多组高速公路交通视频进行测试,结果表明：提出的检测方法比其他常用方法响应速度更快,且具有较高的检测准确率和鲁棒性。     

基于全方位视觉传感器的车辆违章检测系统的设计

探讨了利用全方位视觉传感器(ODVS)以及计算机视觉等技术来实现对交岔路口的车辆违章智能视频监控,采用ODVS来获取整个交岔路口的全景视频图像;通过混合高斯模型提取在全景视频图像中的车辆对象前景;使用camshift跟踪算法跟踪行驶车辆对象;依据交通法规,通过对比红绿灯、车道和车辆运动等状态来判断车辆对象是否有违章行为;实验结果表明,所设计的违章检测系统能自动检测出多种车辆违章行为,为交通执法部门提供了一种智能化的检测手段。     

一种利用不完整数据检测交通异常的方法

城市化进程的加快带来了严重的交通问题,检测交通异常成为数据挖掘领域的热点之一。传统道路管理主要是应用视频监控,使得处理交通问题的效率受限。鉴于上述原因,提出了一种利用不完整数据检测交通异常的方法(Traffic Anomaly Detection,TAD)。首先,利用相关性聚类从手机数据中获取车辆密度信息,降低处理不完整数据的计算开销;然后,设计一个自适应无参数检测算法,根据手机呼叫量变化率捕捉车辆的分散式动态异常,以解决道路状况不确定性难题;最后,提出异常轨迹算法来追踪异常分布路线并预测影响范围,提高异常检测效率。实验结果表明,TAD方法在不同的实验环境下能够有效地检测交通异常,与现有算法相比,所提算法在有效性和伸缩性上效果更好。     

基于多特征融合的视频交通数据采集方法

提出了一种基于多特征融合的视频交通数据采集方法, 核心思想是: 在图像中设置虚拟线圈, 假设车辆从虚拟线圈上驶过时引起像素变化, 通过识别这种像素变化来检测车辆并估计车速. 与现有技术相比, 本文的贡献在于: 1) 综合利用虚拟线圈内的前景面积、纹理变化、像素运动等特征来检测车辆, 提出了有效的多特征融合方法, 显著提高了车辆检测精度; 2) 根据单个虚拟线圈内的像素运动向量来估计车速, 避免了双线圈测速法的错误匹配问题. 算法测试结果表明本文算法能够在复杂多样的交通场景和天气条件下, 准确地检测车辆和估计车速. 在算法研究的基础上, 研制了一款嵌入式交通视频检测器, 在路口长期采集交通数据, 为交通信号控制和交通规律分析提供决策依据.     

新闻视频挖掘技术研究

新闻视频挖掘是一个新兴的研究领域，也是多媒体数据挖掘的典型代表。本文对新闻视频挖掘技术进行了全面深入的讨论，首先从概念上对新闻视频挖掘进行了界定，提出了新闻视频挖掘的层次框架和技术框架，指出新闻视频挖掘包括低层视频挖掘和高层视频挖掘两个层次。其中，低层视频挖掘是利用数据挖掘的方法对视频内容进行分析的过程，而高层数据挖掘则是在低层挖掘的基础上进一步发现视频中的知识的过程。新闻视频挖掘的技术框架则对挖掘所涉及到的具体技术进行了分析。最后，对新闻视频挖掘中的结构挖掘、语义内容挖掘、视频摘要、趋势挖掘、关联挖掘等任务进行了详细的阐述，并对各种任务举出了具体的示例加以说明。     

基于学习机制的时空车辆跟踪与索引框架

提出一个基于学习机制的时空车辆跟踪与索引框架,为ITS系统的车辆跟踪和索引提供了一个无人监管式解决方案.它通过引入了背景消隐方法、并行分区和类参数估计算法,获得对象间的时空关系,并使用多媒体扩大传输网络模型和多媒体输入字符串来表示它们的时空关系,并为其建模.     

事件驱动的无线多媒体传感器网络QoS通信协议

提出一种事件驱动的无线多媒体传感网QoS感知通信(EDQC)协议。首先,当监测到事件发生时,在满足事件监测质量的基础上,启动最少的视频节点进行数据采集,以减少冗余数据的产生。其次,在数据传输阶段,计算由前进距离、队列长度和剩余能量构成的复合权值,并选择权值最大的下一跳节点进行数据转发,从而避开拥塞区域、延长网络生存周期。仿真结果表明,EDQC协议能够较好的适应视频监测需求,同时减少通信拥塞、均衡节点能耗。     

基于物联网的城市道口机动车智能监控和行为检测系统

物联网架构的城市道口机动车监控和行为分析系统在传统的物联网定义基础上,提出了包含感知／发布层、智能中间层、网络层、服务层和应用层的智能监控架构、以高清网络监控相机为采集终端,使用自行开发的图像分析算法和软件实现了道路拥堵状态判定以及多目标车辆追踪,实时采集视频流中道口监控区域内车辆移动轨迹、速度、前方道路拥堵状态等基本参数;在通信层使用3G／Wi—Fi等高速无线通信技术与有线通信相结合实时传输关键参数和监控图像,应用层使用自行开发的中心监控软件平台实现了对关键数据的存储、统计、业务应用的服务支持和管理,应用层针对电子警察、智能交通监控和信息发布展开,结合交通控制信息和我国交通法规为违章实时判定、交通信息采集等提供了基础、     

多媒体数据挖掘的体系结构和方法

提出了一个多媒体数据挖掘系统的一般结构(M3)，包括多媒体数据库(MD)、多媒体挖掘引擎(MME)和多媒体挖掘界面(MMI)，重点分析了几种挖掘方法(分类、关联和聚类)在多媒体挖掘中的应用。针对不同的媒体，如图像、音频、视频，讨论了各自的挖掘特点和主要挖掘内容。