基于近岸海面视频的浪高实时检测预测系统

针对目前国内近岸浪高监测手段有限、监测频率和精度难以保障的问题,设计和研发了近岸海面视频监控下的浪高实时检测预测系统。根据业务需求,将系统分为视频传输、视频预处理、浪高检测、浪高预测和浪高可视化五个模块,其中视频传输模块负责所有监控视频在系统中的传输;视频预处理模块负责消除视频中干扰物对浪高检测精度的影响;浪高检测模块使用多层局部感知卷积神经网络(NIN)和支持向量回归(SVR)对海浪视频进行浪高检测;浪高预测模块使用长短期记忆网络(LSTM)对未来12小时和24小时的浪高进行预测;浪高可视化模块负责将检测所得浪高值映射为伪彩色,对浪高进行可视化。该系统支持多观测站点并行检测、站点切换、自动截断保存监控视频和存储浪高数据等功能。在国家海洋局北海预报中心的应用试验表明,该系统运行稳定,能够较好地协助浪高预报人员的工作。     

基于深度学习的视频异常检测研究综述

视频异常检测涉及概率统计、机器学习和深度学习等方法.文中旨在综合作者课题组研究成果和其它前沿科研工作,聚焦于基于深度学习的视频异常检测方法,全面探讨该领域的背景、挑战与解决方案.综合领域内的大多数相关论文,对其进行系统分析,以期为学者提供现阶段研究进展的基础认知.对基于深度学习的视频异常检测方法进行分类、分析,总结各类方法的网络模型选择,详细介绍常用数据集和性能评价指标,以性能对比突显各类方法的优势,并对视频异常检测领域的未来研究方向和应用场景进行深入探讨和展望.     

基于递归神经网络的视频多目标检测技术

针对现有基于大数据和深度学习的目标检测框架难以实现在低功耗移动和嵌入式设备上实时进行视频目标检测的问题,改进了基于深度学习的目标检测框架SSD,提出一种改进的多目标检测框架LSTM-SSD,将其专用于交通场景视频多目标检测。将单图像检测框架与递归神经网络-LSTM网络相结合,形成交织循环卷积结构,通过采用一种Bottleneck-LSTM层提炼传播帧间的特征映射实现了网络帧级信息的时序关联,极大降低了网络计算成本;将时间感知信息与改进的动态卡尔曼滤波算法结合起来,实现了对视频中受光照变化、大面积遮挡等强干扰影响目标的追踪识别。实验表明,改进后的LSTM-SSD在应对多目标、杂乱背景、光照变化、模糊、大面积遮挡等检测难度较大的情况时,均能获得较好的效果,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了5%~16%,平均准确率均值提高了约4%~10%,多目标检测率提高了4%~19%,检测帧率达到43 fps,基本满足实时性的要求。其实现了算法精度与运行速率的平衡,取得了较好的检测识别效果。     

井下视频行人检测方法

针对现有基于深度学习的行人检测方法存在计算量较大、检测效率严重依赖硬件性能等问题,对基于SSD网络的行人检测方法进行改进,设计了一种基于DenseNet网络的轻量级卷积神经网络作为SSD网络的基础网络,以满足井下视频行人实时检测需求,并设计了基于ResNet网络的辅助网络,以增强特征表征能力,提高行人检测准确性。将基于改进SSD网络的井下视频行人检测方法部署在嵌入式平台Jetson TX2上进行实验,结果表明该方法对井下视频中行人的检测准确率为87.9%,针对井下行人低密度场景的检测准确率近100%,且运算速度达48帧/s,约为基于SSD网络的行人检测方法的4.4倍,满足井下行人实时检测需求。     

基于深度学习的红外视频显著性目标检测

面对背景越来越复杂的海量红外视频图像,传统方法的显著性目标检测性能不断下降。为了提升红外图像的显著性目标检测性能,提出了一种基于深度学习的红外视频显著性目标检测模型。该模型主要由空间特征提取模块、时间特征提取模块、残差连接块以及像素级分类器4个模块组成。首先利用空间特征提取模块获得空间特征,然后利用时间特征提取模块获得时间特征并实现时空一致性,最后将时空特征信息和由残差连接块连接空间模块获得的空间低层特征信息一同送入像素级分类器,生成最终的显著性目标检测结果。训练网络时,使用BCEloss和DICEloss两个损失函数结合的方式,以提高模型训练的稳定性。在红外视频数据集OTCBVS以及背景复杂的红外视频序列上进行测试,结果表明所提模型都能够获得准确的显著性目标检测结果,并且具有鲁棒性及较好的泛化能力。     

视频侦查中人像智能分析应用及算法优化

人像智能分析指的是对视频或录像中的人像进行结构化和可视化分析,对目标人物进行性别、年龄、发型等特征的智能识别,这项技术在视频侦查中有极高的应用价值。人像识别早期的算法是通过人工提取特征,通过学习低级视觉特征来针对不同属性进行分类学习,这种基于传统方法的模型表现常常不尽如人意。在计算机视觉领域,通过海量图像数据学习的神经网络比传统方法有更丰富的信息量和特征可以被提取。文章尝试通过深度学习技术训练神经网络模型对行人进行检测和识别,对于衣着不同的行人进行智能识别,具有更好的鲁棒性,提升了视频人像识别的准确率,拓展了人工智能技术在身份识别领域的应用。     

基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。     

基于RetinaNet模型的鸟巢智能检测

为解决架空输电线路运行过程中因设备及杆塔上鸟巢对输电线路造成的不良影响,本文通过对比分析一阶目标检测模型和二阶目标检测模型的优劣,选取以分类损失函数为核心、特征金字塔网络为骨干网络的RetinaNet模型用于鸟巢目标的自动检测。解决了经典的一阶目标检测模型和二阶目标检测模型对鸟巢的检测效率或准确率比较低的问题。本文实验首先通过数据集选取及数据集预处理,并经过模型训练逐步优化调整网络结构和参数,建立了适合鸟巢检测的RetinaNet模型,实现对鸟巢的快速准确检测。实验结果表明,RetinaNet模型对输电线路的鸟巢的的平均准确率为94.1%,每张图片的识别速度为68ms,通过与Faster R-CNN、YOLO及SSD方法进行比较,验证了RetinaNet模型对输电线路设备及杆塔上鸟巢检测的有效性和可靠性。     

基于特征自动提取的跌倒检测算法

跌倒是导致老年人受伤甚至死亡的主要原因。准确及时的跌倒检测系统可以帮助跌倒者获得紧急救援。 目前基于传感器的跌倒检测方法主要利用人工设计提取的信号特征来区分跌倒和非跌倒运动,但人工提取的特征往往会限制算法的精确度,增大算法时延。为提高跌倒检测的精确度和实时性,本文提出了一种基于深度学习的跌倒检测算法。该算法可以自动提取数据特征,实现从原始数据到检测结果的端到端的处理。算法模型主要由两层级联的长短期记忆（Long Short-Term Memory, LSTM）循环神经网络组成,通过神经网络提取加速度计和陀螺仪数据内部的特征,并判断是否有跌倒状况发生。我们使用两个公开数据集MobiAct和SisFall对算法性能进行评估。 实验结果显示,算法在两个数据集都达到了较高的精确度（99.58%以上）和较低的时延（2.2毫秒以内）。     

多尺度深度特征融合的变化检测

目的 图像的变化检测是视觉领域的一个重要问题，传统的变化检测对光照变化、相机位姿差异过于敏感，使得在真实场景中检测结果较差。鉴于卷积神经网络（convolutional neural networks，CNN）可以提取图像中的深度语义特征，提出一种基于多尺度深度特征融合的变化检测模型，通过提取并融合图像的高级语义特征来克服检测噪音。方法 使用VGG（visual geometry group）16作为网络的基本模型，采用孪生网络结构，分别从参考图像和查询图像中提取不同网络层的深度特征。将两幅图像对应网络层的深度特征拼接后送入一个编码层，通过编码层逐步将高层与低层网络特征进行多尺度融合，充分结合高层的语义和低层的纹理特征，检测出准确的变化区域。使用卷积层对每一个编码层的特征进行运算产生对应尺度的预测结果。将不同尺度的预测结果融合得到进一步细化的检测结果。结果 与SC_SOBS（SC-self-organizing background subtraction）、SuBSENSE（self-balanced sensitivity segmenter）、FGCD（fine-grained change detection）和全卷积网络（fully convolutional network，FCN）4种检测方法进行对比。与性能第2的模型FCN相比，本文方法在VL_CMU_CD（visual localization of Carnegie Mellon University for change detection）数据集中，综合评价指标F1值和精度值分别提高了12.2%和24.4%；在PCD（panoramic change detection）数据集中，F1值和精度值分别提高了2.1%和17.7%；在CDnet（change detection net）数据集中，F1值和精度值分别提高了8.5%和5.8%。结论 本文提出的基于多尺度深度特征融合的变化检测方法，利用卷积神经网络的不同网络层特征，有效克服了光照和相机位姿差异，在不同数据集上均能得到较为鲁棒的变化检测结果。     

基于深度卷积神经网络的行人检测

行人检测一直是目标检测研究与应用中的热点。目前行人检测主要通过设计有效的特征提取方法建立对行人特征的描述,然后利用分类器实现二分类。卷积神经网络作为深度学习的重要组成,在图像、语音等领域得到了成功应用。针对人工设计的特征提取方法难以有效表达复杂环境下行人特征的问题,提出采用多层网络构建深度卷积神经网络实现对行人检测的方法。系统分析了卷积神经网络层数、卷积核大小、特征维数等对识别效果的影响,优化了网络参数。实验结果表明该方法对于行人检测具有很高的识别率,优于传统方法。     

基于ADBN的入侵检测方法

当下大多数入侵检测算法无法在入侵检测率和误报率之间取得较好的平衡,为了有效避免此类问题,提出了一种基于非对称深度信念网络的入侵检测方法。该方法首先通过训练深度信念网络初始化ADBN（asymmetric deep belief network）模型中编码器部分的参数,利用正态分布初始化解码器部分的参数。然后通过计算重构误差来调优ADBN模型的参数,使模型能获取原始数据的最优低维表征。最后以编码器得到的数据作为分类器的输入数据并对其进行检测,采用ADBN模型可以提取出更有利于分类的特征且能够在模型初始化阶段节省更多的测试时间。实验结果表明,该方法可以达到更好的检测性能,对小类别样本也达到了较好的检测准确率。     

特征金字塔结构的时序行为识别网络

目的 时序行为识别是视频理解中最重要的任务之一,该任务需要对一段视频中的行为片段同时进行分类和回归,而视频中往往包含不同时间长度的行为片段,对持续时间较短的行为片段进行检测尤其困难。针对持续时间较短的行为片段检测问题,文中构建了3维特征金字塔层次结构以增强网络检测不同持续时长的行为片段的能力,提出了一种提案网络后接分类器的两阶段新型网络。方法 网络以 RGB 连续帧作为输入,经过特征金字塔结构产生不同分辨率和抽象程度的特征图,这些不同级别的特征图主要在网络的后两个阶段发挥作用：1）在提案阶段结合锚方法,使得不同时间长度的锚段具有与之对应的不同大小的感受野,锚段的初次预测将更加准确;2）在感兴趣区域池化阶段,不同的提案片段映射给对应级别特征图进行预测,平衡了分类和回归对特征图抽象度和分辨率的需求。结果 在THUMOS Challenge 2014数据集上对模型进行测试,在与没有使用光流特征的其他典型方法进行比较时,本文模型在不同交并比阈值上超过了对比方法3%以上,按类别比较时,对持续时间较短的行为片段检测准确率则普遍得到提升。消融性实验中,在交并比阈值为0.5时,带特征金字塔结构的网络则超过使用普通特征提取网络的模型1.8%。结论 本文提出的基于3维特征金字塔特征提取结构的双阶段时序行为模型能有效提升对持续时间较短的行为片段的检测准确率。     

Explicit semantic events detection and development of realistic applications for broadcasting baseball videos

This paper presents a framework that explicitly detects events in broadcasting baseball videos and facilitates the development of many practical applications. Three phases of contributions are included in this work: reliable shot classification, explicit event detection, and elaborate applications. At the shot classification stage, color and geometric information are utilized to classify video shots into several canonical views. To explicitly detect semantic events, rule-based decision and model-based decision methods are developed. We emphasize that this system efficiently and exactly identifies what happened in baseball games rather than roughly finding some interesting parts. On the basis of explicit event detection, many accurate and practical applications such as automatic box score generation and game summarization could be built. The reported results show the effectiveness of the proposed framework and demonstrate some research opportunities about bridging the semantic gap for sports videos.

一种基于SVD的镜头边界检测方法

为了有效地进行视频镜头边界检测,在简要介绍了现有的镜头边界检测基本方法的基础上提出了基于SVD的镜头边界检测方法。该方法通过特征提取来构造视频特征矩阵,经过SVD变换得到特征值矩阵,然后将特征值矩阵映射到向量空间,最后通过分析向量间的夹角来判断镜头的变化。实验结果表明,在镜头边界检测性能上优于已有的基于帧差的双阈值镜头边界检测方法。     

智能视频异常事件检测方法综述

视频异常事件检测问题是计算机视觉领域的重要研究课题之一,旨在基于模式识别和计算机视觉方法智能地从监控视频中自动检测出需要关注的异常事件或行为,在实际生活中有广泛的应用和巨大的潜在需求,是人工智能技术落地的重要方向之一。同时,近年来以深度学习为代表的新兴机器学习技术及其在各个领域中取得的巨大成功,极大地启发了各类先进技术在视频异常事件检测问题中的应用。首先回顾了视频异常事件检测问题的定义和面临的主要挑战,随后从视频异常检测包含的3个最主要的技术环节(视频事件提取、视频事件表示、视频事件建模与检测)对当前主流视频异常事件检测技术进行了介绍,并对其各自的优缺点进行了分析和总结。最后,介绍视频异常检测领域中常用的基准测试数据集和相应的评价指标,对比当前主流方法的视频异常事件检测性能,对这些方法进行讨论并给出结论和展望。