一种针对大尺度运动的快速光流算法

传统的光流法必须满足一致连贯性假设,不适用于大幅度运动目标的跟踪。为克服复杂场景下,大尺度运动中目标位移量超出特征跟踪窗口带来的光流计算问题,提出了一种针对大尺度运动的快速光流计算方法。引入图像金字塔模型,利用基于多尺度分层的金字塔结构和光流映射变换,实现小窗口捕获大运动。同时,采用非极大值抑制方法保留图像自相关矩阵的大特征值,得到的强角点作为特征点,降低了光流计算的时间开销。实验结果表明,提出的方法在复杂场景和运动条件下,可准确快速地计算出表征目标运动方向和速率的光流矢量,具有较高的鲁棒性和实时性。     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.     

基于改进光流法的旋转运动背景下对地运动目标实时检测

针对战机对地侦查视频图像中地面旋转运动背景下运动目标检测高虚警、低实时性的问题,提出了一种基于改进光流法的旋转运动背景下对地运动目标实时检测算法。首先提取图像的特征点,在特征点处计算光流运动矢量,并通过光流矢量场估算背景运动矢量。根据战机飞行高度自适应计算目标像素尺寸,网格化分块待检测图像;然后将各个特征点光流矢量与背景运动矢量相比较,获得备选目标特征点。最后统计分块备选目标特征点密度,判断目标位置区域。对2组实验视频中央360像素×432像素区域进行目标检测实验,结果表明该算法能够准确地检测出地面运动目标,虚警率低。平均每帧检测耗时分别为29.460 ms和31.505 ms,满足战机对地运动目标检测的实时性。     

运动目标检测中的光流扰动效应

在一些运动目标检测过程中,需要自动判断是否检测到运动目标,虽然在场景中没有出现运动目标,检测结果却错误的判断为检测到了运动目标.为了找到这个错误的根源,通过实验,发现了光流扰动效应,并且设计了光流扰动效应检测算法,清晰地检测出了光流扰动效果.接下来,通过图像二值化方式,消除了光流扰动效应,避免了运动目标误判现象,得到了理想的运动目标检测结果.研究证明在空间中存在光流扰动效应,该效应会对运动目标检测造成干扰,消除光流扰动效应,可提高了运动目标检测与判断的准确度和可靠度.     

结合单高斯与光流法的无人机运动目标检测

针对无人机场景下运动目标检测对实时性要求高,运动背景、环境光照易变化等问题,提出一种结合单高斯与光流法的运动目标检测算法.首先,对运动相机捕捉的图像采用改进的单高斯模型进行背景建模,并融合前一帧图像的多个高斯模型来进行运动补偿,然后,将得到的前景图像作为掩模来提取特征点和进行光流跟踪,并对稀疏特征点的运动轨迹进行层次聚类.实验结果表明,该算法能有效地处理运动相机造成的前景对背景模型的干扰,背景建模速度快,对光照变化不敏感,检测出的目标接近真实目标.     

基于光流的运动分析理论及应用

运动目标的检测是计算机视觉领域中最活跃的研究主题之一,运动目标的正确检测与分割影响着运动目标能否正确跟踪和分类;光流法是运动图像分析的重要方法,它能够检测出独立运动的对象,不需要预先知道场景的任何信息,并且可用于摄像机运动的情况;文中首先引入光流的基本概念,然后介绍基于光流方程的两种常用的图像分析方法--梯度法、块匹配法;接着结合光流法在红外图像序列的运动目标检测、活动轮廓模型以及医学图像处理方面的应用,对这两种光流法的优缺点进行分析;最后对光流法在未来其他领域如电子制造业和芯片检测行业的应用提出展望.     

基于光流和Snake算法的运动目标检测

提出一种帧间双差分法、自适应光流、snake算法相结合的运动目标检测方法.通过帧间双差分法提取运动区域,针对运动区域进行光流计算,对光流计算结果进行C-均值聚类,最后用聚类结果作为snake算法的初始值,通过贪婪算法对活动轮廓进行收缩,把运动目标的轮廓精确的包围起来.由运动目标真实图像序列的实验结果充分证明了算法的优良性能,可以有效地从复杂自然场景的图像序列中检测出完整的运动目标.     

融合匹配特征的立体图像颜色校正方法

立体图像颜色校正方法的目标在于消除立体图像左右视图之间的颜色差异.现有的立体图像颜色校正方法存在校正效果和时间效率不平衡的问题.为了解决这一问题,本文提出一种融合匹配特征的立体图像颜色校正方法.首先,通过视差注意力颜色校正网络得到待校正目标图像的初始校正图.然后,将初始校正图和参考图像输入基于光流的图像匹配网络得到光流匹配目标图.最后,由图像融合网络融合初始校正图、光流匹配目标图、参考图像和目标图像的特征并进行图像重建,得到最终的校正结果.实验结果表明,本文的方法具有先进的性能,能够在保持高时间效率的同时实现高质量的立体图像颜色校正效果.     

一种基于SIFT特征光流的运动目标跟踪算法

针对传统光流跟踪算法计算复杂度高、受噪声影响大的问题,提出了一种基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)和卡尔曼滤波器的特征点光流跟踪算法。首先,利用SIFT算法提取图像中的特征点;然后,根据最小绝对值误差准则对运动目标的特征点进行匹配,建立卡尔曼滤波器方程来计算特征点光流;最后,通过光流特征聚类实现运动目标的识别与跟踪。实验结果表明,算法对自然场景中的运动目标具有良好的跟踪特性,稳定性好,计算量小,易于实现。     

基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

双视图三维卷积网络的工业装箱行为识别

目的 在自动化、智能化的现代生产制造过程中,行为识别技术扮演着越来越重要的角色,但实际生产制造环境的复杂性,使其成为一项具有挑战性的任务。目前,基于3D卷积网络结合光流的方法在行为识别方面表现出良好的性能,但还是不能很好地解决人体被遮挡的问题,而且光流的计算成本很高,无法在实时场景中应用。针对实际工业装箱场景中存在的人体被遮挡问题和光流计算成本问题,本文提出一种结合双视图3D卷积网络的装箱行为识别方法。方法 首先,通过使用堆叠的差分图像(residual frames,RF)作为模型的输入来更好地提取运动特征,替代实时场景中无法使用的光流。原始RGB图像和差分图像分别输入到两个并行的3D ResNeXt101中。其次,采用双视图结构来解决人体被遮挡的问题,将3D ResNeXt101优化为双视图模型,使用一个可学习权重的双视图池化层对不同角度的视图做特征融合,然后使用该双视图3D ResNeXt101模型进行行为识别。最后,为进一步提高检测结果的真负率(true negative rate,TNR),本文在模型中加入降噪自编码器和two-class支持向量机(support vector machine,SVM)。结果 本文在实际生产环境下装箱场景进行了实验,采用准确率和真负率两个指标进行评估,得到的装箱行为识别准确率为94.2%、真负率为98.9%。同时在公共数据集UCF (University of Central Florida)101上进行了评估,以准确率为评估指标,得到的装箱行为识别准确率为97.9%。进一步验证了本文方法的有效性和准确性。结论 本文提出的人体行为识别方法能够有效利用多个视图中的人体行为信息,结合传统模型和深度学习模型,显著提高了行为识别准确率和真负率。     

基于改进双流法的井下配电室巡检行为识别

井下配电室监控视频持续时间较长且行为类型复杂,传统双流卷积神经网络(CNN)法对此类行为识别效果较差.针对该问题,对双流CNN法进行改进,提出了一种基于改进双流法的井下配电室巡检行为识别方法.通过场景分析,将巡检行为分为站立检测、下蹲检测、走动、站立记录、坐下记录5种类型,并制作了巡检行为数据集IBDS5.将每个巡检行为视频等分为3个部分,分别对应巡检开始、巡检中和巡检结束;对3个部分视频分别随机采样,获取代表空间特征的RGB图像和代表运动特征的连续光流图像,并分别输入空间流网络和时间流网络进行特征提取;对2个网络的预测特征进行加权融合,获取巡检行为识别结果.实验结果表明,以Res Net152网络结构为基础,且权重比例为1∶2的空间流和时间流双流融合网络具有较高的识别准确度,Top-1准确度达到98.92%;本文方法在IBDS5数据集和公共数据集UCF101上的识别准确率均优于3D-CNN、传统双流CNN等现有方法.     

基于Apex帧光流和卷积自编码器的微表情识别

针对跨库微表情识别问题,提出了一种基于Apex帧光流和卷积自编码器的微表情识别方法。该方法包括预处理、特征提取、微表情分类三部分。预处理部分对微表情进行Apex帧定位以及人脸检测和对齐;特征提取部分首先计算预处理过的Apex帧的TVL1光流,然后使用得到的水平和竖直光流分量图像训练卷积自编码器得到最优结构和参数;最后将两个分量自编码器中间层的特征融合后作为微表情的特征;微表情分类就是使用支持向量机（Support Vector Machine,SVM）对上一步中提取到的特征进行分类。实验结果较基准方法（LBP-TOP）有了很大的提高,UF1提高了0.134 4,UAR提高了0.140 6。该方法为微表情特征提取和识别提供了新的思路。     

基于混合特征的人体动作识别改进算法

运动特征的选择直接影响人体动作识别方法的识别效果.单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同,其适用范围不同,识别效果也是有限的.在研究人体动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出一种结合全局的剪影特征和局部的光流特征的混合特征,并用于人体动作识别.实验结果表明,该算法得到了理想的识别结果,对于Weizmann数据库中的动作可以达到100％的正确识别率.     

基于光流法的迭代反投影超分辨率重构算法

为了提高重构图像或者视频的分辨率．提出把新型的基于光流法的图像配准算法应用于迭代反投影（IBP）超分辨率算法中。在所提出的方法中．基于光流法的图像配准算法用来提高图像配准的准确性。首先,为了得到像素级别的运动矢量．基于光流法的图像配准算法被用于估计图像间的运动矢量。以得到更加准确的运动矢量矩阵。接着,利用所获得的运动矢量矩阵结合迭代反投影算法重构高分辨率的图像。同时．由于基于光流法的图像配准能够很好地估计视频图像间的运动．所提出的方法同样适用于视频图像的超分辨。实验结果表明．提出的方法对于图像或者视频的超分辨率效果．在主观效果和客观评价上都有一定的提升。     

基于优化卷积神经网络结构的人体行为识别

为了提高卷积神经网络对非线性特征以及复杂图像隐含的抽象特征提取能力,提出优化卷积神经网络结构的人体行为识别方法。通过优化卷积神经网络模型,构建嵌套Maxout多层感知器层的网络结构,增强卷积神经网络的卷积层对前景目标特征提取能力。通过嵌套Maxout多层感知器层网络结构可以线性地组合特征图并选择最有效特征信息,获取的特征图经过矢量化处理,分类器Softmax完成人体行为识别。仿真实验结果表明,该方法对人体行为识别准确率取得较好结果。