基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

基于卷积神经网络和多判别特征的跌倒检测算法EI北大核心CSCD

针对传统跌倒检测算法中特征提取不充分、跌倒判别条件泛化性差、实时性差等问题,提出一种基于卷积神经网络和多判别特征的跌倒检测算法.为了完成更丰富的特征信息提取并保证实时性,首先,使用MobileNetV3轻量级网络完成对输入图片中人物特征信息的准确、快速提取;其次,使用3个小型卷积核的叠加和残差网络,保证网络在具有相同感受野的情况下降低网络模型的参数量,以保证图像中人体关键点检测的实时性;再次,为了提高跌倒状态判别的准确性,将人体躯干、四肢与地面间夹角,以及人体标定框高宽比变化作为跌倒判别特征;最后,设计了一个基于云服务器的物联网系统,以缓解用户终端计算能力不足导致实时性差的问题.在URFD数据集和自建数据集上进行大量实验的结果表明,该算法的检测准确率分别为99.0%和98.5%,该算法相对于传统跌倒检测算法具有更高的准确性和更好的普适性.     

增强一致性生成对抗网络在壁画修复上的应用

针对古代壁画由于历史风化出现不同程度起甲、脱落等问题,提出一种增强一致性生成对抗网络的算法修补壁画缺失区域.该算法以生成对抗网络为框架,首先在卷积层提取深层的图像特征信息,经过反卷积将特征映射到原图像大小的图像空间,并输出修复的图像;然后在判别网络中使用全局判别网络和局部判别网络,增强已修复壁画图像的在整体和补全区域表现的一致性;最后在生成网络中引入空洞卷积增大卷积核感受野,增加网络层数并加入残差模块来获取更丰富的图像特征,卷积层使用批标准化加快建模周期等在细节方面对网络进一步优化,判别网络中也增加了网络的层数,使得判别模型具有了更好的泛化能力.采用的自制数据集进行实验,与现有几种壁画修复算法对比的结果表明,该算法的PSNR值平均提高2～5 dB, SSIM值增加0.02～0.07,较好地完成了在纹理结构强、缺失区域较大的壁画图像上的修复,可应用于古代壁画数字修复工作.     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.     

复杂背景下全景视频运动小目标检测算法

为解决复杂背景下全景视频中运动小目标检测精度低的问题,提出一种基于复杂背景下全景视频运动小目标检测算法.首先,为降低复杂背景信息的干扰,提高目标检测的精度,采用快速鲁棒性主成分分析(Fast RPCA)算法将全景视频图像的前景背景信息分离,并提取出前景信息作为有效的图像特征;然后,改进更快的基于区域的卷积神经网络(Faster R-CNN)中的区域生成网络(RPN)的候选框尺度大小,使之适应全景图像中的目标尺寸,再对前景特征图进行训练;最后,通过RPN网络和Fast R-CNN网络共享卷积层输出检测模型,实现对全景视频图像中小目标的精准检测.实验结果表明,所提出算法可以有效抑制复杂的背景信息对目标检测精度的影响,并对全景视频图像中的运动小目标具有较高的检测精度.     

融合可变形卷积网络的鱼眼图像目标检测

环视鱼眼图像具有目标形变大和图像失真的缺点,导致传统网络结构在对鱼眼图像进行目标检测时效果不佳。为解决环视鱼眼图像中由于目标几何畸变而导致的目标检测难度大的问题,提出一种基于可变形卷积网络的鱼眼图像目标检测方法。将Cascade_RCNN中固定的卷积层和池化层分别替换为可变形卷积层和可变形池化层,使用Resnet50网络提取候选区域以获得检测框,级联具有不同IoU阈值的检测网络进行检测框抑制。在公开鱼眼图像数据集SFU_VOC_360和本文所采集的真实道路场景鱼眼图像数据集上进行实验,结果表明,该方法在鱼眼图像目标检测中具有有效性,目标检测准确率高于Cascade_RCNN网络。     

基于双流网络融合与时空卷积的人体行为识别

针对视频中存在噪音,无法更好地获取特征信息,造成动作识别不精准的问题.提出了一种基于时空卷积神经网络的人体行为识别网络.将长时段视频进行分段处理,分别把RGB图片和计算出的光流图输入到两个卷积神经网络(CNN)中,使用权重相加的融合算法将提取的时域特征和空域特征融合成时空特征.形成的中层语义信息输入到R(2+1)D的卷积中,利用ResNet提高网络性能,最后在softmax层进行行行为识别.在UCF-101和HMDB-51数据集上进行实验,获得了92.1％和66.1％的准确率.实验表明,提出的双流融合与时空卷积网络模型有助于视频行为识别的准确率提高.     

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络（CNN）模型对长时段复杂视频中行为识别率低的问题，提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段，对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像；然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取，再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征；最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题，分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%，比原始的双通道模型提高了3.8个百分点；同时在HMDB51数据集上的行为识别准确率也比原模型提高，达到61.39%，这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。     

结合自适应融合网络与哈希的图像检索算法

卷积神经网络因其对图像识别准确率高而在图像检索领域备受青睐,但处理大规模数据集时,基于卷积神经网络提取的深度特征维度高,容易引发"维度灾难".针对图像检索中深度特征维度高的问题,提出一种基于自适应融合网络特征提取与哈希特征降维的图像检索算法.由于传统哈希处理高维特征复杂度高,因此本文在卷积神经网络中加入自适应融合模块对特征进行重新整合,增强特征表征能力的同时降低特征维度;然后应用稀疏化优化算法对深度特征进行第2次降维,并通过映射获得精简的哈希码;最后,实验以Inception网络作为基础模型,在数据集CIFAR-10和ImageNet上进行了丰富的实验.实验结果表明,该算法能有效提高图像检索效率.     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

面向视频语义分析的局部敏感的可鉴别稀疏表示

视频语义分析已经成为人们研究的热点。在传统稀疏表示方法中,相似视频特征未必能产生相近稀疏表示结果。在基于稀疏表示的视频语义分析中,假定相似的视频数据样本的稀疏表示也相似,即两个相似视频特征的稀疏系数之间的距离较小。为了提高视频语义分析的准确性,基于该假设提出一种面向视频语义分析的局部敏感的可鉴别稀疏表示方法。该方法在局部敏感稀疏表示中引入基于稀疏系数的鉴别损失函数,优化构建稀疏表示的字典,使稀疏表示特征满足类内离散度小、类间离散度大的Fisher准则,并建立可鉴别稀疏模型。为验证所提方法的有效性,在相关视频数据库中将其与多种算法进行对比,实验结果表明,该方法显著地提高了视频特征稀疏表示的鉴别性,有效地提高了视频语义分析的准确性。     

基于光流法的卫星视频交通流参数提取研究

抽样分辨率达1米的高清卫星视频已经能够实现对地面较小的运动目标的实时监控。针对卫星视频中运动车辆目标仅显示为一个或几个像素点的特点,提出了一种基于光流法的卫星视频交通流参数提取的思路与方法。该方法利用卫星视频中车辆目标为像素点的特点,结合Shi-Tomasi角点检测方法实现车辆检测及车辆计数;在车辆检测的基础上利用光流法得到的连续视频帧中角点的位置信息进行双向车辆平均车速的计算,并对实验结果进行了对比分析。该文是基于卫星视频中小微运动车辆目标进行交通流参数提取的一次有益尝试。     

基于局部注意的快速视频目标检测方法

视频目标检测是对视频内的目标进行准确分类与定位。现有基于深度学习的视频目标检测方法通过光流传播特征,不仅存在模型参数量大的问题,而且直接将光流应用于高层特征难以建立准确的空间对应关系。提出一种轻量级的视频目标检测方法。通过设计一种特征传播模型,在不同帧的局部区域内将高层特征从关键帧传播到非关键帧,并将有限的计算资源分配给关键帧,以加快检测速度。构建动态分配关键帧模块,根据目标运动速度动态地调整关键帧选择间隔,以减少计算量并提高检测精度。在此基础上,为进一步降低最大延迟,提出异步检测模式,使得特征传播模型和关键帧选择模块协同工作。实验结果表明,该方法的检测速度和最大延迟分别为31.8 frame/s和31 ms,与基于内存增强的全局-局部聚合方法相比,其在保证检测精度的前提下,具有较快的检测速度,并且实现实时在线的视频目标检测。     

基于时空关联度的视频车祸识别算法

为了从一大段车祸视频中快速获取车祸发生时的那一小段视频,从中准确识别车祸视频中车辆碰撞的局部信息,从而尽快通知相关部门采取营救措施,避免二次事故的发生,实现快速辅助救援,提出了时空结合的车祸识别方法。通过对车祸视频进行局部特征点的提取和描述,以及对车祸视频进行局部特征时空角点检测,从而实现对车祸视频进行时空特征的提取。经特征提取后可以获得车祸视频的3DSIFT、STIP和3DHOG三种特征,对这三种特征分别进行不同组合的串联融合,融合后可以得到5种串联结果,对其串联特征进行K-MEANS聚类和KNN识别,从而实现车祸视频的识别。实验结果表明,利用时空关联的算法进行识别,能够准确找到车祸发生的片段,可以提高车祸识别精度。对比传统算法所得到的33%识别率,基于时空关联度的视频车祸识别算法可提高车祸识别精度至62%。     

公共区域监控视频数据目标特征跟踪定位方法

为了提高公共区域监控视频的目标定位检测能力,需要进行目标特征跟踪定位算法设计,提出一种基于图像超分辨率重建的公共区域监控视频数据目标特征跟踪定位方法。构建公共区域监控视频的三维图像重建模型,采用边缘层的高分辨融合方法进行公共区域监控视频图像数据的三维结构重组,提取公共区域监控视频的关键特征点,用图像退化模型进行公共区域监控视频数据目标特征检测,结合线性滤波模型使得监测输出图像满足最优匹配特征解,提高对公共区域监控视频数据目标特征跟踪能力。引入引导滤波方法进行公共区域监控视频数据的图像超分辨重建,实现对目标特征准确跟踪定位。仿真结果表明,采用该方法进行公共区域监控视频数据目标特征跟踪定位的准确性较高,图像重建能力较强,归一化均方根误差较小。     

基于深度分割模型的小目标检测

小目标检测广泛应用于视频监控等各种任务,在各领域均有着重要作用.由于待测目标尺寸小、特征弱等原因,目前的检测算法对小目标的检测性能仍值得进一步提升.现有基于设计特征的传统方法在复杂背景的应用场景下检测精度低、鲁棒性弱,基于深度学习的检测算法存在数据集难获取、小目标特征难提取等问题.面向解决低信杂比图像中小目标因面积占比小导致的特征提取难的问题,提出了一个深度分割模型用于小目标检测.为进一步提升检测性能、降低漏检率,充分应用多波段图像信息,设计了一个基于深度分割模型的多波段融合小目标检测方法.在仿真数据集上的实验结果表明,该方法有效提高了小目标检测的准确率,为小目标检测的后续研究提供了新的思路.     

多特征综合的视频拷贝检测

基于内容的视频拷贝检测是多媒体领域的一个研究热点.由于拷贝变换的多样性和综合性,单一特征难以获得很好的检测效果.提出一种多特征综合的方法来提高视频拷贝检测的效果.除了使用传统的局部和全局视觉特征外,还使用非正交二值子空间(NBS)方法来表示视频内容,并在其基础上使用归一化互相关(NCC)来提高拷贝视频内容相似度计算的效果.在此基础上,还采用多种措施对拷贝视频的判定结果进行精化.实验结果表明,该套方案对多种拷贝变换具有很强的鲁棒性,并且能够得到很好的检测精度.     

基于多目标跟踪的交通异常事件检测

针对传统异常行为自动检测方法的准确率和稳定性无法满足多变视频检测需求的问题,将最新的目标检测网络YOLOv3与目标跟踪算法相结合,通过对基于SORT多目标跟踪框架的改进,对检测目标的级联匹配采用了融合运动与外观特征的指标,以适应实际高架桥梁道路监控的情况.然后利用改进的多目标跟踪算法,对城市高架道路监控视频中的目标进行跟踪,配合相应的轨迹判别规则实现对视频中出现的行人、停车和车辆变道的交通行为异常情况的自动判别,具有较高的判别精度,可以达到实际应用目的.     

基于UNet++网络与多边输出融合策略的船舶检测模型

船舶检测与识别技术的发展对海上监视及服务工作起重要作用,目前卫星遥感图像船舶目标检测存在背景复杂、船舶尺度变化大等问题,妨碍了海上威胁事件的预测及海上工作效率的提高。提出一种融合多尺度特征信息的目标检测模型,采用UNet++网络进行目标检测提取卫星图像特征,并将全局信息和细粒度信息相融合生成具有高空间精度的中间特征图。在此基础上,使用MSOF策略融合不同语义层次的特征信息,生成最终的检测特征图,以提高船舶目标检测与识别的精度,并通过将二元交叉熵损失函数与Dice系数损失函数结合使用,降低数据集中样本不均衡对模型准确度的影响。基于空客船舶数据集的实验结果表明,该模型能够对遥感图像中的船舶目标进行精准的检测识别,其Dice系数、IOU系数评估值分别为97.3%、96.8%,优于ResNet-34、UNet++等模型。     

面向卫星在轨实时处理的遥感视频动目标提取算法

针对现有动目标检测算法应用于卫星视频存在较多伪运动误检且难以在轨实时运行,同时短程跟踪算法难以寻回丢失目标的问题,提出一种卫星在轨实时提取运动目标算法。面向运动区域设计图像分类算法以优化运动检测结果,准确筛选动目标;用短程跟踪代替逐帧检测,以降低整体算法复杂度,并设计多特征融合与时空约束的重识别机制关联短程轨迹,应对跟踪丢失;设计在轨智能实时处理系统。使用真实卫星视频数据在嵌入式仿真平台上实验,结果表明,该算法的准确性和实时性相比现有方法有明显提升。