基于双流网络与多示例学习的异常事件检测

面对当前复杂场景下异常事件检测算法过度依赖帧级别标记,以及I3D模型耗时长、内存占用大等问题,设计了一种基于I3D的M-I3D模型并将其作为特征提取器,提出一种了基于深度时空特征和多示例学习的异常检测方法.所提方法将正常视频和异常视频作为包,并将视频片段作为多示例学习中的示例.利用M-I3D模型提取每个视频片段的特征,并将提取到的特征向量输入到三层全连接层中,进而自动学习一个深度异常排序模型,该模型可以预测异常视频片段的分数.此外,为了在训练过程中较好地定位异常,在排序损失函数中引入稀疏函数和约束性函数.结果 表明,与其他方法相比,所提算法在UCF-Crime数据集上具有更高的准确率和更好的实时性.     

显著性光流直方图字典表示的群体异常事件检测

在视频监控系统已被广泛应用的今天,基于监控视频的群体异常事件检测已成为保障社会安全的迫切需要,越来越受到人们的重视。该文基于这一现状,提出了一个新的群体异常事件检测方案,实现对监控视频自动高效的检测。在特征提取方面,提出了显著性光流直方图特征描述符,并利用该特征描述符构建字典;在字典优化方面,提出了基于聚类的多字典组合学习框架,将原始的大字典分为多个子字典;最后,对于测试样本,找出最适合的子字典并计算测试样本在该子字典下的重建误差,即可判断测试样本是否异常。在两个数据集上的实验表明,与其它方法相比,该文提出的方法对拥挤场景下监控视频中的群体异常事件检测取得了较好的检测性能。      

YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

基于双层孪生神经网络的区块链智能合约分类方法

当前通过深度学习方法进行区块链智能合约分类的方法越来越流行,但基于深度学习的方法往往需要大量的样本标签数据去进行有监督的模型训练,才能达到较高的分类性能。该文针对当前可用智能合约数据集存在数据类别不均衡以及标注数据量过少会导致模型训练困难,分类性能不佳的问题,提出基于双层孪生神经网络的小样本场景下的区块链智能合约分类方法：首先,通过分析智能合约数据特征,构建了可以捕获较长合约数据特征的双层孪生神经网络模型;然后,基于该模型设计了小样本场景下的智能合约训练策略和分类方法。最后,实验结果表明,该文所提方法在小样本场景下的分类性能优于目前最先进的智能合约分类方法,分类准确率达到94.7%,F1值达到94.6%,同时该方法对标签数据的需求更低,仅需同类型其他方法约20%数据量。     

基于Gist特征与CNN的场景分类方法

针对大多数场景分类方法只能学习浅层特征,忽略图像之间的相关结构信息,提出一种基于Gist特征与卷积神经网络结合的场景图像分类方法.其中Gist特征用于提取场景图像的全局特征,并将其作为深度学习模型的输入,通过逐层训练卷积神经网络,提取更高层次的特征,并用训练好的卷积神经网络进行分类.实验在O&T室外场景图像数据集和MNIST手写体数据集上考察了batchsize、卷积核对分类结果的影响,并与DBN,NN,SVM和CART作为分类器的分类结果进行比较,充分说明了本文方法的有效性.     

基于深度学习的石油污染物三维荧光光谱识别技术研究

石油油品在一定的激发光照射下可产生相当强度的三维荧光光谱，是鉴别和分析石油污染物的重要依据。由于石油油品的荧光光谱特征复杂、数据庞大，不宜直接用数学模型描述，也不宜简单依靠人工观察分析。因此，根据深度学习的卷积神经网络（CNN）理论提出了一种直接利用石油油品原始荧光数据进行CNN建模的方法，利用其强大的非线性运算能力、自适应表示学习能力，自动隐性地从训练数据中进行特征学习，实现水环境中石油污染物种类识别。通过大量的荧光实验构建了石油油品（汽油、机油、柴油）的训练和验证光谱数据集，基于Python深度学习框架Keras建立了CNN模型，并对CNN模型在光谱数据集上进行了训练、验证与测试实验，实现了被测油品的种类判别。实验结果表明：该CNN模型对3种油品的训练集与验证集三维荧光光谱的分类准确率都达到了99.76%，综合测试分类准确率达到82.65%，对单物质分类准确率为100%，验证了三维荧光技术结合深度学习算法能够实现对石油油品准确可靠的判别分类，也为进一步研究基于深度学习的水环境污染物智能识别系统提供了技术支持，为环境检测提供了一种新思路与新方法。     

一种基于深度学习的异常检测方法

针对异常检测系统检测率低,特征提取困难等问题,提出了一种基于深度特征学习的异常检测方法。该方法通过构建具有多隐层的深度神经网络模型,学习数据的特征表达,充分刻画数据的丰富内在信息,从而提高异常检测的准确率。文章实验结果表明,采用该方法可以有效地学习到数据的本质特征,并显著提高异常检测方法的检测率。     

基于改进宽度模型迁移学习的不同负载下滚动轴承状态快速分类方法

针对深度学习网络训练耗时以及不同负载下滚动轴承的源域数据和目标域数据分布差异较大的问题,该文提出一种基于改进宽度模型迁移学习的滚动轴承状态快速分类方法。该方法首先对不同负载下滚动轴承振动信号进行快速傅里叶变换,构建频域幅值序列数据集,并选取某种或某些负载数据集作为源域,其他负载数据集作为目标域;其次以循环扩展的方式建立宽度学习系统(BLS)的增强节点窗口,并在增强层引入Maxout激活函数构建改进的BLS网络,同时引入遗传算法优化网络节点结构,建立基于源域数据的预训练模型;最后将预训练模型的网络参数、特征层和增强层的权重参数迁移至目标域网络,并利用少量目标域样本微调网络建立状态分类模型。实验结果表明,所提方法平均训练时间为32.6 s,平均测试准确率为98.9%。对比其他方法,所提方法可以在更短的时间内建立分类模型并获得良好的分类准确率。     

基于轻量化分布式学习的自动调制分类方法

为了解决集中式学习存在的问题,提出了一种基于轻量化网络的分布式学习方法。分布式学习利用边缘设备进行本地训练和模型权重共享的方法训练同一个全局模型,既充分利用了各边缘设备的训练数据,又避免了边缘设备数据泄露。轻量化网络是一种由多个轻量化神经网络块堆叠而成的深度学习模型,相较于传统的深度学习模型,轻量化网络以较低的空间复杂度和时间复杂度实现较高的调制分类性能,有效地解决了分布式学习在实际部署中存在的边缘设备算力不足、存储空间有限及通信开销较高的问题。实验结果表明,基于分布式学习的自动调制信号分类技术在RadioML.2016.10A数据集的分类准确率为62.41%,相比于集中式学习,分类准确率仅降低了0.68%,训练效率提高了近5倍。实验结果也证明了在分布式学习下,部署轻量化网络可以有效降低通信开销。     

基于深度学习的远程视频监控异常图像检测

针对复杂场景下远程视频监控图像异常检测困难、传统算法功能单一(仅针对某种特定场景或某种异常图像进行检测)等问题,提出一种基于深度学习的全自动远程视频异常图像检测方法。首先采用Xavier方法对自行设计的卷积神经网络(Convolutional Neural Network,CNN)的参数进行初始化,然后将标准化后的视频差分图送入CNN的输入层,通过特征提取及下采样,最后在CNN的输出层获得远程视频异常图像检测结果。实验结果表明,该方法可以对远程视频监控中突然出现遮挡、模糊和场景切换等多种异常同时进行实时在线检测,准确率可达88.75%。     

一种基于EDDL的非侵入式负荷检测模型

针对目前非侵入式负荷检测时存在检测精确度低的问题,提出一种基于事件驱动-深度学习(EDDL)的负荷检测模型。通过零交叉检测电流数据,基于事件驱动机制从大量数据中发现关键事件;将包含关键事件的电流序列转换至图像空间,并代入基于深度学习的负荷检测模型,从而实现端对端的非侵入式负荷检测。实验结果表明,与多分类支持向量机(MSVM)、前馈神经网络(FNN)、卷积神经网络(CNN)和长短时记忆网络(LSTM)模型相比,所提EDDL模型综合性能更优,检测准确率和精确度分别为94.67%和91.76%。仿真结果验证了所提模型可基于事件驱动机制挖掘电流数据,并基于深度学习模型有效提取电流数据特征,从而实现高精确度的非侵入式电力负荷检测。该模型对非侵入式电力负荷检测研究具有一定借鉴作用。     

Acoustic Event Detection in Multichannel Audio Using Gated Recurrent Neural Networks with High‐Resolution Spectral Features

Recently, deep recurrent neural networks have achieved great success in various machine learning tasks, and have also been applied for sound event detection. The detection of temporally overlapping sound events in realistic environments is much more challenging than in monophonic detection problems. In this paper, we present an approach to improve the accuracy of polyphonic sound event detection in multichannel audio based on gated recurrent neural networks in combination with auditory spectral features. In the proposed method, human hearing perception‐based spatial and spectral‐domain noise‐reduced harmonic features are extracted from multichannel audio and used as high‐resolution spectral inputs to train gated recurrent neural networks. This provides a fast and stable convergence rate compared to long short‐term memory recurrent neural networks. Our evaluation reveals that the proposed method outperforms the conventional approaches.     

红外目标检测网络改进半监督迁移学习方法

针对红外数据集规模小,标记样本少的特点,提出了一种红外目标检测网络的半监督迁移学习方法,主要用于提高目标检测网络在小样本红外数据集上的训练效率和泛化能力,提高深度学习模型在训练样本较少的红外目标检测等场景当中的适应性。文中首先阐述了在标注样本较少时无标注样本对提高模型泛化能力、抑制过拟合方面的作用。然后提出了红外目标检测网络的半监督迁移学习流程:在大量的RGB图像数据集中训练预训练模型,后使用少量的有标注红外图像和无标注红外图像对网络进行半监督学习调优。另外,文中提出了一种特征相似度加权的伪监督损失函数,使用同一批次样本的预测结果相互作为标注,以充分利用无标注图像内相似目标的特征分布信息;为降低半监督训练的计算量,在伪监督损失函数的计算中,各目标仅将其特征向量邻域范围内的预测目标作为伪标注。实验结果表明,文中方法所训练的目标检测网络的测试准确率高于监督迁移学习所获得的网络,其在Faster R-CNN上实现了1.1%的提升,而在YOLO-v3上实现了4.8%的显著提升,验证了所提出方法的有效性。     

基于U2-Net和VGG16的天然气泄露检测

目前在深度学习领域很少以天然气泄露图像为数据进行研究,本文使用甲烷红外图像训练的卷积神经网络(VGG16)来实现泄露检测。另外,针对泄露的甲烷气体与背景图像存在相似性的问题,使用U²-Net图像分割网络代替背景建模方法来提取泄露气体区域。通过迁移VGG16网络模型结构和卷积层参数,在卷积层和激励层之间加入BN层以提高训练速度,将最后一层池化层替换为基于最大池化算法的动态自适应池化方法以提高检测精度。将改进的VGG16神经网络对分割的红外图像进行训练并与其他卷积神经网络进行对比,使用准确率,精准率,召回率和F1-score来对模型进行综合评价,其表现效果最好。与现有的检测方法进行对比,所提出的检测方法准确率更高。该检测方法能够实现高精度泄漏检测,满足天然气泄露检测准确性的要求,且模型具有较好的泛化能力和鲁棒性。     

一种基于Attention-YOLOv3的海面舰船目标检测的方法

近年来，基于深度学习的视觉检测方法在海面舰船目标检测领域中的应用愈加广泛。为了解决传统视觉检测方法检测精度不高，对小目标检测效果不好的问题，提出了一种基于Attention-YOLOv3的海面舰船目标检测方法，有效提高了对舰船目标的检测性能。在对主流的One-stage与Two-stage模型结构及特点的调研分析的基础上，利用YOLOv3的特征提取网络Darknet-53来获取图像特征，通过特征金字塔网络（FPN）网络结构融合特征提取网络中深浅层的语义信息，并添加注意力机制模块来进一步优化网络性能。将改进后的Attention-YOLOv3模型应用到海面舰船检测场景中进行验证，基于搜集到的舰船目标制作成COCO格式的数据集进行训练，使用包含海面舰船目标的图片作为测试集进行测试。实验结果表明，改进后的Attention-YOLOv3网络对比原检测网络模型，解决了小目标检测不敏感的问题，达到了更高的检测效果。     

利用改进特征金字塔模型的SAR图像多目标船舶检测

深度学习模型中的特征金字塔网络（Feature Pyramid Network,FPN）常被用作合成孔径雷达（Synthetic Aperture Radar,SAR）图像中多目标船舶的检测。针对复杂场景下多目标船舶检测问题,提出了一种基于改进锚点框的FPN模型。首先将特征金字塔模型嵌入传统的RPN（Region Proposal Network）并映射成新的特征空间用于目标检测,然后利用基于形状相似度距离（Shape Similar Distance,SSD）度量的Kmeans聚类算法优化FPN的初始锚点框,并使用SAR船舶数据集测试。实验结果表明,所提算法目标检测精确率达到98.62%,在复杂场景下与YOLO、Faster RCNN、FPN based on VGG/ResNet等模型进行对比,模型准确率提高,整体性能更好。     

基于YOLOv4的铜带表面缺陷识别研究

本文提出一种基于YOLOv4铜板带材表面缺陷检测模型,针对铜金属板带材生产过 程中产生的表面缺陷形式多样、位置随机而导致难以快速定位和识别的问题,采用大数据驱 动的深度学习策略,以铜带表面缺陷图像为训练样本,对YOLOv4目标检测模型进行训练, 实验结果表明,改进的模型识别铜带表面缺陷的全类别平均精度均值(mean average precision,mAP)为93.37%,高于原始YOLOv4模型的全类别平均精度91.46%,检测速度达到49 帧/秒,与双阶段的检测模型更快地R-CNN (faster region-based convolutional neural network,Faster R-CNN)相比,在保证检测精度的同时提升检测速度,能 够满足在线检测需要,适合完成铜带工业生产过程中缺陷检测任务。     

An efficient system for anomaly detection using deep learning classifier

In this paper, a deep learning-based anomaly detection (DLAD) system is proposed to improve the recognition problem in video processing. Our system achieves complete detection of abnormal events by involving the following significant proposed modules a Background Estimation (BE) Module, an Object Segmentation (OS) Module, a Feature Extraction (FE) Module, and an Activity Recognition (AR) Module. At first, we have presented a BE (Background Estimation) module that generated an accurate background in which two-phase model is generated to compute the background estimation. After a high-quality background is generated, the OS model is developed to extract the object from videos, and then, object tracking process is used to track the object through the overlapping detection scheme. From the tracked objects, the FE module is extracted for some useful features such as shape, wavelet, and histogram to the abnormal event detection. For the final step, the proposed AR module is classified as abnormal or normal event using the deep learning classifier. Experiments are performed on the USCD benchmark dataset of abnormal activities, and comparisons with the state-of-the-art methods validate the advantages of our algorithm. We can see that the proposed activity recognition system has outperformed by achieving better EER of 0.75 % when compared with the existing systems (20 %). Also, it shows that the proposed method achieves 85 % precision rate in the frame-level performance.     

基于流形学习的视频异常行为检测算法

随着日益突出的公共安全问题和迅速增长的视频数据流量,智能化的视频监控异常行 为检测成为计算机视觉方向的研究热点。由于监督学习下的异常行为检测训练效果易受视频 监控数据集分布不平衡影响,本文采用无监督学习方法得到具有时空间分辨率的异常行为检 测效果。提出基于多流形谱聚类的异常行为检测方法,利用图像特征点列构建时序信息特征 ,利用流形学习构建空间信息特征,最终利用谱聚类方法无监督地得到视频异常行为检测结 果。在UCSD数据集上进行实验验证,本文方法具有较好的检测性能和计算速度。