基于深度学习的短视频中的物体检测与内容推荐系统研究

近年来短视频发展迅猛,短视频广告投放具有良好的市场前景,但是以往长视频的贴片广告投放方式不适合短视频。本文依据高相关、低打扰、短而精的准则,提出一种基于深度学习的视频物体检测与内容推荐系统方案。根据短视频来源、网络环境等不同,本文介绍2种实现模式：云端模式和移动终端模式。云端模式由服务器、内容分发网络（Content Delivery Network, CDN）和终端组成,服务器可预先对CDN短视频进行物体检测和识别,将短视频与对应广告内容匹配,并在移动端播放。移动终端模式主要处理本地视频,在移动端有限的资源上完成短视频的物体检测和内容推荐。在算法上,移动终端模式下该系统采用深度学习轻量级模型MobileNet以提高检测速度和准确率,降低内存。在实现上,通过联合编译Java和C++代码提高算法运行效率,通过反馈系统减小物体类别数量,提高实时性。     

Identification of Key Links in Electric Power Operation Based-Spatiotemporal Mixing Convolution Neural Network

As the scale of the power system continues to expand, the environment for power operations becomes more and more complex. Existing risk management and control methods for power operations can only set the same risk detection standard and conduct the risk detection for any scenario indiscriminately. Therefore, more reliable and accurate security control methods are urgently needed. In order to improve the accuracy and reliability of the operation risk management and control method, this paper proposes a method for identifying the key links in the whole process of electric power operation based on the spatiotemporal hybrid convolutional neural network. To provide early warning and control of targeted risks, first, the video stream is framed adaptively according to the pixel changes in the video stream. Then, the optimized MobileNet is used to extract the feature map of the video stream, which contains both time-series and static spatial scene information. The feature maps are combined and non-linearly mapped to realize the identification of dynamic operating scenes. Finally, training samples and test samples are produced by using the whole process image of a power company in Xinjiang as a case study, and the proposed algorithm is compared with the unimproved MobileNet. The experimental results demonstrated that the method proposed in this paper can accurately identify the type and start and end time of each operation link in the whole process of electric power operation, and has good real-time performance. The average accuracy of the algorithm can reach 87.8%, and the frame rate is 61 frames/s, which is of great significance for improving the reliability and accuracy of security control methods.     

迁移学习特征提取的rs-fMRI早期轻度认知障碍分类

早期轻度认知障碍(early mild cognitive impairment, EMCI)是阿尔兹海默症(Alzheimer’s disease, AD)发生前的必经阶段,EMCI的准确诊断对AD早期预防和治疗都具有积极作用。通过静息态功能性磁共振成像(rest-state functional magnetic resonance imaging,rs-fMRI)来诊断EMCI的深度学习方法性能主要依赖如何提取特征值,而传统提取方法存在特征信息易损失和训练网络时间过长等问题。针对该问题,本文采用迁移学习的特征提取方法来对EMCI分类,首先从rs-fMRI中提取兴趣区(region of interest, ROI)时间序列,以此完成源数据的降维,然后利用MobileNet迁移网络从ROI中提取瓶颈特征,最后将该特征输入到设计的分类顶层网络以得到最后分类结果。在实验中,采用阿尔茨海默病神经影像学数据库(Alzheimer’s disease neuroimaging initiative,ADNI)的数据进行测试,实验结果表明,本文的方法比传统方法的分类精度提高了约10%,而分类时间大约只有传统方法的25%。     

基于深度学习的智能爆破矿岩块度自动分析系统

在露天开采领域,自动、准确地获取爆堆矿岩块度信息是优化爆破设计的关键。针对目前块度分析系统存在无法自动采集和自动批量处理图像的问题,提出一种基于深度学习的矿岩块度自动分析系统,该系统主要由基于MobileNet分类模型的自动采集子系统和基于U-Net语义分割模型的自动分析子系统组成。系统自动连续采集旋回破碎站的电动轮卸矿图像,通过4G网络上传云平台进行块度信息自动分析,分别对分类模型和分割模型进行定量、定性评估,其中分类模型在测试集上的精度达到98.08%,矿石分割模型的矿石类别IoU达到78.43%。将系统部署到某矿露天采区旋回站,通过一年多的工业生产实践,结果表明,本系统达到了设计要求,实现从采集到分析、信息展示全流程的自动化、无人化、智能化,可以进一步为智能爆破提供数据支持。     

基于树莓派的智能分类垃圾投放系统

基于树莓派设计了一种新型智能分类垃圾投放系统.采用MobileNet V2算法并进行迁移学习获得最终分类模型.为解决数据集类别不均衡问题,采用先细分后粗分两级分类方法以获得高分类正确率.以树莓派作为图像采集及分类处理器,用单片机控制相关机电部分工作,最终实现垃圾的智能检测及投放.实验结果表明,该投放系统进行垃圾分类达到...     

基于改进MTCNN的多尺度安全帽识别

针对现有安全帽检测方法对多重叠目标和小目标漏检率较高的问题,提出了一种基于改进MTCNN(multi-task cascaded convolutional neural network)的多尺度安全帽识别方法.首先,删除MTCNN中针对人脸识别的landmark部分以简化网络结构;其次,用普通卷积层替换最大池化层以构成全卷积网络,提升网络检测精度;然后引入MobileNet轻量化网络结构减少计算量;最后,适当调整网络卷积核个数和全连接层神经元个数使模型更适用于不同尺寸的安全帽识别.实验结果表明,与原MTCNN相比,该算法的精确度和召回率分别提高了3.22％和6.73％,就小尺寸安全帽识别而言,F1值提高了8.13％;在无GPU环境下的平均检测速度为29.62 fps,兼顾了多尺度安全帽识别的准确率与实时性.     

一种基于改进的MobileNetV2网络语义分割算法

基于金字塔卷积神经网络的语义分割算法准确率很高,但是其计算资源消耗巨大、算法执行时间长、无法满足实时性要求.为了解决这个问题,本文做出了以下改进：（1）用MobileNet替换原网络的结构,减少了网络运算时间和内存开销;（2）引入编码器-解码器结构提高输出图像的分辨率,进一步细化分割结果;（3）针对高分辨率图像推断时间过长的问题,本文设计了多级图像输入方法,降低了网络推断高分辨率图像所消耗的时间.本文在VOC 2012数据集和Cityscapes数据集上进行了测试,并与FCN、SegNet、DeepLab、PSPNet以及DFN等语义分割模型对比.实验结果表明,本文设计的语义分割算法在VOC 2012数据集上达到了76.1%的mIoU,在Cityscapes数据集上达到了74.1%的mIoU,略低于传统语义分割算法;处理一张分辨率为1024×512的图片需要18ms,少于传统语义分割算法,满足了实时性要求,达到了准确率与计算资源消耗之间的平衡.     

基于轻量级迁移学习的无人机航拍视频图像天气场景分类

针对传统航拍视频图像CNN模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题, 构建了晴天、雨天、雪天、雾天4类面向多场景的无人机航拍天气图像数据集, 并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型. 该模型采用迁移学习的方法, 在ImageNet数据集上训练好两种轻量级CNN, 并设计3个轻量级CNN分支进行特征提取. 特征提取首先采用ECANet注意力机制改进的EfficientNet-b0作为主分支提取整幅图像特征, 并使用两个MobileNetv2分支分别对天空和非天空局部独有的深层特征进行提取. 其次, 通过Concatenate将这3个区域进行特征融合. 最后, 使用Softmax层对4类天气场景实现分类. 实验结果表明, 该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了97.3%, 有着较好的分类效果.     

基于FPGA加速的低功耗的MobileNetV2网络识别系统

近年来,卷积神经网络由于其出色的性能被广泛应用在各个领域,如图像识别、语音识别与翻译和自动驾驶等;但是传统卷积神经网络（Convolutional Neural Network,CNN）存在参数多,计算量大,部署在CPU与GPU上推理速度慢、功耗大的问题。针对上述问题,采用量化感知训练（Quantization Aware Training,QAT）的方式在保证图像分类准确率的前提下,将网络参数总量压缩为原网络的1/4;将网络权重全部部署在FPGA的片内资源上,克服了片外存储带宽的限制,减少了访问片外存储资源带来的功耗;在MobileNetV2网络的层内以及相邻的点卷积层之间提出一种协同配合的流水线结构,极大的提高了网络的实时性;提出一种存储器与数据读取的优化策略,根据并行度调整数据的存储排列方式及读取顺序,进一步节约了片内BRAM资源。最终在Xilinx的Virtex-7 VC707开发板上实现了一套性能优、功耗小的轻量级卷积神经网络MobileNetV2识别系统,200HZ时钟下达到了170.06 GOP/s的吞吐量,功耗仅为6.13W,能耗比达到了27.74 GOP/s/W,是CPU的92倍,GPU的25倍,性能较其他实现有明显的优势。     

基于改进MobileNet网络的人脸表情识别

针对轻量级卷积神经网络MobileNet应用于人脸表情识别实时性较差、最小输入尺寸较大、准确率不高等问题,提出一种改进的MobileNet网络模型——M-MobileNet(Modified MobileNet)。M-MobileNet具有比原网络更好的轻量级特性。该网络模型基于一种改进的深度可分离卷积层,不仅具有MobileNet模型中深度可分离卷积减少卷积计算量的特点,还解决了在深度卷积层后可能会导致信息丢失的问题。在分类器选择上,M-MobileNet使用线性支持向量机(SVM)进行人脸表情分类,参数量较MobileNet网络大大减少。在CK+、KDEF数据集及移动端上的实验证明,改进后的MobileNet网络模型具有更好的识别性能。