基于深度学习的表面缺陷检测方法综述

近年来, 基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中. 本文对近年来基于深度学习的表面缺陷检测方法进行了梳理, 根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类, 并对各种典型方法进一步细分归类和对比分析, 总结了每种方法的优缺点和应用场景. 本文探讨了表面缺陷检测中三个关键问题, 介绍了工业表面缺陷常用数据集. 最后, 对表面缺陷检测的未来发展趋势进行了展望.     

基于深度主动学习的磁片表面缺陷检测

摘要：磁片表面缺陷的检测一直是磁片厂流水线生产中提高生产效率、降低生产成本的重要环节。当前多种机器视觉检测方法已经被应用,这些方法都是采取人工提取缺陷特征,但由于磁片表面对比度低,磨痕纹理干扰和缺陷块小且亮度变化大等难点,导致准确度不高、通用性不强;另外在实际生产中巨大数据量获取容易,而人工标注成本高;为此提出一种基于深度主动学习的磁片表面缺陷检测方法可以解决以上两个问题;该方法首先,结合边缘检测和模板匹配算法将磁片前景和背景进行分割;其次,使用Inception-Resnet-v2深度神经网络对样本进行训练,完成对缺陷图像的识别;最后,在深度学习过程中,提出一种主动学习的方法来克服数据集庞大但标注成本高的难点。实验结果表明,该方法的缺陷检测识别率达到了96.7%,并且最多能节省25%的人力标注成本。     

基于深度学习的织物缺陷在线检测算法

织物缺陷在线检测是纺织行业面临的重大难题，针对当前织物缺陷检测中存在的误检率高、漏检率高、实时性不强等问题，提出了一种基于深度学习的织物缺陷在线检测算法。首先基于GoogLeNet网络架构，并参考其他分类模型的经典算法，搭建出适用于实际生产环境的织物缺陷分类模型；其次利用质检人员标注的不同种类织物图片组建织物缺陷数据库，并用该数据库对织物缺陷分类模型进行训练；最后对高清相机在织物验布机上采集的图片进行分割，并将分割后的小图以批量的方式传入训练好的分类模型，实现对每张小图的分类，以此来检测缺陷并确定其位置。对该模型在织物缺陷数据库上进行了验证。实验结果表明：织物缺陷分类模型平均每张小图的测试时间为0.37 ms，平均测试时间比GoogLeNet减少了67%，比ResNet-50减少了93%；同时模型在测试集上的正确率达到99.99%。说明其准确率与实时性均满足实际工业需求。     

基于深度学习的磁芯表面缺陷检测研究

在产品表面缺陷智能检测过程中,存在缺陷样本收集困难、样本不平衡、目标尺寸小和难以定位等问题。针对磁芯表面缺陷检测中存在的问题进行了研究,提出了一种基于深度学习的图像增强和检测方法,首先利用结合高斯混合模型的深度卷积生成对抗网络生成磁芯缺陷图像,然后结合泊松融合方法产生增强的数据集,最后基于YOLO-v3网络,实现了磁芯表面缺陷的智能检测。实验表明,该方法能够生成质量更高、缺陷更明显的图像,检测准确度提升了5.6%。     

Faster R-CNN在工业CT图像缺陷检测中的应用

目的 传统的缺陷图像识别算法需要手工构建、选择目标的主要特征,并选取合适的分类器进行识别,局限性较大。为此研究了一种基于Faster R-CNN （faster Regions with convolutional neural networks features）的缺陷检测方法,该方法采用卷积网络自动提取目标的特征,避免了缺陷检测依赖手工设计缺陷特征的问题。方法 该方法基于卷积神经网络。首先,确定缺陷检测任务：选择工业CT （computed tomography）图像中主要存在的3种类型的缺陷：夹渣、气泡、裂纹为检测目标;其次,人工对缺陷图像采用矩形框（GT box）进行标注,生成坐标文件,并依据矩形框的长宽比选定42种类型的锚窗（anchor）;在训练之前采用同态滤波对数据集做增强处理,增强后的图片经过卷积层与池化层后获得卷积特征图,并送入区域建议网络RPN （region proposal networks）中进行初次的目标（不区分具体类别）和背景判断,同时粗略地回归目标边框;最后经过RoI （region of interest） pooling层后输出固定大小的建议框,利用分类网络对建议区域进行具体的类别判断,并精确回归目标的边框。结果 待检测数据集的图片大小在150×150到350×250之间,每张图片含有若干个不同类别的气泡、夹渣和裂纹。利用训练出来的模型对缺陷图片进行检测,可以有效识别到不同类别的缺陷目标,其中可以检测到面积最小的缺陷区域为9×9 piexl,并快速、准确地标出气泡、夹渣和裂纹的位置,检测准确率高达96%,平均每张图片的检测时间为86 ms。结论 所提出的Faster R-CNN工业CT图像缺陷检测方法,避免了传统缺陷检测需要手动选取目标特征的问题,缺陷的识别与定位过程的自动化程度更高;该方法检测效果良好,如果需要检测更多种类的缺陷,只需要对网络进行微调训练即可获得新的检测模型。本文为工业CT图像缺陷检测提供了一种更高效的方法。     

基于深度学习的工业零件缺陷检测算法研究

随着科学技术的发展,我国工业化水平也在迅速提高,工业零件质量的优劣将直接影响产品的性能,在投入使用前有必要对零件表面进行缺陷检测。笔者分析了传统零件缺陷检测方式的不足,提出一种基于深度学习的零件缺陷检测方法,在原有的BP神经网络算法中融入了基于深度学习的LLENet算法。该方法有效解决了检测效率低、检测速度慢等问题,提高了零件缺陷检测的精度。     

基于Faster R-CNN的零件表面缺陷检测算法

针对人工和传统自动化算法检测发动机零件表面缺陷中准确率和效率低下,无法满足智能制造需求问题,提出了一种基于深度学习的检测算法.以Faster R-CNN深度学习算法为算法框架,引入聚类理论来确定anchor方案,通过对比k-meansII和CURE聚类算法生成anchor对检测结果的影响,提出了基于聚类生成anchor方案的Faster R-CNN的零件表面缺陷检测算法,并引入多级ROI池化层结构,减少ROI池化过程中取整带来的偏差,实现高效并准确检测零件表面缺陷的目的.通过设计缺陷图像数据采集方案,建立了3种缺陷零件数据集,并验证了算法的性能.实验结果表明,该算法将缺陷检测的均值平均精度mAP从原算法的54.7%提高到97.9%,检测速度最快达到4.9 fps,能够满足智能制造的生产需求.     

基于U-net的道路缺陷检测

道路是现代交通运输最主要的途径之一,道路缺陷对于道路安全有着巨大威胁。因此准确检测道路缺陷对道路养护修缮具有重要意义。道路缺陷具有低连续性和低对比度的特点,现阶段多采用人工检测方法,检测效率低,人力成本高,且检测人员的安全可能会遭受威胁。随着深度学习的发展,神经网络方法被广泛应用于工程实践。U-net是具有编码器-解码器结构的端到端深度学习模型,对微小对象检测能力强,适用于道路裂缝缺陷检测。利用U-net深度学习网络对道路缺陷进行检测,能提高检测效率,无需人工干预,保证检测人员安全,降低检测的人工成本。实验结果表明,U-net网络在数据集Crack500上的效果优于FCN,Segnet等语义分割网络,在保持较高精度的情况下实现了道路缺陷检测。在此基础上对U-net网络层数进行超参数优化,确定该数据集上的最优U-net网络结构。     

基于深度学习的安卓恶意应用检测

针对传统的基于特征码的恶意应用检测技术,在应对新的恶意应用产生情况下处理速度上的不足,提出一种基于深度学习的安卓恶意应用检测方法。通过对包含应用静态信息的文件进行反编译处理,提取可表征应用是否为恶意应用的信息,经过数据预处理后生成特征信息输入矩阵,采用多层卷积神经网络进行训练,优化得到较优的参数。实验结果表明,所提方法能有效检测出恶意应用。     

基于深度学习的目标检测算法综述

深度学习目前已广泛应用到各个领域,目标检测是计算机视觉领域中的基础问题。针对传统目标检测算法存在的效率低、鲁棒性差等问题,基于深度学习的目标检测算法很好地提高了目标检测效率,成为主流趋势。论文对一些典型的基于深度学习的目标检测算法进行了综述,主要分为基于区域思想和基于回归思想两方面,对算法结构进行了分析和对比,最后对基于深度学习的目标检测算法的发展进行了展望。     

基于深度学习的纹理布匹瑕疵检测方法

布匹瑕疵检测是纺织工业中产品质量评估的关键环节, 实现快速、准确、高效的布匹瑕疵检测对于提升纺织工业的产能具有重要意义. 在实际布匹生产过程中, 布匹瑕疵在形状、大小及数量分布上存在不平衡问题, 且纹理布匹复杂的纹理信息会掩盖瑕疵的特征, 加大布匹瑕疵检测难度. 本文提出基于深度卷积神经网络的分类不平衡纹理布匹瑕疵检测方法(Detecting defects in imbalanced texture fabric based on deep convolutional neural network, ITF-DCNN), 首先建立一种基于通道叠加的ResNet50卷积神经网络模型(ResNet50+)对布匹瑕疵特征进行优化提取; 其次提出一种冗余特征过滤的特征金字塔网络(Filter-feature pyramid network, F-FPN)对特征图中的背景特征进行过滤, 增强其中瑕疵特征的语义信息; 最后构造针对瑕疵数量进行加权的MFL (Multi focal loss)损失函数, 减轻数据集不平衡对模型的影响, 降低模型对于少数类瑕疵的不敏感性. 通过实验对比, 提出的方法能有效提升布匹瑕疵检测的准确率及定位精度, 同时降低了布匹瑕疵检测的误检率和漏检率, 明显优于当前主流的布匹瑕疵检测算法.     

基于一维卷积神经网络深度学习的工业过程故障检测

针对化工过程的非线性和动态性,以TE过程为背景,应用深度学习中的一维卷积神经网络算法对TE过程进行故障检测,解决了BP神经网络算法用于故障检测时测试识别率低的问题。用训练数据集分别对BP神经网络模型和一维卷积神经网络模型进行训练,将测试数据集输入已经训练好的神经网络,最后统计出了BP神经网络模型和卷积神经网络模型对故障的识别率。仿真结果表明BP神经网络和卷积神经网络对故障的检测具有较好的效果,但BP神经网络算法收敛速度慢,很容易就陷入局部最小值,从而会导致整体的检测性能下降,而卷积神经网络构建出的一维卷积模型能很好地解决存在的问题,通过比较充分体现了卷积神经网络在故障检测方面的优越性。     

基于深度学习的桥梁裂缝检测算法研究

传统的图像处理算法不能很好地对桥梁裂缝进行检测,而经典的深度学习模型直接用于桥梁裂缝的检测,效果不甚理想.针对这些问题,本文提出了一种基于深度学习的桥梁裂缝检测算法.首先,利用滑动窗口算法将桥梁裂缝图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像,并根据对面元图像的分析,提出一种基于卷积神经网络（Convolutional neural networks,CNN）的DBCC（Deep bridge crack classify）分类模型,用于桥梁背景面元和桥梁裂缝面元的识别.然后,基于DBCC分类模型结合改进的窗口滑动算法对桥梁裂缝进行检测.最后,采用图像金字塔和感兴趣区域（Region of interest,ROI）结合的搜索策略对算法进行加速.实验结果表明：与传统算法相比,本文算法具有更好的识别效果和更强的泛化能力.     

基于深度学习的时间序列数据异常检测方法

针对类间分布不平衡的时间序列数据的异常检测问题,提出了一种基于深度卷积神经网络的检测方法.首先采用抽样法对不平衡时间序列数据进行预处理;其次,将处理后的时间序列数据转换为尺度一致、时长一致的片段;最后将数据送入具有4层隐藏层结构的卷积神经网络模型中进行异常检测.实验结果表明,所提方法弥补了现存的检测技术由于忽略数据分布的偏斜性而造成的少数类检测精度低的缺点,并通过与现有的时间序列分类方法的比较,验证了所提方法的高效性.     

基于深度学习的目标检测框架进展研究

在R-CNN框架提出后，基于深度学习的目标检测框架逐渐成为主流，可分为基于候选窗口和基于回归两类。近两年来，在Faster R-CNN、YOLO、SSD等经典的基于深度学习目标检测框架的基础上，出现了大量的优秀框架。根据优化方法对近几年提出的框架进行了梳理和总结。在PASCAL_VOC和MS COCO等主流测试集上对目标检测方法的性能及优缺点进行了对比分析。讨论了目标检测领域当前面临的困难与挑战，对可能的发展方向进行了展望。     

基于深度学习的MOOC作弊行为检测研究

快速准确地检测出MOOC学习者的作弊行为,对维护MOOC平台的发展及学习者的正常学习具有重要意义。本文研究了一种深度学习混合模型用于MOOC作弊行为的检测。该模型通过融合了卷积神经网络、双向门控循环单元以及注意力机制,大大提升了单一模型的检测性能。本文选取某MOOC平台的学习行为数据进行了实验验证,实验结果显示该模型在验证集上的精确率、召回率、AUC和误报率分别达到98.51%、81.35%、91.07%和0.016%,具有良好的应用前景。另外,本文采用了数据扩增的方法以解决MOOC作弊行为检测中存在的数据不均衡问题,实验中通过该方法进行数据平衡后,该模型在相同的验证集上的AUC提升了1.78%。     

基于球形视频机器人的管道内缺陷检测方法研究

传统的压力管道内表面缺陷检测管道运行安全十分重要,目前检测方法对待检测管道的形状结构要求较高,检测方法低效耗时费力。设计了一种球形视频管道内缺陷检测机器人,通过搭载的高分辨率立体相机拍摄视管道内部频流,编制基于深度卷积神经网络软件对视频流进行带表面缺陷图片分选,采用Fast-RCNN快速区域卷积神经网络对管道缺陷进行标记,通过该标记可实现管道内部缺陷的安全评估,实验结果表明了该检测方法的有效性。     

应用于CT图像肺结节检测的深度学习方法综述

肺癌是世界上死亡率最高的癌症，通过胸部CT影像检测肺结节对肺癌早期诊断和治疗意义重大。为了减轻放射科医生的工作量以及同时减少误诊率和漏诊率，研究人员提出了计算机辅助检测（CAD）系统辅助放射科医生检测和诊断肺结节。目前，研究人员正在尝试不同的深度学习技术，以提高计算机辅助诊断系统在基于CT图像的肺癌筛查中的性能。这项工作回顾了作为肺癌检测的CAD系统目前典型的深度学习的算法和框架，主要从数据集介绍、2D深度学习方法、3D深度学习方法、数据不平衡问题的处理、模型训练方法以及模型可解释性这六个方面进行介绍。最后，对各个方法的主要特点和算法性能进行了综合比较分析，并对如何提高结节检测性能进行了展望。