一种用于自动驾驶场景的轻量级语义分割网络

在自动驾驶场景下,针对语义分割模型在车载硬件设备中部署时内存受限且算力不足的问题,需要设计一种较好权衡效率和精度的语义分割模型。采用单分支网络结构,设计了一个轻量级多尺度双向注意力网络。为了实现高效的特征提取,设计了一种轻量级卷积单元来构成网络的特征提取骨干。为了较好地定位和分割道路场景中尺度差异较大的物体,提出了一种多尺度双向注意力模块。它具有全局多尺度感受野,并且在沿一个方向编码通道注意力的同时保留了另一个方向的空间位置信息。基于该注意力模块,设计了跳跃注意力连接模块和特征注意力融合模块,使得输出特征兼具细节信息和语义信息。模型在Cityscapes数据集上以0.9M的参数量,取得了71.86%的平均交并比,同时在单个RTX2080Ti GPU下实现了88FPS的推理速度。实验结果表明,该模型能够实现较高的分割精度,适用于车载硬件下的部署和应用,具有一定的实用价值。     

基于YOLOPose的人体姿态估计轻量级网络

为解决人体姿态估计模型在提升预测精度时参数量和计算量增多导致模型运行效率低下的问题，在YOLOPose模型基础上设计出一种轻量级人体姿态估计网络MWE-YOLOPose。选择轻量级MobileNetV3网络重新构建骨干网络，保持特征丰富性同时加快特征提取速度；调整特征融合层通道数并添加ECA注意力机制进行跨通道交互，实现模型轻量化与准确度的平衡；引用WIOUV2损失函数降低几何因素的惩罚，增强模型的鲁棒性和泛化能力。实验结果显示，在OC＿Human数据集上，改进后模型对比原始YOLOPose模型，在保持一定准确度的情况下，模型参数量和计算量分别降低86.8%和71.2%,有效降低了模型运算复杂度。     

X射线焊缝图像缺陷实例分割算法

为了提高分割算法在焊缝缺陷检测工程中的实用性,提出轻量级焊缝缺陷评估网络MYNet。其中,轻量级的残差结构降低了模型的计算量,多层视觉融合机制FPN(feature pyramid network)提高了网络的分割能力,并行蒙版机制可以得到快速和高质量的缺陷分割蒙版;引入开源跨平台计算机视觉库OpenCV,利用像素阈值计算不同缺陷面积;引入腾讯超高性能的移动平台推理框架,加快模型在中央处理器的前向推理速度。搭建以ARM Cortex-A72架构为控制核心的数字化人工智能(artificial intelligence)评估设备,部署适用于缺陷检测的轻量级64位Linux系统,验证了焊缝缺陷评估算法的可行性。实验结果表明:本文模型能够有效定位和学习不同类型的缺陷特征;网络评估缺陷面积和位置信息的准确率为94.64%;相比于准确度较高但计算量较大的MS R-CNN网络,所提方法的准确率仅下降1.93%,但网络的参数权重仅为MS R-CNN网络的1/14,网络执行所需计算力更低。在基于ARM(advanced RISC machine)架构的低成本硬件上,轻量级的残差结构使网络前向推理速度提...     

生理结构先验引导下的虹膜精确分割算法

虹膜识别是一种即时有效、被广泛应用的生物技术,其相对于人脸识别、指纹识别拥有更高的安全性能。但虹膜识别系统整体性能在很大程度上受虹膜分割精度的影响。为了有效提高虹膜识别系统性能即虹膜分割精度,本文在分析虹膜生理结构特点的基础上,大量阅读了国内外相关领域文献并分析各种算法优缺点,创新性地提出了一种新的虹膜精确分割算法,打破了传统分割算法中虹膜与瞳孔为同心圆的假设;借鉴完全局部二值模式CLBP算法思想,融合图像灰度信息和结构信息,创新性地提出了形状敏感的检测算子,有效剔除了影响分割精度的两大因素:眼睑和睫毛的干扰。同时提出了分割流程,分为两部分:虹膜粗分割与精确分割,粗分割包括外轮廓与瞳孔剔除,精分割包括眼睑与睫毛剔除。最后在中科院自动化所公开虹膜数据集CASIA-IrisV3-Interval和CASIA-IrisV1上进行了一系列有关精度和运算效率的对比实验。采用本文所提出的分割算法,在公开的OSIRIS Version 4.1虹膜识别系统上进行实验,其准确率分别提高到了97.14%和98.28%,运算时长显著减少并分别达到了0.699 s与0.758 s。     

基于改进YOLOv3算法的布匹疵点检测

基于视觉的布匹疵点检测具有检测效率高和成本低的优势.目前基于深度学习的目标检测算法得到了广泛应用,但是布匹疵点检测具有检测小型疵点准确率低、计算量大和检测速度慢的缺陷,因此提出一种改进YOLOv3的布匹疵点检测算法.该算法使用轻量级卷积神经网络GhostNet作为YOLOv3算法的特征提取网络,加快网络的计算速度,同时...     

基于YOLOv5改进的轻量级目标检测模型

目标检测在计算机视觉中具有广泛的应用,而YOLOv5是目标检测领域中的经典模型。然而,YOLOv5的参数量较大,不适合应用于自动驾驶等领域,因此,基于YOLOv5改进了一个轻量级的目标检测模型。首先,使用ShuffleNetv2替换了原有的CSPDarknet53主干网络,从而降低了网络计算量。其次,使用轻量级增加精度的架构Stem Block。再次,在特征提取网络的末端加入了Coordinate Attention,使其更好地聚焦图像中重要信息。最后,使用二元交叉熵损失函数,突出类别互斥的差异。实验结果表明,相比于YOLOv5方法,改进的模型mAP只降低0.08,fps达到了91。因此改进的模型在大幅度降低参数和计算量的同时,取得了理想的检测精度。     

基于改进SuperPoint网络的视觉SLAM算法研究

针对传统视觉SLAM算法在视角变换和光照变化时易导致位姿估计精度低甚至跟踪失败等问题,启发于SuperPoint网络在特征提取上的强鲁棒性,提出一种基于轻量级SuperPoint网络的视觉SLAM算法(Light Weight SuperPoint network based-on visual SLAM,LWS-vSLAM)。首先,为解决SuperPoint网络编码层计算量过大引起的系统实时性下降问题,采用LWS-NET轻量化特征提取网络,该网络编码层采用轻量级注意力模型对图像特征进行降采样来减小计算量。其次,为解决在视角变换和光照变化环境下存在较多误匹配问题,利用LWS-NET网络的特征检测分类层的插值计算完成图像中优质特征点的筛选,并以优质特征点为中心进行区域内误匹配剔除。最后,将LWS-NET特征提取与匹配网络与ORB-SLAM2系统后端非线性优化、闭环修正和局部建图进行融合,设计一个完整的单目视觉LWS-vSLAM系统。在公共评测数据集TUM、KITTI中进行仿真实验,实验结果表明,算法平均每帧运行时间相较于SuperPoint缩短约30%,轨迹误差相较于ORB-SLAM2减...     

基于多级特征并联的轻量级图像语义分割

针对当前语义分割算法普遍具有网络结构复杂和计算开销巨大的问题,为了综合提高语义分割算法实时性和精确度,提出计算高效的基于多级特征并联网络（LSSN）的轻量级图像语义分割网络. 该算法综合考虑网络的参数量、运行速度和性能,能更好地应用到嵌入式设备和可移动设备上. 应用微调的深度卷积神经分类网络作为特征提取网络结构,提取网络不同深浅层语义和位置特征. 提出空洞残差增强模块和深度空洞空间金字塔模块分别处理来自特征提取基准网络的深层特征和浅层特征,并将深浅层特征按特定维度比例以并联的方式进行融合. 所提方法在PASCAL VOC 2012数据集上准确度（平均交并比）为77.13%,与当前具有高性能的语义分割算法和实时语义分割算法相比,能更好地平衡网络的实时性和精确度,具有更优的实用价值和性能效果.     

基于双教师知识蒸馏的轻量级车牌识别

针对车牌识别算法参数量大、实时性差，且在硬件水平较低的生产场景下应用效果不佳等问题，本文提出一种基于双教师知识蒸馏的方法，有效提高了轻量级网络模型的性能。设计一个特征融合模块，提取出聚合多尺度信息且更具鲁棒性的特征，使网络可以挖掘更丰富的语义信息，采用注意力机制，自适应的指导学生网络，教师知识得以更好地反哺给学生，帮助学生网络高效学习。实验结果表明，与传统的轻量级算法相比，本算法在储存资源有限及硬件水平低的生产场景中应用前景广阔。     

基于多级特征并联的轻量级图像语义分割

针对当前语义分割算法普遍具有网络结构复杂和计算开销巨大的问题,为了综合提高语义分割算法实时性和精确度,提出计算高效的基于多级特征并联网络（LSSN）的轻量级图像语义分割网络.该算法综合考虑网络的参数量、运行速度和性能,能更好地应用到嵌入式设备和可移动设备上.应用微调的深度卷积神经分类网络作为特征提取网络结构,提取网络不同深浅层语义和位置特征.提出空洞残差增强模块和深度空洞空间金字塔模块分别处理来自特征提取基准网络的深层特征和浅层特征,并将深浅层特征按特定维度比例以并联的方式进行融合.所提方法在PASCAL VOC 2012数据集上准确度（平均交并比）为77.13%,与当前具有高性能的语义分割算法和实时语义分割算法相比,能更好地平衡网络的实时性和精确度,具有更优的实用价值和性能效果.     

虹膜与眼周深度特征融合网络模型

虹膜识别虽然识别率很高,但单模态识别时存在环境、欺骗攻击等影响,并且对于远距离或移动端、较少约束等场景下,虹膜识别率会大大下降。为解决此问题,采用虹膜和眼周双模态融合识别是较好的思路。为实现精确自适应的融合识别,本文提出新颖的虹膜与眼周深度特征融合网络模型（MultipleFusionNet）。根据特征通道注意力和通道分组注意力的思想,设计出自动权值生成网络,通过网络学习自动获得虹膜与眼周的权值。权值与卷积神经网络生成的虹膜与眼周深度特征加权计算,实现两个模态的深度特征动态精确地融合,从而提高识别准确率。本文网络模型中融合部分可作为通用的深度特征融合模块使用,该模块可灵活地嵌入在任何的CNN主干网络中,轻便且易于实现。在中科院公开的远距离虹膜库图像库CASIA-Iris-Distance和近距离光照变化虹膜图像库CASIA-Iris-Lamp进行了实验验证,实验结果显示,本文的特征融合模型准确率最高为99.56%,采用余弦距离度量的EER值最低为0.0027,优于单模态方法和相关的特征融合方法。计算复杂度方面,参数量和计算量比单模型的两倍少1.5%,计算量只比基准融合方法高1%,表明该融合模型计算复杂度低,具有良好的性能。     

基于改进Mobilenet-YOLOv3的轻量级水下生物检测算法

在水下生物检测中,经典目标检测模型由于体积大、参数量多,不适用于微小型水下硬件设备,而现有轻量化模型又难以平衡检测精度和实时性. 针对这一问题,本研究提出了基于改进Mobilenet-YOLOv3的轻量级检测算法CPM-YOLOv3,该算法利用规整通道剪枝算法对Mobilenet-YOLOv3进行剪枝,并将特征提取网络中的SE (squeeze-and-excitation)模块替换成CBAM (convolutional block attention module),实现对网络模型的压缩. 同时,在不同尺寸的检测层中分别加入2个CBAM,在几乎不增加模型大小的情况下提升模型关注目标特征信息的能力. 实验结果表明,CPM-YOLOv3模型大小仅有4.86 MB,与原模型相比大小降低了94.7%,平均检测精度为87.0%,速度为5.1 ms/帧. 相较于其他网络模型,CPM-YOLOv3更适合在微小型水下设备中应用.     

虹膜识别算法的研究

虹膜识别是一种非常可靠的身份鉴别方法.在讨论虹膜图像定位、增强等预处理方法的基础上,针对现有虹膜识别算法中存在的问题,提出了虹膜有效区域选择、特征提取及编码匹配的有效方法.在虹膜图像有效区域的选择上,根据虹膜图像自身的生物特点采用一种新的分割方法,使得到的图像纹理信息更充足;在图像的特征提取方面,采用Gabor小波变换,将频率分为2个频段,不同的频段选择不同Gabor尺度参数,并选择适当的位置参数;为解决虹膜图像的旋转对虹膜识别的影响,将获得的虹膜编码进行错位匹配.实验结果表明,所提出的虹膜识别算法效果较好.     

MSAG-TransNet:肺部CT图像中新型冠状病毒感染区域的分割模型

针对现有新型冠状病毒感染区域的分割方法存在形态特征提取不充分、感染区域检测不完整以及背景混淆等问题,提出了一种肺部CT图像中新型冠状病毒感染区域的分割新模型：MSAG-TransNet模型。该模型在U型网络的基础上增加了多尺度特征抽取模块、Transformer语义增强模块和多重注意力门模块等3个新模块。首先设计了多尺度特征抽取模块来增强骨干网络的特征提取能力,通过多分支结构的深度可分离卷积,充分提取感染区域的形态特征;其次,设计了Transformer语义增强模块来捕获图像全局位置信息,整合局部形态特征;最后,设计了多重注意力门模块,将提取的特征与对应上采样过程的门信号拆分成不同分区,然后利用注意力门抑制各分区的无效特征,得到最终分割结果。该模型在两个公开的新型冠状病毒感染CT数据集上进行实验,实验结果显示：分割图像的Dice系数分别为82.03%和76.67%,精确率为77.27%和72.34%,交并比为69.53%和62.16%;与其他主流模型相比,该模型能够提取更丰富的形态特征,检测到更完整的感染区域,并且得到更精准的分割结果。该模型可以更精确的定位和量化新型冠状病毒感染区域,...     

用于图像超分辨率的轻量级残差平衡蒸馏网络

现有利用卷积神经网络的单幅图像超分辨率重建技术,普遍存在参数量大计算成本高等问题,阻碍了实际场景的应用,因此提出一种轻量级蓝图可分离残差平衡蒸馏网络(BSRBDN)。首先,引入蓝图可分离卷积并提出多尺度渐进特征蒸馏连接结构,在提取深层特征的同时减少冗余运算。其次,设计了对比度平衡注意块、大内核空间注意力块和像素融合模块,激活高频信息增强边缘细节特征。最后,设计了轻量级蓝图可分离残差平衡蒸馏网络快速精准的完成图像重建。实验结果显示网络在保持更好的性能和主观视觉效果的同时,大大降低了参数与计算量。     

基于图游走和图注意力的点云分类与分割

针对点云特征提取中远距离特征和局部几何结构信息欠缺的问题,提出了一种基于图游走和图注意力的点云分类与分割网络。首先,利用带有导向性的图游走算法,对点云全局特征补充额外的几何信息和远距离特征信息;其次,嵌入图注意力机制,使模型聚焦于点云的关键区域,提升网络的特征提取能力;最后,在初始点云中提取距离特征作为初始残差嵌入到网络中,避免网络过平滑。在ModelNet40数据集、ScanObjectNN数据集进行了点云分类实验,在ShapeNetPart数据集与Toronto-3D数据集上分别进行了点云部件分割与点云语义分割实验,实验结果表明：相较于基准网络DGCNN,分类精度分别提升了1.3百分点、5.6百分点;分割精度分别提升了1.2百分点、33.1百分点。通过在ModelNet40-C数据集上进行稳健性分析,验证了所提网络具有较强的鲁棒性。     

基于胶囊卷积网络的多视图三维重建

从深度神经网络对重建效果影响的角度,提出了基于胶囊卷积网络的多视图三维重建模型Caps-MVSNet,包括特征提取、构建代价体、代价体正则化、回归深度图和细化深度图5个阶段. 提出了FENet-T特征提取网络和3D-CapsCNN网络,并分别应用于模型的特征提取阶段和代价体正则化阶段. 其中,FENet-T利用高效的Block计数比率以及大尺度空洞卷积和分组卷积提高网络的特征提取效率. 3D-CapsCNN使用比卷积神经网络更强空间表示能力的3D胶囊网络来正则化代价体. Caps-MVSNet在DTU数据集上完成了效果测试,结果表明,与先前主流重建方法相比该模型在完整性上达到了最优结果,在准确性、整体性上均取得较大提升. 另外,与基准模型MVSNet相比,该模型在准确性、整体性和完整性上分别提高3.3%、4.9%和8.2%,参数量减少3.3%.     

轻量级车牌识别卷积网络

为了提高车牌识别的准确性,提出一种轻量级车牌识别神经网络。车牌定位阶段,构造了深度为9的卷积神经网络(Convolutional Neural Networks,CNN),首先利用图像预处理与阈值分割融合的方式对车牌进行粗定位,然后对CNN网络进行模型训练,得到网络权重,最后将车牌候选区域输入到CNN模型来实现精准定位车牌。车牌识别阶段,构造了深度为11的CNN网络,首先对准确定位的车牌进行字符分割,并对分割后的字符进行归一化处理,然后将分割后的单个字符输入到CNN模型,实现对字符的识别,最后输出字符识别结果。通过实验验证,所搭建的两个CNN网络能够有效提升车牌的检测和识别准确率。     

基于改进Mask R?CNN算法对堆叠汽车零件的实例分割方法

针对堆叠汽车零件识别检测与分割速度慢、精度低及鲁棒性差等问题,提出一种基于改进Mask R?CNN算法对堆叠汽车零件快速检测与实例分割的方法. 首先,对Mask R?CNN中的特征提取网络进行优化,将ResNet + 特征金字塔网络(Feature Pyramid Networks,FPN)替换成MobileNets + FPN作为骨干网络,有效减少网络参数并压缩模型体积,提高模型检测的速度;然后,通过在Mask R?CNN的ROI Align结构后加入空间变换网络(Spatial Transformer Networks,STN)模块,保证模型的检测精度. 试验结果表明,改进后压缩了模型的尺寸,识别检测速度提升了1倍;模型的平均精度均值(Mean Average Precision,mAP)较改进前也有所提升. 对未经训练的新样本进行检测,结果表明该模型速度上优于Mask R?CNN,且更轻量和精准,能够快速准确地实现对堆叠汽车零件检测与分割,验证了改进模型的实际可行性.     

基于M-Unet的混凝土裂缝实时分割算法

针对主流深度学习裂缝分割算法消耗大量计算资源、传统图像处理方法检测精度低、丢失裂缝特征等问题,为了实现对混凝土裂缝的实时检测和在像素级水平上分割裂缝,提出一种基于轻量级卷积神经络M-Unet的裂缝语义分割模型,首先对MobileNet＿V2轻量网络进行改进,修剪其网络结构并优化激活函数,再用改进的MobileNet＿V2替换U-Net参数量巨大的编码器部分,以实现模型的轻量化并提升裂缝的分割效果。构建包含5 160张裂缝图像的SegCracks数据集对提出方法进行验证,试验结果表明：优化后的M-Unet裂缝分割效果优于U-Net、FCN8和SegNet等主流分割网络和传统图像处理技术,获得的IoU＿Score为96.10%,F1＿Score为97.99%。与改进前UNet相比,M-Unet权重文件大小减少了7%,迭代一轮时间和预测时间分别缩短了63.3%和68.6%,IoU＿Score和F1＿Score分别提升了5.79%和3.14%,并且在不同开源数据集上的交叉验证效果良好。表明提出的网络具有精度高、鲁棒性好和泛化能力强等优点。