基于可变形卷积和数据增强的三维多目标检测

近年来,自动驾驶受到越来越多的关注,以点云为输入数据的三维目标检测在该领域中发挥着至关重要的作用。然而,点云目标的尺度差异性以及变换性等问题,导致了目标检测精度的下降。以CenterPoint网络为框架,提出了一种基于可变形卷积和数据增强的三维多目标检测优化算法,该方法提取点云特征后生成地图视角的特征图谱,在检测头网络加入可变形卷积层,并引入图像翻转方法进行数据增强,提高网络对于目标的检测能力。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在汽车、公交车以及行人等类别的检测精度上有一定程度的提升。     

基于改进R-FCN的交通标志检测

为在交通标志检测过程中同时满足精度和速度的需求,建立一种改进的基于区域全卷积网络（R-FCN）的交通标志检测模型。通过K-means聚类算法对数据集进行分析,选择合适的锚点框。对特征提取网络ResNet101进行结构简化,只使用前25层来提取特征,以缩短检测时间。在模型中引入可变形卷积和可变形位置敏感RoI池化层,以提高模型对交通标志的感应能力。模型训练过程中使用在线困难样本挖掘策略从而减少简单样本数量。在交通标志检测数据集GTSDB上的实验结果表明,该模型对交通标志位置信息较敏感,AP₅₀和AP₇₅指标分别达到97.8%和94.7%,检测时间缩至48 ms,检测精度与速度优于Faster R-CNN、R-FCN等模型。     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

基于Mask RCNN的滤袋开口检测方法

滤袋开口的检测与定位在滤袋智能生产过程中占据着至关重要的地位。但由于滤袋具有柔性的特点,常规检测方法很难有效进行,且定位精度也不能满足生产要求。本文提出一种结合可变形卷积与掩码信息的多尺度目标检测器,该检测器使用可变形卷积改进主干网络高层中的固定卷积,结合特征金字塔技术实现多尺度信息融合。然后将所得多尺度信息通过区域提议网络生成候选区域,采用改进的Soft-NMS方法进行筛选,最终送入检测头进行识别与分割。本文在滤袋图像数据集上进行了实验。结果表明,提出的算法实现了滤袋开口的准确识别与高精度定位。     

环视鱼眼图像处理深度学习研究进展

视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用。传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息。处理环视图像目前主要有两种途径：一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法。此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题。针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望。     

运动场景下改进YOLOv5小目标检测算法

针对运动场景下由于设备移动、相机散焦,导致采集到的图像模糊,图像质量低,以及目标体积小,使目标检测困难的问题,提出了一种改进YOLOv5x目标实时检测模型。采用可变形卷积网络替换部分原始YOLOv5x中传统的卷积层,增强模型在运动场景中细粒度特征提取和小目标检测能力;增加SE注意力机制,解决在卷积过程中,因丢失图像全局上下文信息,造成特征损失的问题,提高了模型在图像模糊情况下小目标的检测精度;引入一种新的边界框回归损失函数SIoU Loss,解决了预测框在回归时随意匹配的问题,提高了模型鲁棒性和泛化能力,加快网络的收敛速度。实验结果表明,相比于YOLOv5x模型,将改进后的算法应用在水下移动机器人生物检测中,模型准确率P、召回率R、各类平均精度mAP分别提升了5.90个百分点、5.85个百分点、4.38个百分点,有效增强了小目标检测模型的检测性能。     

基于卷积神经网络的遮挡目标图像检测识别技术研究

为了尽可能降低图像目标的重复识别概率、错误率,提出了利用卷积神经网络算法对图像识别信息的重复识别进行分析的实验研究。遮挡目标的数据集经过图像增强后输入给卷积层卷积,初始化得到的图像数据经过卷积层卷积后,提交至池化层进行进一步处理,提取图像特征数据,将提取的图像特征数据经过池化层处理后进行压缩,提取遮挡目标的关键特征信息。最后经过TensorFlow深度机器学习框架的实验测试,进一步证明使用注意模块后可以通过引导网络去关注被遮挡目标图像上的可视细节部分,并完善对遮挡目标图像检测进行验证研究。     

基于无锚框关键点算法的工件表面缺陷检测

针对工件表面图像中划痕缺陷尺寸比例异常、尺度变换大、背景纹理复杂等问题,提出一种基于无锚框关键点的工件表面缺陷检测算法AFKPDD。为提高尺寸比例异常的细长划痕的检测精度,采用基于RepPoints Head的检测模块,更好拟合缺陷形态并提取有效特征。为改善尺度变换和背景复杂问题,使用可变形卷积多尺度网络提取图像特征。为提高模型泛化能力,设计随机遮挡数据增强方法和多任务学习策略。自建铝制工件内壁数据集,AFKPDD算法在该数据集上AP达到88.9%,优于其它主流目标检测算法。在公开钢材表面数据集上验证了模型的泛化能力和在划痕检测上的应用价值。     

基于可变形卷积的手绘图像检索

手绘图像仅包含简单线条轮廓, 与色彩、细节信息丰富的自然图像有着截然不同的特点. 然而目前的神经网络大多针对自然图像设计, 不能适应手绘图像稀疏性的特性. 针对此问题, 本文提出一种基于可变形卷积的手绘检索方法. 首先通过Berkerly边缘检测算法将自然图转化为边缘图, 消除域差异. 然后将卷积神经网络中的部分标准卷积替换为可变形卷积, 使网络能够充分关注手绘图轮廓信息. 最后分别将手绘图与边缘图输入网络并提取全连接层特征作为特征描述子进行检索. 在基准数据集Flickr15k上的实验结果表明, 本文方法与现有方法相比能够有效提高手绘图像检索精度.     

改进YOLOv5网络的鱼眼图像目标检测算法

针对目标检测算法应用在鱼眼图像数据集上检测精准率低、算法实时性差等问题,提出了在化工场景下利用改进网络YOLOv5进行鱼眼图像中的目标检测算法。由于无公开化工场景鱼眼图像数据集,提出了利用不同类型图像间像素点的坐标关系,将数据集转换为同鱼眼图像具有相同畸变效果的图像。为消除鱼眼图像中有效区域外的冗余信息,将线扫描算法应用到YOLOv5s数据预处理阶段。为在缩减模型的同时保证算法的检测精准率,提出了采用注意力机制scSE和空洞卷积来改进轻量级网络ShuffleNetV2,并利用改进后的轻量级网络代替原YOLOv5s中主特征提取网络。实验结果表明,在实验设置相同的条件下,改进后的算法在模型从27.4 MB缩减到14.2 MB的情况下,检测精准率从97.86%提高到98.46%。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

基于注意力机制和可变形卷积的金属表面细微不规则损伤的图像识别模型

对金属表面细微损伤的检测,传统的目标识别算法泛化能力较弱,而使用深度卷积神经网络的通用检测算法容易丢失小目标特征,其使用的传统正方形结构卷积不适用于处理长条状等不规则损伤。针对以上问题,提出了一种基于注意力机制和可变形卷积的级联神经网络目标检测模型ADC-Mask R-CNN。在ResNet101主干网络中嵌入通道域注意力与空间域注意力,以增强对小损伤目标的检测效果;采用可变形卷积与可变形感兴趣区域池化技术,提升了对不规则损伤的检测效果;通过级联网络实现了检测结果的进一步优化。在金属表面损伤数据集上的对比实验结果表明,ADC-Mask R-CNN模型可以提高金属表面细微不规则损伤的检测性能。     

融入混合注意力的可变形空洞卷积 近岸SAR小舰船检测

目的 在近岸合成孔径雷达(synthetic aperture radar,SAR)图像舰船检测中,由于陆地建筑及岛屿等复杂背景的影响,小型舰船与周边相似建筑及岛屿容易混淆。现有方法通常使用固定大小的方形卷积核提取图像特征。但是小型舰船在图像中占比较小,且呈长条形倾斜分布。固定大小的方形卷积核引入了过多背景信息,对分类造成干扰。为此,本文针对SAR图像舰船目标提出一种基于可变形空洞卷积的骨干网络。方法 首先用可变形空洞卷积核代替传统卷积核,使提取特征位置更贴合目标形状,强化对舰船目标本身区域和边缘特征的提取能力,减少背景信息提取。然后提出3通道混合注意力机制来加强局部细节信息提取,突出小型舰船与暗礁、岛屿等的差异性,提高模型细分类效果。结果 在SAR图像舰船数据集HRSID(high-resolution SAR images dataset)上的实验结果表明,本文方法应用在Cascade-RCNN(cascade region convolutional neural network)、YOLOv4(you only look once v4)和BorderDet(border detection)3种检测模型上,与原模型相比,对小型舰船的检测精度分别提高了3.5%、2.6%和2.9%,总体精度达到89.9%。在SSDD(SAR ship detection dataset)数据集上的总体精度达到95.9%,优于现有方法。结论 本文通过改进骨干网络,使模型能够改变卷积核形状和大小,集中获取目标信息,抑制背景信息干扰,有效降低了SAR图像近岸复杂背景下小型舰船的误检漏检情况。     

特征平衡的无人机航拍图像目标检测算法

无人机航拍图像目标较小、图像视角变化大,导致目标检测效果不佳。针对此问题,设计了一种适用于无人机小目标检测的网络。该网络中的可变形卷积模块可以提高多视角目标的特征提取能力,以解决航拍图像目标视角变化剧烈致使目标特征难以提取的问题;特征平衡金字塔模块可以增强网络中底层小目标特征,以解决航拍图像中的小目标因特征易丢失而造成其检测效果差的问题;同时利用像素重组构建底层大尺度特征以解决特征平衡金字塔模块的底层特征卷积运算量大的问题;交叉自注意力机制获取目标上下文信息,改善严苛条件下的漏检错检问题。公开数据集上的仿真结果表明,在保证实时检测的情况下所提算法的平均准确度优于主流检测算法。     

结合可变形卷积与双边网格的立体匹配网络

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域。在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题。提出将可变形卷积与双边网格相结合的立体匹配网络。通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能。利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图。实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8%,在KITTI2012数据集中3px的非遮挡区域误差率为1.81%,能准确预测目标边缘及小区域处的视差。     

可变形NTS-Net的螺栓属性多标签分类

目的 螺栓是确保输电线路安全牢靠的基石,螺栓缺销、松动和锈蚀等缺陷是造成输电线路损坏甚至重大事故的重要原因之一。本文针对螺栓缺陷存在视觉不可分的问题,提出了一种改进NTS-Net（navigator-teacher-scrutinizer network）的螺栓属性多标签分类方法。方法 为了增强模型对不规则轮廓的处理能力,采用可变形卷积的ResNet-50网络作为特征提取网络从原图中提取全局特征。利用NTS-Net学习得到图像信息量最大的判别性局部区域。为了考虑不同局部特征对不同属性标签的不同影响,在局部特征与全局特征融合时引入通道注意力机制,提取特征的通道权重,获取关键通道特征以改善多标签分类效果。结果 实验结果表明,本文在螺栓多属性分类数据集上的平均分类精确率为84.5%,比采用传统的多标签分类精确率提升了10%~20%。结论 本文通过可变形卷积提升网络的特征提取能力以及引入通道注意力机制实现了对NTS-Net提供的局部特征的高效利用,为解决螺栓多属性分类中存在的问题提供了一种新的思路。     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。