基于显微视觉的微小型零件边缘检测技术研究

针对显微视场下微小型零件边缘检测精度要求高的问题,设计了一套微小型零件实时检测系统,给出了系统总体设计,完成了图像实时传输和处理;提出一种微小型零件亚像素级边缘检测算法：采用非正交二次B样条小波变换得到微小型零件的像素级边缘,利用Zernike矩算法的矩不变性对像素级边缘进行亚像素级精确定位,给出了算法原理,分析了像素级和亚像素级的边缘检测结果。实验数据表明：该系统检测零件尺寸可以达到0.01~10 mm,检测精度可以达到0.01%~0.1%,可准确识别出微小型零件的边缘,将检测精度提高到亚像素级,能够满足显微视场下微小型零件检测需要。     

基于改进SSD的架空线路关键部件实时检测

针对深度学习目标检测算法移植到嵌入式平台上精度与速度不均衡的问题,提出一种基于改进SSD(single shot multi-box detector)的架空线路关键部件实时检测算法多尺度并行融合检测MSPF-DN(multi-scale parallel fusion detection network).通过不同倒残差块和不同激活函数的组合结构,设计更高效的特征提取网络,同时设计一种轻量级并行结构,应用在特征提取网络的多个尺度上.实验结果表明,该算法取得了较高的检测精度和实时的检测速度.     

实时图像的运动目标检测及跟踪

在复杂背景的运动目标实时检测算法的研究中,由于目标受到外界环境影响,目标不能正确提取。针对克服背景干扰因素提取,干净的目标像素,大多数背景建模与背景更新算法计算复杂,难以满足视频监控的实时要求。为解决上述问题,提出一种根据像素特征的背景差法,将目标的边缘特征融入减背景算法,通过对离散的目标边缘梯度像素进行网格密度聚类法实现目标像素的提取,采用改进的均值漂移跟踪算法,在DM642平台上实现目标检测与跟踪。实验结果表明,改进的算法可以有效的克服光线变化、背景抖动、噪声等问题,实时检测、跟踪多个目标,并能解决目标遮挡问题。     

煤矿带式输送机异物检测

针对现有基于深度学习的带式输送机异物检测方法存在检测速度慢的问题,提出了一种改进YOLOv3模型,并将其应用于煤矿带式输送机异物检测。该模型以轻量化网络DarkNet22-DS作为主干特征提取网络,DarkNet22-DS利用深度可分离卷积替换标准卷积,大幅减少了网络参数,并通过复合残差块提高了特征利用效率;通过引入加权双向特征金字塔网络及双尺度输出来改进特征融合网络,提升了模型对大块异物的检测效率;采用完全交并比损失函数作为目标框回归损失函数,充分利用目标框信息间的相关性,提高了模型的收敛速度和检测精度。将改进YOLOv3模型部署在嵌入式平台Jetson Xavier NX上进行煤矿带式输送机异物检测实验,结果表明,相较于YOLOv3模型,改进YOLOv3模型权重文件大小降低了91.4%,大幅减少了模型参数,检测速度提高了16倍,达30.7帧/s,满足煤矿带式输送机异物实时检测需求。     

基于YOLOv5的电力线和杆塔实时检测算法研究

针对当前电力线路检测中存在深度学习网络参数量大、计算复杂度高等问题;在YOLOv5的基础上提出一种电力线和杆塔的实时检测算法;通过减少Bottleneck数量来简化特征提取层网络结构,使用深度可分离卷积技术实现模型计算量的降低;分析电力线目标框筛选机制,改进(Non-Maximum Suppression)NMS算法,提升模型目标检测精度;实验结果表明,对Bottleneck的改进在识别精度有所提高的情况下能有效降低模型的参数量,模型检测准确率和召回率分别达到94%与95%,体积压缩了20.7%,在Jetson Nano嵌入式平台上检测速度达到17.2 fps,对两类电力线路目标检测达到较高的识别率和实时性,对无人机电力巡检导航有较好的参考价值。     

结合DM8168的实时运动目标检测系统设计

结合DM8168多核多通道的特点,设计了一个实时运动目标检测系统,能够实现视频数据的采集、实时运动检测、编解码以及传输等功能。采用Vi Be的目标检测算法,并利用中值滤波进行改进,解决了背景中容易出现Ghost区的问题,提高了运动目标识别能力。最后采用像素扫描标记法实现了目标跟踪。实验结果表明,所提出的方法能在达芬奇平台上实现实时鲁棒的运动目标检测和跟踪。     

轻量化目标检测算法研究及应用

基于卷积神经网络的目标检测算法在追求较高精度的同时,忽略了检测速度,使得算法难以在有限算力的情况下实现实时检测。在YOLO目标检测算法的基础上,采用一系列轻量化的方法,运用Mobilenetv1网络替换Darknet53基础网络,将YOLO head部分3×3标准卷积替换为深度可分离卷积,根据灵敏度对卷积层滤波器进行排序和修剪,并在嵌入式GPU TX2平台上进行C++推理部署。在VOC数据集上的测试结果表明,改进算法在精度仅下降0.75个百分点的前提下实现了2.4倍加速,模型占用内存仅为原来的21.5%。     

基于YOLOv3的嵌入式实时视频目标检测算法

深度神经网络在目标检测领域具有优异的检测性能,但其结构复杂、计算量大,难以在嵌入式设备上进行高性能的实时目标检测。针对该问题,提出一种基于YOLOv3的目标检测算法。采用半精度推理策略提高YOLO算法的推理速度,并通过视频运动自适应推理策略充分利用前后帧视频之间目标的关联性,降低深度学习算法的运行频率,进一步提高目标检测速度。在ILSVRC数据集上的实验结果表明,该算法可以在NVIDIA TX2嵌入式平台上实现28 frame/s的视频目标检测,且检测精度与原始的YOLOv3算法相当。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法。设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小。使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情况下提取表达性更强的深度特征,从而完成目标跟踪任务并提高模型的跟踪精度。在GOT-10K、OTB100和VOT2016基准上对算法性能进行测试,结果表明,该算法能够将模型大小降为3.8×10⁶,且速度与精度均优于SiamFC、KCF和DAT等跟踪算法。     

一种改进的YOLOv3嵌入式实时车辆检测算法

受制于嵌入式平台的性能和资源制约，基于深度学习的车辆检测算法在部署时面临网络参数量过大、模型复杂、移植困难等问题。提出一种基于MobileNetv3网络的YOLOv3改进目标检测算法，使用轻量级MobileNetv3网络替换传统主干特征提取网络Darknet53,修改FPN特征金字塔为FPN+PAN结构，同时引入注意力机制以提高算法的检测精度。在计算机平台和瑞芯微RV1126嵌入式平台上的实验结果表明，改进后的YOLOv3算法模型减小50%,检测精度提升0.85%,推理时间缩短50%。     

基于Darknet网络和YOLOv3算法的船舶跟踪识别

针对我国沿海与内陆水域区域视频监控处理存在实际利用率低、误差率大、无识别能力、需人工参与等问题，提出基于Darknet网络模型结合YOLOv3算法的船舶跟踪识别方法实现船舶的跟踪并实时检测识别船舶类型，解决了重要监测水域船舶跟踪与识别问题。该方法提出的Darknet网络引入了残差网络的思想，采用跨层跳跃连接方式以增加网络深度，构建船舶深度特征矩阵提取高级船舶特征进行组合学习，得到船舶特征图。在此基础上，引入YOLOv3算法实现基于图像的全局信息进行目标预测，将目标区域预测和目标类别预测整合于单个神经网络模型中。加入惩罚机制来提高帧序列间的船舶特征差异。通过逻辑回归层作二分类预测，实现在准确率较高的情况下快速进行目标跟踪与识别。实验结果表明，提出的算法在30 frame/s的情况下，平均识别精度达到89.5%，与传统以及深度学习算法相比，不仅具有更好的实时性、准确性，对各种环境变化具有较好的鲁棒性，而且可以识别多种船舶的类型及其重要部位。     

基于多Agent协同跟踪调度技术研究

为了减少时效性要求较高的动态目标跟踪的调度时间,提出了一种基于多Agent的自适应协同跟踪平台选择算法。首先,提出Agent模型的应用;然后,以最小化调度时间和跟踪误差为目标建立适应度函数,采用合同网结合二值粒子群优化的方法,选出针对特定目标的最佳跟踪平台组合。仿真结果表明,与现有的几个算法相比,该方法有效减少了调度时间,提高了跟踪精度,适用于实时性高的高速运动目标跟踪。     

基于改进YOLOv5m的弱小目标识别方法

针对空对地观测弱小目标识别与跟踪技术需求,提出了一种改进型YOLOv5m网络的多目标识别检测方法,以提升对所占像素个数小于10*10弱小目标的识别能力;分析了网络结构输入端Mosaic数据增强、Anchor计算、Focus模块及SPP模块对弱小目标的影响;在深度学习网络Prediction层引入距离交并比非极大值抑制（DIoU-NMS）代替传统非极大值抑制（NMS）,引入距离交并比损失函数（DIoU_Loss）代替广义化交并比损失函数（GIoU_Loss),加快边界框回归速率,提高定位精度,消除重叠检测,并在网络中引入4*4以上像素的目标识别层,提升对遮挡重叠弱小目标识别的准确率;实验结果表明,改进的深度学习网络算法与经典的YOLOv5m网络相比,目标识别的均值平均精度mAP指标达到89.7%,对比原网络提高了4.1%,实现了对图像像素个数小于10*10的弱小目标高精度识别,有效提升了深度学习网络对弱小目标的适应性和应用价值。     

基于改进TLD算法的无人机自主精准降落

四旋翼无人机（Unmanned Aerial Vehicle,UAV）在航拍、测绘、环境监测、快递等航空领域的广泛应用,对四旋翼无人机的可用性和可靠性提出了更高的要求,而其实现自主精准降落的功能是必不可少的。对目标进行快速鲁棒性跟踪是实现降落的重要基础,TLD（Tracking Learning Detector）算法为这一问题提供了一种有效的解决办法,虽然许多学者对其进行了研究并对传统的TLD算法进行了改进,但算法的跟踪精度及速度仍然难以满足无人机的降落要求。提出了一种基于TLD框架的目标跟踪算法来实现无人机与特定降落目标之间的相对定位。该算法在TLD框架下,提出一种基于目标形状特征自主确定降落目标的算法,提高了降落流程的自主性;用核相关滤波器（Kernelized Correlation Filter,KCF） 实现了TLD框架中的跟踪器,提高了算法的实时性、精准度及鲁棒性;同时在降落过程中采用一种基于方向梯度直方图特征（Histogram of Gradient,HOG）和支持向量机（Support Vector Machine,SVM） 的目标识别方法,以实现目标检测自矫正,保证长时间准确跟踪目标。在七类模拟无人机进行降落的视频集下验证了该算法,与其他三种跟踪算法进行对比,并进行实际降落测试。测试结果表明,该算法的鲁棒性和精准度均优于其他算法,处理速度可达到31.47?f/s,故而在TLD框架下采用核相关滤波器作为跟踪器,对跟踪及检测结果进行有效融合并提高算法实时性的同时,增加的检测自矫正环节保证了长时间跟踪的准确度,从而有效地实现了无人机全自主精准降落。     

视觉协同的违规驾驶行为分析方法

本文针对危险驾驶识别中主流行为检测算法可靠性差的问题,提出了一种快速、可靠的视觉协同分析方法。对手机、水杯、香烟等敏感物体进行目标检测,提出的LW(low weight)-Yolov4(You only look once v4)通过去除CSPDarknet53(cross stage partial Darknet53)卷积层中不重要的要素通道提升了检测速度,并L₁正则化产生稀疏权值矩阵,添加到BN(batch normalization)层的梯度中,实现优化网络模型的目的;提出姿态检测算法对驾驶员指关节关键点进行检测,经过仿射逆变换得到原始帧中的坐标;通过视觉协同分析对比敏感物品的检测框位置与驾驶员手部坐标是否重合,判定驾驶员是否出现违规驾驶行为及类别。实验结果表明,该方法在识别精度与检测速度方面均优于主流的算法,能够满足实时性和可靠性的检测要求。     

基于肤色检测和背景差分的人手定位和跟踪

针对现有运动目标检测算法在实时性和准确性上的不足,提出了一种改进的人手定位和跟踪算法。该算法的基本思路是利用肤色检测和背景差分算法相结合的方式实现人手的定位和跟踪。该算法继承了肤色检测算法环境适应性好和背景差分算法高效稳定的优点,不仅对于复杂的背景环境具有较好的适应性,而且具有较高的检测效率,能够保证检测的实时性。实验证明该算法可实现对视频流中人手的实时定位和跟踪,较之原有算法提高了识别速度和精度,降低了误识别率。     

面向视频监控的TLD改进目标跟踪算法研究

目前智能视频监控对视频目标跟踪算法的实时性、准确性和鲁棒性都提出了很高的要求,而已有算法无法完全满足应用需求。在TLD（Tracking Learning Detector）框架下,提出一种基于视觉背景提取（Visual Background extractor,ViBe）的前景分类算法,提高了TLD算法检测目标的速度;用核相关滤波器（Kernelized Correlation Filters,KCF）实现了TLD框架中的跟踪器,提高了算法的精度及鲁棒性。采用OTB-2013评估基准中针对视频监控的视频序列进行测试,并与其他4种具有代表性跟踪算法进行了对比。测试结果表明：该算法的鲁棒性和准确性均优于对比算法,处理速度可达到40帧/s;相比于标准TLD算法,跟踪距离精度提高了1.52倍,成功率提高了1.2倍;相比于KCF算法,虽然跟踪速度有所下降,但跟踪距离精度提高了2.7倍,成功率提高了2.04倍。     

基于轻量级网络的人脸检测及嵌入式实现

尽管基于卷积神经网络(CNN)的人脸检测器在精度上已经有了很大提升,但所需的计算量和模型复杂度越来越高,如何在计算能力有限的嵌入式设备上应用人脸检测模型是一个很大的挑战.针对320×240分辨率输入图像的人脸检测在嵌入式系统上的应用问题,提出了一种基于轻量级网络的低分辨率人脸检测算法.该算法使用注意力机制、结合了Dis...