YOLOv3剪枝模型的多人姿态估计

目的 为了解决复杂环境中多人姿态估计存在的定位和识别等问题,提高多人姿态估计的准确率,减少算法存在的大量冗余参数,提高姿态估计的运行速率,提出了基于批量归一化层（batch normalization,BN）通道剪枝的多人姿态估计算法（YOLOv3 prune pose estimator,YLPPE）。方法 以目标检测算法YOLOv3（you only look once v3）和堆叠沙漏网络（stacked hourglass network,SHN）算法为基础,通过重叠度K-means算法修改YOLOv3网络锚框以更适应行人目标检测,并训练得到Trimming-YOLOv3网络;利用批量归一化层的缩放因子对Trimming-YOLOv3网络进行循环迭代式通道剪枝,设置剪枝阈值与缩放因子,实现较为有效的模型剪枝效果,训练得到Trim-Prune-YOLOv3网络;为了结合单人姿态估计网络,重定义图像尺寸为256×256像素（非正方形图像通过补零实现）;再级联4个Hourglass子网络得到堆叠沙漏网络,从而提升整体姿态估计精度。结果 利用斯坦福大学的MPⅡ数据集（MPⅡ human pose dataset）进行实验验证,本文算法对姿态估计的准确率达到了83.9%;同时,时间复杂度为O（n²）,模型参数量与未剪枝原始YOLOv3相比下降42.9%。结论 结合YOLOv3剪枝算法的多人姿态估计方法可以有效减少复杂环境对人体姿态估计的负面影响,实现复杂环境下的多人姿态估计并提高估计精度,有效减少模型冗余参数,提高算法的整体运行速率,能够实现较为准确的多人姿态估计,并具有较好的鲁棒性和泛化能力。     

基于改进RANSAC算法的单应矩阵鲁棒估计方法

单应矩阵的鲁棒性和精度直接决定了其应用效果,如何利用RANSAC算法估计出鲁棒、精确的单应矩阵,仍是一个有待研究的热点问题。针对传统RANSAC算法迭代次数多、运行时间长、单应矩阵估计精度较低的问题,在SIFT特征匹配算法的基础上,从剔除样本集中不符合图像几何特性的部分外点、快速舍弃不合理单应矩阵和迭代精炼单应矩阵等方面对RANSAC算法进行改进,提出一种基于改进RANSAC算法的单应矩阵估计方法,提高了单应矩阵估计的精度和效率。实验结果表明,该方法有效解决了传统RANSAC算法存在的问题,能够快速、精确估计单应矩阵。另外,对于不同视角和大小的图像,该方法均具有较好的鲁棒性。     

摄像机位姿的高精度快速求解

目的 针对对应点个数大于等于6的摄像机位姿估计问题,提出一种既适用于已标定也适用于未标定摄像机的时间复杂度为 的高精度快速算法。 方法 首先选取四个非共面虚拟控制点,并根据空间点和虚拟控制点的空间关系以及空间点的图像建立线性方程组,以此求解虚拟控制点的图像坐标及摄像机内参,再由POSIT算法根据虚拟控制点及其图像坐标求解旋转矩阵和平移向量。 结果 模拟数据实验和真实图像实验表明该算法时间复杂度和计算精度均优于现有的已标定摄像机位姿的高精度快速求解算法EPnP。 结论 该算法能够同时估计摄像机内外参数,而且比现有算法具有更好的速度和精度。     

一种利用平行结构光的3D重构算法

论文提出了一种简便的采用等间距平行结构光的3D重构算法。算法不需要对摄像机进行标定,只需求解参考平面的像到参考平面的单应矩阵和光平面的像到光平面的单应矩阵,利用所求得的单应矩阵便可以从空间物体在结构光照射下的图像求出物体的3D坐标。实验表明算法计算简单、行之有效。     

局部特征表征的6D位姿估计算法

为解决有纹理模型在遮挡条件下6D位姿估计精确度不高的问题,提出了一种局部特征表征的端到端6D位姿估计算法。首先为了得到准确的定位信息,提出了一个空间—坐标注意力机制（spatial and coordinate attention）,通过在YOLOv5网络中加入空间—坐标注意力机制和加权双向特征金字塔网络（bidirectional feature pyramid network）,YOLOv5-CBE算法的精确度（precision）、召回率（recall）、平均精度均值（mAP@0.5）分别提升了3.6%、2.8%、2.5%,局部特征中心点坐标误差最高提升了25%;然后用 YOLOv5-CBE算法检测局部特征关键点,结合3D Harris关键点通过奇异值分解法（singular value decomposition）计算模型的6D位姿,最高遮挡70%的情况下仍然可以保证二维重投影精度（2D reprojection accuracy）和ADD度量精度（ADD accuracy）在95%以上,具有较强的鲁棒性。     

基于ORB特征的单目视觉定位算法研究

针对大范围室外场景和具有重复、高频纹理特征(例如水泥地、草坪)的场景,提出了一种鲁棒性强、定位精度高、速度更快的视觉定位算法。采用8级图像金字塔的ORB (Oriented FAST and Rotated BRIEF)特征描述子提取图像特征点,通过K近邻(KNN)匹配相邻图像序列的特征点对,依次解算基础矩阵F和本质矩阵E,采用自适应法利用单应矩阵和本质矩阵进行位姿估计,最后解算两帧图像间相机刚体运动的旋转R和平移t,利用三角测量法则求解出匹配点的三维坐标,重建相机运动轨迹。为了提高算法性能,提出采用最小化基于点特征的非线性重投影误差优化三维点。通过调用OpenCV在C++中实现,对所采集的数据集进行测试,测试结果表明,该方法比传统的3D位姿估计更优,实时可行。由于其基于单目而实现,因此无法得到尺度信息。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于多点模型和改进BFGS的人脸姿态估计

针对人脸姿态估计往往存在姿态解不稳定和不能唯一确定人脸三维空间姿态的缺陷,准确提取人脸特征点及进行相应特征点深度值估计后,以人脸的多个特征点建立人脸模型,并利用人脸特征点近似估计人脸姿态,通过改进的BFGS(Broyden-Fletch-er-Goldfarb-Shanno)算法精确估计三维人脸空间姿态。实验结果表明,该方法不仅可以获得稳定和唯一的3D人脸空间姿态,而且与同类方法比较具有良好的姿态估计精度。     

基于线对应的单应矩阵估计及其在视觉测量中的应用

单应矩阵估计在视觉测量、摄像机标定、三维重建等领域有重要的应用价值, 但是在具体应用中如何鲁棒、精确地估计单应矩阵仍是一个没有很好解决的问题. 在研究和实际应用中我们发现,直接线性方法在基于线对应的单应矩阵估计中会出现在某些特殊的摄像机姿态下误差较大的情况. 针对这一情况, 我们提出了一种基于线对应的归一化单应矩阵估计方法并将其应用到视觉测量中,即通过简单的归一化操作使测量矩阵元素的大小分布尽量均匀, 从而降低了测量矩阵的条件数, 提高了算法的鲁棒性, 同时又保持了直接线性方法简单、快速、易实现等优点. 模拟实验和真实图像实验均验证了该方法的有效性.     

YOLO-wLU：考虑定位不确定性的目标检测算法

YOLOv3目标检测算法在检测目标时没有考虑边界框坐标定位存在的不确定性,因此有时不能得出正确的检测结果。针对此问题,提出YOLO-wLU（YOLO with Localization Uncertainty）算法。该算法借鉴深度学习中的不确定性思想,使用高斯分布函数建立边界框坐标的概率分布模型以考虑边界框坐标定位不确定性;设计新的边界框损失函数,在检测过程中移除定位不确定性较大的检测结果;通过融合周围边界框坐标信息提高了边界框坐标辨识结果的准确性。实验结果表明,该算法可有效减少误报率,提高检测精度;COCO数据集上测试结果显示,相比YOLOv3算法,该算法的mAP最高可提升4.1个百分点。     

改进YOLOv3在机场跑道异物目标检测中的应用

针对机场跑道异物（Foreign Object Debris,FOD）的小目标特点,提出一种基于改进YOLOv3的FOD目标检测算法。以YOLOv3网络为基础,采用运算复杂度相对更低的Darknet-49作为特征提取网络,并将检测尺度增加至4个,进行多尺度特征融合。使用基于马尔科夫链蒙特卡罗采样（Markov Chain Monte Carlo sampling,MCMC）的[K]-means++算法对标注边界框尺寸信息进行聚类分析。训练时引入GIoU边界框回归损失函数。实验结果表明,改进的YOLOv3目标检测算法在满足实时性要求的情况下,精确率和召回率达到了95.3%和91.1%,与Faster R-CNN相比具有更高的检测速度,与SSD相比具有更高的检测精度,有效解决了原YOLOv3存在的定位精度偏低和漏检问题。     

融合GIoU和Focal loss的YOLOv3目标检测算法

YOLOv3目标检测算法检测速度快且精度较高,但存在对小目标检测能力不足、边界框定位不准确等问题。提出了一种基于YOLOv3改进的目标检测算法,该算法在YOLOv3的基础上,对网络中的残差块增加旁路连接,进一步进行特征重用,以提取更多的特征信息。同时,采用GIoUloss作为边界框的损失,使网络朝着预测框与真实框重叠度较高的方向去优化。在损失函数中加入Focal loss,减小正负样本不平衡带来的误差。在PASCAL VOC和COCO数据集上的实验结果表明,该算法能够在不影响YOLOv3算法实时性的前提下,提高目标检测的mAP。该算法在PASCAL VOC 2007测试集上达到83.7mAP（IoU=0.5）,在COCO测试集上比YOLOv3算法提升2.27mAP（IoU[0.5,0.95]）。     

一种视频序列的全景图绘制算法

针对帧间变换为单映变换的视频序列全景图的绘制,提出了一种视频序列的全景图绘制算法.该算法首先采用基于模型的等级估计法对相邻帧的单映变换矩阵进行估计;然后采用基于RANSAC的特征点匹配方法对非相邻帧进行带指导的改进估计,以使其能够达到要求的子像素级精度;最后运用时间中值滤波绘制全景图.实验结果表明,该算法检测的全景图不仅帧间配准达到了一定的子像素级精度,而且基本达到了无缝连接.     

基于改进YOLOv3的木结缺陷检测方法研究

针对木条表面死结和活结缺陷在检测过程中定位困难、平均识别精确度较低、检测速度较慢的问题,在分析木结缺陷特点和改进深度学习YOLOv3模型的基础上,研究其应用于改善木结缺陷检测时的精确度和速度。首先,对活结缺陷图像进行数据扩增,以解决类别不平衡问题。然后,改进k-means++算法,提升木结缺陷目标框的维度聚类效果,得到更合适的初始目标框个数与尺寸;通过缩减YOLOv3中多尺度检测网络、改进损失函数,以减少检测时间和提高目标识别精确度。最后,对木结缺陷进行拼接得出位置坐标。试验结果表明,较改进前YOLOv3算法,mAP值提升7.47%,检测速度提高35%;较Faster R-CNN算法mAP值提升11.68%,检测速度提高约15倍,改进后模型能精确地检测出死结和活结缺陷。因此,在后续研究中,可考虑以YOLOv3算法作为检测木结缺陷模型,进一步改进YOLOv3网络,以提高检测实时性和精确度。     

密集子区域切割的任意方向舰船快速检测

目的 遥感图像上任意方向舰船目标的检测,是给出舰船在图像上的最小外切矩形边界框。基于双阶段深度网络的任意方向舰船检测算法速度较慢;基于单阶段深度网络的任意方向舰船检测算法速度较快,但由于舰船具有较大长宽比的形态特点,导致虚警率较高。为了降低单阶段目标检测的虚警率,进一步提升检测速度,针对舰船目标的形态特点,提出了基于密集子区域切割的快速检测算法。方法 沿长轴方向,将舰船整体密集切割为若干个包含在正方形标注框内的局部子区域,确保标注框内最佳的子区域面积有效占比,保证核心检测网络的泛化能力;以子区域为检测目标,训练核心网络,在训练过程对重叠子区域进行整合;基于子图分割将检测得到的子区域进行合并,进而估计方向角度等关键舰船目标参数。其中采用子区域合并后处理替代了非极大值抑制后处理,保证了检测速度。结果 在HRSC2016（high resolution ship collections）实测数据集上,与最新的改进YOLOv3（you only look once）、RRCNN （rotated region convolutional neural network）、RRPN （rotation region proposal networks）、R-DFPN-3（rotation dense feature pyramid network）和R-DFPN-4等5种算法进行了比较,相较于检测精度最高的R-DFPN-4对照算法,本文算法的mAP （mean average precision）（IOU （inter section over union）=0.5）值提高了1.9%,平均耗时降低了57.9%;相较于检测速度最快的改进YOLOv3对照算法,本文算法的mAP （IOU=0.5）值提高了3.6%,平均耗时降低了31.4%。结论 本文所提出的任意方向舰船检测算法,结合了舰船目标的形态特点,在检测精度与检测速度均优于当前主流任意方向舰船检测算法,检测速度有明显提升。     

基于特征点的印品图像匹配算法

高速精准的图像匹配为成功地进行印品缺陷检测奠定了基础。该文提出一种改进的Harris角点检测方法,用一种稳定性评价准则测试,证明该文算子在工业环境下的优越性。建立仿射变换模型来近似相应特征点邻域的几何变换,用确定性退火方法计算模型参数,避免了耗时的穷举搜索。利用RANSAC方法鲁棒地估计基本矩阵和单应矩阵,建立对极几何约束和单应约束来剔除初始匹配中的误匹配对。算法处理速度较快,已经成功运用到印品缺陷在线检测系统中。