基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。     

复杂背景下无锚框手势检测网络的构建

为解决复杂背景下传统手势检测和识别存在检测不精准、漏识误识等方面的问题,提出一种基于无锚框centernet的手势检测网络.用优化后的shufflenetv2网络提取特征,后端通过热图的峰值点及邻近区域特征回归得到手势目标的属性,不用非极大值抑制算法进行后处理,得到合理的手势检测速度和精度.在公开数据集Egohands和通过RGB摄像头自建的包含7种不同手势的数据集上的实验结果表明,手势检测的均值平均精度分别能达到72％ 和91％,相对于mobilenet-ssd和squeezenet网络在手势检测准确性上提高了4.6％ 和6.9％,算法有效性提升明显.     

基于范例集实现复杂场景下的动态手势跟踪

范例集作为近年来视觉跟踪器的一种表示方法,已应用于手势跟踪与识别。但是基于范例集的手势跟踪往往不能实现复杂场景下手部轮廓特征的精确提取,并且不能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪,极易造成手部动作的不准确预测,从而影响手势跟踪效果与手势识别率。本文提出一种新的基于范例集的跟踪器：CEE(CAMSHIFT Embedded Exemplar)跟踪器,实现复杂场景下的动态手势跟踪。在学习阶段,利用ICAMSHIFT（Improved CAMSHIFT）算法提取手部轮廓特征并生成范例集,同时建立手势的动态HMM模型;在跟踪阶段,首先利用由ICAMSHIFT算法获取的手部特征和HMM概率模型预测手势动作,然后根据学习所得范例集获取当前手部轮廓。实验结果表明,算法能实现复杂场景下的准确手势跟踪,并能在手部位置与方向任意变化情况下实现手部轮廓的提取与跟踪。此外,在严重遮挡情况下也能取得不错的跟踪效果。     

基于YOLOv3和EPnP算法的多药盒姿态估计

针对机械臂药盒抓取操作中对药盒定位和姿态估计的要求,提出一种基于YOLOv3深度学习算法和EPnP算法相结合的多药盒姿态估计方法,此方法主要分为多药盒定位和姿态估计两部分;首先通过YOLOv3算法实现药盒的快速精确定位,并通过定位框分割出单个药盒;然后进行特征提取和特征匹配并估计单应矩阵;通过单应矩阵的透视矩阵变换求得药盒平面4个角点的像素坐标并作为EPnP求解所需的2D点,结合药盒先验尺寸信息在相机坐标系下构建药盒对应的3D点坐标以实现药盒姿态求解;通过结合OptiTrack系统设计了药盒姿态精度对比实验,结果表明,该算法充分发挥了YOLOv3算法兼具快速性和准确性的优势,并且具有良好的姿态估计精度,总体算法速度达到15 FPS,药盒姿态估计平均误差小于0.5°。     

改进的YOLOv5烟雾检测模型

针对烟雾发生场景复杂，小目标烟雾检测困难的问题，提出一种改进的YOLOv5烟雾检测模型。为了增加模型对目标烟雾的检测精度，结合加权双向特征金字塔网络（BiFPN）结构对特征融合过程进行修改，并在通道和空间维度上加入混合注意力机制对融合特征图的权重进行重新赋值，在增强烟雾目标特征的同时抑制无关区域特征，使烟雾特征表达具有更高的鲁棒性；使用α-CIOU替换G-IOU作为预测框回归损失，提升预测框的预测精度；剔除分类损失以降低模型的复杂度。实验结果表明，改进后的YOLOv5烟雾检测模型相比于YOLOv5模型检测精度更高，其准确率达到99.35%，召回率达到99.18%，并且检测速度可达46 frame/s，该算法能有效提取烟雾的整体特征，对于复杂场景下的烟雾以及小目标烟雾检测任务更为适用。     

融合改进YOLOv5及Mediapipe的手势识别研究

针对现有手势识别算法计算量大、鲁棒性差等问题,提出一种基于IYOLOv5-Med(improved YOLOv5 Mediapipe)算法的手势识别方法。该算法将改进的YOLOv5算法和Mediapipe方法结合,包括手势检测和手势分析两部分,算法有效降低了训练的时间成本,增加了识别的鲁棒性。手势检测部分,改进了传统YOLOv5算法,利用FastNet重构C3模块,将CBS模块替换为GhostNet中GhostConv模块,在Backbone网络末端加入SE注意力机制模块,改进后的算法,模型体积更小,更适用于资源有限的边缘设备。手势分析部分,提出了一种基于Mediapipe的方法,对手势检测部分定位到的手势区域进行手部关键点检测,并提取相关特征,然后通过朴素贝叶斯分类器进行识别。实验结果证实了提出的IYOLOv5-Med算法的有效性,与传统YOLOv5算法相比,参数量下降34.5%,计算量减少34.9%,模型权重降低33.2%,最终平均识别率达到0.997,且实现方法相对简单,有较好的应用前景。     

基于自适应关键点热图的遮挡篮球运动员检测算法

运动员检测是篮球运动智能化分析的基础,由于篮球视频存在场景复杂、目标运动快速、目标间遮挡严重的问题,现有目标检测技术不能实现对密集遮挡运动员的精确检测.为此,提出一种基于自适应关键点热图的遮挡篮球运动员检测算法.首先通过预先构建的全卷积编码-解码网络进行运动员特征提取,利用高斯核函数在特征图上渲染关键点热图,热图的渲染采用自适应策略,高斯核半径随着目标宽和高的变化而变化,能够加快网络收敛;然后在热图中提取运动员中心点,回归得到运动员宽高、位置等信息,省去了基于锚框检测中复杂耗时的后处理过程,更利于在遮挡条件下区分2个运动员.在篮球运动数据集BasketballPlayer上进行实验的结果表明,在复杂篮球视频场景下,该算法能有效地解决密集遮挡运动员之间漏检、误检和检测精度不高的问题,处理速度可达到26帧/s.     

YOLOv3剪枝模型的多人姿态估计

目的 为了解决复杂环境中多人姿态估计存在的定位和识别等问题,提高多人姿态估计的准确率,减少算法存在的大量冗余参数,提高姿态估计的运行速率,提出了基于批量归一化层（batch normalization,BN）通道剪枝的多人姿态估计算法（YOLOv3 prune pose estimator,YLPPE）。方法 以目标检测算法YOLOv3（you only look once v3）和堆叠沙漏网络（stacked hourglass network,SHN）算法为基础,通过重叠度K-means算法修改YOLOv3网络锚框以更适应行人目标检测,并训练得到Trimming-YOLOv3网络;利用批量归一化层的缩放因子对Trimming-YOLOv3网络进行循环迭代式通道剪枝,设置剪枝阈值与缩放因子,实现较为有效的模型剪枝效果,训练得到Trim-Prune-YOLOv3网络;为了结合单人姿态估计网络,重定义图像尺寸为256×256像素（非正方形图像通过补零实现）;再级联4个Hourglass子网络得到堆叠沙漏网络,从而提升整体姿态估计精度。结果 利用斯坦福大学的MPⅡ数据集（MPⅡ human pose dataset）进行实验验证,本文算法对姿态估计的准确率达到了83.9%;同时,时间复杂度为O（n²）,模型参数量与未剪枝原始YOLOv3相比下降42.9%。结论 结合YOLOv3剪枝算法的多人姿态估计方法可以有效减少复杂环境对人体姿态估计的负面影响,实现复杂环境下的多人姿态估计并提高估计精度,有效减少模型冗余参数,提高算法的整体运行速率,能够实现较为准确的多人姿态估计,并具有较好的鲁棒性和泛化能力。     

卷积神经网络在动态手势跟踪中的应用

为了解决复杂场景中对动态手势目标进行跟踪的问题,提出了一种动态手势的改进YOLOv3实时跟踪算法。算法首先针对YOLOv3网络检测实时性较差的问题,利用对手势这样的单类目标检测的特性对YOLOv3的主干网络结构进行改进。其次提出一种适合于复杂场景下手势跟踪的规划区域的检测跟踪方法,对手势目标进行检测,过滤掉背景中非当前跟踪目标造成的影响,完成对手势的实时跟踪。最后在设计的手势数据集中进行训练和测试。实验结果表明,算法在复杂场景中的手势跟踪性能均优于YOLOv3算法和一些相关目标跟踪算法。     

基于多视角学习策略的手部姿态估计

手部姿态估计在人机交互、手功能评估、虚拟现实和增强现实等应用中发挥着重要作用, 为此本文提出了一种新的手部姿态估计方法, 以解决手部区域在大多数图像中占比较小和已有单视图关键点检测算法无法应对遮挡情况的问题. 所提方法首先通过引入Bayesian卷积网络的语义分割模型提取手部目标区域, 在此基础上针对手部定位结果, 利用所提基于注意力机制和级联引导策略的新模型以获得较为准确的手部二维关键点检测结果.然后提出了一种利用立体视觉算法计算关键点深度信息的深度网络, 并在深度估计中提供视角自学习的功能. 该方式以三角测量为基础, 利用RANSAC算法对测量结果进行校准. 最后经过多任务学习和重投影训练对手部关键点的3D检测结果进行优化, 最终提取手部关键点的三维姿态信息. 实验结果表明: 相比于已有的一些代表性人手区域检测算法, 本文方法在人手区域检测上的平均检测精度和运算时间上有一定的改善. 此外, 从本文所提姿态估计方法与已有其他方法的平均端点误差(EPE_mean)和PCK曲线下方面积(AUC)这些指标的对比结果来看, 本文方法的关键点检测性能更优, 因而能获得更好的手部姿态估计结果.     

局部特征表征的6D位姿估计算法

为解决有纹理模型在遮挡条件下6D位姿估计精确度不高的问题,提出了一种局部特征表征的端到端6D位姿估计算法。首先为了得到准确的定位信息,提出了一个空间—坐标注意力机制（spatial and coordinate attention）,通过在YOLOv5网络中加入空间—坐标注意力机制和加权双向特征金字塔网络（bidirectional feature pyramid network）,YOLOv5-CBE算法的精确度（precision）、召回率（recall）、平均精度均值（mAP@0.5）分别提升了3.6%、2.8%、2.5%,局部特征中心点坐标误差最高提升了25%;然后用 YOLOv5-CBE算法检测局部特征关键点,结合3D Harris关键点通过奇异值分解法（singular value decomposition）计算模型的6D位姿,最高遮挡70%的情况下仍然可以保证二维重投影精度（2D reprojection accuracy）和ADD度量精度（ADD accuracy）在95%以上,具有较强的鲁棒性。     

一种基于改进 PointNet++网络的 三维手姿估计方法

针对 PointNet++网络处理点云局部特征时因分组范围区过大导致计算量较大的问题,提出一种改 进的 PointNet++网络的三维手姿估计方法。首先对手势点云进行基于 Delaunay 三角剖分算法与 K 中位数聚类算 法相结合的三角剖分,得到手势点云的三角网格模型,并计算三角网格模型的边长均值;然后以三角网格模型边 长均值为半径,对最远点采样(FPS)的采样点进行球查询搜索,再根据搜索到的采样点个数极值对采样点云进行 K 近邻分组,并最终输入 PointNet 网络,完成三维手姿的位置估计。改进后的 PointNet++网络可以根据不同的点云 密度自动调整网络分组区域的局部提取点个数。实验结果表明,在不影响三维手姿估计精度的情况下,该方法提 高了 PointNet++网络的模型训练速度,并在三维手姿估计中可有效减少特征提取的计算量,使计算机能够更快地 捕捉手姿状态。     

结合掩码定位和漏斗网络的6D姿态估计

目的 6D姿态估计是3D目标识别及重建中的一个重要问题。由于很多物体表面光滑、无纹理,特征难以提取,导致检测难度大。很多算法依赖后处理过程提高姿态估计精度,导致算法速度降低。针对以上问题,本文提出一种基于热力图的6D物体姿态估计算法。方法 首先,采用分割掩码避免遮挡造成的热力图污染导致的特征点预测准确率下降问题。其次,基于漏斗网络架构,无需后处理过程,保证算法具有高效性能。在物体检测阶段,采用一个分割网络结构,使用速度较快的YOLOv3（you only look once v3）作为网络骨架,目的在于预测目标物体掩码分割图,从而减少其他不相关物体通过遮挡带来的影响。为了提高掩码的准确度,增加反卷积层提高特征层的分辨率并对它们进行融合。然后,针对关键点采用漏斗网络进行特征点预测,避免残差网络模块由于局部特征丢失导致的关键点检测准确率下降问题。最后,对检测得到的关键点进行位姿计算,通过PnP （perspective-n-point）算法恢复物体的6D姿态。结果 在有挑战的Linemod数据集上进行实验。实验结果表明,本文算法的3D误差准确性为82.7%,与热力图方法相比提高了10%;2D投影准确性为98.9%,比主流算法提高了4%;同时达到了15帧/s的检测速度。结论 本文提出的基于掩码和关键点检测算法不仅有效提高了6D姿态估计准确性,而且可以维持高效的检测速度。     

基于堆叠沙漏网络改进的多人姿态估计

为解决多人姿态估计中小尺度关键点(手腕、脚踝等)定位准确率低的问题,采用自顶向上的方式,结合先进的人体目标检测模型YOLOv3,提出一种基于堆叠沙漏网络改进的多人姿态估计方法。在沙漏网络中融入通道混洗模块,加强不同尺度下多层特征之间的跨通道信息交流,提高被遮挡关键点的识别效果;使用注意力机制对沙漏网络原有的残差模块进行特征增强,抑制无用特征并提升有用特征,提高小尺度关键点的识别率。实验结果表明,在MPII数据集上的总体PCK@0.5达到了88.6%,在MSCOCO数据集上的AP@0.75相比原始网络提升了4.6%,验证了所提方法的有效性。     

基于改进YOLOv3的手势实时识别方法

针对基于人工建模方式的手势识别方法准确率低、速度慢的问题,提出一种基于改进YOLOv3的静态手势实时识别方法。采用卷积神经网络YOLOv3模型,将通过Kinect设备采集的IR、Registration of RGB、RGB和Depth图像代替常用的RGB图像作为数据集,并融合四类图像的识别结果以提高识别准确率。采用k-means聚类算法对YOLOv3中的初始候选框参数进行优化,从而加快识别速度。在此基础上,利用迁移学习的方法对基础特征提取器进行改进,以缩短模型的训练时间。实验结果表明,该方法对流式视频静态手势的平均识别准确率为99.8%,识别速度高达52 FPS,模型训练时间为12 h,与Faster R-CNN、SSD、YOLOv2等深度学习方法相比,其识别精度更高,识别速度更快。     

3D human pose estimation in motion based on multi-stage regression

3D human pose estimation in motion is a hot research direction in the field of computer vision. However, the performance of the algorithm is affected by the complexity of 3D spatial information, self-occlusion of human body, mapping uncertainty and other problems. In this paper, we propose a 3D human joint localization method based on multi-stage regression depth network and 2D to 3D point mapping algorithm. First of all, we use a single RGB image as the input, through the introduction of heatmap and multi-stage regression to constantly optimize the coordinates of human joint points. Then we input the 2D joint points into the mapping network for calculation, and get the coordinates of 3D human body joint points, and then to complete the 3D human body pose estimation task. The MPJPE of the algorithm in Human3.6 M dataset is 40.7. The evaluation of dataset shows that our method has obvious advantages.     

改进YOLOv5s+DeepSORT的监控视频车流量统计

针对监控视频中车流量统计准确率低的问题,提出一种改进YOLOv5s检测结合Deep SORT跟踪的车流量统计方法.为了提升检测器识别效果,将注意力模块CBAM与YOLOv5s网络的Neck部分融合,提高网络的特征提取能力;将CIoU Loss代替GIoU Loss作为目标边界框回归损失函数,加快边界框回归速率的同时提高...     

DPENet：轻量化文档姿态估计网络

现有的用于矫正透视倾斜变形文档的深度学习模型存在空间泛化性差、模型参数量大、推理速度慢等问题。从姿态估计的角度出发,提出一种轻量化文档姿态估计网络DPENet（lightweight document pose estimation network）,以优化上述问题。将文档图像中的单一文档视为一个姿态估计对象,将文档的四个角点视为文档对象的四个姿态估计点,采用兼具全连接回归与高斯热图回归优点的DSNT（differentiable spatial to numerical transform）模块实现文档图像角点的高精度定位,并通过透视变换处理实现透视变形文档图像的高精度矫正。DPENet采用轻量化设计,以面向移动端的MobileNet V2为主干网络,模型体量只有10.6?MB。在SmartDoc-QA（仅取148张文档图像）数据集上与现有的三种主流网络进行了对比实验,实验结果表明,DPENet的矫正成功率（96.6%）和平均位移误差（mean displacement error,MDE）（1.28个像素）均优于其他三种网络,同时其平均矫正速度也有良好的表现。在保持轻量化和速度快的条件下,DPENet网络具有更高的变形文档矫正成功率和矫正精度。     

基于轻量化YOLOv3的遥感军事目标检测算法

在导弹智能突防的过程中,从海量的遥感图像数据中检测敌方反导阵地具有极大的应用价值。由于弹载部署环境算力有限,设计了一种兼顾轻量化,检测精确率以及检测速度的遥感目标检测算法。制作了典型遥感军事目标数据集,通过K-means算法对数据集聚类分析。利用MobileNetV2网络代替YOLOv3算法的主干网络,保证网络的轻量化和检测速度。提出了适用于遥感目标特性的轻量化高效通道协同注意力模块和目标旋转不变性检测模块,将其嵌入检测算法中,在网络轻量化的基础上提升检测精确率。实验结果表明,提出算法的精确率达到97.8%,提升了6.8个百分点,召回率达到95.7%,提升了3.9个百分点,平均检测精度达到95.2%,提升了4.4个百分点,检测速度达到了每秒34.19张图,而网络大小仅为17.5?MB。结果表明该算法能满足导弹智能突防的综合要求。