基于标签分布学习的三维手部姿态估计

快速、可靠的手部姿态估计在人机交互等领域有着广泛的应用.为了解决光照强度变化、自身遮挡以及姿态变化幅度较大等情况对手部姿态估计的影响,提出了一种基于标签分布学习的深度网络结构.该网络将手部点云作为输入数据,首先通过最远点采样和定向边界框(OBB)对点云数据进行归一化处理,然后采用PointNet++提取手部点云数据特征...     

基于ConvNeXt的手势姿态估计研究

随着优化技术的发展以及对神经网络的进一步认知,提出ConvNeXt网络并应用于视觉分类任务,其性能超越Transformer等一系列多参数量和多计算量网络。姿态估计任务是计算机视觉任务中的基本任务,也是手势识别技术的基础,有着广泛的应用前景。将ConvNeXt网络应用于手势姿态估计并进行优化,引入heatmap编码,从而增加对关键点坐标预测的准确率。使用改进的Adamw优化器对模型参数进行优化,其PCK@0.2指标达到了0.992,EPE指标也达到了3.47,超越了其他模型的实验结果。     

基于姿态机和卷积神经网络的手的关键点估计

姿态机(PoseMachine)是一种成熟的2D人体姿态估计方法,其具有强大的对人体关键点间复杂的上下文关联的表示力(representation power)。卷积神经网络广泛应用于计算机视觉领域中,其具有出色的图像特征提取能力。基于姿态机和卷积神经网络,提出了一种的手的关键点估计方法。该方法将姿态机应用于手的关键点估计问题,且用卷积神经网络来实现姿态机的各个组件。测试表明,该方法具有与目前先进的手的关键点估计方法相当的预测性能。     

改进的基于锚点的三维手部姿态估计网络

近年来基于锚点的三维手部姿态估计方法比较流行,A2J(Anchor-to-Joint)是比较有代表性的方法之一.A2J在深度图上密集地设置锚点,利用神经网络预测锚点到关键点的偏差以及每个锚点的权重.A2J使用预测的偏差和权重,以加权求和的方式计算关键点的坐标,降低了网络回归结果中的噪声.虽然A2J简单高效,但是不恰当的...     

基于卷积神经网络的2D人体姿态估计综述

随着深度学习的快速发展,2D人体姿态估计作为其他计算机视觉任务的研究基础,其检测速度和精度对后续应用落地具有实际意义。对近年来基于卷积神经网络的2D人体姿态估计的方法进行梳理介绍,将现有方法分为人体检测关节点回归融合算法和人体关节点检测聚类算法,同时对当前的主流数据集及其评价准则进行总结,最后对2D人体姿态估计当前所面临的困难以及未来的发展趋势做以阐述,为姿态估计相关研究提供一些参考。     

基于改进卷积神经网络的人体姿态估计

卷积神经网络是人体姿态估计中应用最成功的深度学习模型,但仍存在着一些诸如关节搜索空间过于巨大以及不同卷积核得到的抽象特征被平等对待等缺陷.为此,提出了一种基于改进卷积神经网络的人体姿态估计算法,利用先验分布减小关节搜索空间,改进卷积神经网络结构建立新的关节外观模型.改进的网络利用单个卷积核对应的全局和局部抽象特征计算关节的初始定位概率,通过对所有卷积核对应的关节初始定位概率进行线性组合来计算关节的最终定位概率,利用线性组合中不同的权值来体现不同抽象特征在定位关节时所起的不同作用.仿真实验表明,与现有基于卷积神经网络的人体姿态估计算法相比,所提出的算法具有更低的计算复杂度和更高的估计准确度.     

基于混合关节肢体模型的深度人体姿态估计方法

提出基于关节外观和关节间空间关系的模型与深层神经网络结构(DCNN)相结合的混合模型,解决人体姿态估计问题.首先,对人体构建图像模型以表示人体关节与肢体.然后,根据标注信息将图像分解为以关节为中心的若干图像块,作为训练输入数据.最后,得到一个可以解决多个分类的DCNN网络,用于人体姿态估计.文中方法对人体表示更灵活,有效提升关节点的检测率及正确检测的比率.     

基于深度学习的三维点云头部姿态估计

快速、可靠的头部姿态估计算法是高级人脸分析任务的基础。为了解决现有算法存在的光照变化、遮挡、姿态尺度较大等问题,提出一种新的深度学习框架HPENet。该网络以点云数据为输入,首先通过最远点采样算法提取点云结构中的特征点,以特征点为球心,将不同半径的球体内的点构成多个分组,用于后续的特征描述;然后采用多层感知器和最大池化层实现点云的特征提取,提取的特征通过全连接层输出预测的头部姿态。为了验证HPENet的有效性,在公共数据集Biwi Kinect Head Pose上进行测试。实验结果显示,HPENet在俯仰角、侧倾角和偏航角上的误差分别为2.3°、1.5°、2.4°,平均每帧的时间消耗为8 ms。与其他优秀算法相比,所提方法在准确度和计算的复杂度方面都具有更好的性能。     

深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示（如人体骨骼）,以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。     

基于RGB图像的三维人手姿态估计技术综述

鉴于RGB相机在虚拟现实头盔等移动计算设备中的普遍性,基于RGB图像的三维人手姿态估计技术具有广阔的应用前景和研究价值,近年来已成为计算机视觉领域的一个研究热点.得益于深度学习技术的快速发展,与之相关的三维人手姿态估计算法层出不穷.文中回顾和总结了三维人手姿态估计技术.首先简述了三维人手姿态估计的相关工作,指出了其当前面临的挑战;然后梳理了基于RGB图像的三维人手姿态估计算法,对现有的基于参数模型方法和非参数模型方法进行了讨论,分析了每类算法包含的技术方法以及优缺点;之后总结了相关的三维手数据集与评价标准,并比较了每类算法在常用数据集上的表现;最后探讨了该技术的发展前景.     

基于三级神经网络的鲁棒3D手姿估计

人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。     

基于改进PointNet网络的三维手姿估计方法

针对单幅深度图像三维手姿估计中由于手部复杂结构捕捉困难导致的精度低和鲁棒性较差的问题,提出一种基于改进PointNet网络的三维手姿估计方法。该方法首先采用边界框定位网络预测三维边界框,从而准确裁剪手部区域。然后将手部深度图像表示为点云,模拟手部可见表面,有效地利用深度图像中的三维信息。最后将手部点云数据输入改进的PointNet网络,准确地进行三维手姿估计。改进的PointNet网络通过引入跳跃连接,充分利用不同层次的特征,更好地捕捉手部的复杂结构。在NYU手姿数据集上进行验证,实验结果表明,提出的方法优于现有的大部分方法,并且网络结构简单、易于训练,运行速度快。     

伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

目的 复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征,提出一种基于伪3D（Pseudo-3D,P3D）卷积神经网络（convolutional neural network,CNN）与注意力机制的驾驶疲劳检测方法。方法 采用伪3D卷积模块进行时空特征学习;提出P3D-Attention模块,利用P3D的结构融合双通道注意力模块和适应的空间注意力模块,提高对重要通道特征的相关度,增加特征图的全局相关性,将多层深度卷积特征进行融合。利用双通道注意力模块分别在视频帧之间和每一帧的通道上施加关注,去除背景和噪声对识别的干扰,使用自适应空间注意模块使模型训练更快、收敛更好;使用2D全局平均池化层替代3D全局平均池化层获得更具表达能力的特征,进而提高网络收敛速度;运用softmax分类层进行分类。结果 在公共数据集YawDD（a yawning detection dataset）上开展对比实验,本文方法在测试集上的F1-score检测准确率达到99.89%,在打哈欠类别上召回率达到100%;在数据集UTA-RLDD（University of Texas at Arlington real-life drowsiness dataset）上,本文方法在测试集上的F1-score检测准确率达到99.64%,在困倦类别上召回率达到100%;与Inception-V3融合LSTM（long short-term memory）的方法相比,本文方法模型大小为42.5 MB,是其模型大小的1/9,本文方法预测时间约660 ms,是其11%左右。结论 提出一种基于伪3D卷积神经网络与注意力机制的驾驶疲劳检测方法,利用注意力机制进一步分析哈欠、眨眼和头部特征运动,将哈欠行为与说话行为动作很好地区分开来。     

改进深度残差卷积神经网络的LDCT图像估计

针对低剂量计算机断层扫描（Low-Dose Computed Tomography,LDCT）重建图像出现明显条形伪影的现象,提出了一种基于残差学习的深度卷积神经网络（Deep Residual Convolutional Neural Network,DR-CNN）模型,可以从LDCT图像预测标准剂量计算机断层扫描（Normal-Dose Computed Tomography,NDCT）图像。该模型在训练阶段,将数据集中的LDCT图像和NDCT图像相减得到残差图像,将LDCT图像和残差图像分别作为输入和标签,通过深度卷积神经网络（Convolution Neural Network,CNN）学习输入和标签之间的映射关系;在测试阶段,利用此映射关系从LDCT图像预测残差图像,用LDCT图像减去残差图像得到预测的NDCT图像。实验采用50对大小为512×512的同一体模的常规剂量胸腔扫描切片和投影域添加噪声后的重建图像作为数据集,其中45对作为训练集,其他作为测试集,来验证此模型的有效性。通过与非局部降噪算法、匹配三维滤波算法和K-SVD算法等目前公认效果较好的图像去噪算法对比,所提模型预测的NDCT图像均方根误差小,且信噪比略高于其他算法处理结果。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

基于全卷积神经网络的肝脏CT影像分割研究

针对腹部CT影像邻近器官对比度较低及因个体肝脏形状差异较大等引起肝脏分割困难的问题,提出了全卷积神经网络肝脏分割模型。首先通过卷积神经网络提取图像深层、抽象的特征,再通过反卷积运算对提取到的特征映射进行插值重构后得到分割结果。由于单纯进行反卷积得到的分割结果往往比较粗糙,因此,在反卷积之前,先融合高层与低层的特征,并且通过增加反卷积的层数、减少反卷积步长,得到了更为精确的分割结果。与传统卷积神经网络的分割方法相比,该模型可以充分利用CT影像的空间信息。实验数据表明该模型能够使腹部CT影像肝脏分割具有较高的精度。     

基于多通道卷积神经网的实体关系抽取

针对实体关系抽取任务中,传统基于统计学习的方法构建特征费时费力、现有深度学习方法依赖单一词向量的表征能力的问题,提出多通道卷积神经网模型。首先使用不同的词向量将输入语句进行映射,作为模型不同通道的输入;然后使用卷积神经网自动提取特征;最后通过softmax分类器输出关系类型,完成关系抽取任务。和其他模型相比,该模型可以获取输入语句更丰富的语义信息,自动学习出更具有区分度的特征。在SemEval-2010 Task 8 数据集上的实验结果表明提出的多通道卷积神经网模型较使用单一词向量的模型更适合处理关系抽取任务。     

基于极深卷积神经网络的人脸超分辨率重建算法

针对多种放大倍数的人脸超分辨率重建问题,提出一种基于极深卷积神经网络的人脸超分辨率重建方法,并通过实验发现增加网络深度能够有效提升人脸重建的精度。首先,设计一个包含20个卷积层的网络从低分辨率图片和高分辨率图片之间学习一种端到端的映射关系,并通过在网络结构中将多个小的滤波器进行多次串联以扩大提取纹理信息的范围。其次,引入了残差学习的方法来解决随着深度的提升细节信息丢失的问题。另外,将不同放大因子的低分辨率人脸图片融合到一个训练集中训练,使得该卷积网络能够解决不同放大因子的人脸超分辨率重建问题。在CASPEAL测试集上的结果显示,该极深卷积神经网络的方法比基于双三次插值的人脸重建方法在峰值信噪比（PSNR）和结构相似度上有2.7 dB和2%的提升,和SRCNN的方法比较也有较大的提升,在精度和视觉改善方面都有较大提升。这显示了更深的网络结构能够在重建中取得更好的结果。