基于深度学习室内定位方法改进的研究

本文研究了基于深度学习算法的室内定位方法中,数据集采集对于定位准确率的影响及针对相似参考图像定位准确率不够高的问题提出协同标注策略来提高系统的稳定性。实验结果显示,数据集的采集对定位准确率有明显影响并且与原始方法相比协同标注策略能够提高系统0.41%的准确率。理论分析与实验结果表明,协同标注策略能够有效提高系统的准确率和鲁棒性。     

基于级联宽度学习的疲劳驾驶检测

为减少因疲劳驾驶引发的交通事故,提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络(PCN)检测人脸图像,通过基于CNN的回归模型定位人脸关键点;根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像,用宽度学习系统(BLS)分别识别眼睛与嘴巴的状态;将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。实验结果表明,该算法的疲劳检测准确率为94.9%,单帧检测时间52.43 ms。     

正面人脸图像中眼睛的定位算法

简单有效的投影函数广泛用于眼睛定位中,然而成像产生的反光亮点降低了该方法的准确率,为此提出一种正面人脸图像中眼睛定位的算法.考虑到反光亮点对成像的影响,首先定义了3种眼睛成像模型,分析了每个模型的投影曲线特点;然后针对每个模型给出了相应的定位方法;最后综合上述3种模型提出了统一的定位算法.利用标准模型的投影曲线可近似为对称抛物线型的特点来降低亮点对眼睛定位精度的影响.实验结果表明,利用文中算法能够准确地定位眼睛的位置,准确率大于93%.     

基于梯度和模板二次匹配的人眼定位

提出了一种基于图像梯度和模板匹配相结合的眼腈定位方法。利用投影函数确定眼腈区域的上下边界，然后对于眼睛睁开较大的图像根据眼球的梯度方向信息定位眼睛中心，对于眼睛睁开较小或完全闭合的情况，利用本方法中的梯度眼睛模板进行二次匹配。试验证明该算法定位准确率高，不受眼腈状态的影响，并且对头部姿态变化和焦距变化等具有一定的鲁棒性。     

基于生成式对抗网络的图像自动标注

针对基于深度学习的图像标注模型输出层神经元数目与标注词汇量成正比，导致模型结构因词汇量的变化而改变的问题，提出了结合生成式对抗网络（GAN）和Word2vec的新标注模型。首先，通过Word2vec将标注词汇映射为固定的多维词向量；其次，利用GAN构建神经网络模型--GAN-W模型，使输出层神经元数目与多维词向量维数相等，与词汇量不再相关；最后，通过对模型多次输出结果的排序来确定最终标注。GAN-W模型分别在Corel 5K和IAPRTC-12图像标注数据集上进行实验，在Corel 5K数据集上，GAN-W模型准确率、召回率和F1值比卷积神经网络回归（CNN-R）方法分别提高5、14和9个百分点；在IAPRTC-12数据集上，GAN-W模型准确率、召回率和F1值比两场K最邻近（2PKNN）模型分别提高2、6和3个百分点。实验结果表明，GAN-W模型可以解决输出神经元数目随词汇量改变的问题，同时每幅图像标注的标签数目自适应，使得该模型标注结果更加符合实际标注情形。     

基于贝叶斯网络的疲劳度及注意力检测

为提高基于单一特征检测算法的准确率和可靠性，提出基于贝叶斯网络融合多个特征参数的检测算法。定位眼睛和嘴巴，利用两眼和嘴巴组成的三角形建立头部旋转模型，提取各特征的参数并用贝叶斯网络进行融合，用来判断驾驶员的驾驶状态，当出现非正常驾驶状态时给以警告。实验结果表明，该算法对于检测出驾驶员的疲劳度和注意力分散状态有较高的准确性。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

基于多粒度与自修复融合的人脸表情识别

为有效提取和融合表情多粒度特征信息，降低自然场景人脸表情数据集存在不确定性和错误数据等因素致使准确率难以满足现实需求的问题，基于深度卷积神经网络提出多粒度与自修复融合的表情识别模型。采用拼图生成器生成不同粒度图像，利用渐进式的训练过程学习不同粒度图像之间互补的特征信息，采用自修复方法避免网络过度拟合错误样本图像，对错误样本进行重新标注。在AffectNet数据集和RAF-DB数据集上准确率分别达到了63.94%和87.10%,实验结果表明，该模型具有较高的准确率和良好的鲁棒性。     

眨眼检测与眼睛跟踪

提出一种在视频人脸图像序列中,进行眼睛检测,跟踪和睁、闭状态判别的方法。通过眨眼检测,对眼睛进行定位;使用针对性强的内眼角提取算子,确定内眼角精确位置;利用内眼角特征来动态跟踪眼睛;睁眼模板在线生成和更新,通过当前眼睛区域和睁眼模板的相关分析来判别睁、闭眼状态。实验结果表明,算法在50场/s的处理速度下,内眼角点定位准确率达到98%以上,眨眼检测正确率为97.5%。     

基于眼嘴状态识别网络的疲劳驾驶检测

驾驶员疲劳驾驶是引发交通事故的重要因素，因此对驾驶员的驾驶状态进行精准检测尤为关键，然而现有的疲劳检测方法存在误判率高、鲁棒性低等问题。提出一种结合多特征融合与状态识别网络的疲劳驾驶检测方法，分析驾驶员的疲劳状态，利用优化后的单阶段人脸检测算法RetinaFace获取人脸位置及5个标志定位，根据双眼和嘴角关键点坐标将双眼及嘴部区域分别旋转至水平并截取。对现有数据集进行重新分类，用来训练以Ghost模块为基础的眼嘴状态识别网络（EMSD-Net），并对双眼开合状态及嘴部是否哈欠进行识别。最后，根据眼嘴状态，使用单位时间眼睛闭合的百分比、持续闭眼时间和持续哈欠时间为指标进行疲劳判断，并得出相应的疲劳程度，从而起到更有效的预警效果。在NHTU-DDD、YawDD和CEW数据集基础上构建的新数据集上的实验结果表明，所提方法的疲劳特征识别准确率为95.3%，单帧疲劳检测的平均时间为32.6 ms，具有较低的误判率，且在保证检测准确率基础上，有较高的实时性。     

基于EL-YOLO的虹膜图像人眼定位及分类算法

针对当前的人眼定位算法应对复杂环境的抗干扰能力不强、定位准确度较差以及无左右眼分类的问题,提出了一种基于轻量级网络的虹膜图像人眼定位及左右眼分类算法。利用YOLO算法结合高性能的轻量级网络模型设计EL-YOLO模型,损失函数引入广义交并比（GIoU）,使得网络训练可以快速收敛,且定位精度高。在CASIA-IrisV4、MIR2016以及本实验室采集的数据集SEPAD_V1和SEPAD_V2上的实验结果表明,EL-YOLO模型较小,运行速度快,且拥有较高的定位及分类准确率,具有较强的泛化能力。     

基于LSTM的眼动行为识别及人机交互应用

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图（HOG）特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20 000个样本（其中约10%为负样本）测试,本文方法动态眨眼识别准确率优于95%,眼动行为预测准确率为99.3%.     

基于改进CPMs和SqueezeNet的轻量级人体骨骼关键点检测模型

针对目前的人体骨骼关键点检测模型参数多、训练时间长和检测速度慢的问题，提出了一种将人体骨骼关键点检测模型CPMs与小型卷积神经网络模型SqueezeNet相结合的检测方法。首先，采用4个Stage的CPMs(CPMs-Stage4)对人物图像进行关键点检测；然后，在CPMs-Stage4中引入SqueezeNet的Fire Module网络结构，利用Fire Module结构大大压缩模型参数，得到一种新的轻量级人体骨骼关键点检测模型SqueezeNet15-CPMs-Stage4。在扩展的LSP数据集上的验证结果显示，与CPMs相比，SqueezeNet15-CPMs-Stage4模型在训练时间上减少86.68%，在单张图像检测时间上减少44.27%，准确率达到90.4%；与改进的VGG-16、DeepCut和DeeperCut 三种参照模型相比，SqueezeNet15-CPMs-Stage4模型在训练时间、检测速度和准确率方面均是最优的。实验结果表明，所提模型不仅检测准确率高，而且训练时间短、检测速度快，能够有效降低人体骨骼关键点检测模型的训练成本。     

LabelMe标注核对系统的设计与实现

随着计算机技术的发展,深度学习领域对图像数据集的要求越来越高.当无法构建大规模图像数据集时,一个高质量的数据集往往能够提高模型训练的质量和预测的准确率.在对图像数据集进行标注时,往往需要多次核对数据集中的标签名称是否正确,且标签名称与标注物是否一一对应,并需要花费大量时间对图像数据集进行标注核对,费时费力.因此,该文基...     

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络（non-local high-resolution,NLHR）,在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。     

融合多姿势估计特征的动作识别

目的 为了提高静态图像在遮挡等复杂情况下的动作识别效果和鲁棒性,提出融合多种姿势估计得到的特征信息进行动作识别的方法。方法 利用已得到的多个动作模型对任意一幅图像进行姿势估计,得到图像的多组姿势特征信息,每组特征信息包括关键点信息和姿势评分。将训练集中各个动作下所有图像的区分性关键点提取出来,并计算每一幅图像中区分性关键点之间的相对距离,一个动作所有图像的特征信息共同构成该动作的模板信息。测试图像在多个动作模型下进行姿势估计,得到多组姿势特征,从每组姿势特征中提取与对应模板一致的特征信息,将提取的多组姿势特征信息分别与对应的模板进行匹配,并通过姿势评分对匹配值优化,根据最终匹配值进行动作分类。结果 在两个数据集上,本文方法与5种比较流行的动作识别方法进行比较,获得了较好的平均准确率,在数据集PASCAL VOC 2011-val上较其他一些最新的经典方法平均准确率至少提高近2%。在数据集Stanford 40 actions上,较其他一些最新的经典方法平均准确率至少提高近6%。结论 本文方法融合了多个姿势特征,并且能够获取关键部位的遮挡信息,所以能较好应对遮挡等复杂环境情况,具有较高的平均识别准确率。     

面向少量标注数据的中文命名实体识别

训练数据的缺乏是目前命名实体识别存在的一个典型问题。实体触发器可以提高模型的成本效益，但这种触发器需要大量的人工标注，并且只适用于英文文本，缺少对其他语言的研究。为了解决现有TMN模型实体触发器高成本和适用局限性的问题，提出了一种新的触发器自动标注方法及其标注模型GLDM-TMN。该模型不仅能够免去人工标注，而且引入了Mogrifier LSTM结构、Dice损失函数及多种注意力机制增强触发器匹配准确率及实体标注准确率。在两个公开数据集上的仿真实验表明：与TMN模型相比，在相同的训练数据下，GLDM-TMN模型的F₁值在Resume NER数据集和Weibo NER数据集上分别超出TMN模型0.0133和0.034。同时，该模型仅使用20%训练数据比例的性能就可以优于使用40%训练数据比例的BiLSTM-CRF模型性能。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

基于宽接收域的实时人体姿态估计网络

为解决人体姿态估计任务的准确率和实时性问题，提出一个卷积宽接收域、检测实时的人体姿态估计网络。构建稠密残差步进网络(dense residual steps network, DRSN),提高模型对输入图像空间信息的提取和全局特征的把握。在激活函数上，以改进的FReLU激活函数替换原始的激活函数，通过采用二维卷积的方式改变ReLU函数中的激活条件，扩大模型的接收域，关键点分类更加准确。该网络在标准MPII数据集上进行测试，在满足较高定位精度的条件下，模型在NVIDIA RTX 2080Ti GPU上的检测速度达到38 FPS,可有效解决检测实时性问题。     

基于开放域对话系统的自动化评测方法研究

开放域对话系统的研究在近年来取得了很大的进展,然而基于该类系统的自动化评测依然是目前亟待解决的问题。针对目前各类评测方法需要大量标注数据和评测准确率较低等问题,提出了一种利用长短期记忆网络和注意力机制判别问题—回复对是否为真实对话的评测模型。该模型基于连续的对话语料进行建模,解决了目前基于参考回复的评测模型需要大量标注数据的弊端。在Cornell和Reddit数据集上,该模型分别取得了57.2%和71.8%的准确率,与现有几种评测模型相比准确率有明显提升。