智能眼镜人机交互功能中眼行为识别方法的设计与实现

针对目前智能眼镜产品人机交互功能中存在的响应速度慢、交互效率低、鲁棒性不好等问题，设计并实现一种眼行为识别方法。该方法利用智能眼镜中眼部摄像头能够稳定拍摄人眼图像的特点，使用模板匹配定位眼睛在图像中的位置，对剪裁后的眼睛图像使用矩阵遍历法和灰度积分投影，再结合人眼的行为规律判定凝视、眯眼、闭眼、双眨眼、上扫视、下扫视、右扫视、左扫视八种眼行为。实验结果表明，移植在树莓派上的眼行为识别系统对不同眼行为平均识别准确率为96.25%,平均处理速度为每帧11.25 ms,有较高准确率和实时性，与目前主流智能眼镜的人机交互方式相比，具有低成本、易搭建和不受姿态影响等特点。     

基于多种眼动行为的裸眼3D显示视觉疲劳评估方法

在裸眼3D立体视频观看中，由于存在辐辏调节的矛盾，观看者会产生诸如眩晕、呕吐等视疲劳症状，尤其在医疗、A/VR等场景下，3D视频观看通常为任务驱动，眼动行为由于受到主观控制，单一的眼动特征很难准确评估视觉疲劳，更无法得到视疲劳等级，导致视疲劳无法及时被发现，从而造成不可预估的损失。针对以上问题，本文提出了一种基于多种眼动行为的3D视疲劳等级评估模型，旨在观看3D内容时，通过对注视、扫视、眨眼等眼动行为进行建模分析，得到实时视疲劳等级。本文采用主客观相结合的方法进行实验：受试者观看3D内容，实验人员记录受试者主观打分并利用眼动仪提取受试者客观眼动行为；通过进行相关性分析，探究任务驱动下能够表征3D视疲劳的各种客观眼动行为；利用神经网络建立基于16种眼动行为的视疲劳四等级评估模型。模型对3D视疲劳等级的预测准确率达到82%，证明了模型的有效性。     

基于EOG的安全辅助驾驶系统算法设计与实现

为保证驾驶安全,提高车辆控制系统的智能化水平,实现“手不离盘”操作,设计并实现了一种基于眼电图(EOG)的安全辅助驾驶系统。该系统利用安装在驾驶员眼睛周围的生物电极采集其在观测抬头显示器(HUD, head up display)上提示符时所产生的扫视信号,生成多种车载设备控制命令;对原始多导联EOG信号进行端点检测后,使用了独立分量分析(ICA, independent component analysis)方法进行空域滤波后提取眼动信号特征参数,并结合支持向量机实现了上、左与右扫视动作的识别。实验室环境下对所提算法进行了测试,15位受试者在疲劳与非疲劳状态下的在线平均正确率达到了98.43%与96.0%。实验结果表明,基于ICA多类扫视信号识别算法的安全辅助驾驶系统在眼动信号分析中呈现出了良好的分类性能。     

一种嵌入式实时人眼定位系统实现

眼睛的位置在视频图像处理过程中是一个很重要的信息。针对视频中实时人眼定位问题,提出了一种在嵌入式设备上实时运行的人眼定位系统。人眼定位算法采用改进了的平均合成的精确滤波算法(Average of Synthetic Exact Filters,ASEF),在构建稳定的平均滤波器的同时减少了训练图像的数量,使得在保证准确率的同时减少了训练时间。通过在ARM11上移植Open CV视觉库和QT实现了该系统的算法设计和界面设计。在多个标准人脸图像库和通过摄像头采集的视频流上进行的实验表明,该系统能够准确定位人眼,满足实时性的要求。     

桌面式眼动跟踪系统研究

眼动跟踪技术作为一种新的人机交互方式,已受到越来越多人的关注,现有的眼动跟踪系统大都是头戴式的,它的硬件设备复杂,对人干扰较大,而且价格昂贵。文章实现了一个简单的基于桌面的眼动跟踪系统,本系统硬件构成简单,而且不与人直接接触,使用虹膜中心坐标来估计用户的注视点。实验表明,当误差距离不超过40个像素时,系统估计的人眼注视点准确率超过80%。     

一种新的虹膜图像预处理方法

为了实现具有高准确性的非侵犯性虹膜识别,讨论了人眼图像中存在的由于虹膜识别的非侵犯性所造成的一些问题,提出了一种新的虹膜图像预处理方法.该方法包括内边界定位、眼睑检测、眼毛检测、外边界定位、虹膜归一化等操作.经该方法预处理得到的虹膜图像不包含眼睑和眼毛等干扰,使虹膜特征提取和匹配等过程不会受到各种干扰的影响,从而保证虹膜识别方法的健壮性.在多种图像库中的人眼图像上进行实验的结果证明,该方法能够有效地解决人眼图像中存存的问题,具有理想的准确性和较快的执行速度.     

室外环境下红外热图像内眼角定位

针对室外环境下红外热图像中目标区域受背景过热与周围环境影响，导致目标边界模糊、噪声大等问题，提出了一种室外环境下红外热图像内眼角定位算法。该算法首先对采集的图像进行面部倾斜校正，接着采用Gentle-AdaBoost与HAAR特征相结合进行人脸、人眼粗定位，并引入几何校正对眼睛区域精确定位，最终依据内眼角区域特性提出区域精化与区域生长分割相结合的内眼角定位。在3种不同的红外热图像数据集以及自主采集不同季节的温度区间室外的数据集上进行实验。结果表明:在室外环境下，所提出的方法可有效地定位内眼角，人眼定位准确率达到98.1%，内眼角定位准确率达到97.7%。     

复杂环境下基于多特征决策融合的眼睛状态识别

针对常用图像特征容易受到复杂光照、头部运动等因素的影响导致眼状态识别算法的准确率降低的问题,本文在对多种红外条件下眼睛图像特征进行分析研究的基础上,选择具有旋转不变性和尺度不变性但对光照敏感的伪Zernike矩特征、简单并有效但对轮廓提取有较高要求的复杂度特征和对光照不敏感但容易受到头部运动影响的HOG特征作为眼状态识别的特征,提出了一种基于多特征决策融合的眼状态识别算法。首先建立上述3种特征相应的支持向量机(SVM)分类器,然后利用自动权值学习算法得到3个特征分类器的决策权重,最后综合利用不同特征的性能特点对3个分类器的识别结果进行决策融合从而得到最终识别结果,提高了眼状态识别算法的鲁棒性。实验结果表明,本文算法能够较好克服光照和头部运动对眼睛状态识别的影响,识别准确率达到91.9%。     

增强现实显示光学引擎中光波导耦出超表面设计(特邀)EI北大核心CSCD

增强现实(AR)近眼显示光学引擎是新型显示光学设计领域的研究热点之一,它将虚拟图像投射到现实物理环境中进行显示,在空间上增强、融合和补充了物理世界。AR近眼显示光学引擎在光学系统集成化和微型化方面有较高要求,眼镜形态的AR近眼显示光学设备是未来必然发展趋势。光学超表面是一种由亚波长单元结构在二维平面上周期排布而成的人工结构阵列,通过单元结构和电磁波的相互作用实现对光场中振幅、相位和偏振的任意调控,同时具有体积小、效率高、结构紧凑等特点,在近眼显示应用中具有很大潜力。文中在AR光学引擎设计中引入一种传输相位型超表面光波导耦出结构,该超表面单元引入了突变相位,通过对超表面的等相位面调控改变光经过波导耦出的角度,使出射光效率最高达到77%,并实现20°视场角,为AR光波导结构设计提供一种可行方案,有望为下一代人机交互显示平台提供解决方案。     

激光扫描检眼镜

美国眼研究所研制成一种用激光对眼睛进行扫描的仪器激光扫描检眼镜。利用这种检眼镜可使眼科医生在电视屏幕上清晰地观察眼睛内部的构造。这种检眼镜用的光强只相当于目前常用检眼镜的百分之一至万分之一,使用中不会引起患者不适,大多数情况下可不使用使人感到疼痛的眼药水来放大瞳孔激光扫描检眼镜@李玲玲     

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

疲劳驾驶是导致车祸的重要诱因，严重危害道路交通安全，而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题，提出了基于深度学习的驾驶员疲劳检测算法。首先，使用850nm红外光源补光，在复杂光照和遮挡形态下采集驾驶员的面部图像；其次，利用红外图像中的多种特征，通过级联CNN确定人脸边框和特征点位置，提取眼睛区域并识别眼睛的睁闭状态；最后，将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络，检测驾驶员疲劳状态。实验结果表明:该疲劳检测算法的准确率可达94.48%，平均检测时间为65.64ms。     

基于人眼注视非穿戴自然人机交互

提出了一种基于人眼注视的非穿戴自然人机交互新方法。基于人类生物结构特征,采用主动形状模型确定人眼轮廓特征点,并根据HSV色彩空间中各色彩和亮度信息,构建综合反映人眼纹理及其空间位置的人眼特征直方图,采用粒子滤波方法,对人眼目标进行跟踪与定位,在克服光照和人脸姿态变化影响的同时,获取稳定的人眼轮廓特征点,满足人机交互的实效性要求。基于最大三角化划分人眼轮廓特征,构建人眼几何模型并确定人眼注视方向,通过图像帧间的均值滤波,确定人眼注视交互目标,用户无需佩带任何设备或有助于识别的辅助标志,实现非穿戴的自然人机交互。在用户灵活交互的同时,满足人机交互的舒适性和自由性要求。通过实验对比,验证了本文方法有效、可行。     

基于多尺度镶嵌的Mask R-CNN台风中心定位

准确自动检测台风风眼位置可为台风预报与监测研究提供先验信息，以减少灾害损失。由于台风形态结构的多变性，其中心自动定位仍存在一定的困难。本研究利用台风卫星云图，提出一种基于多尺度镶嵌的R-CNN台风风眼检测方法。收集日本气象厅发布的1981—2017年5000多张台风卫星云图，利用图像数据中风眼眼壁轮廓曲线及内外明暗差别清晰明显的特点对图中风眼进行分割标注。通过台风风眼半径多尺度估算算法，将原始图像划分为多尺度台风云图，整合训练集和测试集。借助多尺度图像镶嵌、超参数选择和多条件测试分析，构建利用多尺度Mask R-CNN模型检测分割台风风眼的总体算法框架，开展多尺度对比实验。在自建标定数据集中，台风风眼的识别准确率最高达到92.63%、最低为88.36%，平均每张图片的检测时间最少为0.043 s，均方误差最小达到2154，平均交并比最大为0.9454。实验结果表明，所提多尺度镶嵌数据增强方法在大中规模尺度融合时效果最好、中小尺度较差，与现有主要数据增强方法相比，能更有效地提升神经网络准确率。整体检测模型在台风中心定位中的综合效率优于其他深度学习定位方法。     

用于立体显示的人眼位置快速检测

人眼检测实自动人脸检测以及视线跟踪中非常重要的一项技术,它被用于智能人机交互、疲劳驾驶检测、安保以及诸多领域。在此提出了一种基于亮瞳效应的精确人眼实时检测算法。该方法使用主动红外光结构照明来产生亮瞳效应并产生候选点,然后利用连续Adaboost算法来对人眼进行确认,实验结果表明,对于640×480分辨率的连续视频,系统每帧的检测时间小于10ms,检测准确率较高。     

在手机画面上实现立体显示

NTT开发出一种在手机的画面上实现立体显示的技术。新技术是通过改变相同图像的颜色 ,并使其重叠在液晶画面上 ,给人眼以层次感 ,既不需用专用眼镜 ,又不易引起眼睛的疲劳和晕眩在手机画面上实现立体显示     

基于近红外眼周图像有用特征的人类身份识别研究

针对现存身份识别算法很少有效利用眼周图像的问题,本文执行了两组实验探究人类如何分析眼周图像。首先,选择和预处理用于实验的眼睛图像;然后,以对象随机配对的方式创建不同对象的查询,发现志愿者能对92%的查询正确确定两幅图像的关系;最后,在形成不同对象对时考虑了多个因素,从具有相同年龄和种族,类似的眼睛颜色、眼妆、睫毛长度和眼睛遮挡的对象对形成查询,并且限制志愿者观察查询对的时间。实验取得的正确验证率为79%,分析结果表明,在现有身份识别系统中合并使用眼周识别算法可以更加准确有效地进行人类身份识别。     

基于低成本眼动记录系统的视线估计研究

高精度眼动记录技术现已非常成熟,但昂贵的价 格限制了当前商用眼动仪的应用 范围,发展灵 活、低成本的眼动记录系统将是眼动跟踪技术的重要研究方向。本文设计了一种 低成本、低侵 入性的耳麦式眼动记录系统。系统由两个普通CMOS摄像机及耳麦式支架构成,两个摄像机 分别记录注 视场景图像及人眼图像,成本仅为当前商用眼动仪的几百分之一。针对系统 采集的数据,提出一种分段 加权环形Hough变换算法提取虹膜轮廓及中心作为特征,采用支持向量回归(SVR)算法 估计注视点与特征点位置 的映射关系。设计了一种简便的标记注视点坐标的方法,实现注视估计。实验结果表明, 对场景图像中随机位置的注视方向估计平均误差为1.57°,表明低成本眼动仪可以满足日常 交互需求。     

结合图像分割和ResNet18的危险驾驶行为识别

针对驾驶行为图像中背景干扰问题,文章提出了一种结合图像分割和残差网络的危险驾驶行为识别方法。首先采用GrabCut分割出图像中驾驶员所在区域;然后通过迁移学习完成基于ResNet18的识别模型;最后使用AUC数据集验证算法的有效性。实验表明:在测试集上实现了94.57%的准确率。     

基于Gabor滤波和K-medoid聚类分析的人眼检测和瞳孔定位

针对人眼检测过程中存在的表情、光照和眼镜遮挡 等干扰因素的影响,提出一种基于Gabor滤波和 K-medoid聚类分析的人眼检测和瞳孔定位方法。首先采用鲁棒性较好的眼部横向特征作为 检测对象来设计了Gabor 滤波器,以突出眼部的横向特征;然后根据Gabor滤波后的眼部特征,并结合K-medoid算法 设计了聚类算法检测人眼;在人眼检测基础上,结合灰度分布特征和熵函数设计了瞳孔定 位方法。在BioID人脸库和FERET彩色人脸 库上进行了实验,结果表明,本文方法在两个图库的3470幅人脸图像 上能够达到97.8%的检 测率,并且在设置误差阈值较小(0.15)情况下仍能达到95.5%的瞳孔定位准确率。     

面向微光/红外融合彩色夜视的场景解析方法

彩色夜视技术可以将微光/红外双谱图像融合成一幅适于人眼观察的彩色图像,而恰当的场景解析方法能够对彩色夜视图像的内容做出自动化分析,进一步减轻人眼的观测负担。针对彩色夜视场景丰富多变、对算法灵活性要求高的特点,提出了一种可在线扩展的场景解析方法。该方法基于非参数模型,预测景物类别时不需要训练过程,只需要使用数据库中具有语义标记的样本图像, 通过将待解析图像与样本图像进行全局及局部匹配来实现语义标签的传递。而且,数据库可以根据应用场景的不同随时进行动态扩充。实验结果表明:该方法在包含城市、乡野等多种场景的夜视图像上,以及由统计色彩映射、TNO、NRL等多种融合方法得到的、具有不同色彩表征的彩色夜视图像上都具有令人满意的准确率。