基于头动与眼电信号的疲劳检测研究

针对疲劳识别率有待提高和现行疲劳检测设备不便携带的问题,提出一种以便携式眼镜为载体结合处理头动与眼电信号的疲劳检测方法.利用便携式眼镜采集头动与眼电信号并通过蓝牙将数据传输到手机终端.采用融合卡尔曼滤波算法处理头动信号并提取点头频率特征,采用Perclos算法P80原理和分段平均功率比值法处理眼电信号得到眨眼频率和低高...     

基于眼球前庭动眼反射的机器人视觉误差主动补偿方法

针对机器人在颠簸环境下作业过程中产生姿态变化从而导致的视觉不稳定性问题,基于眼球前庭动眼反射的机理,提出一种主动补偿视觉误差的方法.在生理学和解剖学的基础上,根据眼球运动的神经回路,建立了一个具有自适应性的前庭动眼反射控制模型.为了验证模型的性能,在不同的环境中进行了仿真实验,仿真结果表明该模型可以主动补偿机器人姿态变化所引起的视觉误差,并且具有良好的自适应性.最后,通过实体机器人实验验证了该控制模型的有效性与准确性.     

眼动技术在专题学习网站视觉设计中的应用思考

专题学习网站是当今网络学习的主要渠道之一,这一概念源自2001年李克东提出的专题探索—网站开发模式。网页设计者直接沿用普通网站设计的研究成果,没有从学习认知的角度对专题学习网站进行视觉设计,从而影响了网络学习者的学习效果。根据专题学习网站的特点,在介绍眼动技术概念的基础上,分析现有专题学习网站视觉设计方面存在的问题,探讨运用眼动技术可以解决的几个方面,提出研究的发展方向以及建议。     

头盔式眼动仪头动检测方法的研究与应用

头动检测一直是头盔式眼动仪在检测中有待研究的关键问题,我们利用现场摄像机摄取的图像帧与帧之间的相关性,采用模式识别与目标跟踪的模板匹配法,对头部的平面运动检测原理及方法进行了研究,实现了眼动测量过程中的头动补偿,有效地提高了眼动数据的准确性和可靠性。本文针对人机界面的特定环境提出了边缘匹配检测法,明显地提高了检测速度,并对这一方法作了进一步的探讨。     

基于人类视觉皮层双通道模型的驾驶员眼动行为识别

驾驶员的危险行为会增加交通事故的发生率,目前对驾驶员行为的研究中大多通过面部识别等方法对异常行为如疲劳驾驶、接电话等进行识别.这种方法仅客观地对驾驶员行为进行分类,而忽略了他们在驾驶过程中的主观心理.眼动仪是记录和分析驾驶员眼动数据的有效工具,可以清晰地了解驾驶员的想法并总结其视觉认知模式.因为目前还没有针对驾驶员眼动...     

阅读眼动追踪语料库的构建与应用研究综述

阅读文字时眼球的运动反映了人类的认知过程。阅读眼动数据是认知心理学、应用语言学、计算机科学等领域中重要的基础数据,而我国在阅读眼动研究的基础数据方面较欠缺。针对这一现状,首先介绍了阅读眼动追踪语料库产生的背景以及国内外的相关文献;然后从影响阅读眼动的低水平视觉因素和高水平视觉因素角度介绍了阅读眼动追踪语料库的内容及所使用的各项眼动指标,如单一注视时间、首次注视时间、凝视时间、总注视时间、回视出次数、回视入次数等,并分析了使用语料库研究法进行阅读眼动研究相比传统阅读眼动研究具有的3个优势;最后从语料库眼动指标变量、语料规模、语料内容、语料语种、被试规模、被试特征、采集设备等方面介绍了国外已经建成的较有影响力的若干阅读眼动追踪语料库,以供阅读眼动研究者参考。在眼动追踪语料库应用研究方面,对认知心理学、应用语言学和计算机科学等相关领域已开展的主要研究进行述评,重点介绍了在计算机科学的眼动可计算模型、自然语言处理、模式识别3个领域中基于阅读眼动追踪语料库开展的典型研究。在中文阅读眼动追踪语料库的构建与应用研究方面,介绍了我国相关研究的开展现状,分析了我国在眼动基础数据方面欠缺的原因,并从国家、...     

基于眼动点视觉先验与边缘优化的显著性检测

图像显著性检测是计算机视觉中的基础研究课题之一.当前基于深度学习的方法虽然能够有效提高显著性检测结果的准确性,但是在显著性目标的物体边缘细节提取方面还不能令人满意.为此,提出了一种基于眼动点预测先验的边缘细化网络用于显著性目标提取.首先,对输入图像进行眼动点预测,将生成的特征图像作为后续显著性检测的视觉先验;其次,利用...     

基于眼动数据的分类视觉注意模型

视觉注意是人类视觉系统中的重要部分,现有的视觉注意模型大多强调基于自底向上的注意,较少考虑自顶向下的语义,也鲜有针对不同类别图像的特定注意模型。眼动追踪技术可以客观、准确地捕捉到被试的注意焦点,但在视觉注意模型中的应用还比较少见。因此,提出了一种自底向上和自顶向下注意相结合的分类视觉注意模型CMVA,该模型针对不同类别的图像,在眼动数据的基础上训练分类视觉注意模型来进行视觉显著性预测。实验结果表明:与现有的其它8个视觉注意模型相比,该模型的性能最优。     

合成纹理图像的视觉相似性眼动分析

探索了当人眼视觉感知纹理图像相似性时纹理特征(整体特征和局部特征)对视觉注意过程及相似性结果选择的影响。采用PGPC纹理合成方法,分别控制纹理的整体特征和局部特征,合成具有相同整体特征和局部特征的纹理。实验分为3组纹理场景,每一组有3幅纹理图像(A,B和S),S为对比纹理图像;实验者带着“纹理A和纹理B,哪个与纹理S更相似”的视觉感知任务观察纹理场景;利用Tobii T60眼动仪记录实验过程中观察者的眼动,跟踪获取89位实验者的眼动数据(眼动数据度量指标包含感兴趣区域内注视点散度和不同感兴趣区域间的眼跳次数);通过Tobii studio导出眼动数据,并基于R软件进行了方差分析和配对T检验等统计分析。通过对3组纹理图像的注视轨迹图及热点图的分析,验证了纹理整体特征和局部特征对视觉感知过程中的注视模式和相似性结果的选择有影响。实验结果表明:1)对于全局特征与对比纹理图像一致的纹理,其眼动注视点分散,而对于局部特征与对比纹理图像一致的纹理,其眼动注视点集中。2)纹理组相似性的最终选择结果与纹理组内不同纹理图像间的视觉搜索行为有关。     

辨识阅读眼动注视点参数的级联神经网络

提出了一种由三层感知机和单层线性网络构成的级联神经网络,能用于自动辨识眼动实验数据中的注视停顿并确定其时程.计算机仿真结果表明,该网络经过学习训练后能快速、准确地实时处理眼动实验数据,相对误差小于0.2％.     

融合眼动数据和文本信息的可视化阅读辅助

研究阅读过程中的视觉注意行为特征,基于眼动数据和文本主题进行阅读行为特征和文档结构的分析,设计了眼动热区图、圆环图、节点链接图、词云等可视化形式.在此基础上开发了面向阅读辅助的可视分析原型系统,该系统记录专家用户（如老师）的眼动数据,然后通过可视化形式分享给新手用户（如学生）.用户实验结果表明,实验组用户的阅读理解客观题和主观题得分平均值分别比对照组用户提高了31.8%和55.0%,阅读和答题总用时比对照组用户平均减少了9.7%,可以有效帮助读者提高阅读效率、快速抓住文章重点和更好地理解文章内容,具有一定的有效性和可行性.     

基于眼睛特征跟踪的眼睛状态跟踪

眼睛状态的跟踪具有广泛的应用,如在面部表情分析和驾驶疲劳报警系统的应用方面,此时需要跟踪的不仅仅是人眼的位置,而且还需要返回眼睛的状态,以及眼睛模型的参数.基于眼睛特征跟踪的眼睛状态跟踪方法是先检测出表征眼睛状态的眼睛特征,然后通过跟踪这些特征达到跟踪眼睛状态的目的.在实验平台是PⅡ/500微机,256M内存,Windows 2000操作系统中处理速度是接近每秒7帧.对214图像序列进行了实验测试,跟踪精度达到97.6%.     

多用户眼动跟踪数据的可视化共享与协同交互

随着数字图像处理技术的发展,以及计算机支持的协同工作研究的深入,眼动跟踪开始应用于多用户协同交互.但是已有的眼动跟踪技术主要针对单个用户,多用户眼动跟踪计算架构不成熟、标定过程复杂,眼动跟踪数据的记录、传输以及可视化共享机制都有待深入研究.为此,建立了基于梯度优化的协同标定模型,简化多用户的眼动跟踪标定过程;然后提出面向多用户的眼动跟踪计算架构,优化眼动跟踪数据的传输和管理.进一步地,探索眼动跟踪数据的可视化形式在协同交互环境下对用户视觉注意行为的影响,具体设计了圆点、散点、轨迹这3种可视化形式,并验证了圆点形式能够有效地提高多用户协同搜索任务的完成效率.在此基础上,设计与开发了基于眼动跟踪的代码协同审查系统,实现了代码审查过程中多用户眼动跟踪数据的同步记录、分发,以及基于实时注视点、代码行边框和背景灰度、代码行之间连线的可视化共享.用户实验结果表明,代码错误的平均搜索时间比没有眼动跟踪数据可视化分享时减少了20.1%,显著提高了协同工作效率,验证了该方法的有效性.     

基于标记点检测的视线跟踪注视点估计

传统的头戴式视线跟踪系统需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向.针对该问题,提出一种基于标记点检测的注视点估计方法.该方法通过计算机视觉的方法检测标记点,建立场景图像与真实场景中计算机屏幕之间的空间关系,将场景图像中的注视点坐标映射到计算机屏幕中.实验结果表明,该方法简单易行,可以较好地估计出用户在...     

面向大屏幕目标选择的眼动跟踪与手势交互

眼动跟踪方法具有很强的视觉指向性,可以将其应用于面向大屏幕的目标选择,进而避免鼠标操作方式在空间上的远距离移动.然而,仅仅利用眼动跟踪进行选择操作,也会产生选择精度降低、容易产生误操作等问题.因此,为了实现大屏幕上快速、准确的目标选择,提出一种融合眼动跟踪与手势的多通道交互方法,即通过眼动跟踪选择目标,利用手势进行选择确认.在目标尺寸小、目标间距较小时,通过光标稳定和二次选择机制进一步对交互过程进行优化.用户测试结果表明,该方法可以在大屏幕上针对不同尺寸和间距的目标完成有效的选择操作,与仅使用眼动跟踪的目标选择方法相比,任务完成速度提升了16%,任务完成正确率提升了82.6%.此外,针对层级菜单的具体选择任务,该方法与仅使用眼动跟踪的方法相比,任务完成速度提升了13.6%,任务完成正确率提升了55.7%.此外,该方法总体性能接近传统的鼠标操作方式,进一步验证了该方法在实际应用中的有效性.     

Eye Tracking in Image Sequences by Competitive Neural Networks

An automatic algorithm is presented for the eye tracking within face image sequences. It is based on the property of local Gabor filters to efficiently determine the location of eyes in face images. The proposed algorithm is implemented by a competitive neural network, that locates and tracks the eyes in a reliable manner as shown by experimental results.     

用于复杂环境下的疲劳检测系统人眼检测方法

针对光照、眼镜等对驾驶员人眼检测的影响,提出采用霍夫变换和神经网络分类器进行人眼检测.通过应用虹膜几何信息和对称性,选择可能包含人眼的两个候选区域.运用边缘检测算子和 MAE 进行人眼粗定位.然后在此基础上采用B-P神经网络进行人眼精确定位.针对三种不同情况,即不同光照、不同背景和不同肤色的人拍摄6组视频图像,采用matlab7.0进行3组仿真实验,实验结果表明该算法对复杂情况的人眼检测具有较强的鲁棒性.大大提高人眼检测准确率.     

基于多目摄像机的鲁棒眼动跟踪技术研究

为改进单个远程传感器采集眼动数据时存在视场小、容易被遮挡物遮挡的缺点,研究了一种多目摄像机眼动跟踪技术,以更好地采集眼动数据。应用多个摄像机对人体头部姿态和眼球信息进行采集,通过分割视频帧提取瞳孔图像和计算被测用户头部姿态角度,将瞳孔图像放入卷积神经网络进行训练得到注视点坐标,并基于头部姿态信息计算每个摄像机的注视点权重,从而加权融合得到更精确的注视点信息。研究结果表明:在头部姿态角较大时,多目眼动追踪技术的精度比单目传感器的精度高30%~50%。该技术具有灵活性和通用性,在驾驶舱设计、用户用眼习惯评估和驾驶学员眼动绩效分析中具有重要的应用和推广价值。     

基于眼动记录与分析技术的测谎研究

为进一步提高测谎的准确度,加快促成测谎结论成为刑事诉讼中的证据,提出一种低成本的将眼睛变化线索用于测谎的方案。首先设计了一种低成本的眼动记录系统记录眼动信号,提出分段加权Hough变换算法跟踪虹膜,利用梯度积分投影函数检测眨眼,采用差分图像估计眼睛张开程度。然后建立了眼动轨迹、眨眼频率及眼睛张开程度等眼动特征与说谎的关系模型。实验取得的眼动特征检测精度证明采用低成本眼动记录系统基本可以满足测谎需求,测谎实验结果证明了本文方法用于测谎或辅助测谎的可行性。     

基于自适应动态规划的移动机器人视觉伺服跟踪控制

针对移动机器人视觉伺服跟踪控制问题, 提出一种基于自适应动态规划(Adaptive dynamic programming, ADP) 的控制方法. 通过移动机器人上的相机拍摄共面特征点的当前图像、期望图像以及参考图像, 利用单应性技术得到移动机器人当前的位姿信息与期望的位姿信息(即平移量与旋转角度), 从而通过当前与期望的平移旋转之间差值得到系统的开环误差模型. 进而, 针对此系统设计最优控制器, 同时做合适的控制输入变换. 在此基础上设计一个基于ADP的视觉伺服控制方法以保证移动机器人完成轨迹跟踪任务. 为求出最优控制输入, 采用一个评价神经网络近似值函数, 通过不断学习逼近哈密顿−雅可比−贝尔曼(Hamilton-Jacobi-Bellman, HJB)方程的解. 与以往不同的是, 由于系统存在时变项, 导致HJB方程也含有时变项, 因此需要设计具有时变权值结构的神经网络近似值函数. 最终证明在所设计的控制方法作用下, 闭环系统是一致最终有界的.