改进视皮层视觉机制的视觉注意力模型

人类的视觉注意机制是人类大脑感知事物的最直接的功能。提出了一种基于视皮层视觉机制的生物激励注意模型。利用HMAX(hierarchical maximization)模型的四层机制中的C1细胞单元图,构造独立成分分析(independent component analysis,ICA)滤波器组,进一步利用对尺度、平移等均具有不变性的C2细胞特征,以及香农熵理论,共同构造用于视觉显著性区域检测的测度。在心理学实验的自然场景图像以及心理学刺激模式上的结果表明,该方法与传统方法相比,更符合人眼的感知特性,从而进一步验证了该方法的有效性和准确性。     

基于视觉注意机制的交通标志检测

根据人类视觉感知理论,将自底向上和自顶向下的注意机制相结合,融入到交通标志检测中,提出一种基于视觉注意机制的交通标志检测方法。根据2种注意模型提取颜色、形状、亮度等多种特征,生成显著图,利用WTA网络找到感兴趣区域,即交通标志区域。实验结果表明,该方法能在复杂背景图像中准确定位交通标志。     

自然场景中的视觉显著对象检测

显著对象检测是视觉注意机制的一个重要应用基础研究,对于图像检索、场景分析、图像标注与对象识别都有着重要的研究意义。基于Tresiman特征整合理论和Koch计算框架,提出一种自然场景中视觉显著对象的检测方法。该方法首先建立适用于彩色自然场景的视觉显著度模型,计算多种不同特征的显著度,然后在融合不同特征的综合显著度图中提取显著对象。实验结果表明,与经典的Itti模型相比,这种方法不仅检测快速而且更准确地将视觉显著对象从背景中分离出来,更符合人眼的真实视觉注意过程。     

一种直接高效的自然场景汉字逼近定位方法

为了提高经典目标检测算法对自然场景文本定位的准确性,以及克服传统字符检测模型由于笔画间存在非连通性引起的汉字错误分割问题,提出了一种直接高效的自然场景汉字逼近定位方法。采用经典的EAST算法对场景图像中的文字进行检测。对初检的文字框进行调整使其更紧凑和更完整地包含文字,主要由提取各连通笔画成分、汉字分割和文字形状逼近三部分组成。矫正文字区域和识别文字内容。实验结果表明,提出的算法在保持平均帧率为3.1 帧/s的同时,对ICDAR2015、ICDAR2017-MLT和MSRA-TD500三个多方向数据集上文本定位任务中的F-score分别达到83.5%、72.8%和81.1%;消融实验验证了算法中各模块的有效性。在ICDAR2015数据集上的检测和识别综合评估任务中的性能也验证了该方法相比一些最新方法取得了更好的性能。     

基于Gabor滤波与边缘特征的场景文字检测

为了解决场景文字检测受到背景复杂、光照不均等环境因素及文字本身属性变化的影响,提出一种基于Gabor滤波与边缘特征的场景文字检测方法。有效地融合了图像的纹理特征与边缘信息来得到文本候选区;经过形态学处理与投影运算对文字区域进行定位;最后通过一种特殊的二值化处理实现文字的提取。实验表明,该方法能检测各种场景下的文字。     

基于视觉注意的SVM彩色图像分割方法

提出一种基于视觉注意的自然场景彩色图像支持向量机（Support Vector Machine,SVM）分割方法。基于人类视觉注意机制将图像进行预分割,得到图像的显著区域和非显著区域,利用形态学操作对得到的图像进行处理,并自动选取和标注SVM的训练样本,用训练后的SVM分类器对整幅图像进行分割。该方法充分利用视觉注意机制方法的有效信息,解决了其边界不确定的缺陷,并且结合具有很好泛化性能的SVM学习方法,在无需先验知识以及任何人工干预的情况下,实现对自然场景图像的分割。为验证算法的有效性,分别从加州大学伯克利分校图像数据库及互联网选取多幅彩色图像进行实验,实验结果表明：该方法的分割结果不仅与人类视觉注意结果相一致,而且与伯克利图像数据库中人工标注结果相比,得到较好分割效果。     

基于视觉统计概率模型的目标定位

复杂场景中的目标定位是目标检测和识别的重要过程,为了更好地对复杂场景中的目标进行定位,基于视觉的概率模型,提出了一种目标定位的新方法。区别于一般的区域分割和边缘检测方法,该方法首先通过建立平滑、纹理、阴影和杂乱等4种不同类型区域特性的概率模型,对场景中的前景和背景进行了概率分析;然后结合不同的尺度大小,标记出图像中显著度较高的目标区域;最后经过边缘轮廓的概率建模和连通性分析来提取完整目标区域。实验结果表明,该方法具有较好的鲁棒性和通用性,不仅符合人的视觉注意特性,而且具有一定的抗背景干扰能力。     

基于视觉注意机制的彩色图像分割

提出一种基于视觉注意机制的彩色图像分割方法。受生物学启发,该方法模仿人类自下而上的视觉选择性注意过程,提取图像的底层特征,构造相应的显著图。根据显著图,检测出图像中的显著区域;将显著区域和背景分离,即得到图像分割结果。在多幅自然图像上进行实验,结果表明,该方法能够取得与人类视觉系统一致的分割结果。     

基于双向融合机制的建筑目标检测方法*

模拟人类视觉中有意识主动寻找与无意识被动受吸引相交互的视觉过程,提出了一种基于双向融合机制的建筑目标检测方法.该方法综合了基于自底向上数据驱动的视觉显著性模式和自顶向下基于环境感知的目标搜索模式检测图像中的建筑目标区域.利用拍摄的自然图像进行实验表明:该方法能较好地检测出图像中的建筑目标,具有处理速度快、准确性高的特点,能够满足处理复杂场景图像的实时性要求.     

基于运动显著性的移动镜头下的运动目标检测

针对移动镜头下的运动目标检测中的背景建模复杂、计算量大等问题,提出一种基于运动显著性的移动镜头下的运动目标检测方法,在避免复杂的背景建模的同时实现准确的运动目标检测。该方法通过模拟人类视觉系统的注意机制,分析相机平动时场景中背景和前景的运动特点,计算视频场景的显著性,实现动态场景中运动目标检测。首先,采用光流法提取目标的运动特征,用二维高斯卷积方法抑制背景的运动纹理;然后采用直方图统计衡量运动特征的全局显著性,根据得到的运动显著图提取前景与背景的颜色信息;最后,结合贝叶斯方法对运动显著图进行处理,得到显著运动目标。通用数据库视频上的实验结果表明,所提方法能够在抑制背景运动噪声的同时,突出并准确地检测出场景中的运动目标。     

一种用于复杂目标感知的视觉注意模型

针对自然场景图像中复杂结构目标的快速定位问题,提出一种新的视觉注意模型。对目标进行学习提取显著性图斑,将图斑的特征信息、异质图斑之间的相对位置关系引入视觉注意过程,采用基于图匹配的图斑搜索策略合并与目标特征相似的异质图斑,从而获得注意焦点。与自底向上的视觉注意模型进行实验对比,结果表明该模型能引入复杂结构目标的特征信息和结构信息,降低无效关注次数,提高视觉注意的效率。     

虚拟驾驶员视觉注意力模型研究

为提高驾驶员视觉感知行为仿真的逼真性,注意力模型成为驾驶行为研究的重点。介绍了注意力的认知模型,根据注意力的双加工理论,建立了虚拟驾驶员视觉注意力模型,将视觉注意过程分为预注意和集中注意两个阶段,在预注意阶段,基于图像的相位谱信息建立了图像的特征显著图,实现注意的自下而上过程。使用RBF网络实现了预注意阶段的自下而上和自上而下两个过程的结合。在集中注意阶段,实现了注意力的聚焦效应。对视觉注意力模型进行了仿真实验,验证了模型的有效性,为虚拟驾驶员视觉感知行为建模与仿真提供了基础。     

引入视觉注意机制的目标跟踪方法综述

视觉跟踪在无人飞行器、移动机器人、智能监控等领域有着广泛的应用,但由于目标外观和环境的变化,以及背景干扰等因素的存在,使得复杂场景下的鲁棒实时的目标跟踪成为一项极具挑战性的任务. 视觉注意是人类视觉信息处理过程中的一项重要的心理调节机制,在视觉注意的引导下,人类能够从众多的视觉信息中快速地选择那些最重要、最有用、与当前行为最相关的感兴趣的视觉信息,特别地,人类能够快速指向感兴趣的目标,从而可以轻松地实现对目标的稳定跟踪.因此,将视觉注意机制引入到复杂场景下的目标跟踪中,有利于实现更为稳定和接近于人类认知机制的视觉跟踪算法.本文旨在对引入了视觉注意机制的目标跟踪方法进行综述. 首先,介绍了视觉注意的基本概念及其代表性的计算模型;其次,对视觉注意与跟踪的内在关系进行了阐述;然后,对引入视觉注意机制的目标跟踪方法进行归纳、总结和分类,对代表性的方法进行介绍和分析;最后,对该类方法的特点和优势进行了讨论,并对未来的研究趋势进行了展望.     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

卷积深度置信网络的场景文本检测

自然场景中的文本检测对于视频、图像和图片等海量信息的检索管理具有重要意义.针对自然场景中的文本检测面临着图像背景复杂、分辨率低和分布随意的问题,提出一种场景文本检测的方法.该方法将最大稳定极值区域算法与卷积深度置信网络进行结合,把从最大稳定极值区域中提取出来的候选文本区域输入到卷积深度置信网络中进行特征提取,由Softmax分类器对提取的特征进行分类.该方法在ICDAR数据集和SVT数据集上进行实验,实验结果表明该方法有助于提高场景文本检测的精确率及召回率.     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

边缘与灰度检测相结合的场景图像文本定位

自然场景图像中包含大量的图像和文本信息,其文本字符能够提供重要的语义信息。利用计算机自动检测并识别自然场景中的文本信息,是模式识别和文字信息处理领域重要的研究内容。本文提出一种有效的从场景图像中定位文本的方法,其原理为：首先基于边缘检测进行文本区域粗定位,对定位到的区域进行灰度检测,来确定文本域中的字符位置,其后对所得到的检测区域进行筛选,去掉噪声区域,获取到目标文本域。实验结果表明,本文提出的方法对字体的大小、样式、颜色、以及排布方向具有较强的鲁棒性, 能够准确定位并提取自然场景下的文本信息。     

视觉感知正反馈的显著性检测

目的 人类视觉系统性能远超当前机器视觉,模拟人类视觉机制改进当前算法是有效研究途径,为此提出一种视觉感知正反馈模型,通过循环迭代、重复叠加视觉刺激生成更符合人类感知的视觉显著性图。方法 首先用多种常规方法检测图像显著度,模拟人类视觉多通道特性,再组合这些显著图为综合显著图;利用显著度大的像素构建初始注视区。其次借助集成RVFL（随机向量功能网络）模拟人脑神经网络产生视觉刺激,对注视与非注视区内像素在线“随机采样—学习建模”,图像像素经模型分类获得新注视区。对新注视区与非注视区,可重复迭代进行“随机采样—学习建模—像素分类”;迭代中若注视区连续相同,则表明感知饱和,迭代终止。若将每次像素分类结果看做是一种视觉刺激,则多次视觉刺激输出叠加,可生成新的图像显著性图。最终的像素分类结果就是图像分割目标。结果 将本文算法与现有方法在标准图像数据库上进行对比评测,包括通过对6种算法在ECSSD、SED2和MSRA10K 3个图像数据库上的P-R曲线,F-measure值和平均绝对误差（MAE）值上进行定量分析,对6种模型生成的显著性图作定性比较。数据表明,本文算法在SED2和MSRA10K图象数据库中性能最好,在ECSSD图象数据库中稍低于BL（bootstrap learning）和RBD（robust background detection）算法。本文算法的显著图与人类视觉感知更接近。且算法的正反馈迭代过程一般可迅速饱和,并未显著增加算法负担。实验结果表明,本文方法可作为一种有效的后处理手段,显著提升常规显著性检测算法的性能。结论 提出了一种模拟人类视觉机制的数据驱动显著性检测算法,无需图像先验知识和事先的标记样本。面对多目标,背景复杂等情况,本文方法具有相对好的鲁棒性和适用性,并且能够较好解决现实环境中图像处理算法的通用性、可靠性和准确性问题。     

面向智能驾驶的平行视觉感知：基本概念、框架与应用

目的 视觉感知技术是智能车系统中的一项关键技术,但是在复杂挑战下如何有效提高视觉性能已经成为智能驾驶领域的重要研究内容。本文将人工社会（artificial societies）、计算实验（computational experiments）和平行执行（parallel execution）构成的ACP方法引入智能驾驶的视觉感知领域,提出了面向智能驾驶的平行视觉感知,解决了视觉模型合理训练和评估问题,有助于智能驾驶进一步走向实际应用。方法 平行视觉感知通过人工子系统组合来模拟实际驾驶场景,构建人工驾驶场景使之成为智能车视觉感知的“计算实验室”;借助计算实验两种操作模式完成视觉模型训练与评估;最后采用平行执行动态优化视觉模型,保障智能驾驶对复杂挑战的感知与理解长期有效。结果 实验表明,目标检测的训练阶段虚实混合数据最高精度可达60.9%,比单纯用KPC（包括：KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）,PASCAL VOC（pattern analysis,statistical modelling and computational learning visual object classes）和MS COCO（Microsoft common objects in context））数据和虚拟数据分别高出17.9%和5.3%;在评估阶段相较于基准数据,常规任务（-30°且垂直移动）平均精度下降11.3%,环境任务（雾天）平均精度下降21.0%,困难任务（所有挑战）平均精度下降33.7%。结论 本文为智能驾驶设计和实施了在实际驾驶场景难以甚至无法进行的视觉计算实验,对复杂视觉挑战进行分析和评估,具备加强智能车在行驶过程中感知和理解周围场景的意义。