应用视觉注意多分辨率分析的图像检索

基于人类视觉感知理论,提出一个改进的Itti视觉注意模型用于图像检索。该改进视觉注意模型是在充分考虑纹理特征与视觉感知关系的基础上,构造一个粗糙度图,用作视觉注意模型的一个初级视觉特征。首先通过该改进视觉注意模型得到50个视觉特征图;然后分别对每个视觉特征图采用局部二值模式傅里叶直方图（LBP-HF）方法抽取其分布信息,从而获得每幅图像的高维特征;最后利用局部保持投影(LPP)方法进行维数约简,以获取具有图像间局部几何和鉴别信息的低维特征用于图像检索。实验结果表明,该算法能获得较好的检索效果。     

视觉感知式场景文字检测定位方法

针对自然场景中复杂背景干扰检测的问题,本文提出一种基于视觉感知机制的场景文字检测定位方法。人类视觉感知机制通常分为快速并行预注意步骤与慢速串行注意步骤。本文方法基于人类感知机制提出一种场景文字检测定位方法,该方法首先通过两种视觉显著性方法进行预注意步骤,然后利用笔画特征以及文字相互关系实现注意步骤。本文方法在ICDAR 2013与场景汉字数据集中均取得较有竞争力的结果,实验表明可以较好地用于复杂背景的自然场景英文和汉字的检测。     

基于视觉注意机制的显著物体轮廓感知

针对机器视觉中物体轮廓检测问题,提出了一种基于注意机制的轮廓感知模型.首先根据视觉注意机制得到显著物体的注意焦点;随后利用格式塔知觉组织规则,将从原始图中提取的重要轮廓边缘进行轮廓组织;最后根据注意焦点进行轮廓距离感知,得到人类视觉真正感兴趣和注意到的物体轮廓.结果表明了该算法的有效性和生物学上的合理性.     

基于视觉感知的梯度结构相似度图像质量评价*

尽管SSIM(Structural Similarity)图像质量评价算法结构简单,评价性能优于一般客观评价算法,但该算法没有考虑人类视觉系统HVS(human visual system)对视觉感知的影响,且其算法定义中对“结构信息”的表述过于简单,并不能完全描述自然图像的结构信息。在SSIM算法的基础上,结合亮度和对比度掩蔽等视觉感知信息构造视觉感知（Visual Perception）函数,提出基于视觉感知的梯度结构相似度评价方法VI_GSSIM（Visual Perception and Gradient based SSIM, VI_GSSIM）。该方法通过图像质量与图像内容和失真类型的相关性,结合图像的误差可视性与内容可视性构造视觉感知函数,对HVS底层视觉系统建模,同时利用梯度重新定义结构信息,得到基于视觉感知的梯度结构相似度模型,对图像进行质量评价。实验结果表明提出的VI_GSSIM算法比SSIM更符合人眼的视觉特性,尤其适合评价降质较严重的图像。     

融合深度信息的视觉注意计算模型

针对Itti模型在特征选择上的局限性,借鉴心理学中有关视觉注意的研究成果,提出一种融合深度信息的视觉注意计算模型。该模型在基于图像分割的自适应立体匹配基础上提取深度特征,与亮度、方向、颜色特征相结合,实现空间显著性度量,并采用侧抑机制和WTA机制得到注意焦点。实验结果表明,新模型能较好地反映空间立体视觉信息对注意的影响,使计算结果能更符合人类视觉。     

基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

仿生型机器视觉研究 *

在深入分析人类眼球的神经机理、运动形式和特点及人类视觉神经通路的基础上 ,从模拟人类眼球运动构筑仿生机器眼和模拟人类视觉感知机理应用于机器视觉两个方面 ,探讨了视觉仿生研究的方式方法、研究进展、应用前景和发展趋势。提出了采用复杂系统控制方法构建多自由度仿生型机器人双眼运动模型的思路 ,分析了人眼固视微动机制的综合利用和应用价值以及超人眼系统的研究设想等新的视觉仿生研究方向。     

基于视觉选择性注意机制的目标检测的研究

视觉选择性注意模型的应用是当今认知信息处理领域的研究热点。根据人类视觉感知理论,在介绍具有代表性的视觉注意模型（Itti模型）的基础上,在特征提取的初级阶段引入新的低层视觉特征,形成一种新的引导注意的显著图,从而实现较为准确的目标检测。结果证明该方法在一定程度上避免了漏检测现象的发生,使得注意区域更能接近生物视觉系统的实际。     

一种动态场景中的视觉注意区域检测方法

利用心理学中有关视觉注意的研究成果,提出一种新的动态场景中的视觉注意区域检测算法.该算法利用视觉对场景的感知的特点,以特征点轨迹作为运动特征,计算特征点运动的显著性,并用运动显著的特征点作为"种子",结合空间分割方法产生运动显著图.为了兼顾静态场景,则利用颜色和亮度作为特征,以center-surround反差模型获得图像的静态显著图. 最后提出一种基于运动优先思想的方法将运动和空间显著图进行动态融合,生成视觉注意区域.与以往方法相比,该方法生成的视觉注意区域较为完整,并且具有更好的抗噪性.实验结果证明了该方法的有效性和稳定性.     

模拟初级视皮层注意机制的运动对象检測模型

视频监控的广泛应用使运动对象检测成为研究热点,但运动的不确定性增加了检测难度。鉴于人类视觉系统能高效地感知运动对象,研究者从神经生理学和心理学的角度提出了运动检测的生物学模型。根据上述研究成果,提出模拟初级视皮层的运动对象检测模型。使用三维Gabor时空滤波器模拟人类初级视皮层中简单细胞的经典感受野,通过非线性组合获取复杂细胞对运动对象刺激响应的运动能量,应用细胞的中心环绕作用及相关性运动检测增强运动信息并抑制环境干扰,采用信息融合获取运动对象的显著性图,并利用WTA神经网络模型实现对运动H标的感知。实验结果表明,该模型能有效检测到视频中的运动目标,运算速度较其他仿视神经加工的视觉注意模型更快。     

基于视觉模型的抗合谋数字指纹

本文提出了一种基于视觉系统模型的抗合谋指纹算法，并对各种合谋攻击的有效性进行了讨论与分析。所提出的算法充分利用了双正交小波多分辨率的优点及人眼视觉系统的特性，实现了数字指纹最大强度的嵌入。实验表明该算法自适应性强，有良好的抗合谋性能。     

基于视觉模型的抗合谋数字指纹

本文提出了一种基于视觉系统模型的抗合谋指纹算法,并对各种合谋攻击的有效性进行了讨论与分析。所提出的算法充分利用了双正交小波多分辨率的优点及人眼视觉系统的特性,实现了数字指纹最大强度的嵌入。实验表明该算法自适应性强,有良好的抗合谋性能。     

面向复杂场景的人物视觉理解技术

面向复杂场景的人物视觉理解技术能够提升社会智能化协作效率,加速社会治理智能化进程,并在服务人类社会的经济活动、建设智慧城市等方面展现出巨大活力,具有重大的社会效益和经济价值。人物视觉理解技术主要包括实时人物识别、个体行为分析与群体交互理解、人机协同学习、表情与语音情感识别和知识引导下视觉理解等,当环境处于复杂场景中,特别是考虑“人物—行为—场景”整体关联的视觉表达与理解,相关问题的研究更具有挑战性。其中,大规模复杂场景实时人物识别主要集中在人脸检测、人物特征理解以及场景分析等,是复杂场景下人物视觉理解技术的重要研究基础;个体行为分析与群体交互理解主要集中在视频行人重识别、视频动作识别、视频问答和视频对话等,是视觉理解的关键行为组成部分;同时,在个体行为分析和群体交互理解中,形成综合利用知识与先验的机器学习模式,包含视觉问答对话、视觉语言导航两个重点研究方向;情感的识别与合成主要集中在人脸表情识别、语音情感识别与合成以及知识引导下视觉分析等方面,是情感交互的核心技术。本文围绕上述核心关键技术,阐述复杂场景下人物视觉理解领域的研究热点与应用场景,总结国内外相关成果与进展,展望该领域的前沿技术与发展趋势。     

具有人类视觉特性的可见水印算法

论文提出一种基于小波变换的可见水印算法,该算法利用人类视觉模型的亮度CSF和纹理敏感特性,根据主图像和水印图像的局部和全局特征,建立确定水印嵌入的拉伸系数数学模型。首先描述了人类视觉及小波分解系数分析,给出了小波系数视觉重要性权重值。把原图像和水印图像小波系数频率子带分成不同的块,基于视觉掩模对子块进行分类。利用人眼的纹理敏感特性,进一步增强了嵌入水印的图像视觉质量。仿真实验表明该算法结果良好。     

一种基于视觉注意模型的图像分类方法

视觉选择性注意机制是人类视觉系统的重要组成部分。近年来的研究表明,自下而上的视觉选择性注意模型在物体识别等方面得到了良好的应用。但是,视觉选择性注意模型在描述图像内容时存在着明显的不足,一个显著的特征在某些情况下可能不会得到注意,人眼更可能会注意到一幅图像里比较稀少的特征。针对上述情况,提出了一种基于视觉选择性注意模型和全局稀少性相结合的视觉注意模型进行图像分类。实验结果表明,该方法在多类物体分类中达到97.74%的总准确率,取到了非常好的效果。     

视觉机制引导的非均匀光照图像二次曝光

针对非均匀光照图像不能满足"视觉匹配"的问题, 依据人眼视觉机制提出了非均匀光照图像二次曝光算法. 首先, 融合退化过程模拟模型(Degradation process simulation model, DPSM)和Retinex模型得到了非均匀光照图像的成像模型, 利用修正的变分Retinex求解方法,获取乘性光照图像; 在人眼视觉阈值性的引导下去除加性光照图像, 获取反射图像; 依据视觉感光适应性对乘性光照图像进行动态范围调整, 并同反射图像相乘获取全局增强结果; 将全局增强结果同原始图像融合, 并对低照度区域进行颜色校正, 获取"视觉匹配"结果. 实验证明本文算法的场景再现结果可以较好地满足"视觉匹配", 性能达到或者超越了现有算法.     

一种基于视觉知识加工模型的目标识别方法

提出了一种基于视觉知识加工模型的目标识别方法. 该加工模型结合目标定位、模板筛选和MFF-HMAX (Hierarchical model and X based on multi-feature fusion)方法对图像进行学习, 形成相应的视觉知识库, 并用于指导目标的识别. 首先, 利用Itti模型获取图像的显著区, 结合视觉通路中What和Where通道的位置、大小等特征以及视觉知识库中的定位知识确定初期候选目标区域; 然后, 采用二步去噪处理获取候选目标区域, 利用MFF-HMAX模型提取目标区域的颜色、亮度、纹理、轮廓、大小等知识特征, 并采用特征融合思想将各项特征融合供目标识别; 最后, 与单一特征以及目前的流行方法进行对比实验, 结果表明本文方法不仅具备较高的识别效果, 同时能够模仿人脑学习视觉知识的过程形成视觉知识库.     

A Cognitive Memory-Augmented Network for Visual Anomaly Detection

With the rapid development of automated visual analysis, visual analysis systems have become a popular research topic in the field of computer vision and automated analysis. Visual analysis systems can assist humans to detect anomalous events (e.g., fighting, walking alone on the grass, etc). In general, the existing methods for visual anomaly detection are usually based on an autoencoder architecture, i.e., reconstructing the current frame or predicting the future frame. Then, the reconstruction error is adopted as the evaluation metric to identify whether an input is abnormal or not. The flaws of the existing methods are that abnormal samples can also be reconstructed well. In this paper, inspired by the human memory ability, we propose a novel deep neural network (DNN) based model termed cognitive memory-augmented network (CMAN) for the visual anomaly detection problem. The proposed CMAN model assumes that the visual analysis system imitates humans to remember normal samples and then distinguishes abnormal events from the collected videos. Specifically, in the proposed CMAN model, we introduce a memory module that is able to simulate the memory capacity of humans and a density estimation network that can learn the data distribution. The reconstruction errors and the novelty scores are used to distinguish abnormal events from videos. In addition, we develop a two-step scheme to train the proposed model so that the proposed memory module and the density estimation network can cooperate to improve performance. Comprehensive experiments evaluated on various popular benchmarks show the superiority and effectiveness of the proposed CMAN model for visual anomaly detection comparing with the state-of-the-arts methods. The implementation code of our CMAN method can be accessed at https://github.com/CMAN-code/CMAN_pytorch.      

一种用于复杂目标感知的视觉注意模型

针对自然场景图像中复杂结构目标的快速定位问题,提出一种新的视觉注意模型。对目标进行学习提取显著性图斑,将图斑的特征信息、异质图斑之间的相对位置关系引入视觉注意过程,采用基于图匹配的图斑搜索策略合并与目标特征相似的异质图斑,从而获得注意焦点。与自底向上的视觉注意模型进行实验对比,结果表明该模型能引入复杂结构目标的特征信息和结构信息,降低无效关注次数,提高视觉注意的效率。