基于自然图像复杂视觉信息的特征提取算法与应用

分析自然图像复杂视觉拓扑组织结构的邻域关系生成树表示方法的缺欠,提出基于自然图像复杂视觉信息的特征提取算法与应用。算法定义通用视觉细胞感受野模型,提出自然图像复杂视觉结构信息的超完备基邻域关系生成树表示方法;并以自然图像的慢变特征和中心极限定理为理论基础,改进准正交超完备基预测算法,自适应地构造自然图像超完备基邻域关系生成树;遍历超完备基生成树,计算自然图像与节点的最大响应系数,实现树形拓扑组织结构编码,并采用海明距离计算编码相似度,实现自然图像分类。实验表明:自然图像集中,该算法学习的基滤波器集具有类似于V1区复杂视觉细胞的视觉特征;对输入图像的局部变化具有良好的几何不变性;在北卡莱罗那州立大学提供的自然图像图库上,进行基于内容的图像检索比较实验,该算法比传统视觉模型具有更好的检索效果和抗噪声能力。     

基于结构相似保真的图像稀疏表示模型

过完备图像稀疏表示是一种最新的图像表示模型,采用过完备字典中原子的线性组合形式实现图像的稀疏表示.传统的过完备图像稀疏表示模型采用重建误差的平方和作为保真项.该保真项没有充分考虑到人眼对图像的感知特性,无法度量图像中边缘、轮廓、纹理等局部几何结构的变化.本文基于过完备稀疏表示理论思想,建立了新的稀疏性正则化的图像稀疏表示模型.模型中的正则项约束图像表示系数的稀疏性,保真项采用更符合视觉感知的结构相似性度量.基于正交匹配追踪算法,提出了基于结构相似度的正交匹配追踪算法.实验结果表示,新的模型能够更好地重构图像的结构信息,获得更好的重建视觉效果.     

基于稀疏表示的图像模糊度评价方法

根据自然图像稀疏表示基函数类似V1区简单细胞感受野的反应特性,以及系数反映神经元响应程度的特性,提出基于稀疏表示的图像模糊度评价方法.将输入图像分成互不重叠的块,采用训练好的词典对各块进行稀疏分解,并计算每块的关注度系数.将每块稀疏系数的p范数与关注度系数的加权和作为模糊度评价的依据.实验结果表明,该算法计算的模糊度相对于图像的模糊程度是单调的,具有较好的抗噪性,符合人眼视觉系统特性.     

局部敏感的稀疏概念编码及其在图像表示中的应用

矩阵分解算法是模式识别中一种常用的图像表示方法.针对传统的矩阵分解算法不能提取数据本质结构的问题,提出一种局部敏感的稀疏概念编码的图像表示算法.在基向量学习时,利用局部敏感鉴别分析方法提取样本的几何结构和判别信息,使得学习到的基更能体现数据的高层语义结构信息;然后对每个样本在基向量上进行稀疏表示学习,得到样本的表示系数;最后对样本进行表示与分类.在COIL20和ORL数据库中的实验结果表明,与其他几种矩阵分解算法相比,文中算法聚类的准确率和互信息得到了有效的提高,验证了其有效性.     

向量复杂网络及其在复杂系统建模中的应用

本文在传统的复杂网络建模基础上提出了一种基于向量复杂网络的建模方法,该方法能够针对节点的异质性对复杂的系统进行整体化建模.基于业务特性,通过分层建模的思想对不同业务导向的网络进行建模,采用基于业务驱动的复杂系统建模算法,将不同网络模型进行组网.进而研究具有多种类型的复杂系统的建模.最后,以智能电网为例验证了该方法的有效性.     

自适应超完备字典学习的SAR图像降噪

提出一种基于自适应超完备字典学习的SAR图像降噪。该算法建立在超完备字典稀疏表示基础上,具有较强的数据稀疏性和稳健的建模假设。算法依据相干斑噪声统计特性,通过分步优化字典原子和变换系数自适应构造超完备字典,利用获得的超完备字典将图像局部信息投影到高维空间中,实现图像的稀疏表示,运用正则化方法建立多目标优化模型。最后通过对优化问题的求解重建SAR图像场景分辨单元的平均强度,实现SAR图像的降噪。实验结果表明,该算法对相干斑噪声有很好的抑制效果,并且具有保持图像细节信息的优点。     

基于节点表示和子图结构的动态网络链接预测

动态链接预测的关键是建模网络动态性和抽取局部结构特征.为此,文中提出基于节点表示和子图结构的动态链接预测方法.为了建模节点的动态演化特性,引入节点向量模型,按序拼接各个历史快照的节点表示.为了建模链接的局部子图结构信息,引入图同构算法,编码局部子图的拓扑结构.最终目标链接的特征表示融合每个历史快照中目标节点对的向量表征和局部子图的拓扑结构.实验表明文中方法性能较优.     

基于混合基稀疏图像表示的压缩传感图像重构

单一基函数不能对同时包含边缘和纹理信息的自然图像进行最优压缩传感图像重构. 本文根据Meyer的卡通--纹理图像模型和生物视觉原理, 用拉普拉斯塔式分解和圆对称轮廓波分别表示图像的光滑成分和边缘成分, 并构造了窄带轮廓波变换实现纹理成分的稀疏表示. 三种稀疏变换的基函数分别与视觉皮层中的侧膝体、简单细胞及栅格细胞的感受野类似. 结合三种图像稀疏表示方法和凸集交替投影算法提出了基于混合基稀疏表示的压缩传感图像重构算法. 实验结果表明,与基于块匹配三维变换迭代收缩的图像重构算法比较, 本文算法能获得更高的图像重构质量.     

基于稀疏编码的人脸识别算法

介绍了一种基于稀疏编码的人脸识别算法。先对10副自然图像应用稀疏编码,学习到基函数和图像稀疏表示的拟合分布的参数。在人脸识别中,用稀疏编码和已得到的基函数表示图像的稀疏,再经过拟合分布函数得到人脸图像的最终表示,然后应用多分类线性支持向量机（SVM）来完成识别算法。通过在人脸数据库上的实验表明,该算法具有很高的识别正确率。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

Topographic product models applied to natural scene statistics

We present an energy-based model that uses a product of generalized Student-t distributions to capture the statistical structure in data sets. This model is inspired by and particularly applicable to "natural" data sets such as images. We begin by providing the mathematical framework, where we discuss complete and overcomplete models and provide algorithms for training these models from data. Using patches of natural scenes, we demonstrate that our approach represents a viable alternative to independent component analysis as an interpretive model of biological visual systems. Although the two approaches are similar in flavor, there are also important differences, particularly when the representations are overcomplete. By constraining the interactions within our model, we are also able to study the topographic organization of Gabor-like receptive fields that our model learns. Finally, we discuss the relation of our new approach to previous work--in particular, gaussian scale mixture models and variants of independent components analysis.     

Learning overcomplete representations

In an overcomplete basis, the number of basis vectors is greater than the dimensionality of the input, and the representation of an input is not a unique combination of basis vectors. Overcomplete representations have been advocated because they have greater robustness in the presence of noise, can be sparser, and can have greater flexibility in matching structure in the data. Overcomplete codes have also been proposed as a model of some of the response properties of neurons in primary visual cortex. Previous work has focused on finding the best representation of a signal using a fixed overcomplete basis (or dictionary). We present an algorithm for learning an overcomplete basis by viewing it as probabilistic model of the observed data. We show that overcomplete bases can yield a better approximation of the underlying statistical distribution of the data and can thus lead to greater coding efficiency. This can be viewed as a generalization of the technique of independent component analysis and provides a method for Bayesian reconstruction of signals in the presence of noise and for blind source separation when there are more sources than mixtures.     

Correlated topographic analysis: estimating an ordering of correlated components

This paper describes a novel method, which we call correlated topographic analysis (CTA), to estimate non-Gaussian components and their ordering (topography). The method is inspired by a central motivation of recent variants of independent component analysis (ICA), namely, to make use of the residual statistical dependency which ICA cannot remove. We assume that components nearby on the topographic arrangement have both linear and energy correlations, while far-away components are statistically independent. We use these dependencies to fix the ordering of the components. We start by proposing the generative model for the components. Then, we derive an approximation of the likelihood based on the model. Furthermore, since gradient methods tend to get stuck in local optima, we propose a three-step optimization method which dramatically improves topographic estimation. Using simulated data, we show that CTA estimates an ordering of the components and generalizes a previous method in terms of topography estimation. Finally, to demonstrate that CTA is widely applicable, we learn topographic representations for three kinds of real data: natural images, outputs of simulated complex cells and text data.     

Estimating Overcomplete Independent Component Bases for Image Windows

Estimating overcomplete ICA bases for image windows is a difficult problem. Most algorithms require the estimation of values of the independent components which leads to computationally heavy procedures. Here we first review the existing methods, and then introduce two new algorithms that estimate an approximate overcomplete basis quite fast in a high-dimensional space. The first algorithm is based on the prior assumption that the basis vectors are randomly distributed in the space, and therefore close to orthogonal. The second replaces the conventional orthogonalization procedure by a transformation of the marginal density to gaussian.     

基于最短路径和自然梯度的过完备ICA算法

独立成分分析(ICA)是一种在给出的随机向量中找出统计独立的数据的统计方法，而过完备独立成分分析则是ICA问题中的一类特殊的情形，它要的源信号的数目比观测信号的数目要多。该文提出了一种基于最短路径算法和自然梯度的解决过完备独立成分分析的新算法Turbo-overcomplete。该算法采用了最短路径方法来推断源信号和采用自然梯度的方法来学习基向量，并采用Turbo-overcomplete算法来进行语音信号分离的实验，并把实验结果与现在的一些过完备独立成份分析算法进行了比较。     

Ensemble of Independent Factor Analyzers with Application to Natural Image Analysis

In this paper the ensemble of independent factor analyzers (EIFA) is proposed. This new statistical model assumes that each data point is generated by the sum of outputs of independently activated factor analyzers. A maximum likelihood (ML) estimation algorithm for the parameter is derived using a Monte Carlo EM algorithm with a Gibbs sampler. The EIFA model is applied to natural image data. With the progress of the learning, the independent factor analyzers develop into feature detectors that resemble complex cells in mammalian visual systems. Although this result is similar to the previous one obtained by independent subspace analysis, we observe the emergence of complex cells from natural images in a more general framework of models, including overcomplete models allowing additive noise in the observables.     

基于改进的快速稀疏编码的图像特征提取

考虑图像特征系数的最大化稀疏分布和特征基的正交性,在快速稀疏编码(FSC)模型的基础上,提出一种改进的FSC模型。该模型利用迭代法解决了基于L₁范数的归一化最小二乘法和基于L²范数的约束最小二乘法的凸优化问题,能够实现完备基和过完备基的学习,有效提取出图像的最佳特征,且比标准稀疏编码(BSC)模型的收敛速度快。分别利用自然场景图像和掌纹图像作为训练数据进行特征提取测试,并进一步利用提取的特征基进行图像重构实验,同时与BSC模型的图像重构结果进行对比,实验结果证实了所提出的改进FSC模型能够快速、有效地实现图像的特征提取。     

基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。