一种基于数据补全的大象流检测方法

由于在网络测量中存在不可避免的数据损失,网络监测数据通常是不完备的甚至是稀疏的,这使得大象流的精确检测成为一个具有挑战性的问题.本文提出了一种基于数据补全的离线大象流检测方法.为实现对于大象流的精准检测,首先实现了一个基于矩阵分解的数据补全算法,将流量数据补全问题转化为一个低秩矩阵奇异值分解问题.其次,在此基础上进行高阶扩展,引申出张量补全模型,利用张量CP分解实现数据补全,将原问题转化为通过最小化张量秩来恢复缺失条目的张量补全问题.最后对上面使用的矩阵补全算法和张量补全算法进行了仿真实验,对比了各算法精准度,评估了超参数,并展示了张量补全算法的时间开销.实验结果证明该方法取得了较好的效果.     

混合全变差和低秩约束下的高光谱图像复原

目的 由于高光谱遥感数据携带丰富的光谱和空间信息,使其在许多领域得以广泛关注和应用。但是高光谱遥感数据在获取过程中受到各种因素的影响,存在多种不同程度的退化,进而影响到后续的处理和应用。因此,提出一种基于低秩矩阵近似和混合全变差正则化方法来复原退化的高光谱遥感数据。方法 首先分析高光谱遥感数据的两种低秩先验：光谱低秩先验和空间低秩先验;然后利用光谱低秩先验建立低秩矩阵近似表示模型,有效抑制稀疏噪声,例如脉冲噪声、条纹噪声、死线噪声等;再利用空间低秩先验建立混合全变差正则化模型,有效去除高密度噪声,例如强高斯噪声、泊松噪声等;最后结合两种模型的优势,建立基于低秩矩阵近似和混合全变差正则化模型。结果 利用多组高光谱遥感数据,和多种相关的高光谱复原方法进行对比仿真实验,表明新模型的结果在视觉质量有很大改进。与目前最新的复原模型相比,提出的模型的平均峰值信噪比能提高1.8 dB,而平均结构相似数值指标能提高0.05。结论 新模型充分利用高光谱遥感数据的空间和光谱低秩先验,针对含有高密度噪声和稀疏异常值的高光谱遥感数据,能够有效复原出高质量的高光谱遥感数据。     

基于非凸张量环秩最小化的张量补全算法研究

在实际应用中,恢复缺失的高阶数据一直是重要的研究热点,而基于张量分解的方法能够有效地提取数据的低秩结构,预测丢失的数据,为该问题提供了新的思路.针对传统张量环补全模型的秩松弛问题,建立了基于Lp(0相似文献   

基于张量低秩恢复和块稀疏表示的运动显著性目标提取

针对视频的高维结构特性,采用张量表征并将运动显著性目标提取转化为基于低秩张量恢复和块稀疏表示问题.首先根据背景张量的低秩性和运动目标的稀疏性,利用加速近端梯度张量恢复方法分别重建出RGB颜色通道中三维视频张量的低秩部分与稀疏部分,初步实现背景与运动目标的粗略分离;其次组合三颜色通道稀疏张量并转化为按照帧数展开的二维矩阵,进一步通过矩阵恢复的方法去除动态背景产生的小稀疏块干扰;最后通过自适应阈值法选择运动目标稀疏块掩模并对存在的空洞进行填充补偿,以达到重构出完整前景运动目标的目的.相对于常用方法,该方法从张量模型角度解决运动目标提取问题,较大程度地保护了视频序列的原始空间结构,不仅能够降低运动目标提取区域出现的漏检问题,而且可以很好地去除动态背景所带来的干扰.实验结果表明,该方法对运动目标提取的准确度较高,鲁棒性较强.     

非凸加权核范数及其在运动目标检测中的应用

目的 近年来,低秩矩阵分解被越来越多的应用到运动目标检测中。但该类方法一般将矩阵秩函数松弛为矩阵核函数优化,导致背景恢复精度不高;并且没有考虑到前景目标的先验知识,即区域连续性。为此提出一种结合非凸加权核范数和前景目标区域连续性的目标检测算法。方法 本文提出的运动目标检测模型以鲁棒主成分分析(RPCA)作为基础,在该基础上采用矩阵非凸核范数取代传统的核范数逼近矩阵低秩约束,并结合了前景目标区域连续性的先验知识。该方法恢复出的低秩矩阵即为背景图像矩阵,而稀疏大噪声矩阵则是前景目标位置矩阵。结果 无论是在仿真数据集还是在真实数据集上,本文方法都能够取得比其他低秩类方法更好的效果。在不同数据集上,该方法相对于RPCA方法,前景目标检测性能提升25%左右,背景恢复误差降低0.5左右;而相对于DECOLOR方法,前景目标检测性能提升约2%左右,背景恢复误差降低0.2左右。结论 矩阵秩函数的非凸松弛能够比凸松弛更准确的表征出低秩特征,从而在运动目标检测应用中更准确的恢复出背景。前景目标的区域连续性先验知识能够有效地过滤掉非目标大噪声产生的影响,使得较运动目标检测的精度得到大幅提高。因此,本文方法在动态纹理背景、光照渐变等较复杂场景中均能够较精确地检测出运动目标区域。但由于区域连续性的要求,本文方法对于小区域多目标的检测效果不甚理想。     

截断核范数和全变差正则化高光谱图像复原

目的 高光谱图像距具有较高的光谱分辨率,从而具备区分诊断性光谱特征地物的能力,但高光谱数据经常会受到如环境、设备等各种因素的干扰,导致数据污染,严重影响高光谱数据在应用中的精度和可信度。方法 根据高光谱图像光谱维度特征值大小与所包含信息的关系,利用截断核范数最小化方法表示光谱低秩先验,从而有效抑制稀疏噪声;再利用高光谱图像的空间稀疏先验建立正则化模型,达到去除高密度噪声的目的;最终,结合上述两种模型的优势,构建截断核范数全变差正则化模型去除高斯噪声、稀疏噪声及其他混合噪声等。结果 将本文与其他三种近期发表的主流去噪方法进行对比,模型平均峰信噪比提高3.20 dB,平均结构相似数值指标提高0.22,并可以应用到包含各种噪声、不同尺寸的图像,其模型平均峰信噪比提高1.33 dB。结论 本文方法在光谱低秩中更加准确地表示了观测数据的先验特征,利用高光谱遥感数据的空间和低秩先验信息,能够对含有高密度噪声以及稀疏异常值的图像进行复原。     

基于非局部张量火车分解的彩色图像修补

数据在采集和转换的过程中通常存在部分数据丢失的问题,丢失数据的补全直接影响后续的识别、跟踪等高层任务的结果.自然图像中经常存在许多具有重复特性的相似结构,利用该类冗余信息,文中提出基于非局部张量火车分解的张量补全方法.利用图像的非局部相似性,挖掘其中蕴含的低秩特性,并通过张量火车分解模型进行建模及升阶,将低阶张量转化为高阶以进行低秩信息的进一步挖掘利用,从而进行图像中缺失数据的修补.实验验证文中方法在图像修补上的有效性.     

基于稀疏与低秩的核磁共振图像重构算法

已有的基于压缩感知的核磁共振图像重构算法仅利用了数据的稀疏性或矩阵的低秩性,并没有充分利用图像数据的相关性先验知识.针对这一问题,提出了一种新型的应用于二维核磁共振图像重建的算法模型.与传统的单一利用原始数据的稀疏性或矩阵低秩性进行重建的方法不同,该方法同时利用了图像数据的稀疏性与矩阵的低秩性.矩阵低秩部分使用应用赤池信息量准则的奇异值分解阈值方法,数据稀疏部分使用全变分作为稀疏变换基.实验结果表明,该方法在相同的采样率下与应用赤池信息量准则的奇异值分解阈值方法、全变分方法和奇异值分解阈值方法相比大大提升了重建图像的质量.     

联合判别性低秩类字典与稀疏误差字典学习的人脸识别

目的 由于受到光照变化、表情变化以及遮挡的影响,使得采集的不同人的人脸图像具有相似性,从而给人脸识别带来巨大的挑战,如果每一类人有足够多的训练样本,利用基于稀疏表示的分类算法（SRC）就能够取得很好地识别效果。然而,实际应用中往往无法得到尺寸大以及足够多的人脸图像作为训练样本。为了解决上述问题,根据基于稀疏表示理论,提出了一种基于联合判别性低秩类字典以及稀疏误差字典的人脸识别算法。每一类的低秩字典捕捉这类的判别性特征,稀疏误差字典反映了类变化,比如光照、表情变化。方法 首先利用低秩分解理论得到初始化的低秩字典以及稀疏字典,然后结合低秩分解和结构不相干的理论,训练出判别性低秩类字典和稀疏误差字典,并把它们联合起来作为测试时所用的字典;本文的方法去除了训练样本的噪声,并在此基础上增加了低秩字典之间的不相关性,能够提高的低秩字典的判别性。再运用l₁范数法（同伦法）求得稀疏系数,并根据重构误差进行分类。结果 针对Extended Yale B库和AR库进行了实验。为了减少算法执行时间,对于训练样本利用随机矩阵进行降维。本文算法在Extended Yale B库的504维每类32样本训练的识别结果为96.9%。在无遮挡的540维每类4样本训练的AR库的实验结果为83.3%,1 760维的结果为87.6%。有遮挡的540维每类8样本训练的AR库的结果为94.1%,1 760维的结果为94.8%。实验结果表明,本文算法的结果比SRC、DKSVD（Discriminative K-SVD）、LRSI（Low rank matrix decomposition with structural incoherence）、LRSE+SC（Low rank and sparse error matrix+sparse coding）这4种算法中识别率最高的算法还要好,特别在训练样本比较少的情况下。结论 本文所提出的人脸识别算法具有一定的鲁棒性和有效性,尤其在训练样本较少以及干扰较大的情况下,能够取得很好地识别效果,适合在实际中进行应用。     

双重字典学习与自适应PCNN相结合的医学图像融合

目的 针对基于稀疏编码的医学图像融合方法存在的细节保存能力不足的问题,提出了一种基于卷积稀疏表示双重字典学习与自适应脉冲耦合神经网络（PCNN）的多模态医学图像融合方法。方法 首先通过已配准的训练图像去学习卷积稀疏与卷积低秩子字典,在两个字典下使用交替方向乘子法（ADMM）求得其卷积稀疏表示系数与卷积低秩表示系数,通过与对应的字典重构得到卷积稀疏与卷积低秩分量;然后利用改进的的拉普拉斯能量和（NSML）以及空间频率和（NMSF）去激励PCNN分别对卷积稀疏与卷积低秩分量进行融合;最后将融合后的卷积稀疏与卷积低秩分量进行组合得到最终的融合图像。结果 对灰度图像与彩色图像进行实验仿真并与其他融合方法进行比较,实验结果表明,所提出的融合方法在客观评估和视觉质量方面明显优于对比的6种方法,在4种指标上都有最优的表现;与6种多模态图像融合方法相比,3组实验平均标准差分别提高了7%、10%、5.2%;平均互信息分别提高了33.4%、10.9%、11.3%;平均空间频率分别提高了8.2%、9.6%、5.6%;平均边缘评价因子分别提高了16.9%、20.7%、21.6%。结论 与其他稀疏表示方法相比,有效提高了多模态医学图像融合的质量,更好地保留了源图像的细节信息,使融合图像的信息更加丰富,符合人眼的视觉特性,有效地辅助医生进行疾病诊断。     

Latent multi-view self-representations for clustering via the tensor nuclear norm

How to design effective multi-view subspace clustering (MVSC) algorithms has recently become a research hotspot. In this paper, we propose a new MVSC algorithm, termed latent multi-view self-representation for clustering via the tensor nuclear norm (LMVS/TNN), which can seamlessly unify multi-view clustering and dimensionality reduction into a framework. Specifically, for each view data, LMVS/TNN learns the transformed data from the original space, which can maintain the original manifold structure, and each subspace representation matrix from the transformed latent space simultaneously. Furthermore, to use the high-order correlations and complementary information from multi-view data, LMVS/TNN constructs a third-order tensor by taking the representation matrix extracted from the transformed latent space as the frontal slice of the third-order tensor and the tensor is constrained by a new low-rank tensor constraint, i.e., the tensor nuclear norm (TNN). In addition, based on the augmented Lagrangian scheme, we develop an efficient procedure to solve LMVS/TNN. To verify the performance of LMVS/TNN, we conduct experiments on public datasets and find that LMVS/TNN outperforms some representative clustering algorithms.

     

基于张量奇异值理论的交通数据重构方法

由于探测器和通信设备的故障,交通数据的缺失是不可避免的,这种缺失给智能交通系统（ITS）带来了不利的影响。针对此问题,运用张量平均秩的概念,对张量核范数进行最小化,从而构建了新的低秩张量补全模型,并且在此基础上,基于张量奇异值分解（T-SVD）和阈值分解（TSVT）理论,分别使用坐标梯度下降法（CGD）和交替乘子法（ADMM）对模型进行求解,提出两个张量补全算法LRTC-CGD和LRTC-TSVT。在公开的真实时空交通数据集上进行实验。结果表明,LRTC-CGD和LRTC-TSVT算法在不同的缺失场景和缺失率条件下,补全精度要优于现行的其他补全算法,并且在数据极端缺失情况下（70%~80%）,补全的效果更加稳定。     

基于低秩表示的非负张量分解算法

为了提高图像分类准确率,提出了一种基于低秩表示的非负张量分解算法。作为压缩感知理论的推广和发展,低秩表示将矩阵的秩作为一种稀疏测度,由于矩阵的秩反映了矩阵的固有特性,所以低秩表示能有效的分析和处理矩阵数据,本文把低秩表示引入到张量模型中,即引入到非负张量分解算法中,进一步扩展非负张量分解算法。实验结果表明,本文所提算法与其他相关算法相比,分类结果较好。     

基于块和低秩张量恢复的视频去噪方法

由于采用矩阵的表示形式会破坏视频数据的原始空间结构,针对这一问题,提出了一种基于块和低秩张量恢复的视频去噪方法。首先运用自适应中值滤波器对含噪视频进行预处理,通过相似块匹配构造一个三阶张量,根据视频张量的低秩性和噪声像素的稀疏性,利用基于张量的增广拉格朗日乘子法（ALM）重建出三阶视频张量的低秩部分和稀疏部分,实现噪声的分离。该方法采用张量模型来处理视频去噪的问题,更好地保护了视频序列的高维结构特性,可以准确地去除复杂结构视频的噪声干扰。实验结果表明,相对于常用方法,该方法能准确完整地分离噪声,具有更强的视频去噪能力。     

张量补全算法及其在人脸识别中的应用

数据丢失问题通常可以归结为矩阵补全问题,而矩阵补全是继压缩感知理论之后的又一种重要的信号获取方法。在实际应用中,数据样例往往具有多线性性,即数据集可以表示成高阶张量。本文研究了张量补全问题及其在人脸识别中的应用。基于张量的低维Tucker分解,提出张量补全的迭代算法,并且证明在算法的迭代过程中,估计张量与其Tucker逼近张量的距离是单调递减的。实验结果表明张量补全算法在补全张量和人脸识别上的可行性与有效性。     

Tensor factorization using auxiliary information

Most of the existing analysis methods for tensors (or multi-way arrays) only assume that tensors to be completed are of low rank. However, for example, when they are applied to tensor completion problems, their prediction accuracy tends to be significantly worse when only a limited number of entries are observed. In this paper, we propose to use relationships among data as auxiliary information in addition to the low-rank assumption to improve the quality of tensor decomposition. We introduce two regularization approaches using graph Laplacians induced from the relationships, one for moderately sparse cases and the other for extremely sparse cases. We also give present two kinds of iterative algorithms for approximate solutions: one based on an EM-like algorithms which is stable but not so scalable, and the other based on gradient-based optimization which is applicable to large scale datasets. Numerical experiments on tensor completion using synthetic and benchmark datasets show that the use of auxiliary information improves completion accuracy over the existing methods based only on the low-rank assumption, especially when observations are sparse.     

基于频率加权张量核范数的高光谱图像复原

目的 高光谱图像复原是高光谱领域中一个重要的预处理步骤,能够有效去除成像条件所带来的不利影响,提升后续处理任务的精度。张量核范数被广泛应用于高光谱复原问题中,得到了较好的结果。然而,在张量核范数的定义中,它对张量所有奇异值使用相同的阈值进行收缩,未充分考虑高光谱的物理意义,得到了次优的结果。为了提升高光谱图像复原的精度,本文提出了基于频率加权张量核范数的高光谱复原算法。方法 在张量的频率域内,对清晰的高光谱图像添加噪声,图像信息在低频部分变化较小,而在高频部分变化巨大。基于这样的物理意义,定义了一种频率加权张量核范数来逼近张量秩函数,提出了频率域权重的自适应确定方法,让其能减少对低频部分的收缩,同时加大高频部分惩罚。然后将其应用于高光谱图像复原和去噪问题中,并基于交替方向乘子法设计了相应最小化问题的快速求解算法。结果 在4个高光谱数据集上与相关方法进行对比仿真实验,高采样率条件下在Washington DC Mall数据集上,相比性能第2的模型,本文模型复原结果的PSNR （peak signal-to-noise ratio）提升了1.76 dB;在Stuff数据集上,PSNR值提升了2.91 dB。高噪声条件下,在Pavia数据集上相比性能第2的模型,本文模型去噪结果的PSNR提升了8.61 dB;在Indian数据集上,PSNR值提升了10.77 dB。结论 本文模型可以更好地探索高光谱图像的低秩特性,使复原的图像在保持主体信息的同时,复原出更多图像纹理细节。     

Algorithms for sparse nonnegative Tucker decompositions

There is a increasing interest in analysis of large-scale multiway data. The concept of multiway data refers to arrays of data with more than two dimensions, that is, taking the form of tensors. To analyze such data, decomposition techniques are widely used. The two most common decompositions for tensors are the Tucker model and the more restricted PARAFAC model. Both models can be viewed as generalizations of the regular factor analysis to data of more than two modalities. Nonnegative matrix factorization (NMF), in conjunction with sparse coding, has recently been given much attention due to its part-based and easy interpretable representation. While NMF has been extended to the PARAFAC model, no such attempt has been done to extend NMF to the Tucker model. However, if the tensor data analyzed are nonnegative, it may well be relevant to consider purely additive (i.e., nonnegative) Tucker decompositions). To reduce ambiguities of this type of decomposition, we develop updates that can impose sparseness in any combination of modalities, hence, proposed algorithms for sparse nonnegative Tucker decompositions (SN-TUCKER). We demonstrate how the proposed algorithms are superior to existing algorithms for Tucker decompositions when the data and interactions can be considered nonnegative. We further illustrate how sparse coding can help identify what model (PARAFAC or Tucker) is more appropriate for the data as well as to select the number of components by turning off excess components. The algorithms for SN-TUCKER can be downloaded from M?rup (2007).     

Rank–sparsity balanced representation for subspace clustering

Subspace learning has many applications such as motion segmentation and image recognition. The existing algorithms based on self-expressiveness of samples for subspace learning may suffer from the unsuitable balance between the rank and sparsity of the expressive matrix. In this paper, a new model is proposed that can balance the rank and sparsity well. This model adopts the log-determinant function to control the rank of solution. Meanwhile, the diagonals are penalized, rather than the strict zero-restriction on diagonals. This strategy makes the rank–sparsity balance more tunable. We furthermore give a new graph construction from the low-rank and sparse solution, which absorbs the advantages of the graph constructions in the sparse subspace clustering and the low-rank representation for further clustering. Numerical experiments show that the new method, named as RSBR, can significantly increase the accuracy of subspace clustering on the real-world data sets that we tested.