基于反馈神经网络的稀疏信号恢复的优化算法

针对稀疏信号的重构问题,提出了一种基于反馈神经网络（RNN）的优化算法。首先,需要对信号进行稀疏表示,将数学模型化为优化问题;接着,基于l₀范数是非凸且不可微的函数,并且该优化问题是NP难的,因此在测量矩阵A满足有限等距性质（RIP）的前提下,提出等价优化问题;最后,通过建立相应的Hopfield反馈神经网络模型来解决等价的优化问题,从而实现稀疏信号的重构。实验结果表明,在不同观测次数m下,对比RNN算法和其他三种算法的相对误差,发现RNN算法相对误差小,且需要的观测数也少,能够高效地重构稀疏信号。     

稀疏—平坦矩阵信号的重构条件

建立基于凸优化方法重构矩阵信号X=[x₁,…,x_n]的一组充分条件,X具有列稀疏性和平坦性的结构特征,即每个列向量x_j至多具有s个非零分量、同时所有列向量的l₁范数具有相同数值。所采用的矩阵范数是■。工作分两部分,第一部分分别对无观测误差和有观测误差的情况,针对求解■型凸优化问题重构以上类型矩阵信号的方法,建立保障稳定性和鲁棒性的充分条件;第二部分工作建立随机观测情况下观测空间维数的下界,用以保证信号以高概率被正确重构。所得结果优于将重构向量信号的min-l₁方法直接推广到针对矩阵信号的min-l₁方法所得到的结果,并给出数值仿真验证。所针对的信号模型出现在具有定常或缓变包络波形的多输入/多输出雷达及合成孔径雷达等新应用领域,本文工作针对这类应用提供一组实用的信号重构条件。     

基于近似l\\-0范数的稀疏信号重构

信号重构算法是压缩感知的关键.基于近似l\\-0范数的信号重构选取一个连续函数近似估计l\\-0范数,从而将l\\-0范数最小化问题转化为平滑函数的优化问题.该算法的关键在于选择合适的平滑函数和优化算法.为了提高压缩感知中稀疏信号恢复的精度,在之前工作的基础上,提出用一个简单的分式函数的和来近似估计l\\-0范数.然后通过牛顿迭代算法求解该函数的无约束优化问题的稀疏解,整合了似零范数算法快速收敛和牛顿迭代法精度高的优点.这样就可以在较少的时间内平滑且有效地近似l\\-0范数的最小化问题.仿真实验测试了所提算法在不同的压缩比、稀疏度及噪声水平情况下的性能,并与现有的同类算法进行了比较.结果表明：所提算法比现有的同类算法性能更好,重建信号的精度有了较大的提升,这有效地提高了在同等条件下压缩感知信号的恢复质量.     

基于SL0范数的改进稀疏信号重构算法

平滑范数（Smoothed l0,SL0）压缩感知重构算法通过引入平滑函数序列将求解最小l0范数问题转化为平滑 函数优化问题,可以有效地用于稀疏信号重构。针对平滑函数的选取和算法稳健性问题,提出一种新的平滑函数序列近似范数,结合梯度投影法优化求解,并进一步提出采用奇异值分解（Singular value decomposition, SVD）方法改进算法的稳健性,实现稀疏度信号的精确重构。仿真结果表明,在相同的测试条件下,本文算法相比OMP算法、SL0算法以及L1-magic算法在重构精度、峰值信噪比方面都有较大改善。     

关于神经网络的能量函数

能量函数在神经网络的研究中有着非常重要的作用,人们普遍认为：只要能量函数沿着网络的解是下降的,能量函数的导数为零的点是网络的平衡态,能量函数有下界,则网络是稳定的且网络的平衡态是能量函数的极小点,文中取反例说明上述条件下不能保证网络的稳定性,并取例说明即使网络稳定也不能保证网络的平衡态与能量函数的极小点,证明了在网络具有上述条件的能量函数的情况下网络稳定的充分必要条件是网络的解有界,讨论了网络的平     

参数线性规划问题的新型光滑精确罚函数神经网络

针对不等式约束条件下,目标函数和约束条件中含有参数的线性规划问题,提出一种基于新型光滑精确罚函数的神经网络计算方法．引入误差函数构造单位阶跃函数的近似函数,给出一种更加精确地逼近于Ll精确罚函数的光滑罚函数,讨论了其基本性质;利用所提光滑精确罚函数建立了求解参数线性规划问题的神经网络模型,证明了该网络模型的稳定性和收敛性,并给出了详细的算法步骤．数值仿真验证了所提方法具有罚因子取值小、结构简单、计算精度高等优点．     

基于l0范数近似最小化的稀疏信号重构方法

针对稀疏信号的重构问题,提出了[l0]范数近似最小化算法。利用反正切函数近似[l0]范数建立相应的非凸优化问题。通过构造快速的不动点迭代格式求解该问题,分析了所提出算法的收敛性能。数值仿真表明,该算法具有重构信号需要测量值少、计算精度高且计算量较小的优点。     

基于精确罚函数的一类广义非线性神经网络模型

针对一般的非线性优化问题定义了一种2次非线性罚函数,证明了在一定条件下对应的罚优化问题的精确罚定理,由此引进了一种广义非线性神经网络模型,并证明了这种网络的平衡点与能量函数之间的联系,在一定条件下对应的平衡点收敛到原问题的最优解.这种神经网络模型对于求解许多优化问题具有重要的作用.     

基于稀疏表示的多标记学习算法

为解决多标记数据的分类问题,提出基于稀疏表示的多标记学习算法。首先将待分类样本表示为训练样本集上的稀疏线性组合,基于l¹-最小化方法求得最稀疏的系数解。然后利用稀疏系数的判别信息提出一个计算待分类样本对各标记的隶属度的方法。最后根据隶属度对标记进行排序,进而完成分类。在Yeast基因功能分析、自然场景分类和web页面分类上的实验表明,该算法能够有效解决多标记数据的分类问题,与其它方法相比取得更好的结果。     

基于卡尔曼滤波的时变稀疏信号快速收敛重构算法

为了提高时变稀疏信号的重构性能,提出了融合压缩感知和卡尔曼滤波的快速收敛重构算法。通过伪测量（ PM）技术以及扩展卡尔曼滤波形式的线性化将近似l0范数约束有效地融合到卡尔曼滤波架构中,求解常规的卡尔曼滤波方程,重构出稀疏信号。此外,针对PM阶段的扩展卡尔曼滤波形式,提出了快速收敛算法,有效地保证了算法的收敛和精度。仿真结果表明,相比原有基于卡尔曼滤波的恢复算法,所提算法的重构精度更高、收敛更快。     

一种提高神经网络泛化性能的罚项最优脑外科模型*

最优脑外科过程是一种训练后网络剪枝算法,计算的复杂度非常高,通过把剪枝条件以惩罚项的形式纳入神经网络的训练目标函数中,把正则化方法的结构优化蕴涵于网络训练过程,构建面向最优脑外科过程的计算模型,实现网络训练过程和最优脑外科过程并行剪枝,既保持了最优脑外科过程的准确性,又具有正则化的高效性,提高了神经网络模型的泛化性能。该模型在理论上具有收敛性,其有效性和可行性通过给出的Levenberg-Marquardt方案仿真实验也得到了说明。     

改进的非负稀疏编码神经网络模型及其应用

提出了一种改进的基于NIG（Normal Inverse Gaussian）密度和稳健主成分分析（PCA）的非负稀疏编码（NNSC）神经网络模型,该模型实质上实现了一个二阶段的学习过程。并利用这个模型成功地建模了视觉感知系统V1区的感受野。该NNSC模型具有很强的自适应于自然数据统计特性的能力。另外,利用类似小波收缩法去噪原理,该模型能够有效地去除图像中的高斯加性噪声,对自然图像编码的仿真实验也表明了该模型在生物学上的合理性和可行性。     

利用CNN和PCA约束优化模型实现稀疏表示分类

目的 传统的稀疏表示分类方法运用高维数据提升算法的稀疏分类能力,早已引起了广泛关注,但其忽视了测试样本与训练样本间的信息冗余,导致了不确定性的决策分类问题。为此,本文提出一种基于卷积神经网络和PCA约束优化模型的稀疏表示分类方法（EPCNN-SRC）。方法 首先通过深度卷积神经网络计算,在输出层提取对应的特征图像,用以表征原始样本的鲁棒人脸特征。然后在此特征基础上,构建一个PCA（principal component analysis）约束优化模型来线性表示测试样本,计算对应的PCA系数。最后使用稀疏表示分类算法重构测试样本与每类训练样本的PCA系数来完成分类。结果 本文设计的分类模型与一些典型的稀疏分类方法相比,取得了更好的分类性能,在AR、FERET、FRGC和LFW人脸数据库上的实验结果显示,当每类仅有一个训练样本时,EPCNN-SRC算法的识别率分别达到96.92%、96.15%、86.94%和42.44%,均高于传统的表示分类方法,充分验证了本文算法的有效性。同时,本文方法不仅提升了对测试样本稀疏表示的鲁棒性,而且在保证识别率的基础上,有效降低了算法的时间复杂度,在FERET数据库上的运行时间为4.92 s,均低于一些传统方法的运行时间。结论 基于卷积神经网络和PCA约束优化模型的稀疏表示分类方法,将深度学习特征与PCA方法相结合,不仅具有较好的识别准确度,而且对稀疏分类也具有很好的鲁棒性,尤其在小样本问题上优势显著。     

基于稀疏重建的信号DOA估计

从稀疏信号重建角度提出了一种改进的波达方向(DOA)估计方法。由于最小冗余线阵(MRLA)能以较少的阵元数获得较大的阵列孔径,将MRLA与l1-SVD方法相结合估计信号的DOA。仿真结果表明,经多次实验验证,所提方法是有效的,相比l1-SVD方法可以估计出更多信源的DOA,并且可以用较少的阵元数估计更多的信源DOA,具有信源过载能力。     

Global context-dependent recurrent neural network language model with sparse feature learning

Recurrent neural network language models (RNNLMs) are an important type of language model. In recent years, context-dependent RNNLMs are the most widely used ones as they apply additional information summarized from other sequences to access the larger context. However, when the sequences are mutually independent or randomly shuffled, these models cannot learn useful additional information, resulting in no larger context taken into account. In order to ensure that the model can obtain more contextual information in any case, a new language model is proposed in this paper. It can capture the global context just by the words within the current sequences, incorporating all the preceding and following words of target, without resorting to additional information summarized from other sequences. This model includes two main modules: a recurrent global context module used for extracting the global contextual information of the target and a sparse feature learning module that learns the sparse features of all the possible output words to distinguish the target word from others at the output layer. The proposed model was tested on three language modeling tasks. Experimental results show that it improves the perplexity of the model, speeds up the convergence of the network and learns better word embeddings compared with other language models.

     

Two dimensional sparse signal reconstruction via 2D inverse-free sparse Bayesian learning

Dear editor,With the ability to reconstruct signals represented using sparse bases in a certain transform domain from an incom-plete set of samples,sparse sign...     

Hybrid neural network model for reconstruction of occluded regions in multi-gait scenario

In real-time situations such as airports, railway stations, and shopping complexes, etc. people walk in a group, and such a group of walking persons termed as multi-gait (MG). In these situations, occlusion is a serious issue that affects gait recognition performance. This issue of occlusion of body regions affects the extraction of gait features for the correct recognition of an object. The objective of this article is to reconstruct occluded regions at the preprocessing stage, which can be used for human recognition in the MG scenario. The article is divided into two folds. Firstly, we segment five regions of interest such as ankle, knee, wrist, elbow, and shoulder. We propose a particle swarm optimization (PSO) based neural network (NN) called hybrid NN to solve this problem. The performance of the proposed model is validated on our constructed dataset (SMVDU-MG), considering two view directions i.e. lateral (left to right) and oblique (left to right diagonal). Experimental results show that the proposed model gives better performance compared to an artificial neural network and alternating least square (ALS) method based on mean square error (MSE) and mean absolute percentage error (MAPE) as a performance measure function.

     

A comparative study of multi-objective optimization algorithms for sparse signal reconstruction

The development of the efficient sparse signal recovery algorithm is one of the important problems of the compressive sensing theory. There exist many types of sparse signal recovery methods in compressive sensing theory. These algorithms are classified into several categories like convex optimization, non-convex optimization, and greedy methods. Lately, intelligent optimization techniques like multi-objective approaches have been used in compressed sensing. Firstly, in this paper, the basic principles of the compressive sensing theory are summarized. And then, brief information about multi-objective algorithms, local search methods, and knee point selection methods are given. Afterward, multi-objective sparse recovery methods in the literature are reviewed and investigated in accordance with their multi-objective optimization algorithm, the local search method, and the knee point selection method. Also in this study, examples of multi-objective sparse reconstruction methods are designed according to the existing studies. Finally, the designed algorithms are tested and compared by using various types of sparse reconstruction test problems.