基于权值拟熵的神经网络剪枝算法研究

“剪枝算法”是一种通过简化神经网络结构来避免网络过拟合的有效方法之一。将权值拟熵作为惩罚项加入目标函数中,使多层前向神经网络在学习过程中自动约束权值分布,并以权值敏感度作为简化标准,避免了单纯依赖权值大小剪枝的随机性。由于在剪枝过程中只剪去数值小并且敏感度低的连接权,所以网络简化后不需要重新训练,算法效率明显提高。仿真结果证明上述方法算法简单易行,并且对前向神经网络的泛化能力有较好的改善作用。     

用神经元网络辨识非线性系统中的网络结构选择*

本文定义了神经元网络的权值拟熵，在对多层前馈网训练的常规目标函数中加入权值拟熵作为约束项以改变网络的权值分布从而修定网络结构。将此方法用于一类非线性系统的神经网络辨识中可以优化网络模型输入项数和隐节点数目。     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

用遗传算法改进的BP神经网络剪枝算法来优化决策树模型

决策树是一种有效的分类方法,但在构建决策树模型的过程中,常常会出现模型过度拟合的现象。利用基于BP神经网络的决策树剪枝算法(BP-Pruning)进行软剪枝处理,然后根据BP-Pruning的一些不足,提出一种改进算法,简称GBP-Pruning算法。该算法通过引入遗传算法来训练BP-Pruning算法模型中的权值和阈值,从而克服了BP-Pruning算法上的不足,最后验证了GBP-Pruning算法的可行性。     

基于剪枝的概念格渐进式构造

概念格是形式概念分析中的核心数据结构。然而，随着需要分析处理的数据量日益剧增，概念格的构造效率成为一个关键问题。采用剪枝方法，消除了概念格构造过程中产生的冗余信息，提出了一种基于剪枝的概念格渐进式构造算法（Pruning based Concept Lattice，PCL），从而减少了概念格内涵的比较次数，提高了概念格的构造效率。采用恒星天体光谱数据作为形式背景，实验验证了算法PCL的正确性和有效性。     

基于熵权法的虚拟网络映射算法

目前虚拟网络研究的一个热点是虚拟网络映射,但是传统两阶段算法中的节点映射算法着重于提高网络资源利用率,而忽略了网络的整体负载性能。为了避免现有映射算法中使用单一固有属性计算拓扑势值带来的片面性,在节点映射过程中增加了节点的另一个固有属性。但是,由于这两个固有属性之间的数量级相差较大,从而引入熵权,通过计算两个属性的熵权值来优化拓扑势值的计算,提出了一种基于熵权法的虚拟网映射算法。仿真实验结果表明,所提出的算法提高了映射接受率,并降低了网络的整体负载。     

一种高效的P2P环境中的窗口查询算法

随着多媒体以及P2P网络的发展,针对高维数据基于属性的窗口查询已经成为一个重要研究课题.提出了一种在超级节点P2P网络中有效解决高维数据的窗口查询算法,在每个单独的网络节点上,数据通过一种降维算法映射到一维空间,在超级节点上,构造数据的统计信息表以及构造网络查询树,算法在每次查询时,按照查询树的规则来访问整个网络,并利用统计信息剪枝网络中的节点查询,避免网络的泛洪.实验中使用了不同的数据集来评测算法的查询效率,结果表明该算法具有很高的查询效率.     

多链路权值增大的动态最短路径算法

动态网络最短路径是交通、通信等系统中的重要问题。在处理多链路权值变大时,多链路权值增大的动态最短路径算法可有效地减少单链路权值增大动态最短路径算法的冗余计算。目前,多链路权值增大的动态最短路径算法的研究较少,尚未存在有效的多链路变大的动态最短路径算法。通过对现有动态最短路径算法的深入研究,提出了一种多链路权值增大的动态最短路径算法(DSPT-MLI)。算法复杂度分析和仿真结果显示,DSPT-MLI算法具有更少的节点更新次数和更高的时间效率。     

一种可调参数前馈神经网络的快速学习算法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出了一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法。该算法运用该文提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索。实验表明，该算法不仅能明显提高网络的学习速度，而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

一种并行化的分组关联规则算法

提出一种通过分组达到并行化的改进Apriori算法，研究了分组的构造以及分组后因连接步和剪枝步的简化而达到的效率的提高。对于算法中涉及的原理给予了完整的论证并结合实例给出了改进算法的实现步骤。结果表明，改进算法通过连接步和修剪步的简化大大地提高了规则发现的效率，并可以很方便地达到并行化。     

A constructive algorithm to synthesize arbitrarily connected feedforward neural networks

In this work we present a constructive algorithm capable of producing arbitrarily connected feedforward neural network architectures for classification problems. Architecture and synaptic weights of the neural network should be defined by the learning procedure. The main purpose is to obtain a parsimonious neural network, in the form of a hybrid and dedicate linear/nonlinear classification model, which can guide to high levels of performance in terms of generalization. Though not being a global optimization algorithm, nor a population-based metaheuristics, the constructive approach has mechanisms to avoid premature convergence, by mixing growing and pruning processes, and also by implementing a relaxation strategy for the learning error. The synaptic weights of the neural networks produced by the constructive mechanism are adjusted by a quasi-Newton method, and the decision to grow or prune the current network is based on a mutual information criterion. A set of benchmark experiments, including artificial and real datasets, indicates that the new proposal presents a favorable performance when compared with alternative approaches in the literature, such as traditional MLP, mixture of heterogeneous experts, cascade correlation networks and an evolutionary programming system, in terms of both classification accuracy and parsimony of the obtained classifier.     

用于文本分类的改进KNN算法

采用灵敏度方法对距离公式中文本特征的权重进行修正;提出一种基于CURE算法和Tabu算法的训练样本库的裁减方法,采用CURE聚类算法获得每个聚类的代表样本组成新的训练样本集合,然后用Tabu算法对此样本集合进行进一步维护(添加或删除样本),添加样本时只考虑增加不同类交界处的样本,添加或删除样本以分类精度最高、与原始训练样本库距离最近为原则。     

基于模式识别的一种新型结构型神经网络

提出了一种新型的结构型神经网络 ,采用了遗传算法训练网络神经元 ,使网络明显提高了解决非线性模式识别问题的能力 .提出了两个定理证明了网络的有效性 .从 MATL AB仿真结果可以看出 ,新模型结构简单 ,非线性识别能力较高     

用于荧光光谱识别的自适应训练及删剪算法

提出利用基于自适应训练及删剪算法的网络模型对荧光光谱进行识别。首先采用基于递归最小方差的自适应学习算法对网络模型进行学习训练,由于该算法的学习步长能够自行调整,初始参数少,所以收敛速度很快;再利用删剪算法对学习后的网络结构进行删剪,优化网络的拓扑结构,降低网络的计算复杂度,提高网络的泛化能力;然后对优化后的网络进行再学习,使优化后的网络具有最佳参数;最后利用优化后的网络对测试样本进行识别。仿真实验表明,与删剪前的网络结构相比,在降低了网络的计算复杂度的同时,删剪优化后的正确识别率依然是100%。     

A Novel Pruning Algorithm for Optimizing Feedforward Neural Network of Classification Problems

Optimizing the structure of neural networks is an essential step for the discovery of knowledge from data. This paper deals with a new approach which determines the insignificant input and hidden neurons to detect the optimum structure of a feedforward neural network. The proposed pruning algorithm, called as neural network pruning by significance (N2PS), is based on a new significant measure which is calculated by the Sigmoidal activation value of the node and all the weights of its outgoing connections. It considers all the nodes with significance value below the threshold as insignificant and eliminates them. The advantages of this approach are illustrated by implementing it on six different real datasets namely iris, breast-cancer, hepatitis, diabetes, ionosphere and wave. The results show that the proposed algorithm is quite efficient in pruning the significant number of neurons on the neural network models without sacrificing the networks performance.     

A formal selection and pruning algorithm for feedforward artificialneural network optimization

A formal selection and pruning technique based on the concept of local relative sensitivity index is proposed for feedforward neural networks. The mechanism of backpropagation training algorithm is revisited and the theoretical foundation of the improved selection and pruning technique is presented. This technique is based on parallel pruning of weights which are relatively redundant in a subgroup of a feedforward neural network. Comparative studies with a similar technique proposed in the literature show that the improved technique provides better pruning results in terms of reduction of model residues, improvement of generalization capability and reduction of network complexity. The effectiveness of the improved technique is demonstrated in developing neural network models of a number of nonlinear systems including three bit parity problem, Van der Pol equation, a chemical processes and two nonlinear discrete-time systems using the backpropagation training algorithm with adaptive learning rate.     

基于改进型遗传算法的前馈神经网络优化设计

阐明了遗传算法和神经网络结合的可行性，提出了一种改进的面向神经网络权值学习的遗传算法。通过对XOR问题的实验，显示出其快速学习网络权值的能力，且能摆脱局部极值的困扰和初始权值的限制，从各方面都表现出优于标准遗传算法和BP算法的性能。     

基于遗传交换操作的多层神经网络算法

反向传播算法的最大缺陷之一是容易陷入局部极小点。为此，我们在基因遗传算法（ＧＡ）原理的基础上，增加了区域变化这一重要环节，设计出一种启发式遗传操作算法，将将它用于多层神经网络的学习过程，实例结果表明用此算法能快速得到最佳权值分布。     

基于粗糙集的神经网络结构优化设计

神经网络的结构冗余的原因的基础上,提出了一种利用粗集优化网络结构的原理与方法,并用实例证明,与现有的权消去法,灵敏度剪枝法,相关性剪枝法等方法相比,该方法不仅优化了网络的拓扑结构,而且加快了网络的收敛速度,从而增强了BP神经网络的适应能力.