一类非光滑非凸优化问题的神经网络方法

提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有下界时,神经网络的解轨迹在有限时间收敛到可行域。同时,神经网络的平衡点集与优化问题的关键点集一致,且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同,提出的模型无须计算罚因子。最后,通过仿真实验验证了所提出模型的有效性。     

参数线性规划问题的新型光滑精确罚函数神经网络

针对不等式约束条件下,目标函数和约束条件中含有参数的线性规划问题,提出一种基于新型光滑精确罚函数的神经网络计算方法．引入误差函数构造单位阶跃函数的近似函数,给出一种更加精确地逼近于Ll精确罚函数的光滑罚函数,讨论了其基本性质;利用所提光滑精确罚函数建立了求解参数线性规划问题的神经网络模型,证明了该网络模型的稳定性和收敛性,并给出了详细的算法步骤．数值仿真验证了所提方法具有罚因子取值小、结构简单、计算精度高等优点．     

多TCP协议多链路端拥塞控制特性研究

当多链路端网络模型中包含有多种TCP协议的数据源端时,不同源端根据不同的反馈信号调整发送速率,无法保证网络平衡点的存在性和唯一性及带宽分配的公平性.针对不同源响应不同反馈价格机制,引入价格映射函数,建立了具有不同价格映射函数的对偶优化模型.证明了在适当假设下该模型平衡点是存在的.提出并证明了保证网络平衡点唯一性的价格映射函数设计条件.同时在期望带宽分配公平性的平衡点下给出了网络允许的最大往返延迟时间.     

一种关于目标罚参数的精确罚函数法

罚函数法是一种将约束优化问题转化为无约束问题的重要方法.对于一般的约束优化问题,通过加入新参数,给出了一种改进的精确罚函数和这种罚函数的精确罚定理证明,提出了求解这种罚函数的算法.实验表明该算法是有效的.     

非线性系统的回归网络辨识

针对未知非线性系统的辨识问题,本文提出了一种新型的回归网络模型,证明了该网络模型在一定条件下能够逼近非线性系统的输入输出关系,提出了训练网络前向连接和反向连接权值的动态反向传播算法,伪真结果验证该方法的有效性。     

一种新型拉格朗日神经网络解决非光滑优化问题

针对函数是非光滑的问题以及采用固定惩罚项的弊端,利用 Clarke广义梯度的理论和lagrange乘子法的思想,建立了一个微分包含的神经网络模型。此模型是采用罚函数的方法,有效避免了固定项的缺陷。理论证明了网络是有全局解的,并且收敛到原问题的关键点集,对于凸问题来说网络收敛的平衡点就是问题的最优点。最后通过仿真实验验证了理论结果的正确性。     

单链路多源网络中FAST TCP的稳定性

FAST TCP是面向未来高带宽延迟积网络提出的新一代传输控制协议.在不同的网络环境中分析其稳定性是目前研究的热点之一.建立了单链路多源网络中,FAST TCP和路由器组成的闭环系统的非线性、延迟微分方程模型.根据模型得到系统的平衡点,在平衡点附近将非线性模型进行线性化,采用现代控制理论方法证明了系统局部稳定的充分条件,解除了稳定性条件与网络参数之间的耦合.大量的仿真实验验证了稳定性结论的正确性.     

随机非线性严格反馈系统的自适应神经网络输出反馈镇定

针对具有严格反馈形式的随机非线性系统, 首次引入神经网络控制技术, 设计了适当形式的随机控制 Lyapunov函数, 并运用反推(Backstepping)技术和非线性观测器设计技术, 构造出一类自适应神经网络输出反馈控制器. 在一定条件下, 证明了闭环系统平衡点依概率稳定. 仿真算例验证了所给控制方案的有效性.     

基于改进的粒子滤波非线性约束优化算法

传统的非线性约束优化算法的精度较低,为了克服这一问题,提出了一种基于粒子滤波的新型优化算法。该算法用于解决非线性约束优化问题,并结合粒子滤波器的模型和机制。首先,利用粒子滤波算法的基本原理建立这种优化算法,并给出算法的操作步骤;然后将非线性约束优化问题转换为函数优化问题函数优化问题,并针对非线性约束优化问题,建立粒子滤波优化算法的数学模型。仿真实验结果证明了这种新型算法的正确性,并且表明了相对于传统的优化算法,基于粒子滤波器的优化方法在解决非线性优化问题方面具有更高的效率和速率,并对今后的非线性约束优化问题具有适应性。     

明渠网络中基于带权Lyapunov函数的边界反馈控制稳定性

以描述明渠非定常流的一维模型——Saint-Venant方程为基础, 对由两段渠道串联构成的梯级河道网络, 以加权熵函数构成其Lyaponov函数, 基于该Lyapunov函数证明了在一定的边界反馈控制作用下, 闭环系统在平衡点的一个邻域内是渐近稳定的.     

光滑神经网络解决非李普西茨优化问题的研究

为寻求满足约束条件的优化问题的最优解,针对目标函数是非李普西茨函数,可行域由线性不等式或非线性不等式约束函数组成的区域的优化问题,构造了一种光滑神经网络模型。此模型通过引进光滑逼近技术将目标函数由非光滑函数转换成相应的光滑函数以及结合惩罚函数方法所构造而成。通过详细的理论分析证明了不论初始点在可行域内还是在可行域外,光滑神经网络的解都具有一致有界性和全局性,以及光滑神经网络的任意聚点都是原始优化问题的稳定点等结论。最后通过几个简单的仿真实验证明了理论的正确性。     

基于泛函网络的非线性回归预测模型及学习算法

在非线性回归预测中,预测函数的拟合是其难点和关键,直接影响预测精度。当系统非线性较强时,传统方法不易于处理,拟合和预测结果不理想。泛函网络是最近提出的一种对神经网络的有效推广,在处理非线性问题时有一定的优势。为此提出了基于泛函网络的非线性回归预测模型和相应的学习算法。并分别就一元非线性回归预测和多元非线性回归预测给出了相应的实例。计算机仿真结果表明,泛函网络预测模型拟合度和预测精度都明显高于某些传统的方法,有较好的理论和应用价值。     

Development and Analysis of a Neural Dynamical Approach to Nonlinear Programming Problems

This technical note develops a neural dynamical approach to nonlinear programming (NP) problems, whose equilibrium points coincide with Karush-Kuhn-Tucker points of the NP problem. A rigorous analysis on the global convergence and the convergence rate of the proposed neural dynamical approach is carried out under the condition that the associated Lagrangian function is convex. Analysis results show that the proposed neural dynamical approach can solve general convex programming problems and a class of nonconvex programming problems. Two nonconvex programming examples are provided to demonstrate the performance of the developed neural dynamical approach.     

支持向量机回归在线建模及应用

支持向量机（SVM）回归理论与神经网络等非线性回归理论相比具有许多独特的优点，讨论了建模中SVM核函数，损失函数的选取和容量控制等问题，并用实验加以验证，将SVM回归动态建模理论应用于非线性，时变，大时延温室环境温度变化的建模和预测，模型简单，预测效果好。     

An analysis of a class of neural networks for solving linearprogramming problems

A class of neural networks that solve linear programming problems is analyzed. The neural networks considered are modeled by dynamic gradient systems that are constructed using a parametric family of exact (nondifferentiable) penalty functions. It is proved that for a given linear programming problem and sufficiently large penalty parameters, any trajectory of the neural network converges in finite time to its solution set. For the analysis, Lyapunov-type theorems are developed for finite time convergence of nonsmooth sliding mode dynamic systems to invariant sets. The results are illustrated via numerical simulation examples     

Identification of non-linear processes using reciprocal multiquadric functions

In this paper radial basis function (RBF) networks are used to model general non-linear discrete-time systems. In particular, reciprocal multiquadric functions are used as activation functions for the RBF networks. A stepwise regression algorithm based on orthogonalization and a series of statistical tests is employed for designing and training of the network. The identification method yields non-linear models, which are stable and linear in the model parameters. The advantages of the proposed method compared to other radial basis function methods and backpropagation neural networks are described. Finally, the effectiveness of the identification method is demonstrated by the identification of two non-linear chemical processes, a simulated continuous stirred tank reactor and an experimental pH neutralization process.     

分式过程神经元网络在网络流量预测中的应用

为更好解决网络流量预测问题,依据函数逼近论中分式的函数逼近性质和拟合能力要远远大于线性函数的性质,以及过程神经元网络对时变函数的非线性变换能力,提出一种分式过程神经元网络模型及其学习算法。实验结果证明,该网络模型对具有奇异值过程函数的柔韧逼近性质和在奇异值点附近区域反应的灵敏性优于一般过程神经元网络,以网络实测数据对模型进行训练和流量预测,取得了较好的应用效果。     

整合卷积神经网络和神经过程的图像数据补全方法

神经过程(NP)能够结合神经网络和高斯过程的优势,通过少量上下文数据估计不确定性分布函数,实现函数回归功能.现已应用于数据补全、分类等多种机器学习任务.但面对二维数据回归问题(如图像数据补全),神经过程预测准确度有限且对上下文数据的拟合存在欠缺.为此,将卷积神经网络(CNN)整合到神经过程中,基于证据下界和损失函数推导,构造了面向图像的神经过程(IFNP)模型.在IFNP基础上,设计了适用于IFNP的局部池化聚合模块和全局交叉注意力模块,并构造出性能明显优于NP和IFNP的的面向图像的注意力神经过程(IFANP)模型.最后,相关模型应用于MNIST及CelebA数据集,通过定性与定量分析相结合,展现出IFNP的可扩展性,证实了IFANP更佳的数据补全及细节拟合能力.     

基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。