Boundedness and Convergence of Split-Complex Back-Propagation Algorithm with Momentum and Penalty

This paper investigates the split-complex back-propagation algorithm with momentum and penalty for training complex-valued neural networks. Here the momentum are used to accelerate the convergence of the algorithm and the penalty are used to control the magnitude of the network weights. The sufficient conditions for the learning rate, the momentum factor, the penalty coefficient, and the activation functions are proposed to establish the theoretical results of the algorithm. We theoretically prove the boundedness of the network weights during the training process, which is usually used as a precondition for convergence analysis in literatures. The monotonicity of the error function and the convergence of the algorithm are also guaranteed.     

一种具有最优收敛速度的正则化境面下降算法

Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。     

多目标演化算法的收敛性研究

基于群体搜索的演化算法求解多目标优化问题有独特的优势,多目标演化算法已有的研究大多为算法的设计和数值试验效果的比较,理论研究往往被忽视．该文讨论了多目标演化算法的收敛性问题,针对一种网格化的简单易于实现的多目标演化算法模型定义了多目标演化算法强收敛和弱收敛等概念,给出了判断算法收敛性的一般性条件;在变异算子为高斯变异、目标函数连续的条件下,证明了提出的算法强收敛．数值实验验证了算法的可行性和有效性．     

前馈神经网络的新算法及其收敛性

从一般前馈神经网络模型出发，构造出一组关于权重的非线性方程组，给出不同于传统ＢＰ算法的新型神经元算法。理论证明了该算法的收敛性，从而避免了ＢＰ算法的局限性。     

Strong Convergence Analysis of Batch Gradient-Based Learning Algorithm for Training Pi-Sigma Network Based on TSK Fuzzy Models

By combining of the benefits of high-order network and TSK (Tagaki-Sugeno-Kang) inference system, Pi-Sigma network is capable to dispose with the nonlinear problems much more effectively, which means it has a compacter construction, and quicker computational speed. The aim of this paper is to present a gradient-based learning method for Pi-Sigma network to train TSK fuzzy inference system. Moreover, some strong convergence results are established based on the weak convergence outcomes, which indicates that the sequence of weighted fuzzy parameters gets to a fixed point. Simulation results show the modified learning algorithm is effective to support the theoretical results.     

激励学习的广义平均算法及其收敛性

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题。激励学习方法是Agent利用试验与环境交互以改进自身的行为。Markov决策过程(MDP)模型是解决激励学习问题的通用方法。文章提出了一种新的算法,这个算法通过牺牲最优性来获取鲁棒性,重点给出了一组逼近算法和它们的收敛结果。利用广义平均算子来替代最优算子max(或min),对激励学习中的两类最重要的算法一动态规划算法和个学习算法一进行了研究,并讨论了它们的收敛性。其目的就是为了提高激励学习算法的鲁棒性。     

随机值脉冲噪声滤波算法

文章详细分析了随机值脉冲噪声污染图像的局部灰度统计特征,定义了一种噪声可信度的估计函数—灰度等级共现几率,并在此基础上提出了共现几率极小的中值滤波算法。算法模拟生物视觉在注视过程中的变分辨率特性,以不同分辨率对噪声进行多层次的定位及滤波。实验结果表明,该文算法可以有效地滤除噪声,并较好地保留图像的边缘细节信息,其滤波效果比其它算法更接近理想的中值滤波,尤其是对于噪声高度污染的情况。     

解非线性规划的多目标遗传算法及其收敛性

给出非线性约束规划问题的一种新解法。它既不需用传统的惩罚函数,又不需区分可行解和不可行解,新方法把带约束的非线性规划问题转化成为两个目标函数优化问题,其中一个是原约束问题的目标函数,另一个是违反约束的度函数,并利用多目标优化中的Pareto优劣关系设计了一种新的选择算子,通过对搜索操作和参数的合理设计给出了一种新型遗传算法,且给出了算法的收敛性证明,最后数据实验表明该算法对带约束的非线性规划问题求解是非常有效的。     

An IV-QR Algorithm for Neuro-Fuzzy Multivariable Online Identification

In this paper, a new algorithm for neuro-fuzzy identification of multivariable discrete-time nonlinear dynamic systems, more specifically applied to consequent parameters estimation of the neuro-fuzzy inference system, is proposed based on a decomposed form as a set of coupled multiple input and single output (MISO) Takagi-Sugeno (TS) neuro-fuzzy networks. An on-line scheme is formulated for modeling a nonlinear autoregressive with exogenous input (NARX) recurrent neuro-fuzzy structure from input-output samples of a multivariable nonlinear dynamic system in a noisy environment. The adaptive weighted instrumental variable (WIV) algorithm by QR factorization based on the numerically robust orthogonal Householder transformation is developed to modify the consequent parameters of the TS multivariable neuro-fuzzy network     

一种相关快速软阈值坐标下降算法

软阈值缩减迭代算法（ISTA）以其简单的操作流程成为了机器学习流行的优化算法,但是收敛速度比较慢,仅为0（1/k）。快速软阈值缩减迭代算法（FISTA）通过加速技巧将收敛速度提高了一个数量级,达到了0（1/k）。然而,FISTA将托k特征向量每一维看成是独立同分布的,丢失了各维之间的相关性,会导致准确率下降和额外的时间开销。为了弥补上述的不足,文中提出了一种相关快速软阈值坐标下降算法（RFTCD）。通过大规模数据库实验证实了RFTCD的正确性和有效性。     

基于混沌优化和最速下降法的一种混合算法

将混沌优化和最速下降法有机地结合起来,构造出一种混合优化算法,该算法既具有混沌优化算法的全局收敛性,又有最速下降法的快速收敛性,数值试验表明算法是有效的。     

基于自适应模糊神经推理的视频镜头边界检测方法

自动镜头边界检测是实现基于内容的视频检索的一个重要步骤.本文提出了一种基于自适应模糊推理(ANFIS)的镜头检测方法,利用ANFIS训练后得到的模糊规则进行决策.通过实验证明,本文算法取得了不错的效果.     

一种求解高维优化问题的多目标遗传算法及其收敛性分析

单纯Pareto遗传算法很难解决目标数目很多的高维多目标优化问题,在多个指标之间引入偏好信息,提出的多目标遗传算法使进化群体按协调模型进行偏好排序,改变了传统的基于Pareto优于关系来比较个体的优劣。另外讨论了算法在满足一定条件下具有全局收敛性,典型算例的数学解析和实验验证了其具有较好的收敛性和收敛速度．     

神经模糊入侵检测系统的研究

当前大多数入侵检测系统都是misuse detection,均不能检测已知攻击的变种,而少数基于用户行为的异常检测系统不仅会侵犯合法用户的隐私权,而且不能发现不良用户通过慢慢改变其行为躲过检测的欺骗行为。文章提出了一种新的基于进程行为的神经模糊入侵检测系统,有效地解决了上述问题,极大地提高了入侵检测系统的性能。     

自适应神经模糊控制器及其在炉温控制系统中的应用

将自适应模糊控制技术与神经网络技术相结合,提出了一种自适应神经模糊控制器的实现方法,并用一种改进的快速ＢＰ算法来训练网络。该方法和算法用于炉温控制系统,获得了满意的控制效果,验证了方法和算法的有效性。     

A Variational Model for Gradient-Based Video Editing

In this work we present a gradient-based variational model for video editing, addressing the problem of propagating gradient-domain information along the optical flow of the video. The resulting propagation is temporally consistent and blends seamlessly with its spatial surroundings. In addition, the presented model is able to cope with additive illumination changes and handles occlusions/dis-occlusions. The problem of propagation along the optical flow arises in different video editing applications. In this work we consider the application where a user edits a frame by modifying the texture of an object’s surface and wishes to propagate this editing throughout the video.     

自适应量子免疫克隆算法及其收敛性分析

分析量子免疫克隆算法的基本原理,在此基础上,设计一种具有自适应学习的改进策略,该算法采用量子观测熵来度量算法的进化程度,并根据熵的变化自适应调整相应参数,从理论上证明该算法的收敛性,并且通过实验,比较世子免疫克隆算法、简单免疫克隆算法、量子进化算法的函数优化效果,仿真实验表明该算法能提高计算效率和搜索能力.     

自适应多克隆聚类算法及收敛性分析

基于生物体免疫和克隆基本原理,提出一种自适应多克隆聚类算法.其核心思想是将多种人工免疫系统算子用于聚类过程,并以亲和度函数为依据自动调整聚类类别.算法引入重组算子来增加抗体种群中个体的多样性以扩大解的搜索范围,避免算法早熟现象.引入非一致变异算子增强局部求解的自适应性、优化局部求解性能.加快算法收敛速度.另外,还利用Markov链证明算法的收敛性.数据仿真实验结果表明该聚类算法能实现合理有效的聚类.     

一种快速收敛的遗传算法

为了解决遗传算法的收敛速度和全局收敛性之间的矛盾,提出了一种新的快速收敛的改进遗传算法。该改进算法设计了与个体适应度相关的变异算子,以及与早熟情况、进化代数和个体适应度有关的移民算法。实例验证表明,该改进遗传算法在收敛速度和获取全局最优解的概率两个方面都有很大的提高。     

A Subgradient Descent Algorithm for Optimization of Initially Controllable Flow Shop Systems

We consider an optimization problem for deterministic flow shop systems processing identical jobs. The service times are initially controllable; they can only be set before processing the first job, and cannot be altered between processes. We derive some waiting and completion time characteristics for fixed service time flow shop systems, independent of the cost formulation. Exploiting these characteristics, an equivalent convex optimization problem, which is non-differentiable, is derived along with its subgradient descent solution algorithm. This algorithm not only eliminates the need for convex programming solvers but also allows for the solution of larger systems due to its smaller memory requirements. Significant improvements in solution times are also observed in the numerical examples.