CMAC 算法收敛性分析及泛化能力研究

利用矩阵理论和线性方程组迭代收敛的一般性原理,在不附加特殊条件折情况下,证明了CMAC算法在批量和增量两种学习方式下的收敛定理,对在关联矩阵正定条件下得出的结论进行推广和改进。在此基础上提出了一种学习率自寻优的CMAC改进算法,并提出一种简单可行的评价CMAC网络整体泛化性能的指标,通过计算仿真验证了收敛定量的正确性和改进算法的优越性,并研究得出了CMAC网络各个参数对其泛化性能影响的相关结论。     

神经网络的泛化能力与结构优化算法研究

从泛化理论、现有提高神经网络泛化能力的方法等几个方面总结了当前神经网络结构优化与泛化能力研究的现状。神经网络泛化能力的提高可通过神经网络结构的优化和正则化等方法加以实现。最后提出了今后研究的展望。     

一种基于泛化的在线分类规则挖掘算法

分类规则挖掘是数据挖掘中一项重要的挖掘任务,现存的分类算法对小数据集非常有效,但如果直接作用于大型的现实数据库,效率不能令人满意,研究了一种基于泛化的分类算法,能够对数据库进行直接的在线分类规则挖掘。     

广义BP算法及网络容错性和泛化能力的研究

给出广义ＢＰ算法及其网络学习的多种方式，常用的前向网络全并行权值修改方式是其中效率较低的一种，有许多更好的权值修改方式可以使用。网络的泛化能力依赖于网络的拓扑结构，对国际上为改进网络泛化能力而采用的几种修正学习算法的实际功能做了简要的评论。     

前馈过程神经网络的网络结构与泛化能力

基于提高过程神经网络泛化能力的角度,对前馈过程神经网络网络结构对泛化能力的影响进行研究,得出以下结论：其过程神经元隐层（时变隐层）起主要作用,一般神经元隐层（非时变隐层）并非是必须的,对于相同特征的样本,过程神经元对样本特征的抽取能力远远高于传统神经元。给出了一个基于提高泛化能力的前馈过程神经网络网络结构构造算法,并应用一个实例验证了其有效性。     

BP神经网络泛化能力改进研究

阐述了影响BP神经网络泛化能力的因素,总结了提高BP神经网络模型进化能力的一些方法．并对这些方法进行了分析．     

神经网络的泛化理论和泛化方法

泛化能力是多层前向网最重要的性能,泛化问题已成为目前神经网络领域的研究热点.文中综述了神经网络泛化理论和泛化方法的研究成果.对泛化理论,重点讲述神经网络的结构复杂性和样本复杂性对泛化能力的影响;对泛化方法,则在介绍每种泛化方法的同时,尽量指出该方法与相应泛化理论的内在联系.最后对泛化理论和泛化方法的研究前景作了展望.     

PSO粒子群算法在神经网络泛化能力中研究

利用PSO粒子群算法对神经网络的权值和阈值,隐藏层中神经元的传递函数系数进行优化。针对网络训练效果好,而泛化能力很差的情况,将训练样本均方差和权值的平方和结合作为PSO算法的目标函数。实验表明,该方法比惯性权值PSO-BP算法和基本梯度下降法好,不但稳定性好,而且预测精度高,泛化能力得到明显加强。     

神经网络泛化性能优化算法

基于提高神经网络泛化性能的目标提出了神经网络泛化损失率的概念,解析了与前一周期相比当前网络误差的变化趋势,在此基础上导出了基于泛化损失率的神经网络训练目标函数.利用新的目标函数和基于量子化粒子群算法的神经网络训练方法,得到了一种新的网络泛化性能优化算法.实验结果表明,将该算法与没有引入泛化损失率的算法相比,网络的收敛性能和泛化性能都有明显提高.     

一种提高BP神经网络泛化能力的改进算法

针对BP神经网络中样本数据复杂和容易陷入到局部极值的不足,通过利用主成分分析法对样本数据进行简化,并采用遗传算法优化神经网络的初始权值,提出了一种改进BP神经网络泛化能力的算法.该算法兼顾了主成分分析方法剔除冗余的特性和遗传算法能够全局优化的特点,既具备了较快的收敛速度又不易陷人到局部极值中,具有较强的泛化能力.实验结果表明,改进后的算法在数据降维、冗余信息的剔除、预测能力等方面都得到了一定程度上的改善.     

四种学习算法稳定之间的关系

为研究机器学习的推广误差,提出了变一误差估计条件下一种新的学习算法稳定．逐点假设稳定,并讨论了逐点假设稳定、CV稳定、重叠稳定以及弱假设稳定四种学习算法稳定之间的关系,得出了逐点假设稳定是这四种学习算法稳定中最弱的学习算法稳定的结论。     

基于思维进化的MEBML算法的收敛性研究

针对基于思维进化的机器学习（ＭＥＢＭＬ）的马尔可夫链的分析,证明了离散状态下趋同操作的群体信概率１收敛到全局最优状态,但由于趋同操作的局部性,从局部最优状态转移到全局最优状态的概率非常小,要增加这种转移概率,需要引进异化操作,通过Ｐ－最优状态和吸引域的概念,分析了趋同操作、异化操作的理论和实际意义。     

SDN中基于机器学习的网络流量分类方法研究

由于缺乏网络流量类别信息,目前软件定义网络SDN控制层难以有针对性地对在线视频流量和下载流量进行速率管控。当带宽有限时这会严重影响用户同时观看在线视频和进行下载时的体验。针对此问题,提出一种在SDN中基于机器学习的在线视频流量和下载流量分类方案。该方案选取新的、可以有效区分在线视频流量和下载流量的特征集合。通过测试对比多种机器学习模型的分类效果,在SDN中设计实现了基于随机森林(RandomForest)模型的实时流量分类应用,为在SDN中实现细粒度的网络流量管控、优化QoS等功能奠定了基础。测试结果表明,该方案对SDN中在线视频流量和下载流量的实时分类效果较理想,实时分类平均准确率较高。     

MACHINE LEARNING METHODS FOR DETECTING PATTERNS OF MANAGEMENT FRAUD

Discovery of financial fraud has profound social consequences. Loss of stockholder value, bankruptcy, and loss of confidence in the professional audit firms have resulted from failure to detect financial fraud. Previous studies that have attempted to discover fraud patterns from publicly available information have achieved only moderate levels of success. This study explores the capabilities of recently developed statistical learning and data mining methods in an attempt to advance fraud discovery performance to levels that have potential for proactive discovery or mitigation of financial fraud. The partially adaptive methods we test have achieved success in a number of complex problem domains and are easily interpretable. Ensemble methods, which combine predictions from multiple models via boosting, bagging, or related approaches, have emerged as among the most powerful data mining and machine learning methods. Our study includes random forests, stochastic gradient boosting, and rule ensembles. The results for ensemble models show marked improvement over past efforts, with accuracy approaching levels of practical potential. In particular, rule ensembles do so while maintaining a degree of interpretability absent in the other ensemble methods.     

嵌入拒识的极限学习机在基因表达数据分类中的应用

机器学习技术已被广泛地应用在计算机辅助诊断中,以辅助专家进行医学诊断,但是几乎所有的分类器,都是默认的接收计算机的分类结果,而这种默认的结果在很多情况下会引起较大的误差。如根据诊断者的临床数据判断此人为病人的概率为50%,为健康人的概率也为50%,这时无论计算机将此人分类为健康人还是病人都会面临50%的错误概率。因此,提出嵌入拒识的极限学习机,不仅充分利用了极限学习机快速的学习能力、良好的泛化性能,而且通过嵌入拒识选项,"拒识"可靠性较低的样本来克服分类正确率较低的问题,使得自动分类过程更加可靠。实验结果表明:所提方法在降低误分类率方面是非常有效的。     

图像拼接算法的研究

在灵境技术和宽视域的实时监视系统中,经常涉及到多幅(帧)图像的无缝拼接。基于模板匹配是常用的方法,但计算量大,本文提出了相关算法和距离判别法,实验验证了距离判别法,并给出了该算法的编程要点。     

结合图片语义规则和机器学习的情感分类方法

传统微博情感分类方法往往忽略对大量表情符号和图片型表情的情感分析.在图片去重算法的基础上,利用表情词和表情符号的相关性构建表情图片情感词典,并加入对官方扩展表情包和图片型表情的情感识别与验证.由于单纯词典方法的性能有限,将词典抽取的规则情感特征与机器学习的基本特征模板融合,使用朴素贝叶斯等分类器,提高情感分类的性能表现...     

二进制神经网络分类问题的几何学习算法

分类问题在前向神经网络研究中占有重要位置.本文利用几何方法给出一个二进制神经网络K（≥2）分类问题的新学习算法.算法通过训练点的几何位置与类别分析，建立一个四层前向神经网络，实现网络输入向量分类.本文算法的优点在于:保证学习收敛且收敛速度快于BP算法及已有的其他一些前向网络学习算法;算法可以确定神经网络的结构且能实现精确的向量分类.另外，算法所建神经网络由线性阀值单元组成，神经元突触权值和阀值均为整数，特别适合于集成电路实现.     

用于医学图像分类的支持向量机算法研究

支持向量机(SVM)方法就是利用最优分类面(线)将两类样本在特征空间或输入空间中无错误地分开,而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题,计算量很大,本文介绍一种方法解决这个问题,并成功地将该算法应用干医学图像数据挖掘的分类问题。     

FIELDED MACHINE LEARNING SYSTEM FOR VOCATIONAL COUNSELLING

A fielded machine learning system for vocational counselling is presented in which learning is based on adjustments of weights on links in a network. The system exemplifies how a specific representation, consisting of weights assigned to associations between keywords, enables the effective use of machine learning algorithms for acquiring and continually refining domain knowledge. The representation is designed for coping with the types of knowledge that can be found in weak theory domains, that is, knowledge too difficult to formalize because it is incomplete or vague. Knowledge acquisition and knowledge refinement processes are automated in order to efficiently decrease the effect of unreliable knowledge caused by unknown or unspecified biases inherent in the knowledge sources. The knowledge acquisition algorithms presented here are capable of coping with incomplete and vaguely defined domain knowledge. The knowledge refinement algorithms are used on-line to enable a continuous refinement of ill-defined domain knowledge.