一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力,却因为其黑箱性而难以理解;决策树算法因为分类结果显示为树型结构而具有良好的可理解性,泛化能力却比不上神经网络集成。该文将这两种算法相结合,提出一种决策树的构造算法：使用神经网络集成来预处理训练样本,使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法,实验表明：该算法具有神经网络集成方法的强泛化能力的优点,其泛化能力明显优于C4．5算法;该算法的最终结果昆示为决策树,显然具有良好的可理解性。     

基于过程输入输出变化关系的模糊建模方法

针对难以建立精确数学模型的复杂过程,提出一种基于过程输入输出数据变化关系的模糊建模方法。首先按过程输出随输入变量变化的程度对输入变量论域进行划分,在此基础上确定模糊模型的规则总数和前件参数;然后根据所建模糊模型可表示为一个前馈模糊神经网络,利用BP学习算法求得过程模糊模型的后件参数。仿真例子验证了模糊建模方法的有效性,同时表明所建模糊规则模型较好的泛化能力。     

潜在属性空间树分类器

提出一种潜在属性空间树分类器(latent attribute space tree classifier,简称LAST)框架,通过将原属性空间变换到更容易分离数据或更符合决策树分类特点的潜在属性空间,突破传统决策树算法的决策面局限,改善树分类器的泛化性能.在LAST 框架下,提出了两种奇异值分解斜决策树(SVD (singular value decomposition) oblique decision tree,简称SODT)算法,通过对全局或局部数据进行奇异值分解,构建正交的潜在属性空间,然后在潜在属性空间内构建传统的单变量决策树或树节点,从而间接获得原空间内近似最优的斜决策树.SODT 算法既能够处理整体数据与局部数据分布相同或不同的数据集,又可以充分利用有标签和无标签数据的结构信息,分类结果不受样本随机重排的影响,而且时间复杂度还与单变量决策树算法相同.在复杂数据集上的实验结果表明,与传统的单变量决策树算法和其他斜决策树算法相比,SODT 算法的分类准确率更高,构建的决策树大小更稳定,整体分类性能更鲁棒,决策树构建时间与C4.5 算法相近,而远小于其他斜决策树算法.     

模糊粗糙神经网络特征选择方法研究

实际采集的数据中往往存在模糊不确定性和粗糙不确定性,为全面度量数据的不确定性,引入了模糊粗糙集中的模糊粗糙隶属函数概念,并结合容错能力较强的神经网络设计了一种新的模糊粗糙神经网络.该网络不仅训练速度快,且具有较好的分类效果.利用该网络设计了一种新的特征选择算法,根据精度下降指标对输入节点进行结构修剪,实现最优特征子集的搜索.通过UCI数据集实验,并与RBF网络选择结果进行比较,表明该算法具有精度高、速度快、泛化性能好等优点,是有效的.     

基于论域空间模糊划分的粗集神经网络

针对粗集神经网络构建过程中的论域空间划分问题,提出一种基于模糊聚类的论域划分方法。将带交叉变异算子的粒子群优化算法(PSO)与模糊C-均值聚类算法(FCM)相结合,给出一种新的模糊聚类算法CMPSO-FCM,该算法具有良好的搜索能力和聚类效果。提出一种基于信息熵的模糊粗糙集决策规则获取方法,并用获取的规则指导粗集神经网络的构建。实验结果表明,该方法构造的神经网络具有更精简的结构、较好的分类精度和泛化能力。     

一种与神经元网络杂交的决策树算法

神经元网络在多数情况下获得的精度要比决策树和回归算法精度高,这是因为它能适应更复杂的模型,同时由于决策树通常每次只使用一个变量来分支,它所对应的识别空间只能是超矩形,这也就比神经元网络简单,粗度不能与神经元网络相比,然而神经元网络需要相对多的学习时间,并且其模型的可理解性不如决策树、Naive-Bayes等方法直观,本文在进行两种算法对复杂模型的识别对比后,提出了一个新的算法NNTree,这是一个决策树和神经元网络杂交的算法,决策树节点包含单变量的分支就象正常的决策树,但是叶子节点包含神经元网络分类器,这个方法针对决策树处理大型数据的效能,保留了决策树的可理解性,改善了神经元网络的学习性能,同时可使这个分类器的精度大大超过这两种算法,尤其在测试更大的数据集复杂模型时更为明显。     

基于云-神经网络的多属性模糊规则分类

针对模糊规则分类中数据边界硬性划分的局限性问题,建立了云-神经网络模型,并提出了基于云-神经网络的模糊规则分类算法.在不影响数据模糊性和随机性的基础上,将数据转化为规则,并利用神经网络的学习能力,进行多属性模糊规则分类,与传统方法相比,该方法在保证数据模糊性和随机性的基础上,提高了模型精度和分类准确率,应用实例表明了该方法的有效性和可行性.     

基于变精度粗糙集的决策树构造改进算法

针对决策树构造中存在的最优属性选择困难、抗噪声能力差等问题,提出了一种新的基于变精度粗糙集模型的决策树构造算法.该算法采用近似分类精度作为节点选择属性的启发函数,与传统基于粗糙集的决策树构造算法相比,该算法构造的决策树结构简单,提高了决策树的泛化能力,同时对噪声也有一定的抑制能力.     

基于小波分析和分层决策的模拟电路故障识别方法*

针对模拟电路存在较多故障模式的诊断中易出现分类混叠的问题,提出一种小波分析和分层决策的故障识别方法。首先用小波变换方法提取电路的两种故障特征,模糊C均值算法分析故障特征数据的分布特性,以决策树的形式分割各故障子类。通过对决策树节点特征的优化选择,使各故障子类的区分得以最大化。最后按照决策树结构建立分级诊断的故障决策系统,分别以支持向量机和神经网络作为树节点分类器,有效地提高了故障的识别率。该方法应用于高通滤波器电路的故障识别,正确率高于99%,比经典支持向量机多分类方法具有更好的诊断性能。     

基于深度残差概率随机森林的时间序列分类方法

时间序列数据广泛存在于工业、医疗等应用领域,由于其时序相关性强、特征空间维度大,使得传统的时间序列分类方法普遍存在精度不足和需要复杂特征工程等问题.充分考虑深度神经网络在处理复杂时序数据上的优越性以及决策树方法拟合数据能力强的优势,提出一种基于残差网络和概率决策树的端到端统一深度学习模型.该模型利用残差网络从原始时间序列中提取高级特征,为了更好地建立时序数据特征与类别标签间的映射关系,将概率决策树融入至残差网络的分类层.同时,设计随机子空间的集成策略,缓解由于残差网络的深层结构产生的过度拟合现象,并给出联合优化模型分裂参数和预测参数的迭代优化方案.在大量的基准数据集和工业案例上进行实验和分析,实验结果表明,所提出模型的分类性能优于传统方法与其他深度学习方法,且可有效提高残差网络的泛化能力.     

结合卷积神经网络和三支决策的入侵检测算法

随着网络入侵行为的多样化和智能化,传统的入侵检测算法在面对高维特征、非线性的海量数据时,存在特征提取不充分、模型分类不够精确等问题,为此,提出了一种结合卷积神经网络（convolutional neural networks,CNN）和三支决策（three-way decision,TWD）的入侵检测算法。卷积神经网络具有优越的特征提取能力;同时,三支决策可以规避因信息不足而盲目分类造成的风险,且减少分类所耗费的时间。该方法通过卷积神经网络对高维数据进行特征提取,构建多粒度特征空间,然后基于三支决策理论对网络行为做出即时决策,对于无法即时决策的网络行为进行延迟决策,即对该部分网络行为再次特征提取以构建不同的粒度特征空间,最后输出分类结果。该方法建立的模型在NSL-KDD、CIC-IDS2017数据集上的实验结果表明,提出的算法可以提升入侵检测系统的性能。     

基于类决策树分类的特征层融合识别算法

针对雷达组网量测数据不确定性大、信息不完备等特点, 基于决策树分类算法的思想, 创建类决策树的概念, 提出一种基于类决策树分类的特征层融合识别算法. 所给出的算法无需训练样本, 采用边构造边分类的方式, 选取信 息增益最大的属性作为分类属性对量测数据进行分类, 实现了对目标的识别. 该算法能够处理含有空缺值的量测数据, 充分利用量测数据的特征信息. 仿真实验结果表明, 类决策树分类算法是一种简单有效的特征层融合识别算法.

     

基于模糊聚类神经网络的镜头突变检测算法

讨论了采用无监督的模糊竞争学习算法，并结合自组织竞争网络构成的一种新型模糊聚类神经网络模型，提出了一种基于该网络模型的镜头突变检测算法。该算法通过对线性特征空间进行由粗到细的两步模糊聚类实现镜头突变的检测。实验结果表明该算法是可行和有效的。     

基于神经网络的分类决策树构造

目前基于符号处理的方法是解决分类规则提取问题的主要方法,而基于神经网络的连接主义方法则用的不多,其主要原因在于虽然神经网络的分类精度高,但难于提取其所隐含的分类规则与知识.针对这个问题,结合神经网络的具体特点,该文提出了一种基于神经网络的构造分类决策树的新方法.该方法通过神经网络训练建立各属性与分类结果之间的关系,进而通过提取各属性与分类结果之间的导数关系来建立分类决策树.给出了具体的决策树构造算法.同时为了提高神经网络所隐含关系的提取效果,提出了关系强化约束的概念并建立了具体的模型.实际应用结果证明了算法的有效性.     

一种基于模糊熵的模糊分类算法

在模糊ID3算法中,用模糊分类熵选择扩展属性,以自顶向下的方式递归地构建模糊决策树,对数据进行分类。提出了一种基于属性模糊熵的模糊分类算法,不同于模糊ID3算法,模糊条件属性的模糊熵作为权值用来对相对模糊频率进行加权,综合考虑各个模糊条件属性对分类的贡献。实例分析和实验结果表明了这一算法的有效性。     

使用模糊竞争Hopfield网络进行图像分割

针对传统自组织竞争学习方法的不足,将模糊竞争学习引入竞争Hopfield网络中,由此设计了一个用于图像分割的模糊竞争Hopfield网络,通过将图像空间映射到灰度特征空间,实现灰度特征集的模糊聚类,进而实现图像分割.实验结果表明:对于二值分割,与Ostu方法相比,此算法在分割效果和对噪声的自适应能力方面具有明显的优点.对于多类分割,此算法比目前的FCM(fuzzy C mean)算法的处理速度要快.     

基于模糊决策树的保险企业数据异常访问检测方法

保险数据的安全已经成为影响企业效益和声誉的重大问题。为了有效检测日常交易数据中的异常访问行为,提出了一种基于模糊决策树的检测方法,该方法将能够把决策树的归纳学习能力和模糊集合所具有的表达能力相结合,可以有效地发现交易记录中的异常访问行为。通过实验分析,能够提高检测的准确性和效率。