一种贝叶斯网络分类器集群式参数学习的降噪算法

文中首先分析降噪集成算法采用的样本置信度度量函数的性质,阐述此函数不适合处理多类问题的根源。进而设计更有针对性的置信度度量函数,并基于此函数提出一种增强型降噪参数集成算法。从而使鉴别式贝叶斯网络参数学习算法不但有效地抑止噪声影响,而且避免分类器的过度拟合,进一步拓展采用集群式学习算法的鉴别式贝叶斯网络分类器在多类问题上的应用。最后,实验结果及其统计假设检验分析充分验证此算法比目前的集群式贝叶斯网络参数学习方法得到的分类器在性能上有较显著提高。     

基于类约束的贝叶斯网络分类器学习

分类能力是人类经过学习得到的重要而基本的能力，也是机器学习、模式识别和数据采掘研究的核心问题．在01损失率下，证明了基于类约束的贝叶斯网络分类器是最优分类器．建立该分类器的核心问题是基于类约束属性贝叶斯网络结构学习，给出了学习属性贝叶斯网络结构的方法，在学习过程中使用了根据弧方向因果语义确定边方向的方法，并和碰撞识别定向相结合，在边定向之后进行冗余弧检验，解决了目前冗余边检验在定向之前所导致的问题，显著提高了结构学习效率和准确性．并使用模拟数据进行了分类实验和分析。     

一种用于说话人辨认的EM训练算法

提出用于说话人辨认的一种概率映射网络（ＰＭＮ）分类器，分类器的参数用ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎｍａｘｉｍｉｚａｔｉｏｎ）算法进行训练。ＰＭＮ网为一个四层前馈网，它构成一个贝叶斯分类器，实现多类分类的贝叶斯判别，把输入的说话人语音数据模型参数通过网络变换为输出的说话人判定。其网络节点对应于贝叶斯后验概率公式的各个变量。该ＰＭＮ网络用高斯核函数作为密度函数，网络参数训练由ＥＭ算法实现，其学习方式为类间的监督学习和类内的非监督学习。实验结果表明，这种分类网络及其学习算法在说话人辨认应用中是有效的。     

并行的贝叶斯网络参数学习算法

针对大样本条件下EM算法学习贝叶斯网络参数的计算问题,提出一种并行EM算法(Parallel EM,PL-EM)提高大样本条件下复杂贝叶斯网络参数学习的速度.PL-EM算法在E步并行计算隐变量的后验概率和期望充分统计因子;在M步,利用贝叶斯网络的条件独立性和完整数据集下的似然函数可分解性,并行计算各个局部似然函数.实验结果表明PL-EM为解决大样本条件下贝叶斯网络参数学习提供了一种有效的方法.     

贝叶斯分类器的判别式参数学习

为了提高贝叶斯分类器的分类性能,针对贝叶斯网络分类器的构成特征,提出一种基于参数集成的贝叶斯分类器判别式参数学习算法PEBNC。该算法将贝叶斯分类器的参数学习视为回归问题,将加法回归模型应用于贝叶斯网络分类器的参数学习,实现贝叶斯分类器的判别式参数学习。实验结果表明,在大多数实验数据上,PEBNC能够明显提高贝叶斯分类器的分类准确率。此外,与一般的贝叶斯集成分类器相比,PEBNC不必存储成员分类器的参数,空间复杂度大大降低。     

基于最大似然估计与朴素贝叶斯的WSN故障检测

WSN中的故障节点导致网络的数据传递延迟与能耗增加,同时可引起网络拥塞等问题,对此提出一种基于最大似然估计与朴素贝叶斯分析器的WSN故障节点诊断与定位算法。首先,从数据包的协议部分提取大量特征作为训练数据集,从中估算边际概率并建立朴素贝叶斯分类器,使用最大似然估计估算条件概率。检测阶段则通过判断传输延迟是否满足阈值条件来决定可疑节点,然后使用朴素贝叶斯分类器检测故障节点,最终将节点成功进行分类。     

基于贝叶斯网络的信用卡客户价值预测

在阐述贝叶斯网络的特点和学习算法的基础上,利用先验知识选取数据样本的属性变量,通过基于K2算法的贝叶斯网络结构学习和基于极大似然方法的参数学习,建立预测模型并进行银行信用卡客户价值预测。预测结果的正确率和覆盖率表明,贝叶斯网络是信用卡客户价值预测的有效工具。     

基于模型似然的超1-依赖贝叶斯分类器集成方法

平均1-依赖贝叶斯分类器(AODE)是一种重要的贝叶斯学习方法,但由于其平等看待各个超1-依赖贝叶斯分类器输出,可能对最终结果造成不好影响.本文将每个超1-依赖贝叶斯分类器看作一个产生式模型,并通过模型似然度量超1-依赖贝叶斯分类器的性能,进而提出基于模型似然的超1-依赖贝叶斯分类器集成方法(LODE).与AODE相比,LODE仅增加较少计算量却显著提高分类性能.     

判别贝叶斯网络的CEM学习算法

当数据存在缺值时,通常应用EM算法学习贝叶斯网络.然而,EM算法以联合似然作为目标函数,与判别预测问题的目标相偏离.与EM算法不同,CEM(Conditional Expectation Maximum)算法直接以条件似然作为目标函数.研究了判别贝叶斯网络学习的CEM算法,提出一种使得CEM算法具有单调性和收敛性的Q函数.为了简化计算,在CEM算法的E步,应用Q函数的一种简化形式;在CEM算法的M步,应用梯度下降法的一次搜索结果作为最优值的近似.最后,在UCI数据集上的实验结果表明了CEM算法在判别贝叶斯网络学习中的有效性.     

Boosted Bayesian network classifiers

The use of Bayesian networks for classification problems has received a significant amount of recent attention. Although computationally efficient, the standard maximum likelihood learning method tends to be suboptimal due to the mismatch between its optimization criteria (data likelihood) and the actual goal of classification (label prediction accuracy). Recent approaches to optimizing classification performance during parameter or structure learning show promise, but lack the favorable computational properties of maximum likelihood learning. In this paper we present boosted Bayesian network classifiers, a framework to combine discriminative data-weighting with generative training of intermediate models. We show that boosted Bayesian network classifiers encompass the basic generative models in isolation, but improve their classification performance when the model structure is suboptimal. We also demonstrate that structure learning is beneficial in the construction of boosted Bayesian network classifiers. On a large suite of benchmark data-sets, this approach outperforms generative graphical models such as naive Bayes and TAN in classification accuracy. Boosted Bayesian network classifiers have comparable or better performance in comparison to other discriminatively trained graphical models including ELR and BNC. Furthermore, boosted Bayesian networks require significantly less training time than the ELR and BNC algorithms.     

Maximum margin Bayesian network classifiers

We present a maximum margin parameter learning algorithm for Bayesian network classifiers using a conjugate gradient (CG) method for optimization. In contrast to previous approaches, we maintain the normalization constraints on the parameters of the Bayesian network during optimization, i.e., the probabilistic interpretation of the model is not lost. This enables us to handle missing features in discriminatively optimized Bayesian networks. In experiments, we compare the classification performance of maximum margin parameter learning to conditional likelihood and maximum likelihood learning approaches. Discriminative parameter learning significantly outperforms generative maximum likelihood estimation for naive Bayes and tree augmented naive Bayes structures on all considered data sets. Furthermore, maximizing the margin dominates the conditional likelihood approach in terms of classification performance in most cases. We provide results for a recently proposed maximum margin optimization approach based on convex relaxation. While the classification results are highly similar, our CG-based optimization is computationally up to orders of magnitude faster. Margin-optimized Bayesian network classifiers achieve classification performance comparable to support vector machines (SVMs) using fewer parameters. Moreover, we show that unanticipated missing feature values during classification can be easily processed by discriminatively optimized Bayesian network classifiers, a case where discriminative classifiers usually require mechanisms to complete unknown feature values in the data first.     

贝叶斯网络分类器近似学习算法

贝叶斯网络在很多领域应用广泛,作为分类器更是一种有效的常用分类方法,它有着很高复杂度,这使得贝叶斯网络分类器在应用中受到诸多限制。通过对贝叶斯网络分类器算法的近似处理,可以有效减少计算量,并且得到令人满意的分类准确率。通过分析一种将判别式算法变为产生式算法的近似方法,介绍了这种算法的近似过程,并将其应用在了贝叶斯网分类算法中。接着对该算法进行分析,利用该算法的稳定性特点,提出Bagging-aCLL 集成分类算法,它进一步提高了该近似算法的分类精度。最后通过实验确定了该算法在分类准确率上确有不错的表现。     

基于捕食逃逸PSO的贝叶斯网络分类器

构造精确的贝叶斯网络分类器已被证明为NP难问题,提出了一种基于捕食逃逸粒子群优化(PSO)算法的通用贝叶斯网络分类器,能有效避免数据预处理时的属性约简对分类效果的直接影响,实现对贝叶斯网络结构的精确学习和搜索。另外,将所提出的分类器应用于高职院校就业预测分析,并在Weka平台上实现对该分类器的构建和验证,与其他几种贝叶斯网络分类器的对比实验结果表明,该分类器具有更好的性能。     

蛋白质二级结构的协同训练预测方法*

针对蛋白质二级结构机器学习预测方法,忽略氨基酸疏水性特征以及氨基酸之间的长程作用和准确率不高的现状,进行了比较实验分析。采用氨基酸对应的疏水能值替换蛋白质中相应的氨基酸,得到疏水能值的序列实验结果表明,用长的疏水能值序列,训练BP网络,对长程作用起主导的E结构的预测效果好。由于Profile编码特征和疏水能值特征是独立的冗余视图,基于协同训练思想,提出Cotraining算法。该算法的主要步骤是在Profile特征空间训练SVM分类器,在疏水性特征空间训练BP神经网络分类器,协同对氨基酸二级结构进行预测     

Effects of classifier structures and training regimes on integrated segmentation and recognition of handwritten numeral strings

In integrated segmentation and recognition of character strings, the underlying classifier is trained to be resistant to noncharacters. We evaluate the performance of state-of-the-art pattern classifiers of this kind. First, we build a baseline numeral string recognition system with simple but effective presegmentation. The classification scores of the candidate patterns generated by presegmentation are combined to evaluate the segmentation paths and the optimal path is found using the beam search strategy. Three neural classifiers, two discriminative density models, and two support vector classifiers are evaluated. Each classifier has some variations depending on the training strategy: maximum likelihood, discriminative learning both with and without noncharacter samples. The string recognition performances are evaluated on the numeral string images of the NIST special database 19 and the zipcode images of the CEDAR CDROM-1. The results show that noncharacter training is crucial for neural classifiers and support vector classifiers, whereas, for the discriminative density models, the regularization of parameters is important. The string recognition results compare favorably to the best ones reported in the literature though we totally ignored the geometric context. The best results were obtained using a support vector classifier, but the neural classifiers and discriminative density models show better trade-off between accuracy and computational overhead.     

基于显露模式的数据流贝叶斯分类算法

基于模式的贝叶斯分类模型是解决数据挖掘领域分类问题的一种有效方法.然而,大多数基于模式的贝叶斯分类器只考虑模式在目标类数据集中的支持度,而忽略了模式在对立类数据集合中的支持度.此外,对于高速动态变化的无限数据流环境,在静态数据集下的基于模式的贝叶斯分类器就不能适用.为了解决这些问题,提出了基于显露模式的数据流贝叶斯分类模型EPDS（Bayesian classifier algorithm based on emerging pattern for data stream）.该模型使用一个简单的混合森林结构来维护内存中事务的项集,并采用一种快速的模式抽取机制来提高算法速度.EPDS采用半懒惰式学习策略持续更新显露模式,并为待分类事务在每个类下建立局部分类模型.大量实验结果表明,该算法比其他数据流分类模型有较高的准确度.