基于L1正则化的贝叶斯网络分类器

目前基于节点排序的贝叶斯网络分类器忽略了节点序列中已选变量和类标签之间的信息,导致分类器的准确率很难进一步提高。针对这个问题,提出了一种简单高效的贝叶斯网络分类器的学习算法:L1正则化的贝叶斯网络分类器(L1-BNC)。通过调整Lasso方法中的约束值,充分利用回归残差的信息,结合点序列中已选变量和类标签的信息,形成一条优秀的有序变量拓扑序列(L1正则化路径);基于该序列,利用K2算法生成优良的贝叶斯网络分类器。实验表明,L1-BNC在分类精度上优于已有的贝叶斯网络分类器。L1-BNC也与SVM,KNN和J48分类算法进行了比较,在大部分数据集上,L1-BNC优于这些算法。     

基于条件互信息和概率突跳机制的贝叶斯网络结构学习算法

贝叶斯网络分类器的精确构造是NP难问题,使用K2算法可以有效地缩减搜索空间,提高学习效率。然而K2算法需要初始的节点次序作为输入,这在缺少先验信息的情况下很难确定;另一方面,K2算法采用贪婪的搜索策略,容易陷入局部最优解。提出了一种基于条件互信息和概率突跳机制的贝叶斯网络结构学习算法(CMI-PK2算法),该算法首先利用条件互信息生成有效的节点次序作为K2算法的输入,然后利用概率突跳机制改进K2算法的搜索过程来提高算法的全局寻优能力,学习较为理想的网络结构。在两个基准网络Asia和Alarm上进行了实验验证,结果表明CMI-PK2算法具有更高的分类精度和数据拟合程度。     

一种用于说话人辨认的EM训练算法

提出用于说话人辨认的一种概率映射网络（ＰＭＮ）分类器，分类器的参数用ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎｍａｘｉｍｉｚａｔｉｏｎ）算法进行训练。ＰＭＮ网为一个四层前馈网，它构成一个贝叶斯分类器，实现多类分类的贝叶斯判别，把输入的说话人语音数据模型参数通过网络变换为输出的说话人判定。其网络节点对应于贝叶斯后验概率公式的各个变量。该ＰＭＮ网络用高斯核函数作为密度函数，网络参数训练由ＥＭ算法实现，其学习方式为类间的监督学习和类内的非监督学习。实验结果表明，这种分类网络及其学习算法在说话人辨认应用中是有效的。     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

基于最大信息系数的贝叶斯网络结构学习算法

为了得到正确的节点次序,构造接近最优的贝叶斯网络结构,利用最大信息系数与条件独立性测试相结合的方法,提出了一种新的贝叶斯网络结构学习算法（MICVO）。该算法利用最大信息系数衡量变量之间的依赖关系,生成初始的无向图,引入惩罚因子δ减少图中冗余边的数量,并将这个无向图分解成多个子结构,确定图中边的方向,最后生成正确的节点次序作为K2算法的输入学习网络结构。在两个基准网络Asia和Alarm中进行实验验证,结果表明基于最大信息系数的贝叶斯网络结构学习算法可以得到接近最优的节点次序,学习到的网络结构与数据的拟合程度更好,分类准确性更高。     

基于最大似然估计与朴素贝叶斯的WSN故障检测

WSN中的故障节点导致网络的数据传递延迟与能耗增加,同时可引起网络拥塞等问题,对此提出一种基于最大似然估计与朴素贝叶斯分析器的WSN故障节点诊断与定位算法。首先,从数据包的协议部分提取大量特征作为训练数据集,从中估算边际概率并建立朴素贝叶斯分类器,使用最大似然估计估算条件概率。检测阶段则通过判断传输延迟是否满足阈值条件来决定可疑节点,然后使用朴素贝叶斯分类器检测故障节点,最终将节点成功进行分类。     

基于贝叶斯网的分类器及其在CRM中的应用

基于贝叶斯网的分类器因其对不确定性问题有较强的处理能力，因此在CRM客户建模中有其独特的优势。在对朴素贝叶斯分类器、通用贝叶斯网分类器优缺点分析的基础上，引入增强型BN分类器和贝叶斯多网分类器，详细介绍了后者的算法，并将其应用到实际电信CRM客户．建模中，取得较好的效果。     

TANC-BIC结构学习算法的改进

基于概率的贝叶斯分类器以其简单的结构和良好的性能受到重视，树扩展朴素贝叶斯分类器TANC应用较广。用TANC—BIC结构学习算法构建的分类器取得了成功，但TANC—BIC结构学习算法未考虑类节点的情况。文中提出了一种新的结构学习TANC—CBIC算法。并在贝叶斯分类器实验平台MBNC上编程实现。实验结果表明，改进算法分类准确率要高于由TANC—BIC和TANC-CMI结构学习算法构建的分类器，TANC—CBIC结构学习算法是有效的。     

贝叶斯分类器的判别式参数学习

为了提高贝叶斯分类器的分类性能,针对贝叶斯网络分类器的构成特征,提出一种基于参数集成的贝叶斯分类器判别式参数学习算法PEBNC。该算法将贝叶斯分类器的参数学习视为回归问题,将加法回归模型应用于贝叶斯网络分类器的参数学习,实现贝叶斯分类器的判别式参数学习。实验结果表明,在大多数实验数据上,PEBNC能够明显提高贝叶斯分类器的分类准确率。此外,与一般的贝叶斯集成分类器相比,PEBNC不必存储成员分类器的参数,空间复杂度大大降低。     

基于TAN结构的启发式贝叶斯网络结构学习算法

贝叶斯网络结构学习是个NP难题。一种有效且准确性较高的学习算法是K2算法。但K2算法要确定结点次序,在无先验信息时受到很大限制。提出了一种启发式结构学习G算法,该算法以学习树扩展朴素贝叶斯TAN结构作为启发式信息,由该启发式信息生成结点次序,再用K2算法生成贝叶斯网络结构。实验结果表明,G算法可以解决无先验信息时确定结点次序的问题。所添加的弧比较简洁,网络结构比TAN结构更加合理。     

K2 ＆ HC 结构学习算法

贝叶斯网络理论在人工智能领域发挥着重要作用。贝叶斯网络从数据中学习知识的能力使得它在医学、故障诊断、预测等领域的应用迅速发展起来。结构学习算法成为贝叶斯网络的重要研究方向,它能够有效分析变量之间依赖关系,合理挖掘数据和知识。K2算法评分性能突出,而爬山算法能有效弥补K2评分法的解空间过于复杂的问题。论文结合K2评分函数和爬山策略,提出了K2＆HC算法。同时,K2＆HC算法在爬山策略中融入了回溯原理,解决了贝叶斯结构学习算法中存在的收敛于局部最优的问题,合理优化了算法的性能。同K2和K2SA算法进行仿真对比,得出在精度和收敛速度综合性能上K2＆HC表现突出的结论。     

Some node ordering methods for the K2 algorithm

Inferring Bayesian network structure from data is a challenging issue, and many researchers have been working on this problem. The K2 is a well‐known order‐dependent algorithm to learn Bayesian network. The result of the algorithm is not robust since it achieves different network structure if node orderings are permuted. Consequently, choosing suitable sequential node ordering for the input of the K2 algorithm is a challenging task. In this work, some deterministic methods for selecting a suitable sequential node ordering are introduced. The effectiveness of these methods benchmarked through the Asia, Alarm, Car, and Insurance networks. The results indicate that the methods based on the concept of mutual information and entropy are suitable for finding a sequential node ordering and considerably improves the precision of network inference. The source code and selected data sets are available on http://profiles.bs.ipm.ir/softwares/ordering/ .     

属性加权的朴素贝叶斯集成分类器

为提高朴素贝叶斯分类器的分类精度和泛化能力,提出了基于属性相关性的加权贝叶斯集成方法（WEBNC）。根据每个条件属性与决策属性的相关度对其赋以相应的权值,然后用AdaBoost训练属性加权后的BNC。该分类方法在16个UCI标准数据集上进行了测试,并与BNC、贝叶斯网和由AdaBoost训练出的BNC进行比较,实验结果表明,该分类器具有更高的分类精度与泛化能力。     

基于节点块序列约束的局部贝叶斯网络结构搜索算法

针对K2算法过度依赖节点序和节点序搜索算法评价节点序效率较低的问题, 提出一种基于节点块序列约束的局部贝叶斯网络结构搜索算法, 该算法首先通过评分定向构建定向支撑树结构, 在此基础上构建节点块序列, 然后利用节点块序列确定每个节点的潜在父节点集, 通过搜索每个节点的父节点集构建网络结构, 最后对该结构进行非法结构修正得到最优贝叶斯网络结构.利用标准网络将算法与几种不同类型的改进算法进行对比分析, 验证该算法的有效性.     

基于拓扑序列和量子遗传算法的贝叶斯网结构学习

贝叶斯网是处理不确定性问题知识表示和推理的最重要的理论模型之一,其结构学习是目前研究的一个热点。提出了一种基于拓扑序列和量子遗传算法的贝叶斯网结构学习算法,新算法首先利用量子信息的丰富性和量子计算的并行性,设计出基于量子染色体的拓扑序列生成策略提高了搜索效率,并为K2算法学得高质量的贝叶斯网结构提供了保障;然后采用带上下界的自适应量子变异策略,增强了种群的多样性,提高了算法的搜索能力。实验结果表明,与已有的一些算法相比,新算法不仅能获得较高质量的解,而且还有着较快的收敛速度。     

INVESTIGATION OF THE K2 ALGORITHM IN LEARNING BAYESIAN NETWORK CLASSIFIERS

We experimentally study the K2 algorithm in learning a Bayesian network (BN) classifier for image detection of cytogenetic abnormalities. Starting from an initial BN structure, the K2 algorithm searches the BN structure space and selects the structure maximizing the K2 metric. To improve the accuracy of the K2-based BN classifier, we investigate the K2 algorithm initial ordering, search procedure, and metric. We find that BN structures learned using random initial orderings, orderings based on expert knowledge, or a scatter criterion are comparable and lead to similar classification accuracies. Replacing the K2 search with hill-climbing search improves the accuracy as does the inclusion of hidden nodes in the BN structure. Also, we demonstrate that though the maximization of the K2 metric solicits structures providing improved inference, these structures contribute to only limited classification accuracy.     

基于贝叶斯网络的信用卡客户价值预测

在阐述贝叶斯网络的特点和学习算法的基础上,利用先验知识选取数据样本的属性变量,通过基于K2算法的贝叶斯网络结构学习和基于极大似然方法的参数学习,建立预测模型并进行银行信用卡客户价值预测。预测结果的正确率和覆盖率表明,贝叶斯网络是信用卡客户价值预测的有效工具。     

基于密度核估计的贝叶斯网络结构学习算法

贝叶斯网络结构学习算法主要包括爬山法和K2算法等,但这些方法均要求面向大样本数据集。针对实际问题中样本集规模小的特点,通过引入概率密度核估计方法以实现对原始样本集的拓展,利用K2算法进行贝叶斯网络结构学习。通过优化选择核函数和窗宽,基于密度核估计方法实现了样本集的有效扩展;同时基于互信息度进行变量顺序的确认,进而建立了小规模样本集的贝叶斯结构学习算法。仿真结果验证了新学习算法的有效性和实用性。