小数据集贝叶斯网络多父节点参数的修复

具有已知结构的小数据集贝叶斯网络多父节点参数学习是一个重要而困难的研究课题,由于信息不充分,使得无法直接对多父节点参数进行有效的估计,如何修复这些参数便是问题的核心.针对问题提出了一种有效的小数据集多父节点参数修复方法,该方法首先使用Bootstrap抽样扩展小数据集,然后分别将Gibbs抽样与最大似然树和贝叶斯网络相结合,通过依次对扩展数据按一定比例的迭代修正来实现对多父节点参数的修复.实验结果表明,这种方法能够有效地使大部分多父节点参数得到修复.     

小数据集条件下的多态系统贝叶斯网络参数学习

针对贝叶斯网络中多父节点条件概率分布参数学习问题,提出了一种适用于多态节点、模型不精确、样本信息不充分情形的参数学习方法.该方法利用因果机制独立假设,分解条件概率分布,使条件概率表的规模表现为父节点个数和状态数的线性形式;利用Leaky Noisy-MAX模型量化了多态系统模型未含因素对参数学习的影响;从小样本数据集中获取模型参数并合成条件概率表.结果表明,该方法能提高参数学习效率与精度.     

一种基于两步搜索策略的K2改进算法

贝叶斯网络由于其强大的不确定性推理能力和因果可表示性越来越受到研究者的关注。从数据中学习一个贝叶斯网络结构被称为NP-hard问题。其中，针对K2算法强依赖于变量拓扑序的问题，提出了一种组合变量邻居集和v-结构信息的K2改进学习方法TSK2(Two-Step Search Strategy of K2)。该方法有效减小了序空间搜索规模，同时避免了过早陷入局部最优。具体而言，该方法在约束算法定向规则的启示下，借助识别的v-结构和邻居集信息可靠调整汇点的邻居在序中的位置；其次，在贝网基本组成结构的启发下，借助变量邻居集信息，通过执行顺连、分连、汇连3个基本结构的搜索，准确修正父节点与子节点的序位置，获得最优序列。实验结果表明，在Asia和Alarm网络数据集上，与对比方法相比，所提算法的准确率得到显著提升，可以获得更准确的网络结构。     

基于节点块序列约束的局部贝叶斯网络结构搜索算法

针对K2算法过度依赖节点序和节点序搜索算法评价节点序效率较低的问题, 提出一种基于节点块序列约束的局部贝叶斯网络结构搜索算法, 该算法首先通过评分定向构建定向支撑树结构, 在此基础上构建节点块序列, 然后利用节点块序列确定每个节点的潜在父节点集, 通过搜索每个节点的父节点集构建网络结构, 最后对该结构进行非法结构修正得到最优贝叶斯网络结构.利用标准网络将算法与几种不同类型的改进算法进行对比分析, 验证该算法的有效性.     

基于L1正则化的贝叶斯网络分类器

目前基于节点排序的贝叶斯网络分类器忽略了节点序列中已选变量和类标签之间的信息,导致分类器的准确率很难进一步提高。针对这个问题,提出了一种简单高效的贝叶斯网络分类器的学习算法:L1正则化的贝叶斯网络分类器(L1-BNC)。通过调整Lasso方法中的约束值,充分利用回归残差的信息,结合点序列中已选变量和类标签的信息,形成一条优秀的有序变量拓扑序列(L1正则化路径);基于该序列,利用K2算法生成优良的贝叶斯网络分类器。实验表明,L1-BNC在分类精度上优于已有的贝叶斯网络分类器。L1-BNC也与SVM,KNN和J48分类算法进行了比较,在大部分数据集上,L1-BNC优于这些算法。     

基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

小数据集条件下贝叶斯网络自适应参数学习方法

针对小数据集条件下贝叶斯网络参数学习问题,约束最大似然(CML)和定性最大后验概率(QMAP)方法是两种约束适用性较好的方法.当样本数量、约束数量、参数位置不同时,上述两种方法互有优劣,进而导致方法上的难以选择.因此,本文提出一种自适应参数学习方法:首先,利用CML和QMAP方法学习得到两组参数;然后,基于拒绝–接受采样和空间最大后验概率思想自定义计算得到样本权重、约束权重、参数位置权重;最后,基于上述参数和权重计算得到新的参数解.实验表明:在任何条件下,本文方法计算得到参数的精度接近甚至优于CML和QMAP方法的最优解.     

基于改进RBF网络的多变量序列建模和预测

针对复杂系统多变量序列预测研究中数据样本过多、信息冗余等问题,从学习样本选择和聚类中心优化两方面对径向基函数(RBF)网络进行改进.基于复杂系统多变量时间序列,首先采用一个线性相关函数和一个非线性相关函数分别计算多变量状态间的线性相关性和非线性相关性,确定一个包含系统有效信息的小数据集;然后基于小数据集,采用K均值聚类方法确定RBF网络的隐层聚类中心,并引入局部搜索过程,优化聚类中心结果;输入其它训练样本,确定网络权值.仿真结果表明,与常规RBF网络学习方法比较,在隐层节点数目相同情况下,改进的方法有效地确定了网络的聚类中心,达到更好的预测精度.     

约束条件下BN参数最大熵模型扩展学习算法

在很多智能系统的参数建模时,用户往往面对建模样本稀少的困境。针对在小数据集条件下贝叶斯网络（BN）参数建模的问题,提出了一种约束数据最大熵BN参数学习算法（CDME）。首先利用小数据集估算BN参数,随后把定性的专家经验转换为不等式约束,并利用Bootstrap算法生成满足约束的一组参数候选集,再根据信息最大熵进行加权计算出BN参数。实验结果表明,当数据量充分时,CDME参数学习算法与经典的MLE算法的学习精度近似,表明了算法的正确性;在小数据集条件下,利用CDME算法,可以对BN进行参数建模,学习精度优于MLE算法和QMAP算法。CDME算法在实际故障诊断样本数据相对稀缺的条件下,获取了诊断BN模型参数,在此基础上完成的诊断推理结果也印证了算法的有效性,为小数据集条件下的参数建模提供了一条新途径。     

基于特征对比学习和图卷积的社交网络用户分类

社交网络用户分类旨在通过用户属性和社交关系确定用户的兴趣爱好,可通过图类数据的节点分类实现。多数基于图卷积神经网络(GCN)的节点分类方法仅能处理高同质率数据集,但社交网络数据集通常具有较高的异质率。针对社交网络数据集同质率较低的问题,提出一种基于特征对比学习的图卷积神经网络(CLGCN)模型。通过预训练的组合标签构造相似性矩阵,根据相似性矩阵进行图卷积。利用特征对比学习分别定义类别相同和不同的邻居节点对为正负样本对,最小化特征对比的损失函数,使同类节点对的特征表达相似性更高及异类节点对的特征表达可区分性更强。实验结果表明,CLGCN模型在3个低同质率社交网络数据集上的节点分类准确率分别达到93.5%、81.4%和67.9%,均高于对比模型。     

小数据集情况下基于变权重融合的BN参数学习算法

针对小数据集情况下贝叶斯网络（BN）参数学习结果精度较低的问题，分析了小数据集情况下BN参数变权重设计的必要性，提出一种基于变权重融合的BN参数学习算法VWPL。首先根据专家经验确定不等式约束条件，计算参数学习最小样本数据集阈值，设计了随样本量变化的变权重因子函数；然后根据样本计算出初始参数集，通过Bootstrap方法进行参数扩展得到满足约束条件的候选参数集，将其代入BN变权重参数计算模型即可获取最终的BN参数。实验结果表明，当学习数据量较小时，VWPL算法的学习精度高于MLE算法和QMAP算法的，也优于定权重学习算法的。另外，将VWPL算法成功应用到了轴承故障诊断实验中，为在小数据集上进行BN参数估计提供了一种方法。     

Regularized variational Bayesian learning of echo state networks with delay&sum readout

In this work, a variational Bayesian framework for efficient training of echo state networks (ESNs) with automatic regularization and delay&sum (D&S) readout adaptation is proposed. The algorithm uses a classical batch learning of ESNs. By treating the network echo states as fixed basis functions parameterized with delay parameters, we propose a variational Bayesian ESN training scheme. The variational approach allows for a seamless combination of sparse Bayesian learning ideas and a variational Bayesian space-alternating generalized expectation-maximization (VB-SAGE) algorithm for estimating parameters of superimposed signals. While the former method realizes automatic regularization of ESNs, which also determines which echo states and input signals are relevant for "explaining" the desired signal, the latter method provides a basis for joint estimation of D&S readout parameters. The proposed training algorithm can naturally be extended to ESNs with fixed filter neurons. It also generalizes the recently proposed expectation-maximization-based D&S readout adaptation method. The proposed algorithm was tested on synthetic data prediction tasks as well as on dynamic handwritten character recognition.     

小数据集条件下基于数据再利用的BN参数学习

着重研究了小数据集条件下结合凸约束的离散贝叶斯网络(Bayesian network, BN)参数学习问题, 主要任务是用先验知识弥补数据的不足以提高参数学习精度. 已有成果认为数据和先验知识是独立的, 在参数学习算法中仅将二者机械结合. 经过理论研究后, 本文认为数据和先验知识并不独立, 原有算法浪费了这部分有用信息. 本文立足于数据信息分类, 深入挖掘数据和先验知识之间的约束信息来提高参数学习精度, 提出了新的BN 参数学习算法 --凸约束条件下基于数据再利用的贝叶斯估计. 通过仿真实验展示了所提算法在精度和其他性能上的优势, 进一步证明数据和先验知识不独立思想的合理性.     

Parameter Control of Genetic Algorithms by Learning and Simulation of Bayesian Networks — A Case Study for the Optimal Ordering of Tables

Parameter setting for evolutionary algorithms is still an important issue in evolutionary computation. There are two main approaches to parameter setting: parameter tuning and parameter control. In this paper, we introduce self-adaptive parameter control of a genetic algorithm based on Bayesian network learning and simulation. The nodes of this Bayesian network are genetic algorithm parameters to be controlled. Its structure captures probabilistic conditional (in)dependence relationships between the parameters. They are learned from the best individuals, i.e., the best configurations of the genetic algorithm. Individuals are evaluated by running the genetic algorithm for the respective parameter configuration. Since all these runs are time-consuming tasks, each genetic algorithm uses a small-sized population and is stopped before convergence. In this way promising individuals should not be lost. Experiments with an optimal search problem for simultaneous row and column orderings yield the same optima as state-of-the-art methods but with a sharp reduction in computational time. Moreover, our approach can cope with as yet unsolved high-dimensional problems.     

基于Jaya的贝叶斯网络结构学习算法研究

基于评分搜索的贝叶斯网络结构学习算法通常需要调参,导致计算量增大且不当的参数易使算法陷入局部最优。针对这一问题,将无需调参的Jaya算法应用于贝叶斯网络结构学习。在Jaya算法的框架下,结合遗传算法的交叉变异思想重新设计了个体更新策略,使Jaya算法能够应用于结构学习这一离散优化问题,并结合马尔科夫链的相关理论讨论了所提算法的敛散性。实验结果表明,该算法能有效应用于贝叶斯网络结构学习。     

基于因果影响独立模型的贝叶斯网络参数学习

基于因果影响独立模型及其中形成的特定上下文独立关系,提出一种适于样本学习的贝叶斯网络参数学习算法。该算法在对局部概率模型降维分解的基础上,通过单父节点条件下的子节点概率分布来合成局部结构的条件概率分布,参数定义复杂度较低且能较好地处理稀疏结构样本集。实验结果表明,该算法与标准最大似然估计算法相比,能充分利用样本信息,具有较好的学习精度。     

Maximum margin Bayesian network classifiers

We present a maximum margin parameter learning algorithm for Bayesian network classifiers using a conjugate gradient (CG) method for optimization. In contrast to previous approaches, we maintain the normalization constraints on the parameters of the Bayesian network during optimization, i.e., the probabilistic interpretation of the model is not lost. This enables us to handle missing features in discriminatively optimized Bayesian networks. In experiments, we compare the classification performance of maximum margin parameter learning to conditional likelihood and maximum likelihood learning approaches. Discriminative parameter learning significantly outperforms generative maximum likelihood estimation for naive Bayes and tree augmented naive Bayes structures on all considered data sets. Furthermore, maximizing the margin dominates the conditional likelihood approach in terms of classification performance in most cases. We provide results for a recently proposed maximum margin optimization approach based on convex relaxation. While the classification results are highly similar, our CG-based optimization is computationally up to orders of magnitude faster. Margin-optimized Bayesian network classifiers achieve classification performance comparable to support vector machines (SVMs) using fewer parameters. Moreover, we show that unanticipated missing feature values during classification can be easily processed by discriminatively optimized Bayesian network classifiers, a case where discriminative classifiers usually require mechanisms to complete unknown feature values in the data first.     

基于密度核估计的贝叶斯网络结构学习算法

贝叶斯网络结构学习算法主要包括爬山法和K2算法等,但这些方法均要求面向大样本数据集。针对实际问题中样本集规模小的特点,通过引入概率密度核估计方法以实现对原始样本集的拓展,利用K2算法进行贝叶斯网络结构学习。通过优化选择核函数和窗宽,基于密度核估计方法实现了样本集的有效扩展;同时基于互信息度进行变量顺序的确认,进而建立了小规模样本集的贝叶斯结构学习算法。仿真结果验证了新学习算法的有效性和实用性。     

Moving data window gradient‐based iterative algorithm of combined parameter and state estimation for bilinear systems

The combined iterative parameter and state estimation problem is considered for bilinear state‐space systems with moving average noise in this paper. There are the product terms of state variables and control variables in bilinear systems, which makes it difficult for the parameter and state estimation. By designing a bilinear state estimator based on the Kalman filtering, the states are estimated using the input‐output data. Furthermore, a moving data window (MDW) is introduced, which can update the dynamical data by removing the oldest data and adding the newest measurement data. A state estimator‐based MDW gradient‐based iterative (MDW‐GI) algorithm is proposed to estimate the unknown states and parameters jointly. Moreover, given the extended gradient‐based iterative (EGI) algorithm as a comparison, the MDW‐GI algorithm can reduce the impact of noise to parameter estimation and improve the parameter estimation accuracy. The numerical simulation examples validate the effectiveness of the proposed algorithm.