局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

基于时序隐变量模型的因果关系发现算法

为在基于隐变量模型的因果关系发现算法中综合考虑隐变量之间的瞬时性和延时性因果效应,构建以动态贝叶斯网络为基础的时序隐变量模型,提出对应的因果关系发现算法。使用因子分析的方法估计测量模型中的因子载荷矩阵,应用结构向量自回归模型估计自回归矩阵,利用数据的非高斯性依次学习模型中隐变量之间的瞬时效应矩阵与延时效应矩阵,构建时序隐变量模型的因果网络结构。实验结果验证了算法的有效性。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

基于Normal-Gamma共轭先验优化因子分析的图像去噪算法

采用传统因子分析(Fact Analysis, FA)模型进行噪声抑制时存在因子个数难以确定、噪声抑制后图像质量下降等问题，基于贝叶斯决策理论提出一种Normal-Gamma共轭先验优化FA模型的图像去噪算法，利用Normal-Gamma分布对FA加载因子和隐变量的概率分布建模，一方面对不适定噪声抑制问题正则化，另一方面提高模型的稀疏性，增加参数估计稳定性，采用变分贝叶斯期望最大(Variational Bayesian Expectation Maximum, VBEM)算法对模型求解，自动确定因子个数的同时提升噪声抑制性能。基于标准图像数据集的实验结果表明，所提算法在实现噪声抑制的同时较好地保留了图像的边缘和纹理等细节信息，并且能够明显提升低信噪比条件下的图像识别性能。     

改进SVM分类算法中多重共线性问题研究

提出了一种可以解决SVM分类算法中的多重共线性问题的因子分析方法。因子分析的核心是用较少的互相独立的因子反映原有变量的绝大部分信息,它既能大大减少参与数据建模的变量个数,简化支持向量机结构,减少支持向量机分类过程中的复杂度和运算量,同时不会改变样本的分布特性,保持样本的分类信息。实验结果表明,通过因子分析对样本数据的处理,使用3个因子代替7个原始变量,原始变量间的多重共线性问题得到了很好的解决。     

特征保持隐写的博弈分析

为了分析基于统计特征保持的隐写算法的安全性,将隐写对抗分为以特征子集作为策略和以隐写、隐写分析算法作为策略两种情况建立了两种隐写博弈模型。模型将隐写分析方的检测率作为支付函数,用隐写对抗双方特征子集间的差异反映算法抗统计分析的能力。通过对模型进行均衡分析,给出了各种情况下基于统计特征保持的方式提高隐写系统安全性的最优策略,并得到了均衡局势下的期望支付。     

基于PCA的社团结构谱聚类改进算法

为了分析复杂网络和复杂系统的结构和功能特性,提出一种基于谱聚类和主成分分析(principle component analysis,PCA)的网络社团结构检测算法.利用主成分分析方法分析网络中社团结构的拓扑特点,通过压缩网络数据获得网络主要信息,提出了用于确定传统谱聚类中特征向量个数的方法,并在此基础上改进了谱聚类算法.该算法应用于海豚网络和足球网络等网络实例.实验结果表明,该算法可以根据网络结构动态获得特征向量个数,社团划分结果可行有效.     

具有隐藏变量的贝叶斯网络结构学习

目前,学习具有隐藏变量的贝叶斯网络结构主要采用结合EM算法的打分-搜索方法,其效率和可靠性低.本文针对此问题建立一种新的具有隐藏变量贝叶斯网络结构学习方法.该方法首先依据变量之间基本依赖关系、基本结构和依赖分析思想进行不考虑隐藏变量的贝叶斯网络结构学习,然后利用贝叶斯网络道德图中的Cliques发现隐藏变量的位置,最后基于依赖结构、Gibbs sampling和MDL标准确定隐藏变量的取值、维数和局部结构.该方法能够避免标准Gibbs sampling的指数复杂性问题和现有学习方法存在的主要问题.实验结果表明,该方法能够有效进行具有隐藏变量的贝叶斯网络结构学习.     

一种带隐变量贝叶斯网的事件诱因估计方法

事件诱因是诱导事件发生的因素,从事件特征数据构建事件诱因模型,进行事件诱因估计,是解决舆论控制、精准决策支持和用户行为定向等问题的重要基础.本文以公共突发事件为背景,以贝叶斯网为不确定性知识表示和推理的基本框架,以多值隐变量来描述事件诱因的多个取值,提出一种基于带隐变量贝叶斯网(隐变量模型)的事件诱因模型构建方法,进而利用概率推理算法估计事件诱因.针对事件诱因存在多个取值的问题,本文基于分支限界思想提出最优取值子集提取算法.建立在真实数据集上的实验结果表明,本文提出的事件诱因模型构建方法及相应的诱因估计方法是有效的.     

基于数据挖掘技术的购物篮模式研究

基于顾客购物篮的分析提出一种新的基于虚拟变量的数据挖掘方法。该方法结合因子分析、聚类和关联规则挖掘技术。首先通过因子分析方法从众多的实变量中标识出影响顾客购买决定的少数几个虚拟变量,其次利用聚类分析对顾客划分成若干簇,最后运用关联规则分析获取每一簇中对象之间隐藏的模式。通过在一个零售业的案例中进行实施,表明了该方法的有效性。     

基于改进多隐层极限学习机的电网虚假数据注入攻击检测

虚假数据注入攻击(False data injection attacks, FDIA)严重威胁了电力信息物理系统(Cyber-physical system,CPS)的状态估计,而目前大多数检测方法侧重于攻击存在性检测,无法获取准确的受攻击位置.故本文提出了一种基于灰狼优化(Gray wolf optimization, GWO)多隐层极限学习机(Multi layer extreme learning machine, ML-ELM)的电力信息物理系统虚假数据注入攻击检测方法.所提方法将攻击检测看作是一个多标签二分类问题,不仅将用于特征提取与分类训练的极限学习机由单隐层变为多隐层,以解决极限学习机特征表达能力有限的问题,且融入了具有强全局搜索能力的灰狼优化算法以提高多隐层极限学习机分类精度和泛化性能.进而自动识别系统各个节点状态量的异常,获取受攻击的精确位置.通过在不同场景下对IEEE-14和57节点测试系统上进行大量实验,验证了所提方法的有效性,且分别与极限学习机、未融入灰狼优化的多隐层极限学习机以及支持向量机(Support vector machine, SVM)相比,所提方...     

混合贝叶斯网络隐藏变量学习研究

目前,具有已知结构的隐藏变量学习主要针对具有离散变量的贝叶斯网和具有连续变量的高斯网．该文给出了具有连续和离散变量的混合贝叶斯网络隐藏变量学习方法．该方法不需要离散化连续变量,依据专业知识或贝叶斯网络道德图中Cliques的维数发现隐藏变量的位置,基于依赖结构（星形结构或先验结构）和Gibbs抽样确定隐藏变量的值,结合扩展的MDL标准和统计方法发现隐藏变量的最优维数．实验结果表明,这种方法能够有效地进行具有已知结构的混合贝叶斯网络隐藏变量学习．     

Factorial Hidden Markov Models

Hidden Markov models (HMMs) have proven to be one of the most widely used tools for learning probabilistic models of time series data. In an HMM, information about the past is conveyed through a single discrete variable—the hidden state. We discuss a generalization of HMMs in which this state is factored into multiple state variables and is therefore represented in a distributed manner. We describe an exact algorithm for inferring the posterior probabilities of the hidden state variables given the observations, and relate it to the forward–backward algorithm for HMMs and to algorithms for more general graphical models. Due to the combinatorial nature of the hidden state representation, this exact algorithm is intractable. As in other intractable systems, approximate inference can be carried out using Gibbs sampling or variational methods. Within the variational framework, we present a structured approximation in which the the state variables are decoupled, yielding a tractable algorithm for learning the parameters of the model. Empirical comparisons suggest that these approximations are efficient and provide accurate alternatives to the exact methods. Finally, we use the structured approximation to model Bach's chorales and show that factorial HMMs can capture statistical structure in this data set which an unconstrained HMM cannot.     

灵敏度正则化极限学习机及其在数字识别中的应用

针对正则化极限学习机（RELM）中隐节点数影响分类准确性问题,提出一种灵敏度正则化极限学习机（SRELM）算法.首先根据隐含层激活函数的输出及其相对应的输出层权重系数,推导实际值与隐节点输出值残差相对于隐节点的灵敏度计算公式,然后根据不同隐节点的灵敏度进行排序,利用优化样本的分类准确率删减次要隐节点,从而有效提高SRELM的分类准确率.MNIST手写体数字库实验结果表明,相比于传统的SVM和RELM, SRELM方法的耗时与RELM相差不大,均明显低于SVM, SRELM对手写数字的识别准确率最高.     

基于DBN深度学习的期货市场价格预测建模与决策

深度学习通过学习深层非线性网络结构即可实现复杂函数的逼近,可以从大量无标注样本集中学习数据集的本质特征。而深度信念网络(DBN)是由多层随机隐变量组成的贝叶斯概率生成模型,可以作为深度神经网络的预训练环节,为该网络提供初始权重。基于该模型的一个高效学习算法不仅解决了模型训练速度慢的问题,还能产生非常好的参数初始值,极大地提升了模型的建模能力。金融市场是一个多变量非线性系统,通过运用DBN模型进行分析预测可以很好地解决其他预测方法初始权重难以确定的问题。文中以原油期货市场价格预测为例,说明了运用DBN模型进行预测和决策的可行性及有效性。     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

基于径向基神经网络和正则化极限学习机的多标签学习模型*

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.     

基于改进ELM的煤矿井下定位算法

提出了一种基于改进极限学习机(ELM,extreme learning machine)神经网络的煤矿井下人员定位算法,针对测距模型易受井下复杂环境干扰,无法准确测距的问题,选用基于指纹的位置匹配模型;使用极限学习机将指纹和位置进行匹配,选用改进鲸鱼优化算法(IWOA,improved whale optimization algorithm)选取ELM合适的输入权值和隐含层阈值,以提高定位精度。在定位的在线阶段,将新的指纹数据代入带动态权值因子的在线顺序极限学习机(DOS-ELM,dynamic weight factor online sequential extreme learning machine)模型对定位模型进行动态调整,以克服电磁传播环境变动使定位结果产生的误差;仿真实验结果表明,该模型的定位误差在1.5 m以内的置信概率为72%,平均定位误差为1.64 m,与其他算法的实验结果相比,文章算法鲁棒性强,定位精度高。