基于概率神经网络和K-L散度的样例选择

提出了一种基于概率神经网络和K-L散度的样例选择算法。该算法利用概率神经网络估计训练样例的概率分布, 利用K-L散度作为启发式来进行样例选择, 用该方法选出的样例大多分布在分类边界附近。与五个著名的样例选择算法CNN、ENN、RNN、MCS和ICF进行了实验比较, 实验结果显示, 算法的选择比更低, 训练出分类器具有更好的泛化能力, 提出的方法是有效的。     

基于近邻熵的主动学习算法

在主动学习中,采用近邻熵(NeighborhoodEntropy)作为样例的挑选标准,熵值最大的样例体现基于近邻分类规则,最无法确定该样例的类标。而标注不确定性高的样例可用尽量少的样例获得较高的分类性能。文中提出一种基于近邻熵的主动学习算法。该算法首先计算未标注样例的近邻样例类别熵,然后挑选熵值最大样例的进行标注。实验表明,基于近邻熵挑选样例进行标注,较基于最大距离(MaximalDistance)挑选和随机样例挑选可获得更高的分类性能。     

基于统计学习框架的中文新词检测方法

近邻(Nearest Neighbor,NN)算法是一种简单实用的监督分类算法。但NN算法在分类未知类标的样例时,需要存储整个训练集,还要计算该样例到训练集中每一个样例之间的距离,所以NN算法的计算复杂度非常高。为了克服这一缺点,P.Hart提出了压缩近邻(Condensed Nearest Neighbor,CNN)规则算法,即从整个训练集中找原样例集的一致子集(一致子集是能正确分类训练集中其他样例的子集)。其计算复杂度依然比较高,特别是对于大型数据库,寻找其一致子集是非常耗费时间的。针对这一问题,提出了基于粗糙集技术的压缩近邻规则算法。该算法分为3步,首先利用粗糙集方法求属性约简(特征选择),以将冗余的属性去掉。然后选取靠近边界域的样例,以将冗余的样例去掉。最后从选出的样例中计算一致子集。该算法能同时沿垂直方向和水平方法进行数据约简。实验结果显示,所提出的方法是行之有效的。     

基于改进神经网络的WEB数据挖掘研究

人工神经网络是在现代神经生物学研究成果的基础上发展起来的一种模拟人脑信息处理机制的网络系统,它不但具有处理数值数据的一般计算能力,而且还具有处理知识的思维、学习、记忆能力.基于神经网络的数据挖掘过程由数据准备、规则提取和规则评估三个阶段组成.研究了分解型规则抽取算法,在分析了分解型算法后,利用关联法对输入输出神经元进行关联计算,按关联度排完序之后,用神经网络进行结点选择,可以大大减少神经网络的输入结点个数数据集中数据的验证,表明了方法的有效性.     

基于Spark的压缩近邻算法

K-近邻(K-Nearest Neighbors,K-NN)是一种懒惰学习算法,用K-NN对数据分类时,不需要训练分类模型。K-NN算法的优点是思想简单、易于实现;缺点是计算量大,原因是在对测试样例进行分类时,其需要计算测试样例与训练集中每一个训练样例之间的距离。压缩近邻算法(Condensed Nearest Neighbors,CNN)可以克服K-NN算法的不足。但是,在面对大数据集时,由于自身的迭代计算特性,CNN的运算效率会变得非常低。针对这一问题,提出一种名为Spark CNN的压缩近邻算法。在大数据环境下,与基于MapReduce的CNN算法相比,Spark CNN的效率大幅提高,在5个大数据集上的实验证明了这一结论。     

基于GPNN算法的电网区间故障诊断策略

为提升电网故障诊断算法的有效性,提出一种基于改进高斯概率神经网络(GPNN)核相似性合并预测的电网子区间故障诊断策略。首先,针对电网故障诊断中存在的数据不确定性现象,引入概率神经网络对其进行数据处理,同时为进一步提高概率神经网络对于数据不确定性的鲁棒处理效果,利用高斯算法对概率神经网络进行改进;其次,针对大型电网故障诊断的效率问题,提出一种子区间并行的故障诊断算法,对电网进行子区间操作,分别应用GPNN算法实现对电网故障子区域的诊断和最终诊断结果的融合;最后,通过仿真实验验证了所提算法在电网故障诊断中的有效性。     

一种改进K-means聚类的近邻传播最大最小距离算法

针对初始聚类中心不合理的选择会导致K-means算法的聚类结果局部最优,且降低聚类算法收敛速度的问题,提出一种基于近邻传播算法和最大最小距离算法联合计算初始聚类中心的算法(APMMD).该算法通过近邻传播算法从整个样本集中获得Kap(Kap>k)个具有代表性的候选中心点,再利用最大最小距离算法从Kap个候选中心点中选择k个初始聚类中心.在多个UCI数据集上实验,结果表明APMMD算法获得初始聚类中心应用于K-means聚类,迭代次数明显降低,聚类结果稳定且具有较高准确率.     

近邻传播观测聚类的多扩展目标跟踪算法

由于传感器分辨率高或目标存在多个反射源等原因,一个目标可以同时产生多个观测数据,对于解决这种扩展目标的跟踪问题,概率假设密度(PHD)滤波算法是一种有效的方法.针对扩展目标概率假设密度滤波算法中观测集合划分,提出一种利用近邻传播聚类方法进行观测集合划分的多扩展目标跟踪算法.实验结果表明,所提出的方法不但能够获得正确的划分观测集合,而且计算复杂度较已有划分方法有较大降低,同时在多目标跟踪效果方面优于已有算法.     

自适应阶段变异量子粒子群优化算法研究

为了克服标准量子粒子群优化(SQPSO)算法易陷入局部最优的缺点,引入变异机制,基于进化阶段的概念,提出了自适应阶段变异量子粒子群优化(APMQPSO)算法。以四种不同的变异概率减小方式阶段性地对QPSO算法中的全局最优位置进行柯西变异,形成了四个不同的APMQPSO算法。用五个典型的测试函数进行仿真实验,并将四个APMQPSO算法与SQPSO算法的实验结果进行了比较。实验结果表明,对于单峰函数优化问题,基于变异概率线性变化的APMQPSO算法较为有效;而对于多峰函数优化问题,基于变异概率非线性变化的APMQPSO算法则具有很强的优化能力。     

基于改进Ant-miner算法的分类规则挖掘

为提高基于传统Ant-miner算法分类规则的预测准确性,提出一种基于改进Ant-miner的分类规则挖掘算法。利用样例在总样本中的密度及比例构造启发式函数,以避免在多个具有相同概率的选择条件下造成算法偏见。对剪枝规则按变异系数进行单点变异,由此扩大规则的搜索空间,提高规则的预测准确度。在Ant-miner算法的信息素更新公式中加入挥发系数,使其更接近现实蚂蚁的觅食行为,防止算法过早收敛。基于UCI标准数据的实验结果表明,该算法相比传统Ant-miner算法具有更高的预测准确度。     

协同过滤中一种有效的最近邻选择方法

协同过滤中的评分数据稀疏性使得最近邻搜寻不够准确,导致推荐质量较差。基于此,文中提出一种有效的针对稀疏评分的最近邻选择方法--两阶段最近邻选择算法(TPNS)。TPNS分为两个步骤,首先计算用户间的近邻倾向性,选择近邻倾向性较高的用户组成初始近邻集合;然后根据初始近邻集合计算目标用户与其他用户间的等价关系相似性,使用等价关系相似性对目标用户的初始近邻集合进行修正,得到最近邻集合。在MovieLens数据集上对比常用的推荐算法,实验结果表明文中方法在协同过滤推荐的应用中具有更高的准确性。     

基于蚁群算法的分类规则挖掘算法

提出了一种基于蚁群算法的分类规则挖掘算法。算法实质上是一种序列覆盖算法:蚁群搜索一个规则,移去它覆盖的样例,再重复这一过程,从而得到共同覆盖样例的一组规则。针对蚁群算法计算时间长的缺点,提出了一种变异算子。对两个公用数据的实验及其与C4.5和Ant-Miner的对比表明,算法能够发现更好的分类规则,包括预测能力更强,有更少规则的规则集,以及形式更简单的规则。实验同时显示变异算子有效节省了计算时间。     

基于概率无向图模型的近邻传播聚类算法

针对近邻传播聚类算法偏向参数难选定、生成的簇数目偏多等问题,提出一种概率无向图模型的近邻传播聚类算法.首先为样本数据构建概率无向图模型,利用极大团和势函数计算无向图中数据样本的概率密度,将此概率密度作为一种聚类先验知识注入近邻传播算法的偏向参数中,提高算法的聚类效率;并用高斯降噪和簇归并方法进一步提升算法的聚类精度.在UCI数据集上的实验结果表明,所提出算法的聚类效率和精度均优于相比较的同类算法.     

电子鼻模式识别算法的比较研究

文中比较了k-近邻法、线性判别分析、反向传播人工神经网络、概率神经网、学习向量量化以及自组织映射6种电子鼻模式识别算法的分类能力.采用了1个定量指标(识别精度)和4个定性指标(运算速度、训练速度、内存容量、抗干扰能力)对不同算法进行了系统比较.研究表明基于神经网络的模式识别算法比基于统计理论的模式识别算法具有更高的识别精度.如果同时考虑定性指标,当训练速度要求不高时,宜采用学习向量量化算法;能满足内存需求前提下,优先推荐采用概率神经网算法.对于选择性高的信号,采用线性判别分析可以达到最佳效果.     

粗糙集概率神经网络高斯网页期望排序

针对多标签网页推荐算法中存在信息不精确及新增信息较多,传统精确算法效果并不理想的问题,提出一种多标签网页的粗糙集概率神经网络高斯块植入期望排序推荐方法。首先,针对信息不确定性,利用粗糙集理论改进传统的概率神经网络模型,使之适合处理信息非确定性问题;其次,针对固定概率神经网络在处理多标签网页推荐问题时,存在覆盖率差,结构冗余较大,且对新增标签信息无法快速识别的问题,利用高斯块植入期望排序方式,构建概率功能块的合并、添加和删除操作,提高预测精度同时降低计算复杂度,并有效解决新增信息预测的实时性问题;最后,通过在雅虎多标签数据集实例中的实验对比显示,所提算法具有更高的计算精度和效率。     

基于局部正、负标记相关性的k近邻多标记分类新算法

在多标记学习中,每个样本都由一个实例表示,并与多个类标记相关联。现有的多标记学习算法大多是在全局利用标记相关性,即假设所有的样本共享不同类别标记之间的正相关性。然而,在实际应用中,不同的样本共享不同的标记相关性,标记间不仅存在正相关性,而且存在相互排斥的现象,即负相关性。针对这一问题,提出了基于局部正、负成对标记相关性的k近邻多标记分类算法PNLC。首先,对多标记数据的特征向量进行预处理,分别为每类标记构造对该类标记最具有判别能力的属性特征;然后,在训练阶段,PNLC算法通过所有训练样本中各样本的每个k近邻的真实标记构建标记之间的正、负局部成对相关性矩阵;最后,在测试阶段,首先得到每个测试样例的k近邻及其对应的正、负成对标记关系,利用该标记关系计算最大后验概率对测试样例进行预测。实验结果表明,PNLC算法在yeast和image数据集上的分类准确率明显优于其他常用的多标记分类算法。     

一种基于信息熵的神经网络规则提取方法

从训练后的神经网络中提取规则已成为当前研究热点.已有的网络规则提取方法常需网络修剪和再训练过程,因而计算成本较高.本文提出一种基于信息熵的神经网络规则提取方法,它在网络无需重复训练的情况下能够从训练过的神经网络中快速提取规则.其算法主要有四个过程组成:网络训练、决策树构建和相关隐单元识别、相关输入连接的识别及规则产生.文章以异或问题和棉花病害诊断规则提取为例进行实验,结果表明,基于信息熵的神经网络规则提取方法是有效可行的.     

模糊粗糙神经网络特征选择方法研究

实际采集的数据中往往存在模糊不确定性和粗糙不确定性,为全面度量数据的不确定性,引入了模糊粗糙集中的模糊粗糙隶属函数概念,并结合容错能力较强的神经网络设计了一种新的模糊粗糙神经网络.该网络不仅训练速度快,且具有较好的分类效果.利用该网络设计了一种新的特征选择算法,根据精度下降指标对输入节点进行结构修剪,实现最优特征子集的搜索.通过UCI数据集实验,并与RBF网络选择结果进行比较,表明该算法具有精度高、速度快、泛化性能好等优点,是有效的.     

基于概率假设密度的近邻目标快速跟踪算法

针对杂波场景中多个目标相互近邻时,标准概率假设密度滤波器难以正确估计目标状态且计算复杂度高等问题,提出一种基于概率假设密度的近邻目标快速跟踪算法。所提算法首先采用自适应门技术从传感器观测集中划分出源于真实目标的观测集,随后利用真实目标观测集来更新预测强度,最后应用检测导向的近邻目标权重校正方法有选择地重分配各离散时刻后验强度中不精确的分量权重。实验结果表明,所提算法不仅具有高效率的目标跟踪,而且具有良好的鲁棒性。     

基于论域空间模糊划分的粗集神经网络

针对粗集神经网络构建过程中的论域空间划分问题,提出一种基于模糊聚类的论域划分方法。将带交叉变异算子的粒子群优化算法(PSO)与模糊C-均值聚类算法(FCM)相结合,给出一种新的模糊聚类算法CMPSO-FCM,该算法具有良好的搜索能力和聚类效果。提出一种基于信息熵的模糊粗糙集决策规则获取方法,并用获取的规则指导粗集神经网络的构建。实验结果表明,该方法构造的神经网络具有更精简的结构、较好的分类精度和泛化能力。