大型数据库交叉型数据鲁棒性挖掘模型仿真

在大型流媒体数据库数据集中,交叉性数据的鲁棒性挖掘结构建立是实现对数据库差异属性分类和数据访问的基础。传统方法对大型数据库中的交叉性数据的鲁棒性挖掘结构建模采用基于遗传算法的数据集聚调度方法,存在较大的路径损耗,数据挖掘的鲁棒性不好。提出改进的基于局部离群点检测遗传进化的大型数据库交叉型数据挖掘模型,构建基于遗传算法的大型流媒体数据库挖掘结构,进行大型流媒体数据库中交叉型数据信息流特征预处理,结合交叉性型数据的离群因子概念,调整流媒体数据调度的位置变换策略,实现交叉性数据的鲁棒性挖掘算法改进。仿真实验结果表明,该算法能有效数据挖掘的a最大匹配率和局部离群点检测性能,保证了数据挖掘的鲁棒性,各项参数指标优于传统方法,展示了较好的应用价值。     

基于Kalman滤波的Web数据流抗干扰挖掘算法

提出一种基于变维Kalman滤波的Web海量数据流抗干扰挖掘算法。构建Web环境下的海量数据挖掘数据流信息模型和噪声干扰模型,结合现代信号处理方法,设计变维Kalman滤波算法进行海量数据流信号滤波预处理,把Web海量数据流映射为一组非线性宽带调频信号模型,采用信号检测算法实现Web海量数据的抗干扰挖掘。仿真结果表明,采用该算法进行Web海量数据信息的抗干扰挖掘,具有较高的数据检测精度和准确挖掘性能,具有较高的抗干扰性和鲁棒性。     

一种改进的投影聚类融合算法研究

目前提出的大多数聚类融合算法在策略选择上未能同时兼顾聚类成员的多样性及质量,而且对高维数据的聚类结果均不理想,针对以上问题,本文提出一种改进的投影聚类融合算法,该算法主要在以往经典的投影聚类算法的基础上进行了改进,将投影聚类与分形维数结合,可对高维数据集进行降维聚类处理;而且该算法将选出最优参照成员,并设计出合理的选择策略,对部分优质成员进行选择,以得到一个更加准确的最终结果。高维数据聚类仿真实验结果表明,本文提出的改进的投影聚类融合算法与其他经典数据聚类融合算法相比,提高了聚类的有效性,大大提高了数据融合性能。     

数据降维技术研究现状及其进展

数据挖掘主要用于从原始数据资料中挖掘有用的信息,而这些数据资料的维数已经对目前大多数数据挖掘算法的效率造成了严重的阻碍,这种阻碍被称之为“维数灾难”.数据降维技术可以有效地解决这一问题.文章以数据降维方法为主线,对数据降维问题的分类进行了描述,对数据降维方法的研究现状及主要算法进行了详细的阐述,对数据降维算法最新研究进展进行了简要介绍,并指出其优缺点,最后提出了数据降维技术今后的研究方向.     

基于链距离估计的非显著特征数据挖掘算法

在软件故障测试和数据库访问中,对非显著特征数据的挖掘是难点,通过对非显著特征数据的挖掘,处理数据分布比较稀疏且呈现模式分布不规则的数据访问问题。提出一种基于链距离估计的非显著特征数据挖掘算法,在时域上对链距离估计模型进行平移处理,给出非显著特征数据的离群因子概念,提取关联度主特征量,基于链距离估计结果,得到有效特征挖掘概率密度值,实现对非显著特征数据挖掘算法改进。仿真实验表明,该算法使得无论是不同密度的点簇相互靠近还是出现模式偏离的情况,都能有效的挖掘出非显著特征点,从而增强了数据挖掘算法的有效性和通用性,采用该法能有效提高非显著特征数据的挖掘性能,数据挖掘的命中率较高,在数据库访问和软件故障测试等领域具有应用价值。     

一种基于主成分分析和模糊聚类的入侵检测方法

入侵检测数据集中含有大量高维数据和冗余信息,降低了数据挖掘过程的系统学习效率与响应速度.提出一种基于主成分分析和模糊聚类相结合的入侵检测方法PCA-FC,通过对高维数据的预处理及特征提取,减少样本数据维数,然后执行数据聚集的方法提取出评价规则,从而有效地减少了训练数据的变量和干扰项,提高了分类效率.     

基于SOM聚类的电网可视化数据挖掘模型

面对电力系统中海量的多维数据,传统的可视化数据挖掘无法满足空间数据处理的需要,多维数据可视化也不利于用户获取知识。因此提出了基于SOM(自组织特征映射网络)聚类的电网可视化数据挖掘新模型VSDMmodel,模型利用改进的SOM聚类算法对高维电网数据进行降维,提出一种基于颜色映射的可视化方法,对聚类结果进行低维展现,加快了用户对挖掘结果的理解,并且允许用户对结果中感兴趣的区域加以深入分析,实现对电力系统海量数据的可视化挖掘。     

一种新的电力系统短期负荷预测方法

针对电力系统短期负荷特性,提出了基于局部线性嵌入（Linear Local Embed,LLE）和支持向量机（Support Vector Machine,SVM）技术的短期负荷预测模型。该模型利用LLE算法对负荷样本的数据挖掘知识,得到了高维输入样本的低维映射,最后利用具有非线性拟合、泛化能力强的SVM进行回归。     

融合PCA和PSO-SVM方法在工控入侵检测中的应用

有效防御病毒对工控系统的入侵是目前工控安全研究的难点问题。为了提高工控系统入侵检测的准确率,本文设计提出了一种主成分分析(PCA)与PSO-SVM相结合的工控入侵检测方法。针对工业控制系统网络数据高维的特性,该方法利用PCA对采集的网络入侵数据进行数据降维与特征提取,支持向量机(SVM)入侵检测的性能主要取决于核函数参数取值的优劣,采用粒子群算法(PSO)对支持向量机参数进行优化,以获得最优的SVM工业控制系统入侵检测模型。采用密西西比州立大学关键基础设施保护中心最新提出的工控标准数据集进行仿真实验,结果表明该算法在攻击检测与攻击类型识别方面均有较高的查准率,提高了工业控制系统的安全性能。     

网络伪装隐形文本特征检测及数据挖掘方法

基于特征分解原理,提出一种多维空间协方差矩阵数据挖掘算法,进行了最优化特征检测性能迭代和子空间文本数据特征检测算法的设计研究。提出采用K-L变换的特征压缩器设计进行高维特征向量的特征压缩,提高算法精度和减少计算量。在子空间中将文本数据空间分解为两个空间向量,采用两个空间向量的正交特性进行降噪去伪处理和特征量的检测和提取。仿真实验对高度伪装隐形文本入侵特征检测,采用了DARPA数据库作为实验数据为研究对象,实验表明新算法能有效检测出信号出现的两个峰值,检测效果明显,检测性能较高,具有良好的入侵文本特征数据挖掘性能。     

基于专利的技术机会识别：深度学习领域的案例分析

为及时有效地识别潜在技术机会,采用文本挖掘和异常值检测的方法,提出一种基于专利文本的技术机会识别方法.首先采用文本表示模型Doc2vec技术对专利摘要进行建模,以更深层表征文本语义信息;然后利用基于密度的离群值检测算法,识别出具有潜在技术机会的专利方向;最后以深度学习领域潜在技术识别为例,构建专利检索式并收集458条专利文献作为数据集.实证结果总结出4类主题共10个潜在的技术机会,验证了该基于专利的技术机会识别方法的有效性,可为企业相应技术应用、研发和创新提供参考.     

基于关系数据库的教学评价数据的关联规则挖掘

频繁项集的挖掘是数据挖掘中的一个十分重要的组成部分。本文结合关系数据库的特殊性,利用标准SQL语言,提出适合于关系型数据库频繁项关联规则挖掘的算法,应用于教学评价数据的挖掘,得出一些潜在的关联信息,为教学管理提供决策。     

一种优化的频集发现算法

关联规则的挖掘是数据挖掘的一个重要方面,本文介绍了关联规则挖掘的一般概念,探讨了数据仓库中关联规则的挖掘问题,提出一种基于矩阵的对L2进行改进的算法,并对其与Apriori算法进行了分析和比较。     

改进的图神经网络文本分类模型应用研究——以NSTL科技期刊文献分类为例

[目的/意义]随着互联网数字资源的剧增,如何从海量数据中挖掘出有价值的信息成为数据挖掘领域研究的热点问题。文本大数据分类是这一领域的关键问题之一。随着深度学习的发展,使得基于深度学习的文本大数据分类成为可能。[方法/过程]针对近年来出现的图神经网络文本分类效率低的问题,提出改进的方法。利用文本、句子及关键词构建拓扑关系图和拓扑关系矩阵,利用马尔科夫链采样算法对每一层的节点进行采样,再利用多级降维方法实现特征降维,最后采用归纳式推理的方式实现文本分类。[结果/结论]为了测试该文所提方法的性能,利用常用的公用语料库和自行构建的NSTL科技期刊文献语料库对本文提出的方法进行实验,与当前常用的文本分类模型进行准确率和推理时间的比较。实验结果表明,所提出的方法可在保证文本及文献大数据分类准确率的前提下,有效提高分类的效率。     

可视化数据挖掘技术在保险业CRM中的应用

本文首先介绍了可视化数据挖掘和关联规则的涵义,然后提出了关联规则挖掘的Apriori算法,最后根据此算法并结合一个保险公司的CRM实例设计编写了一个可视化数据挖掘系统,以实现挖掘结果的图形化显示,从而完成可视化数据挖掘技术在保险业客户关系管理中的应用。     

数据立方体上的约束关联规则挖掘

数据挖掘作为一项从海量数据中提取知识的信息技术引起了国内外学术界和产业界的广泛关注,基于数据仓库的联机分析挖掘系统的应用已成为数据挖掘技术的发展趋势,本文结合联机分析挖掘的思想和基于目标属性关联规则挖掘算法,提出并构建了数据立方体上的基于约束的关联规则挖掘算法。最后的算例证明了该算法的有效性。     

基于SFA模型的我国区域煤炭生产技术效率及其影响因素的实证研究

使用我国19个地区的国有重点煤矿2001~2005年的panel data数据,运用基于对数型柯布—道格拉斯生产函数的随机前沿分析(SFA)模型,实证研究了我国区域煤炭生产的技术效率,并分析技术效率的主要影响因素。结果表明:从时间上看,煤炭生产技术效率均值近似呈现倒V形变化;从区域角度看,煤炭生产技术效率的区域差异较大;地质条件对煤炭开采技术效率有负面影响,而运输条件、人力资源、开采技术等因素对区域煤炭开采技术效率有正面影响,其中人力资源和开采技术影响较大。     

蚁群算法研究综述

蚁群算法是一种仿生进化算法.该算法在组合优化、网络路由、函数优化、数据挖掘等领域获得了广泛的应用,并取得了较好的效果.本文在对蚁群算法原理、模型研究的基础上,对国内外的研究现状进行了总结和分析,对今后的进一步研究提供了借鉴和参考.     

基于概念格的规则提取算法研究及改进

提出了一个基于概念格的规则算法的改进算法。该算法可以大大提高数据挖掘的效率,提高查找时的速度。