基于距离的粗糙集属性约减改进算法研究

属性约减是粗糙集理论的重要研究内容之一。由于Z.Pawlak经典粗糙集模型在处理集合间隶属关系过于简单的缺陷,文章提出了以集合间距离作为集合隶属关系的判别依据,对属性依赖度和重要度重新进行了定义,从而对属性约减算法进行改进。最后,通过一个数据模型的验证,改进后的算法能够更有效地滤除冗余属性,保留关键属性。     

多源异构大数据平台的建设及应用

针对公安机关使用的信息系统普遍存在"数据壁垒",不利于侦查办案的实际问题,设计并实现了多源异构大数据平台.该平台能够实现侦查、治安、交管等多类业务系统结构化、非结构化、半结构化异构数据的有效汇集整合,通过数据处理、目录管理、分析研判等功能,解决由于数据无法有效利用而导致"信息孤岛"、无法服务于侦查破案的问题.该平台应用...     

邻域粗糙集在属性约简及权重计算中的应用

为了减少航天器特征值属性的冗余性并提高其权重的准确性,提出了一种基于邻域粗糙集的属性约简及权重计算方法。通过对不同重要度下限分类精度的对比分析,给出了确定邻域半径的新规则。在信息观权值最优计算公式的基础上,提出了一种基于信息熵的特征值权重计算方法;给出了代数观和信息观最优组合权值确定方法,解决了代数观和信息观方法的权衡问题。将其应用于某卫星姿控系统特征值分析中,与其他方法的比较表明该方法能有效减少特征值的数目,提高特征值权重的准确性。     

多源异构传感通信大数据的融合调度算法

本文研究了在能量受限条件下服务于多种类型的数据处理和传输的多源异构通信簇交通传感器节点系统的最优大数据的融合调度控制问题。传统方法需要大量关于系统动态的统计信息,并且求解效率低。使用针对更新帧的李雅普诺夫优化技术,本文设计了一种新的在线多源传感通信大数据融合调度算法来克服以上困难。仿真实验表明所设计算法稳定、鲁棒,为后续利用交通传感器网络传输大规模数据奠定基础。     

决策表的属性约减算法综述

介绍决策表的基本概念,分析决策表冲突条件以及判定条件组合爆炸的问题,明确决策表冲突检测属性约减的必要性。从本质描述、算法分类、算法效率等几个方面,对决策表冲突检测算法和属性约减算法进行了系统的综述和比较。最后,探讨了决策表的构建、效率、应用规模等6个属性约减研究的热点问题。     

基于文化算法的层次属性约减入侵检测模型

为有针对性地区分入侵攻击类别,提高入侵检测系统(IDS)整体的分类准确率,提出一种层次属性约减模型。该模型采用文化算法的双层进化思想,结合粗糙集和遗传算法进行属性约减。对数据进行预处理并分层划分子空间,形成决策子表规则集f_D。运用文化算法在信念空间进行知识更新,并将层次评价知识库的进化数据传入种群空间。在种群空间利用粗糙集和遗传算法进行进化和约减,得到各层的优选属性集f_(opt),设计出层次Bayes分类器验证模型性能。实验结果表明,该模型可将属性约减前的Bayes分类正确率提高至98.21%,并能较好地识别出流量特征不明显的R2L,U2R类别的入侵攻击。     

基于LINQ的多源异构数据查询中间件

针对信息安全开发与研究工作对多源异构数据查询的需求,分析网络安全数据源的数据结构特点,设计并实现一套多源异构数据查询中间件系统.系统应用并扩展LINQ技术,通过查询语句解析、名称映射、特定表达式目录树生成和结果集处理等步骤,实现透明查询,并且支持包括常用数据库、XML和JSON等格式在内的多种数据源,同时易于扩展和二次...     

多源异构数据的实体匹配方法研究

近年来,针对多源异构数据的实体匹配问题,已经有诸多学者提出不同的解决方法。然而,这些方法几乎都集中在RDFS或OWL等语义框架下进行实体匹配,不具有通用性。此外,针对多数据源实体匹配问题,目前主流解决方式是将其转换为多组两两数据源的实体匹配问题,该种方式直接进行两两匹配的计算复杂度过高,且没有从多数据源全局的角度分析问题。从这些问题出发,提出了一种的实体匹配方法,利用了实体中普遍存在的名称、属性和上下文信息,构建多种索引,缩减计算空间同时生成高质量的候选集;还定义了度量实体相似度的计算方法,有效地判别了实体对是否匹配。并根据实体间边的权重以及互斥关系,提出一种基于图划分的优化算法,划分多个等价实体构成的集合。从互联网中抓取商业领域下品牌和人物类别的真实数据进行实验测试,实验结果表明该方法取得了良好的效果。     

基于邻域属性熵的隐私保护数据干扰方法

隐私保护微数据发布是数据隐私保护研究的一个热点,数据干扰是隐私保护微数据发布采用的一种有效解决方法.针对隐私保护聚类问题,提出一种隐私保护数据干扰方法NETPA,NETPA干扰方法通过对数据点及邻域点集的分析,借助信息论中熵的理论,提出邻域属性熵和邻域主属性等概念,对原始数据中数据点的邻域主属性值用其k邻域点集内数据点在该属性的均值进行干扰替换,在较好地维持原始数据k邻域关系的情况下达到保护原始数据隐私不泄露的目的.理论分析表明,NETPA干扰方法具有良好地避免隐私泄露的效果,同时可以较好地维持原始数据的聚类模式.实验采用DBSCAN和k-LDCHD聚类算法对干扰前后的数据进行聚类分析比对.实验结果表明,干扰前后数据聚类结果具有较高的相似度,算法是有效可行的.     

基于多目标优化技术的多源异构数据分类研究

针对多源异构数据不平衡分类问题,论文建立了自适应多目标群交叉优化(AMSCO)算法来处理并行采样两个类时的类不平衡数据集。以重新平衡数据集时间最优为目标,采用两种群优化算法逐步找出特定分类器的最佳性能。将少数类样本合成过抽样技术(S MOTE)扩展为OSMOTE用于将少数多源异构数据扩充到适当的数量,结合群实例选择(S IS)有用的实例来过滤大部分多源异构数据。实验结果表明,所提出的算法能够提高多源异构数据分类模型的可信度并保持较高的准确性。     

多源异构数据整编系统的设计和实现

随着各行各业信息系统的不断建设发展,信息资源总量急剧膨胀,不同行业、不同部门之间的数据壁垒现象也越来越严重,大大增加了数据信息整编工作量以及复杂程度。分析了多源异构数据的特点及导致数据壁垒的原因,结合数据整编业务的实际需求,提出了一种面向多源异构数据的整编系统,并阐述了该整编系统的模型框架及实现方式。     

异构云计算海量多源数据在线共享方法

异构云计算中的数据多源化严重,传统数据共享方法难以统一数据的格式,导致共享过程中学习泛化能力较弱,影响了最终的数据共享结果。对此设计一种异构云计算海量多源数据在线共享方法,为使异构云计算中海量多源数据实现精准在线共享,首先将多源数据的格式进行归一化转换,提取数据的特征矩阵进行坡度归一化,设计数据在线共享接口,实现异构云计算中海量多源数据的在线共享。共享方法性能测试结果表明,相同测试环境下,设计的数据在线共享方法共享数据量最高,ER与F1的平均值最低,说明设计的异构云计算海量所有数据的在线共享方法在数据共享的过程中泛化能力更好。     

基于云数据中心的多源异构数据治理技术研究

目前常规的多源异构数据治理方法主要通过对数据属性进行判断,从而实现分区域数据清洗,由于缺乏对非线性数据的分析,导致治理性能不佳;对此,提出基于云数据中心的多源异构数据治理技术;采用关系型数据库中的ETL功能对数据进行清洗,对数据转换模式以及数据清洗规则进行定义;引入互信息系数对数据相关程度进行判定,并进行非线性数据相关性分析;以云数据中心作为载体,对多源异构数据治理体系进行构建;在实验中,对提出的数据治理技术进行了治理性能的检验;最终的实验结果表明,提出的数据治理技术具备较高的查准率,对云数据中心多源异构数据具备较为理想的数据治理效果。     

基于MIX_FP树的粗糙集属性约减算法的研究与应用

粗糙集对于学习分析系统的属性约减模型有着重要的研究意义和使用价值。针对教育大数据高维度、不完备、增量性等现状,提出了基于不完备决策表的差别信息增量更新算法,并结合树形结构对差别信息的高效存储和粗糙集的核属性概念,设计构建了MIX_FP树,实现高维属性的有效约减。实验结果验证了该算法具有较好的运行效率和空间性能,为教育大数据的属性约减提供了有效的方法,同时为基于粗糙集理论的属性约减算法研究和及其在学习分析领域的应用提供了新的研究思路。     

基于时序挖掘的异构网络多源目标数据融合方法研究

异构网络存在多源目标数据,因此需要融合其中的重复性数据、同属性数据,但由于传统方法构建的模型跟踪效果较差,导致挖掘技术遗失了部分数据特征,影响多源目标数据融合,因此研究基于时序挖掘的异构网络多源目标数据融合方法.该方法利用构建的跟踪模型,搜索异构网络全局多源目标;并对搜索结果进行标准化处理后,规约标准数据;采用时序挖掘...     

一种基于粗糙集属性约减的医学图像分割

医学图像分割过程中,存在图像特征空间维数过高、需处理的数据量太大等问题。为此,利用粗糙集理论中知识约简的思想,对图像高维特征空间进行降维。文中先对图像特征数据离散化,再将粗糙集中基于不可分辨关系的属性约简方法和基于逻辑运算的推理方法相结合,对图像特征集进行约减,最后用模糊C-均值算法进行聚类分割。实验表明,该方法能够找出有效特征集,使图像特征空间的维数减少1半多,分割速度提高了2倍多。     

基于粗糙集属性约减和神经网络集成的人脸识别技术*

提出了一种基于粗糙集的属性约简方法对经由PCA处理后的人脸特征进行提取,随后使用一种神经网络集成的方法对约简后的人脸数据进行识别。实验结果表明,使用该方法约简后的数据与使用仅由PCA处理后的数据相比,两者获得的识别精度基本相同,而前者的数据属性维数远小于后者,从而大大降低了识别过程的复杂程度。     

基于容错改进的邻域粗糙集属性约简算法

作为Pawlak粗糙集的扩展,邻域粗糙集能有效地处理数值型的数据。但是,因为沿用了Pawlak粗糙集在构造上下近似集时的包含关系,邻域粗糙集对噪声数据的容错性很差。针对这个问题,本文通过引入贝叶斯最小风险决策规则,提出了一种基于容错改进的邻域粗糙集属性算法。通过和现有的算法进行比较,实验结果表明,在数据预处理阶段用该算法能得到更好的属性约简。     

基于灰关联分析的连续值属性约减算法

针对目前大多数属性约减算法只能用于离散值决策表的情况,将条件属性与决策属性的关联度作为属性约减的重要性测度,同时基于条件属性间的关联度和重要度定义了条件属性的重叠性测度,据此对条件属性进行去重叠化处理,提出了一种基于灰关联分析的连续值属性约减算法CARAG,实现了对连续值属性集的约减,并在仿真实验中对算法的可行性和有效性进行了对比验证。