可查询XML数据压缩技术概述

随着互联网技术的迅速发展,XML已经成为Web上信息表示和数据交换的事实标准。XML数据的冗余性影响了XML数据传输、查询处理等方面的效率,数据压缩是解决冗余的一种途径。介绍了典型的可查询XML压缩技术,阐述了各种压缩技术的优缺点,比较了各压缩技术的压缩率、压缩时间、支持查询的类型等;最后总结了可查询XML压缩技术的不足之处及其发展的趋势。     

基于改进科学计算浮点数压缩算法的工业远程监控数据无损压缩方法

为解决大量工业远程监控数据在通用分组无线服务(GPRS)网络上的传输延迟问题,提出了基于改进科学计算浮点数压缩(FPC)算法的工业远程监控数据无损压缩方法.首先,根据工业监控数据中浮点数部分的特点对原FPC算法中的预测器结构进行改进,并将该改进算法作为浮点数部分的压缩算法; 然后,与区间编码相结合作为整个数据域的压缩方法.改进前后的浮点数部分压缩实验结果表明改进的FPC算法提高了预测器的预测精度,且在保持较高压缩效率的同时提高了压缩率.与通用无损压缩算法相比,所提算法提高了12%以上的平均压缩率,减少了38.5%以上的平均压缩时间,使得传输时间降低了23.7%以上,在传输数据量大且传输速率不高的情况下大大提高了监控的实时性.     

基于Bloom过滤器的精确位图索引

针对基于Bloom过滤器的位图索引方法查询结果不精确的问题,提出一种精确位图索引算法——FPT-Index。该算法采用Bloom过滤器对基本位图索引进行压缩,同时引入假阳表,对查询结果进行筛选,从而达到精确查询的目的。通过理论分析得出,在给定关键词出现频率的前提条件下,可计算出最小压缩率以及所需哈希函数的个数。实验结果表明,FPT-Index相较于WAH方法在压缩率和查询效率两方面都有较好的表现。     

基于节点相似性分组与图压缩的图摘要算法

方法压缩率较高，图压缩算法无法直接被用于下游任务分析的问题，提出一种图摘要与图压缩的融合算法，即基于节点相似性分组与图压缩的图摘要算法（GSNSC）。首先，初始化节点为超节点，并根据相似度对超节点分组；其次，将每个组的超节点合并，直到达到指定次数或指定节点数；再次，在超节点之间添加超边和校正边以恢复原始图；最后，对于图压缩部分，判断对每个超节点的邻接边压缩和摘要的代价，并选择二者中代价较小的执行。在Web-NotreDame、Web-Google和Web-Berkstan等6个数据集上进行了图压缩率和图查询实验。实验结果表明，在6个数据集上，与SLUGGER(Scalable Lossless sUmmarization of Graphs with HiERarchy)算法相比，所提算法的压缩率至少降低了23个百分点；与SWeG(Summarization of Web-scale Graphs)算法相比，所提算法的压缩率至少降低了13个百分点；在Web-NotreDame数据集上，所提算法的度误差比SWeG降低了41.6%。以上验证了所提算法具有更好的图压缩率和图查询准确度。     

基于冗余实例对消除算法的实例选择

实例选择能有效移除数据中的噪声和冗余数据,但现有方法难以在提高泛化能力的同时实现约简。针对该问题,提出一种冗余实例对消除算法用于实例选择。给出最近同类实例对的概念,计算数据集中存在的最近同类实例对,并移除满足条件的实例,在11个不同数据集上进行的仿真实验结果表明,经过该算法处理后的数据集在分类准确率和存储压缩率上较原始样本集有明显提升。对比剪辑最近邻规则算法,该算法能够在保持分类准确率的同时提高平均存储压缩率35%以上,并完整保留原始样本集的数据分布特征,在分类准确率和存储压缩率上取得折中。     

一种关于数据流区间Disjoint查询的快速处理算法

在关于数据流子序列相似性匹配的研究中,Disjoint查询是很重要的一类,在传感网络和数据挖掘等方面都发挥着非常重要的作用.但现有的研究并没有关注到定长区间上的Disjoint查询问题.直接对每个区间内成员使用Spring算法是解决该问题的NAIVE算法,但是因为NAIVE算法不具有增量计算的特点,所以存在冗余运算.针对NAIVE算法冗余运算的处理问题,提出了边界路径技术.边界路径技术很好地使用了Spring算法在相邻前一区间上的执行结果,使得Spring算法无需对当前区间上每个成员执行,就可以得到Disjoint查询在该区间的查询结果.使用该技术对NAIVE算法进行改造,设计并实现了快速区间Disjoint查询处理算法(fast section Disjoint query processing algorithm,FSDQ),该算法具有增量计算的特点.实验证明FSDQ算法可以有效减少NAIVE算法所具有的冗余运算,是处理数据流上区间Disjoint查询的有效方法.     

路网感知的在线轨迹压缩方法

随着定位技术的高速发展,定位传感器被广泛地应用于智能手机、车载导航等各种移动设备中,用于采集移动对象位置数据并将数据上传至服务器.该技术的应用方便了位置跟踪、预测和分析,同时也带来了轨迹数据量大、数据冗余、传输和存储代价高等问题.轨迹压缩技术即是针对该问题而提出的,它通过保留关键轨迹点和去除冗余轨迹点信息,降低了轨迹数据的传输和存储开销.本文分析了近年来轨迹压缩领域的国内外研究进展,针对现有研究工作的不足,提出了一种路网感知的在线轨迹压缩方法,包括针对轨迹压缩的距离有界的隐马尔科夫地图匹配算法和误差有界的高效轨迹压缩算法等,并实现了该方法的原型系统（ROADER）.基于真实数据集的实验证明,该系统在压缩率、误差和执行时间等方面均显著优于同类算法.     

民用GPS数据准无损压缩算法

为了提高民用GPS精度范围内的定位数据压缩率和压缩速度,在对霍夫曼编码和算术编码的性能进行分析比较的基础上,将预测编码与霍夫曼编码有机结合,提出了面向民用GPS精度范围的定位信息准无损压缩算法.该算法通过压缩预处理和二次量化去除冗余信息,采用预测编码提高编码效率,总压缩效率可达87%.采用MSP430单片机对该算法进行了测试,在压缩数据量为668 KB时,压缩率为87.1%, 处理时间为31.4 s,与仿真结果基本吻合.实验结果表明,该算法经过优化后对硬件要求较低,提高了压缩率和压缩速度,节约了存储资源,节省了数据传输时的通信费用.     

一种适用于数据流梗概计算的小波变换算法

针对数据流上近似查询中的梗概计算，提出了一种新的基于最小误差的维压缩小波变换算法（MEDC）．MEDC算法通过映射流数据时间戳，快速无冗余地维护流数据的有序性；基于最小误差，高效压缩小波变换阵列，最大化MEDC算法时间效率及近似查询实时处理能力；引入小波系数与查询准确度之间的数值性关联规则，支持小波系数梗概上的查询多级共享，整体查询执行性能最佳．实验表明，与传统小波变换、直方图和采样等算法相比，MEDC算法在数据流近似查询处理的响应速度、查询结果质量等方面具有更为优越的性能．     

XCluster:基于聚类支持查询的XML多文档压缩方法

XML已成为各种网络应用中数据存储和数据交换的标准.XML数据管理面临的最大困难在于结构与数据混合存储导致大量数据冗余,这极大地增加了XML数据存储、交换和处理的代价.对XML文档进行压缩可以在一定程度上解决这个问题.但现有XML压缩方法大都仅压缩单文档中的冗余信息.利用XML文档间的相似性,提出一种支持查询的多XML文档压缩存储方法XCluster.XCluster先利用XML有根有序标签树上改进的pq-gram近似距离对XML文档集进行层次聚类;然后合并每个聚类结果子集中文档的结构得到结构代表并进行字典编码压缩;同时合并不同文档内同一标签下的值内容,并根据其数据类型进行相应编码压缩.实验结果表明,在真实和生成的XML多文档数据集上,XCluster比XGrind和XQilla具有更好的压缩效果和查询效率.     

《诛仙OL》中的装备合成技巧

《诛仙OL》中的装备合成,其实是游戏中的装备炼器及灌注,也就是通常大家说的精炼。那么,应用什么样的方式可以让自己的装备合成的更顺利,得到的属性更好呢？到底由此而来中的合成是不是有章可循呢？详细的了解游戏中装备的合成流程,系统的掌握装备的合成方式,是在进行装备合成前必修的重要课程,也是寻求合成技巧的第一步。[编者按]     

数据挖掘中的个人隐私和社会影响

诸如医学、个人档案管理等领域中的数据挖掘截然不同于其它领域的数据挖掘,它的一个最大的特征就是涉及到人这个主体及其隐私问题,因此有着广泛的社会影响.通过从伦理、法律和社会的限制,主体记录的处理及相关算法、数据挖掘者的责任等方面的研究,提出私有数据挖掘中的个人隐私和社会影响问题及其解决办法.     

在医疗保险信息化建设中应用大数据分析的研究

针对医疗保险信息化建设中大数据应用技术的不足,本研究以苏州工业园区医疗保险特病结算数据为分析对象,通过大数据算法对医疗保险信息化建设中的大数据进行梳理、分析、清洗、重构等,然后构建移动平均、指数平均模型实现对大数据的处理。本研究还通过随机矩阵理论算法实现医疗数据的能谱和本征态分析、统计,得出实际测量中的随机程度,揭示出医疗保险信息化建设大数据包含的整体关联事件特征,又利用数据挖掘算法再次对分析出的数据进行二次处理,使用户快速从海量的数据(比如尿毒症、白内障、再生障碍性贫血、血友病、恶性肿瘤康复期、冠心病合并心肌梗死、癫痫)中需求目标数据,实现对数据的分类、分析。实现数据表明,本研究方法具有明显的实用价值,为医保基金的可持续发展及医疗保险政策的制定、完善提供技术参考。     

基于改进的BPSO算法的关联规则挖掘

为了从大数据集中挖掘关联规则,提出了一种改进的二进制粒子群优化算法(GRBPSO)用于挖掘关联规则。首先,结合关联规则设计BPSO算法的适应度函数,然后对种群进行预处理,保证初始种群的质量,最后设计一种缩减搜索空间的优化策略,以减少搜索空间。基于六个高维数据集,将GRBPSO算法与普通BPSO算法进行比较以证明其有效性;将GRBPSO算法与PSOFIM算法、GA-Apriori算法及PSO-Apriori算法进行比较以证明其可行性。实验结果表明,GRBPSO算法具有一定的可行性且挖掘效率更高。     

网络应用软件监控系统管理信息存储优化设计

对SNMP中MIB信息和协议数据单元扩充的基础上,设计并实现了面向应用软件的网络监控系统。该系统提供了对应用程序类中成员变量和成员函数的监控功能。论文详细介绍了其管理信息存储的优化设计过程。包括三种存储设计方案及其优缺点的比较、内存映射文件的存储数据结构设计、插入类节点、变量节点和删除节点等数据管理算法、数据刷新算法等。通过内存映射文件方式存储管理信息,高效地完成了收集各应用程序实例的监控信息任务并实现了监控信息的存储、共享和监控模块与管理代理间实时信息交换的功能。     

脉动变换的一个新的快速搜索算法

介绍了搜索脉动变换的一个快速方法，使用数据相关性法将循环算法映射成脉动阵列，主要任务是搜索脉动变换T-[∏，S]，为此需要对选定的∏和所有可能的矩阵K解方程SD=PK，本文指出如下事实并依据该事实提出一个搜索变换S的新方法：如果变换S满足[0…0 0…0]≤SD≤[L L]其中L=[[∏δ1/2]]……[[∏δm/2]]。则存在矩阵K满足方程SD=PK。因此通过验证不等式即可得出变换S，避免了矩阵K的枚举和反复解方程组SD=PK，使搜索效率显著提高。     

几种常用无损数据压缩算法研究

随着网络承载的信息量的飞速增长,数据压缩必然会备受人们重视。数据压缩可分成两种类型,一种叫做无损压缩,另一种叫做有损压缩。文中主要介绍目前用得最多和技术最成熟的无损数据压缩技术,按照无损压缩方法采用的压缩技术的不同,从基于统计的压缩思想和基于字典的压缩思想两个方面对其中最具有代表性的无损数据压缩方法进行了详细的分类讨论和优缺点比较,并对基于字典压缩算法的一些成熟的改进算法进行了汇总介绍,便于对无损数据压缩技术感兴趣的同志学习参考。     

Knight：一个通用知识挖掘工具

现有知识挖掘系统普遍存在通用性不好，发现方法单一的弱点。     

基于字节指纹极值特征的数据分块算法

针对基于内容的数据分块算法中基本滑动窗口算法不能确定最大数据块的问题,提出一种基于字节指纹极值特征的数据分块算法。算法以上一个块边界点为起点构建最大块长区间,通过定义字节指纹极值域半径函数F并利用函数F值的分布特性,以概率1在允许的最大块长的区间内确定下一个块边界点。该算法克服了基本滑动窗口等分块算法不能确定最大分块长度的不足,其时间复杂度为O(n)。     

量子算法在大数据时代的应用浅析

量子计算机的提出不仅在计算机领域,而且在物理、通信、材料等很多领域产生了巨大的反响,目前各国都加 入到量子计算机的研发中,量子算法、构建、物理实现等方面都有很多进展。随着信息技术的进步,人们对数据处理的需求和 速率要求变得日益苛刻,在这种背景下,量子技术与大数据处理技术的结合成为突破大数据处理的曙光。