时态数据的变粒度分段存储策略及其效益分析

根据时态数据库用户对数据厚今薄古的需求特点,该文提出变粒度分段存储技术,将一个对象的历史分为3个时期,分介质、变粒度存储.文章讨论了分段存储的特殊数据结构、时代转移算法和压缩采样算法.基于微机实用参数的定量分析表明,这一技术将时态存储密度和时态查询速度提高了一个数量级.     

时态原语的粒度约束与规范化问题探讨

时态应用的需要是推动时态问题深入研究的动力,时态原语之间的运算是时态研究与应用中不可忽视的基本问题之一,对时态数据库、时态知识推理、时态数据挖掘等研究领域均有深远的影响.由于时态原语进行加减运算后的结果可能为负时间因子,也可能溢出相应粒度下度的值,得出非规范的时态元素,从而影响其使用.为此,必须对非规范的时态原语进行规范化处理,使其成为规范时态原语.文章对时态粒度的度、象与转换等进行了刻画,描述了时态粒度约束与性质.在此基础上,深入地探讨了时态原语的规范化处理问题,提出了时态粒点的规范化处理算法,并将该算法应用于公历系统中典型的非规范时态原语的取值情形.     

多时间粒度下时态数据库设计中时态类型的处理

在许多大型信息系统中需要存储大量的历史数据．为了有效地组织这些时间变化数据，可以使用时态函数依赖（TFDs）对时态数据库进行有效地设计．由于多时间粒度的使用，数据库设计算法需要在计算机上实现表示时态类型间的关系的逻辑结构和时态类型间的相关操作．为此提出了细于关系矩阵和封闭的时态类型集，并且对于给定的时态类型集及其细于关系矩阵，给出了一个自动生成它的一个封闭集及封闭集对应的细于关系矩阵的有效算法，通过提出的细于关系矩阵和封闭集算法，可以方便地在计算机上实现时态数据库设计算法需要的时态类型间的细于关系比较和glb操作。     

具有多时间粒度的时态数据库初等关键字、简单范式分解问题研究

一个好的数据库逻辑设计目标是消除数据冗余以及插入、删除和更新异常．对于时态数据库也是如此．提出了时态初等函数依赖、时态初等关键字、时态简单关键字等概念,在此基础上利用具有多时间粒度的时态函数依赖（TFD）约束对时态数据库进行了规范化研究,提出了规范程度高于时态三范式低于时态Boyce—Code范式的时态初等关键字范式（TEKNF）及时态简单范式（TSNF）,并研究了时态初等关键字范式和时态简单范式的分解问题,给出了相关分解算法,并对算法的可终止性、正确性进行了证明,对时间复杂度进行了分析．     

基于粒度层次映射转换的时态粒点差运算方法

计算两个时态粒点在任意时态粒度下的差值是时态断言的基础,提出基于时态粒度的层次映射转换方法,将时态粒点映射为各时态粒度下的可列集,差运算可转换为不同粒度映射下的自然数差运算.并论证了时态论域T与自然数集N间的对等关系以及映射的连续性,证明了方法的正确性.克服了弹性时态粒度的影响,适应任何基于非规则时态粒度集或者自定义时态粒度集上的时态粒点差运算.     

具有多时间粒度的时态多值依赖及时态模式分解方法研究

一个好的数据库逻辑设计目标是消除数据冗余以及插入、删除和更新异常.对于时态数据库,通过具有多时间粒度的时态函数依赖约束对时态数据库进行规范化已有大量研究.基于时态函数依赖和多值依赖理论提出了多时间粒度约束的时态多值依赖(TMVD)等概念,并给出了时态多值依赖的推理规则,对其有效性、完备性进行了证明.由于包含有限个TMVD的TMVD集通常蕴含着无限个TMVD,给出了TMVD的有限推理规则,对其有效性、完备性进行了证明.最后,基于时态多值依赖集提出了时态第四范式,并给出了时态模式的T4NF的无损分解算法,对算法的可终止性、正确性进行了证明,并对时间复杂度进行了分析.     

具有多时间粒度的强全序时态模式中多值依赖问题研究

在时态数据库中存在着与时态多值依赖相关的存储冗余、更新异常等问题.但由于时态多值依赖的复杂性,使得根据时态多值依赖所进行的范式分解并不能总保持无损联接,为此对强全序时态模式中时态多值依赖与无损分解的相关性进行了深入研究,给出了规则的时态多值依赖(RTMVD)和属性集的时间粒度等概念,并给出了RTMVD的一套有效的推理规则,针对强全序时态模式中时态多值依赖与无损分解的相关性给出了相关定理,解决了规则的时态多值依赖环境下时态模式在多粒度上的无损分解问题,为规则时态多值依赖环境下时态模式的进一步规范化奠定了基础.     

时态的粒度刻画及演算问题研究

时态的建模及演算是时态信息处理中的逻辑基本问题,从粒度思想出发,根据时态的粒度划分,研究了时态粒度的语义与性质。并基于时态粒度对时态原语进行刻画,进而基于代数系统分析了时态的粒度转换算子及不同粒度下的时态关系,构建了时态粒度关系的演算系统。     

一个多时间粒度下时态函数依赖的有限属性闭包算法

为了有效地进行时态数据库设计,支持多时间粒度的时态函数依赖(TFDs)被用于时态模式的规范化．时态模式规范化所要解决的一个关键问题是求解时态函数依赖的有限属性闭包问题．由于多时间粒度的使用,使得有限属性闭包问题变得非常复杂．实际上,TFDs与传统的函数依赖(FDs)之间存在着密切的联系．通过分析这些联系和封闭时态类型集的特性,利用传统FDs的相关算法提出一个有效的求解有限属性闭包的算法．通过分析和与相关算法的实验比较,该算法更加有效．     

多时间粒度下时态函数依赖集的成员籍算法

为了有效地进行时态数据库设计,支持多时间粒度的时态函数依赖(TFDs)被用于时态模式的规范化。类似于传统的函数依赖(FDs),TFD集的成员籍问题是时态模式规范化所要解决的一个关键问题。由于多时间粒度的使用,使得有成员籍问题变得非常复杂。为了有效地解决此问题,分析了TFDs与FDs之间存在的联系和封闭时态类型集的特性,并且基于提出的有限导出时态类型集及其求解算法,提出一个有效地解决TFD集的成员籍问题的算法。     

基于MapReduce框架的分布式软K段主曲线算法

传统的主曲线算法在小规模数据集上能获得良好的效果,但单节点的计算和存储能力都不能满足海量数据主曲线的提取要求,而算法分布式并行化是目前解决该类问题最有效的途径之一。本文提出基于MapReduce框架的分布式软K段主曲线算法 (Distributed soft ｋ-segments principal curve,DisSKPC)。首先,基于分布式K-Means算法,采用递归粒化方法对数据集进行粒化,以确定粒的大小并保证粒中数据的关联性。然后调用软K段主曲线算法计算每个粒数据的局部主成分线段,并提出用噪声方差来消除在高密集、高曲率的数据区域可能产生的过拟合线段。最后借助哈密顿路径和贪婪算法连接这些局部主成分线段,形成一条通过数据云中间的最佳曲线。实验结果表明,本文所提出的DisSKPC算法具有良好的可行性和扩展性。     

基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。     

基于数据挖掘的存储数据纠删码容错方法仿真

在存储数据的纠删码容错中,针对传统存储数据纠删码容错方法容错速度较低的问题,提出一种基于数据挖掘的存储数据纠删码容错方法。采用数据挖掘方法对存储数据纠删码进行重构,计算存储数据纠删码的丢失片段;利用CHR算法对存储数据纠删码进行异构修复,通过建立存储数据纠删码容错模型实现存储数据的纠删码容错。为了验证存储数据纠删码容错方法的有效性,将存储数据纠删码容错方法与传统存储数据纠删码容错方法进行对比,实验结果得出:上述方法与基于流水线的存储数据纠删码容错方法、基于RapidRaid码的存储数据纠删码容错方法、基于非规则LDPC码的存储数据纠删码容错方法的容错速度分别为:286Mbps/s、262Mbps/s、243Mbps/s、232Mbps/s,比较可知,所提方法的容错速度最快,证明了上述方法的优越性。     

Data based segmentation and summarization for sensor data in semiconductor manufacturing

In semiconductor manufacturing processes, sensor data are segmented and summarized in order to reduce storage space. This is conventionally done by segmenting the data based on predefined chamber step information and calculating statistics within the segments. However, segmentation via chamber steps often do not coincide with actual change points in data, which results in suboptimal summarization. This paper proposes a novel framework using abnormal difference and free knot spline with knot removal, to detect actual data change points and summarize on them. Preliminary experiments demonstrate that the proposed algorithm handles arbitrarily shaped data in a robust fashion and shows better performance than chamber step based segmentation and summarization. An evaluation metric based on linearity and parsimony is also proposed.     

实时数据库中数据的分类压缩算法

为解决实时数据库数据量大导致存储困难等问题,提出一种分类的数据压缩算法,实现对实时数据库数据的无损和高效压缩。首先将实时数据库的数据分为数值、时间戳和质量码3部分,然后根据每种数据的特征形态,将LZ78和LZW数据压缩算法融合,分别设计对应的数据压缩算法。实验结果表明,该算法在提高数据库的实际存储容量的同时也提高了实时数据库的实时性。      

井下人员定位系统读卡器存储算法分析与测试

从查找时间与存储容量2个方面分析了适用于井下人员定位系统读卡器的3种存储算法,即链式存储算法、哈希表存储算法和哈希二叉树存储算法,给出了该3种不同存储算法的使用效率与应用场合。测试结果表明,链式存储算法查找时间呈线性增长,哈希表存储算法明显优越于链式存储算法,如果测试数据增多,其优越性会更明显;当数据量较大时,哈希搜索二叉树存储算法又明显优于哈希表存储算法,当人数达到行业所要求的8 000人以上时,选择哈希搜索二叉树存储算法更为合理。     

基于通用带权分布式哈希表的数据放置算法研究

研究了动态网络环境下基于网络的存储系统的数据放置算法,分析了现有的数据放置算法,提出了通用带权分布式哈希表算法.与相容哈希算法和对数算法定义的评判函数相比,考虑了各个节点的存储空间、数据分发节点与数据存储节点之间的物理距离、网络带宽等的限制.仿真结果表明,该算法能够实现数据的公平分发.     

基于激光扫描的移动机器人行走环境直线检测

提出一种移动机器人行走环境直线检测算法;对激光传感器采集的环境信息作预处理,设计分割、提取规则将离散距离信息转化为具备明显特征的直线段序列,考虑传感器误差用最小二乘法拟合直线段;计算拟合误差作为直线分割提取的阈值自动调整条件,实现阈值自动调整.基于极坐标内直线协方差矩阵计算Mahalanobis距离,实现直线合并,不丢失环境信息同时降低其直线存储量.与传统的Split-and-Merge算法相比,解决了对分割阈值参数敏感的问题.经过实验证明:直线检测算法能够有效检测出直线特征.     

历史数据实时压缩方法研究

在开发实时数据库中,对历史数据的存储和管理非常重要,由于大量的数据存储,需要高效的历史数据压缩算法。文章基于均方误差的设计思想,提出了一种新的历史数据压缩算法、给出其详细步骤,并和OSI软件公司开发的旋转门算法进行比较。仿真结果表明,该文提出的新压缩算法具有更高的数据压缩率,降低了测量误差对数据压缩影响。