确定时间序列分段点的方法研究

现有的时间序列分段线性表示一般把局部极值点作为分段点,但是局部极值点并不能完全刻画时间序列的状态变化,根据时间序列线性分段的基本思想,提出在确定局部极值点的基础上引入斜率差值大的分段点,以便得到较高的拟合精度。新的分段点通过比较相邻序列段的斜率实现,斜率差值越大,该点的状态改变越明显。实验证明该方法拟合误差小,有很好的实用性。     

基于重要点的时间序列固定分段数分段算法

基于重要点探测技术的时间序列线性分段算法能较好地保留序列的全局特征和拟合高精确度。传统的基于重要点时间序列分段算法,只能通过误差阈值来控制分段,该方法不能预计分段数量,不能适应后期要求分段数量一定的应用。提出一种基于序列重要点的时间序列固定分段数的分段算法—PLR_FPIP,该方法借用二叉树层次遍历的思路,重新调整原方法的分段次序,使用重要点组成的直线段近似描述时间序列,该方法能够在分段数量一定的情况下对时间序列分段。实验证明,该分段算法能在固定分段数的情况下反映时间序列的主体特征,算法简单快速,整体拟合误差小。     

基于时间序列线性拟合的色谱数据压缩方法

从石油录井色谱数据应用的实际需求出发，提出一种新的时间序列分段拟合算法。该算法通过一次扫描数据，根据中线距离阈值和非单调序列中极值点保持时间段阈值两个约束条件，选择反映序列趋势变化的关键点，然后线性拟合时间序列。实验结果表明该算法能够在保持原始序列主要形态的同时剔除噪音干扰，精确定位单调序列中的突变转折点，发现序列中的尖峰状态。     

基于多元时间序列的自适应贪婪高斯分段算法

现有多元时间序列分段算法中分段点的选择以及分段个数的确定往往需要分别独立完成,大大增加了算法的计算复杂度.为解决上述问题,提出一种基于多元时间序列的自适应贪婪高斯分段算法.该算法将多元时间序列各个分段所对应的数据解释为来自不同多元高斯分布的独立样本,进而将分段问题转化为协方差正则化的最大似然估计问题进行求解.为提高学习效率,采用贪婪搜寻方法使每个段的似然值最大化进而近似地找到最优分段点,并且在搜寻的过程中利用信息增益方法自适应地获取最优的分段个数,避免分段个数确定和分段点选择分别独立进行,从而减少计算的复杂度.基于多种领域的真实数据集实验结果表明,所提出方法的分段精度以及运行效率均优于传统方法,并且能够有效完成多元时间序列的异常检测任务.     

基于极值点特征的时间序列相似性查询方法*

为了提高时间序列子序列匹配的准确度和效率,提出了基于极值点特征的时间序列相似性查询方法。首先识别出时间序列中的极值特征点,根据极值点使用多层次极值划分法对长序列进行划分;然后对划分得到的多层次子序列集使用改进的动态时间弯曲方法与查询序列进行相似性匹配;最后找到与查询序列最相似的子序列。实验表明,此方法在保证准确度的情况下大大提高了相似性搜索过程的效率。     

基于特征点转换的时间序列符号化方法

将时序数据有效地映射到特征空间是时间序列相似性搜索的一个关键问题。文章结合时间序列符号化思想与分段线性表示中分段点选取的思想,提出一种基于特征点转换的时间序列符号化方法FPTS。该方法能有效提取序列的形状特征,在降维和除噪的同时保留序列的极值点特性,支持基于动态时间弯曲距离的相似性度量,克服传统的符号化方法受限于精确匹配的缺陷。实验证明了该方法的准确性和高效性。     

时间序列的层次分段及相似性度量

时间序列的相似性度量是时间序列数据挖掘的研究基础,为数据挖掘任务的效率和准确度提供可靠的保障。提出一种时间序列的层次分段及相似性度量方法,方法首先识别时间序列中的极值点,依据极值点的特征对时间序列进行分层次分段,并以此为基础,通过定义新的距离公式来度量时间序列间的相似性。使用新提出的相似性度量方法对时间序列进行聚类计算,实验结果表明,该方法能够有效地度量时间序列间的相似性,聚类效果明显,具有较好的实用性和良好的应用前景。     

一种基于信息熵的时间序列分段线性表示方法

针对部分时间序列具有高维、大数据量及数据更新速度较快的特点, 导致在原始时间序列上难以进行数据挖掘的问题, 提出一种基于信息熵的时间序列分段线性表示方法——PLR_IE。该算法利用信息熵作为评判重要点数量的性能指标, 从序列中提取重要分段点的数量分布情况, 利用重要点组成的序列重新拟合原始时间序列, 为下一步数据挖掘提供基础。实验结果表明, 该方法能高效地提取出序列主要特征、拟合原始序列。     

基于分段极值DTW距离的时间序列相似性度量

在时间序列相似性的研究中,通常采用的欧氏距离及其变形无法对在时间轴上发生伸缩或弯曲的序列进行相似性度量,本文提出了一种基于分段极值DTW距离的时间序列相似性度量方法可以解决这一问题。在动态时间弯曲(DTW)距离的基础上,本文定义了序列的分段极值DTW距离,并阐述了其完整的算法实现。与传统的DTW距离相比,分段极值DTW距离在保证度量准确性的同时大大提高了相似性计算的效率。文中最后运用MATLAB作对比实验,并给出实验结果数据,验证了该度量方法的有效性与准确性。     

基于时间窗口聚类的时序数据索引压缩

子序列匹配是时间序列挖掘的经典课题,旨在发现大型数据集中的相似数据序列.很多文献关注固定时间段的序列的查询.但对于多种不同时间段的查询的问题仍然未解决好.基于时间段的查询含义是有时间窗口限制的查询.为了满足多时间段上的查询,简单地为每个时间段的子序列构建索引既耗时又耗存储空间.从目前的文献来看,已有的索引无法满足具有不...     

基于XML的虚拟数据库中间件的研究

针对目前大量的Web数据源不易使用及虚拟数据库中查询信息响应不及时的情况，本文阐述了构造一个虚拟数据库中间件的方法，采用XML为数据交换模式，以XQuery为查询语言，使得Web数据容易被访问，并且通过缓存系统和多线程机制提高查询效率。     

XML数据库的安全查询处理

当今XML数据库查询系统必须处理快速增长的数据量和大量的用户,如果使用细粒度级别的访问控制保护敏感XML数据,则查询效率会较低,因为当用户视图需要计算得出时,很难对XML文档的每个节点实施访问控制。提出一个安全的XML查询方案,它使用缓存存储查询结果和安全信息。用户查询重写为安全的系统查询,依据缓存是否命中,决定在缓存还是源XML文档上执行得到查询结果;提出一个新的缓存替换策略LSL,它基于安全级别对缓存更新。实验结果表明,该方案能显著地改进查询系统性能。     

不确定数据库中概率top-k和排序查询算法

传感器网络等技术的广泛应用产生了大量不确定数据。近年来,对于不确定数据的处理和查询成为数据库和数据挖掘领域研究的热点。其中,传统关系数据库中的top-k查询和排序查询怎样拓展到不确定数据是其中的焦点之一。研究近年来提出的不确定数据库上top-k查询和排序查询算法,归纳和比较目前各种不同查询算法所适应的语义世界和应用场景,并详细分析各种算法的执行效率和算法复杂度。另外,对于不确定数据top-k查询和排序查询所面临的挑战和可能的研究方向进行了总结。     

基于Hilbert-R树分级索引的时空查询算法

针对树形空间索引中多路查询及未考虑时间维索引的问题,提出一种结合时间和聚类结果的Hilbert-R树索引构建策略。首先,按照数据采集的周期划分时空数据集,并在此基础上建立时间索引,通过Hilbert曲线对空间数据进行分割编码,将空间坐标映射到一维区间;其次,依据数据要素在空间中的分布,采用动态确定K值的聚类算法,结合聚类结果构建高效的Hilbert-R树空间索引;最后,基于Redis几种常见的键值数据结构,对时空数据的时间属性和聚类结果构建分级索引。在时空范围及目标矢量对象查询的实验中,与缓存敏感R+树（CCR+）相比,所提算法可有效减少时间开销,查询时间平均缩短约25%,对不同密集型数据具有良好的适应性,可更好地支持Redis应用于海量时空数据查询。     

An Efficient Schema Transformation Technique for Data Migration from Relational to Column-Oriented Databases

Data transformation is the core process in migrating database from relational database to NoSQL database such as column-oriented database. However, there is no standard guideline for data transformation from relational database to NoSQL database. A number of schema transformation techniques have been proposed to improve data transformation process and resulted better query processing time when compared to the relational database query processing time. However, these approaches produced redundant tables in the resulted schema that in turn consume large unnecessary storage size and produce high query processing time due to the generated schema with redundant column families in the transformed column-oriented database. In this paper, an efficient data transformation technique from relational database to column-oriented database is proposed. The proposed schema transformation technique is based on the combination of denormalization approach, data access pattern and multiple-nested schema. In order to validate the proposed work, the proposed technique is implemented by transforming data from MySQL database to HBase database. A benchmark transformation technique is also performed in which the query processing time and the storage size are compared. Based on the experimental results, the proposed transformation technique showed significant improvement in terms query processing time and storage space usage due to the reduced number of column families in the column-oriented database.     

数据库加密字符串快速查询方法研究

为了提高在数据库中查询加密字符串数据的性能,提出一种新的基于对偶特征码的快速查询方法。特征码与加密字符串数据一一对应,作为索引保存在索引字段中。查询时使用两阶段查询策略,首先利用索引字段对加密数据进行一次粗糙查询以过滤掉与查询不相关的记录,然后在解密的数据上再进行一次精确查询,对粗糙查询结果进行二次过滤,得到符合查询条件的记录。实验表明,该方法的性能比现有查询方法有较大提高。     

Efficient distributed skyline computation using dependency-based data partitioning

Skyline queries, together with other advanced query operators, are essential in order to help identify sets of interesting data points buried within huge amount of data readily available these days. A skyline query retrieves sets of non-dominated data points in a multi-dimensional dataset. As computing infrastructures become increasingly pervasive, connected by readily available network services, data storage and management have become inevitably more distributed. Under these distributed environments, designing efficient skyline querying with desirable quick response time and progressive returning of answers faces new challenges. To address this, in this paper, we propose a novel skyline query scheme termed MpSky. MpSky is based on a novel space partitioning scheme, employing the dependency relationships among data points on different servers. By grouping points of each server using dependencies, we are able to qualify a skyline point by only comparing it with data on dependent servers, and parallelize the skyline computation among non-dependent partitions that are from different servers or individual servers. By controlling the query propagation among partitions, we are able to generate skyline results progressively and prune partitions and points efficiently. Analytical and extensive simulation results show the effectiveness of the proposed scheme.     

Visual spatio-temporal function-based querying

Visual interfaces are very important for human interactions in cyberworlds. Visual spatio-temporal querying should be one of the basic tools for data mining and retrieval in cyberworlds. In this paper, we propose a novel function-based query model for arbitrary shape spatio-temporal querying. The queries are defined as geometric shapes changing over time. In our model, data are interpreted geometrically as multidimensional points with time dimension or as moving points. The queries are formulated with geometric objects and operations over them to form the query solid changing over time. The proposed query model allows us to pose arbitrary shape spatio-temporal range queries. With the uniform geometric model we integrate visual mining and querying of time-dependent data employing 3D visualization tools. It allows for creating an intuitive visual interface using 2D projections of 3D query shapes. Our approach combines visualization of spatio-temporal data with visualization of the range query formulation employing very compact function-based query model. The implemented visual query system and its visual interface are proposed and described. An example of application of the system in analysis of simulation results in molecular dynamics is considered.     

时空数据模型研究

当前,相关定位设备及数据库技术的发展使得模拟和查询位置或形状随时间变化的移动物体成为可能。设计时空查询语言是构建移动对象数据库必不可少的步骤。本文在前人研究成果的基础上,提出了时空数据类型以及为了在移动对象数据库中进行时空查询而引入的相关操作符。     

关系数据库近似匹配查询方法研究

针对传统海量数据精确查询负载过大的问题,引入基于仿真的置信区间自动抽样方法(Bootstrap)对数据库提供支持。通过对部分或采样数据进行查询,将查询简化到基础数据上,在对整个数据集查询一次的时间内,完成对多个样本重复多次的查询,得到数据库查询的置信区间;再进行基础SQL查询,得到符合用户要求的近似结果。实验结果表明,引入Bootstrap方法进行数据查询是有效的。