多维时序数据中的相似子序列搜索研究

由于动态时间弯曲距离较之欧氏距离有更好鲁棒性,因此被广泛用作时序数据相似子序列搜索研究领域中的相似性度量.在单一维度上的相似子序列搜索可能不能获得足够的匹配结果作为继续深入分析的依据,因此通过引入在多维数据分析中常用的数据立方体模型将相似子序列搜索问题扩展到了多维场景之下,从而在多个维度上得到搜索结果以获取更多有价值的知识.在此基础上利用数据立方体相邻层次单元间的相关性对基本的搜索算法进行了改进,在保证准确性的基础上提高了搜索效率.在真实网络安全数据集上的实验验证了所提方法的有效性.     

模糊灰关联在QAR故障数据检测中的应用

针对传统的灰色关联故障诊断算法无法解决大样本数据的问题,提出一种基于模糊分割灰关联的QAR（quick ac‐cess recorder）故障数据检测算法。鉴于QAR数据是数据结构复杂、维数高的时间序列数据,利用模糊分割将QAR数据分割成不重叠的子序列,从中提取出待检测故障序列,计算待检测序列与标准序列间的灰关联度,根据最大关联度原则进行故障模式识别并确定诊断结果。仿真结果表明,该算法的预测结果与实际情况基本一致,具有简单可靠、诊断精度高等优点。     

时间序列相似性定义延拓

时间序列相似性定义没有一个明确的、统一的表述方法,造成了研究上的困难。将研究序列分解为多个与参照序列等维的子序列,把问题转化为研究子序列与参照序列的相似性。选择满足保范同构的线性变换算子对子序列和参照序列进行变换,以降低直接计算的复杂度。利用集合理论对相似关系进行了宏观描述,用子序列与参照序列变换前后向量差的范数定义序列相似性度量函数,将相似性度量进行了统一。研究结果为基于傅立叶变换和小波变换研究时间序列的相似性提供了理论依据。     

改进的SAX符号化算法在QAR数据中的应用

鉴于快速存取记录器（QAR）数据是结构非常复杂和数据量大的时间序列数据,直接采用传统的符号聚合近似算法（SAX）对QAR数据进行描述、存储、检索等操作时,不能克服时间序列幅度值伸缩和时间轴漂移等方面的不足。提出了改进的符号聚合近似算法,将快速存取记录器数据划分为起飞、巡航和降落三个阶段,并利用此改进的算法对巡航阶段进行填补,对不同长度的故障模型序列进行有效的相似性搜索。通过实验以及其在飞机故障诊断项目中的应用,证明了其可行性和有效性,从而提高了飞机的排故效率。     

基于QAR数据的民用飞机故障预测及验证

飞机飞行过程中产生成百上千种飞行参数和数量庞大的飞行数据,但目前这些数据并没有得到充分有效的利用,飞机的维修还处在以定期维修和事后维修为主的阶段。随着航空技术的不断发展,利用飞行数据进行故障预测,转变民机维修模式向视情维修发展变得越来越有必要。首先对基于QAR数据的民用飞机故障预测技术路线进行了说明。其次介绍了适用于民机QAR数据的两种故障预测方法,包括基于曲线拟合的性能预测方法和基于时间序列的趋势预测方法。再次,详细描述了基于QAR数据的故障预测系统的实现途径。通过预测关键参数变化趋势,达到提前发现故障,以制定合理的维护计划,确保飞行安全的目的。最后采用提出的方法对波音飞机的空调、滑油系统关键参数数据进行预测,预测结果验证了方法的有效性。     

基于形态特征的测井曲线相似性搜索研究

针对测井曲线以深度为轴反映地质信息的性质,结合时间序列相似性分析,提出基于形态特征的测井曲线相似性搜索方法。采用综合活度分析法在子序列划分的基础上对测井曲线进行对比,综合序列的趋势、深度跨度以及波动幅度三种形态特征,将对比序列的斜率差进行加权来度量子序列的相似性。该度量方法强调曲线形态变化程度,有效描述曲线形态差异,物理意义明确。实验表明该方法能够有效用于测井曲线相似性搜索。     

基于FP-Tree的QAR数据故障检测研究

QAR(Quick Access Recorder)数据具有高维、复杂及数据量大的特性,严重影响数据处理效率。为降低其数据量与数据复杂性,高效检索并确定当前QAR数据是否是故障数据及其故障类型,首先通过PAA表示方法对QAR数据初步压缩,然后采用FP-Growth算法思想对压缩后的数据创建FP-Tree并只保留其频繁前缀子树,最后通过子树匹配确定测试数据与故障模型数据之间的匹配度。采用真实的飞机飞行QAR数据验证了算法的有效性和准确度。     

基于事件的时间序列相似性度量方法

为了在时间序列相似性度量过程中更好地体现用户的需求,提高相似性度量的准确度,提出了基于事件的时间序列相似性度量方法（SMBE）。首先将用户的需求定义为事件,将原始时间序列转化为事件序列;然后,构建了基于事件序列的相似性度量模型（SMBE）,SMBE定义了不同事件序列中各元素之间的相似性,并构成相应的相似性矩阵,对相似性矩阵进行搜索得到最优路径的值作为序列之间的相似性度量;最后,提出了基于SMBE的聚类方法。实验表明,在参数设置合理的情况下,能获得接近0.90的聚类精度。     

基于小波尺度系数的民航QAR数据约简及其性能分析

民航班机的快速存取记录仪(QAR)记录了大量的飞行和性能参数,QAR数据的约简是对这些数据进行数据挖掘的一个重要环节.针对民航QAR数据的特点及为数据约简后应用数据挖掘算法的需要,在小波变换相关理论分析的基础上,提出了利用小波尺度系数进行QAR时间序列数据约简的方法及其性能分析方法,确定了相应的性能评价指标.实验结果表明了该方法对QAR数据约简的正确性及时域、频域数据特征兼顾,数据的主要特征失真小等优点.     

聚类HMM模型在QAR数据分析中的应用研究

快速存取记录器QAR(Quick Access Recorder)数据是飞机飞行过程中从传感器获取的流数据。面对大量的QAR数据,提出一种基于聚类的HMM模型。针对QAR数据特点,分析发生故障或异常时QAR数据中不同属性的变化特点,提取主要影响属性进行分析。通过对其聚类进行数据离散化,得出数据的状态趋势,即将其分为多个状态趋势。对故障或异常发生的过程进行HMM建模,以状态序列的形式描述故障或异常发生的过程,并以飞机空中颠簸故障为例,建立空中颠簸相关QAR数据的HMM模型,并检验了该模型的有效性。     

基于K-EROS的QAR数据集的相似性分析

叙述了传统的PCA方法在处理QAR数据相似性问题的不足,提出基于EROS的KPCA方法处理QAR数据之间的相似性问题。通过引入EROS方法而不需要对数据进行向量化,引入核矩阵对QAR数据进行主成分分析,可以有效降低数据的维数。选取两组QAR数据集,采用支持向量积方法,选用不同数目的主成分进行分类实验,同SPCA方法和GPCA方法进行比较,实验结果显示把该方法运用到QAR数据集,具有较好的分类结果。     

基于DCT的时序数据相似性搜索

数据的高维度是造成时序数据相似性搜索困难的主要原因。最有效的解决方法是对时序数据进行维归约，然后对压缩后的数据建立空间索引。目前维归约的方法主要是离散傅立叶变换(DFT)和离散小波变换(DWT)。提出了一种新的方法，利用离散余弦变换(DCT)进行维归约，并在此基础上给出了对时序数据进行范围查询和近邻查询的相似性搜索方法。与基于DFT、DWT的搜索方法相比，该方法在理论分析和实验结果上都显示出较高的效率。     

General Cost Models for Evaluating Dimensionality Reduction in High-Dimensional Spaces

Similarity search usually encounters a serious problem in the high-dimensional space, known as the “curse of dimensionality.” In order to speed up the retrieval efficiency, most previous approaches reduce the dimensionality of the entire data set to a fixed lower value before building indexes (referred to as global dimensionality reduction (GDR)). More recent works focus on locally reducing the dimensionality of data to different values (called the local dimensionality reduction (LDR)). In addition, random projection is proposed as an approximate dimensionality reduction (ADR) technique to answer the approximate similarity search instead of the exact one. However, so far little work has formally evaluated the effectiveness and efficiency of GDR, LDR, and ADR for the range query. Motivated by this, in this paper, we propose general cost models for evaluating the query performance over the reduced data sets by GDR, LDR, and ADR, in light of which we introduce a novel (A)LDR method, Partitioning based on RANdomized Search (PRANS). It can achieve high retrieval efficiency with the guarantee of optimality given by the formal models. Finally, a {rm B}^{+}-tree index is constructed over the reduced partitions for fast similarity search. Extensive experiments validate the correctness of our cost models on both real and synthetic data sets and demonstrate the efficiency and effectiveness of the proposed PRANS method.     

基于缓存结构的民机实时QAR数据译码方法

新一代通信技术的发展使得QAR数据可在飞行中实时传输;传统译码研究均针对航后QAR数据,难以高效处理实时数据;为提升实时QAR数据的译码效率,提出了基于缓存结构的译码方法,将传统的译码表转换为专门的数据结构,并进行缓存,避免了译码过程中对配置表的全表搜索,提升了译码效率;采用Go语言、Redis缓存、Influxdb2数据库,搭建了实时QAR数据译码平台;采用基于ATG网络的实测QAR数据,对译码平台的性能进行了仿真测试;针对实时QAR数据,平均译码延迟约为5 ms,测试结果表明基于缓存结构的译码方法能够高效处理实时QAR数据。     

Piecewise cloud approximation for time series mining

Many researchers focus on dimensionality reduction techniques for the efficient data mining in large time series database. Meanwhile, corresponding distance measures are provided for describing the relationships between two different time series in reduced space. In this paper, we propose a novel approach which we call piecewise cloud approximation (PWCA) to reduce the dimensionality of time series. This representation not only allows dimensionality reduction but also gives a new way to measure the similarity between time series well. Cloud, a qualitative and quantitative transformation model, is used to describe the features of subsequences of time series. Furthermore, a new way to measure the similarity between two cloud models is defined by an overlapping area of their own expectation curves. We demonstrate the performance of the proposed representation and similarity measure used in time series mining tasks, including clustering, classification and similarity search. The results of experiments indicate that PWCA is an effective representation for time series mining.     

基于Walsh变换的时序数据相似性搜索

针对时序数据相似性搜索面临的高维性问题,提出一种利用按沃尔什序数排列的离散沃尔什变换((DWHT)w)对时序数据进行维归约的方法.(DWHT)w是正交变换,变换矩阵简单,可以应用快速算法,对时序数据有更好的特征提取能力,用其索引时间序列数据在理论上具备非漏报性质.与基于离散傅里叶变换和基于离散沃尔什变换的对比实验表明,...     

自适应近似树

在大规模多媒体数据库中进行基于内容的检索，高维数据牵引结构的研究是重要问题，提出了一种有效的高维索引结构－自适应近似树，阐述了它的结构，给出了构建和检索算法，它结合了树结构和顺序检索的共同优点，针对不同的数据分布情况可以自适应地调整结构，维数较低或数据分布偏斜较大时它呈现树的结构，高维或数据分布密集时呈现顺序扫描的结构，以达到更优的检索效率，在结构上，对MBR使用了压缩存储的方法以节省存储空间，在算法中充分利用了空间划分是MBS和MBR共存的特点，减少了大量复杂的计算，从而大大提高检索效率。     

基于广义超曲面树的相似性搜索算法

相似性搜索是数据挖掘的主要领域之一.它在数据库中检索出相似的数据,发现数据间的相似性.它可以应用于图像数据库、空间数据库和时间序列分析.对于欧氏空间(一种特殊的度量空间),相似性搜索算法中基于R-tree的方法,在低维时是高效的,当维数增加时,R-tre e的方法将退化为线性扫描.该现象被称为维数灾难(dimensionality curse),主要原因是存在数据重复.当数据量很大且维数很高时,距离计算和I/O操作将非常费时.提出了度量空间上新的空间分割方法和索引结构rgh-tree,利用数据库的数据对象与很少几个固定参考对象的距离信息进行数据分割和分布,产生一个各节点没有数据重复的平衡树.另外,在rgh-tree的基础上提出了相应的相似性搜索算法,该算法具有较小的I/O代价和距离计算次数,平均复杂性近似为o(n^0.58).解决了目前算法存在的一些问题.     

基于小波变换的序列间距离严格估算

对时间序列的相似性搜索在很多新的数据库应用中的地位变得越来越重要．使用小波变换方法缩减维度是解决高维时间序列查询的一个有效方法．给出小波变换在时间序列相似性查找中对距离上下界的一个严格估计，同时说明传统的算法只是下界的一部分．根据给出的小波变换的下界，相对于传统的算法，可以排除更多的不相似序列．根据给出的上界，可以直接判断出两条序列是否相似，进一步减少需要验证的原始序列的个数．实验结果表明，相对于传统的算法，提出的上下界可以大幅度提高过滤效果，减少查询时间．