基于Hadoop的水文时间序列相似性研究与应用

传统DTW算法复杂度高,特别当处理海量数据时,耗时长.为了从算法和实现手段两方面同时入手,提高DTW运算效率,提出基于Hadoop平台,以FastDTW方法实现的水文时间序列相似性查找方法.首先利用小波变换对数据去噪,接着对水文时间序列进行语义化,然后在Hadoop的MapReduce过程中调用FastDTW方法实现DTW距离的云计算,得出与查询序列最相似的匹配序列.通过实验与串行查找进行对比,验证该方法用时短,匹配效果好,能够满足实际应用需求.     

基于波动特征的时间序列数据挖掘

针对相似度搜索是时间序列数据挖掘的基础,构造鲁棒的动态时间弯曲距离是相似性研究的关键,考虑时间序列特征点的重要意义,引入一种时间序列波动点的抽取方法,采用二叉特征树结构对原序列进行再表达.该方法既提取了序列整体趋势信息,又有效约减了数据维数.对多个数据集的层次聚类实验表明,在保证较高准确率情况下,该方法显著提高了DTW的计算效率.     

基于分段极值DTW距离的时间序列相似性度量

在时间序列相似性的研究中,通常采用的欧氏距离及其变形无法对在时间轴上发生伸缩或弯曲的序列进行相似性度量,本文提出了一种基于分段极值DTW距离的时间序列相似性度量方法可以解决这一问题。在动态时间弯曲(DTW)距离的基础上,本文定义了序列的分段极值DTW距离,并阐述了其完整的算法实现。与传统的DTW距离相比,分段极值DTW距离在保证度量准确性的同时大大提高了相似性计算的效率。文中最后运用MATLAB作对比实验,并给出实验结果数据,验证了该度量方法的有效性与准确性。     

DTW距离的过滤搜索方法

动态时间弯曲(DTW)距离支持时间序列的多种形变,具有较高的匹配精度,是一种重要的相似性度量方法.然而,该方法计算复杂度较高,制约了其在相似性搜索中的应用.为了平衡匹配精度与计算效率之间的矛盾,提出一种过滤搜索方法.首先,构造一种计算代价较低的DTW下界距离,用其进行粗略过滤,得到候选集;然后,利用提前终止策略,优化计算候选集中序列的DTW距离,得到搜索结果;最后,对所提出方法进行实验验证,结果表明,该方法能够提高DTW距离的相似性搜索效率,且具有非漏报性.     

基于滑动平均与分段线性回归的时间序列相似性

针对时间序列相似性度量中欧氏距离对异常数据敏感以及DTW距离算法效率低的问题,提出基于滑动平均与分段线性回归的时间序列相似性方法。首先,使用初始可变滑动平均算法以及分段线性回归对原始时间序列进行数据变换,并将分段线性回归的参数(截距与距离)集作为时间序列的特征,以实现时间序列的特征提取和数据降维;然后,利用动态时间弯曲距离进行距离计算。该方法在时间序列相似性上与DTW算法的性能相近,但是在算法效率上几乎提高了96%。实验结果验证了该方法的有效性与准确性。     

基于EK-medoids聚类和邻域距离的特征选择方法

针对传统聚类算法中只注重数据间的距离关系,而忽视数据全局性分布结构的问题,提出一种基于EK-medoids聚类和邻域距离的特征选择方法。首先,用稀疏重构的方法计算数据样本之间的有效距离,构建基于有效距离的相似性矩阵;然后,将相似性矩阵应用到K-medoids聚类算法中,获取新的聚类中心,进而提出EK-medoids聚类算法,可有效对原始数据集进行聚类;最后,根据划分结果所构成簇的邻域距离给出确定数据集中的属性重要度定义,应用启发式搜索方法设计一种EK-medoids聚类和邻域距离的特征选择算法,降低了聚类算法的时间复杂度。实验结果表明,该算法不仅有效地提高了聚类结果的精度,而且也可选择出分类精度较高的特征子集。     

基于形态相似距离的时间序列相似性度量

时间序列的相似性度量是时间序列分析的基础工作之一,是进行相似匹配的关键。针对欧几里德距离描述分段趋势的不足和各种模式距离对应分段之间距离值的离散化问题,提出一种基于形态相似距离的时间序列相似性度量方法,标准数据集上完成的识别和聚类实验表明了该方法的可行性和有效性。     

基于DTW的时间序列相似度量方法的优化

现有的时间序列相似度量方法难以兼顾微观形状与宏观结构两方面的相似性,同时存在易受异常值、位移拉伸影响等问题。针对上述情况,提出具有更高精度与鲁棒性,更小时间复杂度的优化DTW与面积距离结合的算法。首先在DTW中引入分段聚合与相似度阈值,前者能降低数据维度,减少DTW的计算量,后者能够过滤数据中的异常值,提高算法的鲁棒性;其次提出面积距离度量,描述整体序列中的起伏变化,发现序列的整体相似性;从微观形状与宏观结构两方面表述时序序列,能够进一步提升算法精度。在UCR的30个不同数据集上进行的实验表明,该方法与现有相似度量方法相比,具有更高的精度与鲁棒性。     

一种支持DTW距离的多元时间序列索引结构

现有的索引结构难以有效地支持DTW距离度量下的多元时间序列相似性搜索.首先给出一种将不等长多元时间序列转换为等长一元时间序列的方法,并证明这种转换满足下界距离引理;以此为基础,提出一种多元时间序列的DTW下界距离,并对其性质进行分析;然后,针对给出的下界距离,提出一种支持DTW距离度量的多元时间序列索引结构,对多元时间序列数据库进行有效组织;再给出多元时间序列相似模式搜索算法及流程,并证明该搜索方法具有非漏报性;最后,通过实验对所提方法的有效性进行验证.     

面向时间序列事件的动态矩阵聚类方法

时间序列事件聚类是研究事件分类及挖掘分析的基础。现有聚类方法多直接针对具有时间属性且结构复杂的持续事件聚类,未考虑聚类对象的转化,聚类准确性低且效率差。针对这些问题,提出一种面向时间序列事件的动态矩阵聚类方法RDMC。首先,构建事件近邻评价体系,根据评价值优劣衡量事件的代表性,通过近邻评分的后向差分计算策略构建RDS候选集;其次,提出基于组合优化的RDS选取方法,从候选集上快速得到RDS最优解;最后,动态构建RDS与数据集的距离矩阵,提出基于K-means的矩阵聚类方法,实现时间序列事件所属类别的有效划分。实验表明,相比现有方法,所提方法在聚类准确率、聚类可靠性、聚类效率等方面具有明显优势。     

改进DTW下界函数的距离度量方法研究

动态时间弯曲算法（DTW）是一种常见的时间序列相似性度量方法,对数据挖掘任务起着至关重要的作用。针对现有DTW算法的时间复杂度高、度量精确度一般的特征,提出一种DTW下界函数的提前终止算法（LB_ESDTW）。引入提前终止思想,提高算法的执行效率;再在提前终止算法思想的基础上,与DTW下界函数相结合,提出一种基于提前终止DTW的下界函数算法（LB_ESDTW）。该算法在保证高效的运行时间效率的同时,也使得算法的度量准确率得到了提升。实验结果表明,LB_ESDTW在绝大部分时间序列数据集中,都表现出良好的适应性,针对不同类别的时间序列,都能有良好的度量性能。     

基于主动立体防御体系的智能电网安全模型

随着智能电网建设的推进,ISO7498—2、PPDR等现有安全模型不能很好地指导智能电网体系进行安全防护建设．提出一种新的适用于电网的基于主动立体防御体系的安全模型。该模型有三个维度：安全技术维、安全策略维和安全保障维。三个维度有效地将安全技术、安全策略和安全管理有机结合在一起,充分考虑人、技术、操作三个方面,相互补充、配合,形成一个完整、统一的体系,共同保障电网的安全。     

基于孪生神经网络的时间序列相似性度量

在时间序列分类等数据挖掘工作中，不同数据集基于类别的相似性表现有明显不同，因此一个合理有效的相似性度量对数据挖掘非常关键。传统的欧氏距离、余弦距离和动态时间弯曲等方法仅针对数据自身进行相似度公式计算，忽略了不同数据集所包含的知识标注对于相似性度量的影响。为了解决这一问题，提出基于孪生神经网络（SNN）的时间序列相似性度量学习方法。该方法从样例标签的监督信息中学习数据之间的邻域关系，建立时间序列之间的高效距离度量。在UCR提供的时间序列数据集上进行的相似性度量和验证性分类实验的结果表明，与ED/DTW-1NN相比SNN在分类质量总体上有明显的提升。虽然基于动态时间弯曲（DTW）的1近邻（1NN）分类方法在部分数据上表现优于基于SNN的1NN分类方法，但在分类过程的相似度计算复杂度和速度上SNN优于DTW。可见所提方法能明显提高分类数据集相似性的度量效率，在高维、复杂的时间序列的数据分类上有不错的表现。     

Weighted dynamic time warping for time series classification

Dynamic time warping (DTW), which finds the minimum path by providing non-linear alignments between two time series, has been widely used as a distance measure for time series classification and clustering. However, DTW does not account for the relative importance regarding the phase difference between a reference point and a testing point. This may lead to misclassification especially in applications where the shape similarity between two sequences is a major consideration for an accurate recognition. Therefore, we propose a novel distance measure, called a weighted DTW (WDTW), which is a penalty-based DTW. Our approach penalizes points with higher phase difference between a reference point and a testing point in order to prevent minimum distance distortion caused by outliers. The rationale underlying the proposed distance measure is demonstrated with some illustrative examples. A new weight function, called the modified logistic weight function (MLWF), is also proposed to systematically assign weights as a function of the phase difference between a reference point and a testing point. By applying different weights to adjacent points, the proposed algorithm can enhance the detection of similarity between two time series. We show that some popular distance measures such as DTW and Euclidean distance are special cases of our proposed WDTW measure. We extend the proposed idea to other variants of DTW such as derivative dynamic time warping (DDTW) and propose the weighted version of DDTW. We have compared the performances of our proposed procedures with other popular approaches using public data sets available through the UCR Time Series Data Mining Archive for both time series classification and clustering problems. The experimental results indicate that the proposed approaches can achieve improved accuracy for time series classification and clustering problems.     

一种新的DTW最佳弯曲窗口学习方法

时间序列相似性查询中,DTW(Dynamic Time Warping)距离是支持时间弯曲的经典度量,约束弯曲窗口的DTW是DTW最常见的实用形式。分析了传统DTW最佳弯曲窗口学习方法存在的问题,并在此基础上引入时间距离的概念,提出了新的DTW最佳弯曲窗口学习方法。由于时间距离是DTW计算的附属产物,因此该方法可以在几乎不增加运算量的情况下提高DTW的分类精度。实验证明,采用了新的学习方法后,具有最佳弯曲窗口的DTW分类精度得到明显改善,分类精度优于ERP(Edit Distance with Real Penalty)和LCSS(Longest Common SubSequence),接近TWED(Time Warp Edit Distance)的水平。     

Extensions and relationships of some existing lower-bound functions for dynamic time warping

Dynamic time warping (DTW) is a state-of-the-art time series similarity measure method, which warps time axes to match the same shape between two time series with different lengths. However, its quadratic time and space complexity is an obstacle to its applications in the large time series data mining. To address this problem, some lower-bound functions for DTW, fast methods to approximately measure the distance between time series, are used to prune the dissimilar objects from time series database so as to retain the candidates for further measuring their similarity with DTW. So far, the existing lower-bound functions for DTW have been widely accepted for time series similarity search and indexing. In this paper, we propose the extensions of two existing lower-bound functions and discuss the relationships among them. The extensions are improved with high tightness and without much time cost. At the same time, we theoretically prove that these extensions satisfy lower-bound requirement and are better than their old versions respectively. The experimental results demonstrate that in most cases the quality of the proposed extensions of lower-bound functions for DTW outperforms the original versions except for a slightly higher time cost.