基于全变分比分隔距离的时序数据异常检测

时序数据异常检测是数据分析的重要研究问题之一,其主要挑战在于利用数据点上下文准确判断数据是否存在异常,若存在异常则低时延定位该异常。现有检测方法通常利用概率密度比来度量序列间的相似性,以捕捉异常,这些方法需借助交叉验证法来估计概率密度比模型中的参数。交叉验证法会提高计算复杂度,导致计算效率较低,且存在较大检测时延。针对上述问题,提出了一种基于全变分比分隔距离的检测方法。该方法采用全变分提取序列波动特征,以此为基础计算全变分比分隔距离来度量序列间的相似性,从而提高计算效率,并实现低时延定位异常。针对噪声干扰问题,将检测方法与相对全变分相结合以增强检测方法的鲁棒性,从而进一步提高该方法的检测准确度。实验结果表明,该方法在检测准确度、低时延以及计算效率3个方面均取得了较好的效果。     

基于模糊C-均值聚类算法的入侵检测

聚类分析是一种有效的异常入侵检测方法,可用以在网络数据集中区分正常流量和异常流量.文中采用模糊C-均值聚类算法对网络流量样本集进行划分,从中区分正常流量和异常流量,并针对入侵检测问题的特性提出了新的相似性度量方法.最后,利用KDD99数据集进行实验,证明该算法能够有效地发现异常流量.     

基于斜率表示的时间序列相似性度量方法

时间序列相似性搜索是数据挖掘领域的一个热点研究方向,相似性距离度量方法是其中的一个重要问题.针对含有大量噪声并存在数据缺失的高维多元时间序列数据,本文提出一种基于斜率表示的时间序列相似性度量方法.该方法是在线性分段的基础上,对两个序列间的斜率差进行加权,因而物理概念更为明确.文中还证明斜率距离完全满足相似性度量的基本准则.实例证明了算法的有效性.     

面向噪声数据的时间序列相似性搜索研究

为了减少噪声数据对查询最优序列的影响,避免Euclidean距离对形态的敏感性,以及要求序列等长的缺点,提出了面向噪声数据的时间序列相似性搜索算法.运用SPC方法去除序列中的噪声数据;采用DTW距离作为度量函数,使用规范化方法使序列处于相同的分辨率下;采用LB_ Keogh下界函数对候选序列集合进行筛选.仿真实验结果表明,该算法在阈值较小时,对含有噪声数据序列的匹配能力较强.     

基于三角不等式的时间序列相似性搜索算法

由于传统的时序相似性度量方式不满足距离三角不等式关系,影响后续的相似性搜索及关联规则的获取,在时序符号化的基础上,提出一种满足三角不等式的符号化距离度量方式。与MINDIST_PAA_SAX和Sym_PAA_SAX度量方式进行比较,其结果表明,该度量方式在异常检测和相似性查询上具有较好的优越性。实验结果表明,该方法在相似性搜索及关联规则的获取方面具有更高的可信度。     

高维数据的相似性度量研究

数据间的相似性度量是进一步分析数据集整体特性的一个重要基础。针对高维数据的相似性度量问题,提出了一种基于子空间的相似性度量方法。该方法先将高维空间进行基于网格的划分,然后在划分后的子空间内计算数据间的相似性。理论分析表明,在合理选定网格划分参数的前提下,该方法可有效减小维度灾难对高维数据相似性度量的影响。     

基于冗余分组的轨迹摘要算法

为了对视频监控设备采集到的轨迹数据进行聚类和异常检测,提出了一种新的轨迹摘要算法。使用了Jensen-Shannon Divergence（JSD）度量方法实现了轨迹数据的重采样,使得计算轨迹间相似度的准确性有所提高,并为后续滤波过程提供了必要的等采样点个数的轨迹数据;自适应地确定轨迹相似性的阈值,并采用非局部的思想,将轨迹数据进行冗余分组,同时识别出异常轨迹数据;从信号处理的角度对分组后的轨迹数据进行硬阈值滤波,经过合并得到摘要轨迹;此外,不受轨迹输入顺序的影响,并且提供了可视化的多尺度轨迹摘要结果。与具有噪声的基于密度的聚类（DBSCAN）算法的异常检测效果进行对比,所提算法在准确率（Precision）、召回率（Recall）以及F1指标上均有所提升。     

高维数据中的相似性度量算法的改进

高维数据之间的相似性度量问题是高维空间数据挖掘中所面临的问题之一。为了有效解决高维效应给相似性度量带来的种种问题,首先分析传统相似性度量算法,得出其局限性。再通过对传统度量算法进行改进,提出新的Close函数,以弥补传统相似性度量算法应用在高维空间时的不足。提出Close函数后,将其与几种传统的相似性度量算法作比较,得出新算法在高维空间相似性度量方面的优越性。文中最后用Matlab对该函数做了定量分析,实验证明该函数在高维空间中能有效避免噪声和维灾效应的影响。     

时间序列度量的斜率偏离距离方法研究

针对数据挖掘领域中时间序列的相似性度量问题,提出一种斜率复合偏离距离方法。以大量噪声的高维多元时间序列数据为目标,提出了一种基于斜率偏离度的时间序列相似性度量方法。该方法主要是在分段线性的基础上,基于角度和斜率进行偏离度计算,解决普通斜率距离度量的局限性,物理意义更为明确,实际度量更为准确。证明了斜率复合偏离的完备性和连续性,最后用仿真算例对算法的有效性进行了验证。     

基于非局部均值算法的图像高密度混合噪声去除研究

针对传统图像噪声去除方法存在去噪效果差的问题,本文开展基于非局部均值算法的图像高密度混合噪声去除研究,首先对图像灰度进行相似性度量,然后基于非局部均值算法进行图像边缘检测。实验结果表明,设计方法可有效降低处理后图像中的噪声含量。     

基于最小噪声分离变换的高光谱异常检测方法研究

RX算法和核RX算法能很好地分离目标和背景,是较为广泛使用的异常检测算法,但是高光谱图像数据量大且存在冗余信息和噪声,直接进行RX及核RX异常探测运算量大且容易受噪声影响.针对此问题,提出一种基于最小噪声分离变换的高光谱图像异常检测方法,首先采用残差分析法估计噪声协方差矩阵以改进最小噪声分离变换,然后利用改进后的最小噪声分离变换来有效地降低高光谱图像数据的维数并分离出噪声,最后对低维降噪后的数据进行RX及核RX异常检测,避免了随机噪声对RX及核RX异常检测结果的影响并提高了异常检测率.对真实的AVIRIS数据测试表明,该算法优于传统的相应的RX、核RX异常检测算法.     

一种利用均值匹配改进的高光谱异常检测方法

传统高光谱异常检测算法由于背景信息估计不准确等原因普遍存在高虚警率的问题,针对这一现象,提出了一种利用图像均值进行匹配改进的高光谱异常目标检测后验处理方法。首先采用传统的高光谱异常检测算法将待检测高光谱图像划分为背景与异常目标潜在区域,之后通过对待测图像求解均值,将其与异常目标潜在区域像元进行相似性匹配计算,剔除大范围误检像元,得到最终检测结果。该方法在传统异常目标检测算法基础上进行相似度量剔除大范围虚警像元,在提高原算法探测能力的同时有效地降低虚警率。实验表明,该方法可以有效降低虚警率,提高原算法对于亚像元异常目标的检测能力,且对于不同算法、不同数据具有普适性。     

基于相似度聚类分析方法的异常入侵检测系统的模型及实现

提出了基于相似度聚类分析方法的异常入侵检测模型，介绍了对用户行为进行收集，然后在此基础上使用相似度聚类方法分析用户行为，最后实时地通过归类分析方法对用户行为加以判断。详细地讨论了基于相似度聚类分析的用户轮廓建立的算法和基于相似度聚类分析方法的异常检测算法，并提出了对该算法的初步改进。     

一种不确定连续时间序列的Top-K异常检测算法

针对噪声数据对时间序列异常检测准确性的影响问题, 提出了一种不确定连续时间序列Top-K异常检测算法。在典型时间序列异常检测方法的基础上对时间序列的异常值进行区间处理, 构造满足均匀分布的密度函数, 结合不确定Top-K技术, 实现含噪连续时间序列在分布未知情况下的Top-K异常排序。实验部分采用模拟数据和真实数据进行算法测试, 算法较传统方法在异常检测的准确率方面有明显提高, 虽然在计算时间上有所增加, 但提出了相应的优化策略, 使计算时间在k值大于5时有明显改善, 验证了算法的有效性。     

边缘追踪模型与SURF检测结合提取天绘影像机场目标

目的 遥感影像提取识别机场目标是遥感领域研究的热点。但是大多研究仅使用被裁剪的影像进行提取识别,由于处理速度等原因很少使用整景高空间分辨率遥感影像提取机场目标。大多数研究是先提取出图像中的直线,根据直线确定机场跑道再确定机场目标,但高分辨率图像提取的直线不仅是机场跑道的,还有可能是高速公路、铁路、大型厂房的外墙、耕地边缘、山脉、地层等,如何区分提取的直线是机场跑道很少被研究。很多研究提取的都是大型机场目标,没有对小型机场进行提取识别,另外如果图像中同时有两个机场应该如何提取也没有被研究。天绘具有数据实时回收,数据全球覆盖等特点,本文将使用高空间分辨率天绘影像（6 000×6 000 像素）提取机场目标。天绘影像地物类型复杂,细节丰富,仅使用一般的空间滤波或边缘探测方法会导致检测结果中有过多的噪声和伪边缘,致使机场目标识别不出来,所以建立了一种以边缘提取追踪模型和SURF（speeded up robust features）检测结合的检测方法和提取流程,达到机场目标识别的目的。方法 边缘提取追踪模型是建立在边缘提取基础上。首先对天绘影像进行滤波处理消除噪声,再对图像进行梯度幅值和法线梯度方向的计算,并利用改进的非极大值抑制方法找到梯度图像中局部变化的最大值,删掉其他值,获得单像素边缘图像,然后对边缘图像进行边缘轮廓线追踪提取出边缘轮廓线,最后使用直线检测和SURF检测方法识别出机场目标。结果 使用本文方法成功地识别了4景天绘卫星图像中的机场目标。借助改进的非极大值抑制和边缘轮廓线追踪提取方法有效地提取了影像中所有地物的边缘,识别出的地物边缘都是清晰的、单像素的边缘,对地物边缘轮廓进行直线提取,并在提取直线的基础上使用SURF检测获得图像中的机场目标。利用天绘卫星图像成功在2景图像中分别提取出一大、一小两个机场,在另外两景图像中分别各提取出一个机场,顺利地实现了用天绘卫星图像提取识别机场目标的过程。结论 本文提出的机场目标提取方法十分有效,该方法不仅适合于天绘卫星遥感数据,还适用于和天绘卫星类似的其他遥感卫星数据。其中对非极大值抑制方法的改进能够提取出更准确的边缘,也能提取出更细微的边缘, 抑制虚假边缘的产生,对提取小型机场有帮助。     

基于多层节点相似度的社区发现方法

社区发现是复杂网络研究中的一项重要研究内容,基于节点相似度的凝聚方法是一种典型的社区发现方法。针对现有节点相似度计算方法中存在的不足,提出一种基于多层节点的节点相似度计算方法,该方法既可以有效地计算节点之间的相似度,又可以解决节点相似度相同时的节点合并选择问题。进一步基于这种改进的节点相似度计算方法和团体之间的连接紧密度度量准则构建社区发现模型,并在真实世界的网络上进行社区发现实验。与GN算法、Fast Newman算法和改进的标签传播算法的实验结果相比,该模型可以更加准确地找到各个社区的成员。     

基于DAE和GRU组合的流量异常检测方法

流量异常检测能够有效识别网络流量数据中的攻击行为,是一种重要的网络安全防护手段。近年来,深度学习在流量异常检测领域得到了广泛应用,现有的深度学习模型进行流量异常检测存在两个问题:一是数据受噪声影响导致检测鲁棒性差、准确率低;二是数据特征维度高以及模型参数多导致训练和检测速度慢。为了在降低流量数据噪声影响的基础上提高检测速度和准确性,本文提出了一种基于去噪自编码器(Denoising Auto Encoder,DAE)和门控循环单元(Gated Recurrent Unit,GRU)组合的流量异常检测方法。首先设计了基于DAE的流量特征提取算法,采用小批量梯度下降算法对DAE进行训练,通过最小化含噪声数据的重构向量与原始输入向量间的差异,有效提取具有较强鲁棒性的流量特征,降低特征维度。然后设计了基于GRU的异常检测算法,利用提取的低维流量特征数据训练GRU,从而构建异常流量分类器,实现对攻击流量的准确检测。最后在NSL-KDD、UNSW-NB15、CICIDS2017数据集上的实验结果表明:与其他的机器学习、深度学习方法相比,本文所提方法的检测准确率最大提升了18.71%。同时,本文方法可以实现较高的精确率、召回率和检测效率,同时具有较低的误报率。在面对数据受到噪声破坏时,具有较强的检测鲁棒性。     

磁异信号自适应检测算法

针对在分形噪声1/fα(0≤α2)中检测磁异信号存在的问题,提出了一种自适应噪声抵消器与自适应AR白化滤波器相结合的磁异信号正交基函数(OBF)检测算法——改进的OBF检测算法。由于固定AR白化滤波器对分形噪声1/fα的白化效果不佳,影响了OBF检测算法的性能,因此采用自适应噪声抵消器对被检测信号进行预处理以提高其信噪比,再利用自适应AR白化滤波器对预处理信号进行白化滤波,以实现OBF检测算法的最优化。理论仿真结果表明:当α值接近于0时,改进的OBF检测算法的处理增益略高于未经白化的OBF检测算法;当α值接近于2时,改进的OBF检测算法的处理增益略高于基于AR白化滤波器的OBF检测算法;当α值约等于0.8时,改进的OBF检测算法的处理增益高于其他两种算法7 dB,实验结果表明改进的OBF检测算法可以检测更微弱的磁异信号。     

基于图像显著性区域的遥感图像机场检测

针对已有方法对图像逐像素进行分析的不足,将人眼的注意力选择计算模型引入到遥感图像的机场目标检测中,提出一种基于图像显著性区域的遥感图像中机场目标检测与识别的方法,以提高自动目标检测的效率.首先利用霍夫变换对遥感图像中是否存在机场目标进行初步筛选,然后利用改进后的基于图像的视觉显著性模型提取显著性区域,根据区域上的尺度不变特征变换特征并结合多层分类回归树完成机场目标的识别.实验结果表明,该方法比现有的其他机场检测方法具有速度快、识别率高、虚警率低的特点,同时对噪声有较强的鲁棒性.     

一种自适应的双门限场面运动目标检测方法

为了有效解决在复杂环境下机场场面运动目标的精确检测问题,提出了一种自适应的双门限场面运动目标检测方法.首先采用混合高斯背景模型的方法来提取背景图像,然后使用两个门限值对差分图像进行前景目标分割,低门限阈值用于粗分割以检测出较明显的运动目标,在粗分割的基础上再用高门限阈值进行细分割以去除噪声目标和伪目标,最终得到场面运动目标的准确检测和分割结果.在复杂条件下的场景进行的实验,验证了该方法具有良好的噪声抑制能力和对慢目标良好的鲁棒性,同时能有效地分割出前景目标.