数据流突发检测研究与进展

数据流是不断变化且难以预测的。因此,在数据流中进行突发检测,是数据流内在的,固有的问题之一。所谓突发,指的是特定时间段内的数据量显著异常于其它时间段。如何实时地相对精确地检测出数据流中的突发并良好地呈现给用户,国内外已展开相关研究,并成为数据流挖掘领域的热点问题之一。论文综述国内外数据流突发检测的研究现状,归纳与分析现有研究工作的适用场景,并给出研究的焦点及热点,最后展望了该领域的前景。     

水声传感器中数据流突发判断方法研究仿真

水声传感器网络接收到的数据是不连续序列,数据本身具有变化性和不可预测性.数据流突发检测能够及时地定位数据异常.传统的数据流检测技术都是针对单一数据设计突发检测算法,无法适应水下三维异构的检测环境,无法对多个滑动窗口进行检测,很难对不同的三维场景运用对应的数据模型表述,判断数据突发状态准确度不高.提出一种动态小波传感数据流突发判断方法,对小波层次进行监测以及对检测阀值的及时调整,可针对不同三维传感网络中的多个滑动窗口进行检测,大大提高了数据流突发判断的准确率.通过仿真验证,改进方法能够避免三维异构环境对水声传感器的干扰,对突发情况下数据流的检测效率和精度都较高.     

基于数据流的网络入侵检测研究

目前,入侵检测系统面临数据量大、内存等系统资源不足的问题.将两阶段聚类算法应用于入侵检测,设计了基于数据流的入侵检测系统模型.实验结果表明,该系统可以取得较高的检测率和较低的误报率,具有自适应性和可扩展性,并有效降低了对内存资源的需求.     

三维水声传感器网络中数据流的突发检测算法

针对三维水声传感器网络中数据流突发检测的多源性和异质性,对描述突发异常的特征和属性进行形式化定义和建模;然后,提出一种基于进化博弈论的突发检测算法,通过滑动窗口大小的优化选择与配置提高突发检测模型的处理速度与检测性能。仿真实验结果表明,基于进化博弈论的突发检测算法在数据分布、突发概率或者最大滑动窗口大小相同的情况下,处理时间少于传统的突发检测算法。     

基于数据流的异常入侵检测

目前,基于机器学习的异常入侵检测算法通常建立在对整个历史数据集进行等同的学习基础之上,学习到的网络行为轮廓过于依赖历史数据,难以准确反映当前网络通信量的行为特征。同时,算法的时间和空间复杂度较高,难以对网络中持续快速到达的大规模数据报文进行存储与维护。本文提出,一种基于数据流聚类的两阶段异常入侵检测方法,首先在线生成网络数据的统计信息,并利用最能反映当前网络行为的统计信息检测入侵行为。实验结果表明,其检测性能优于基于所有历史数据进行入侵检测的结果,并克服了内存等系统资源不足的问题,增加了系统的灵活性与并行性。     

数据流变化的检测

通过对数据流的两个相邻窗口的比较,检测出绝对变化较大的元素,以此来描述流数据的变化。把单个窗口中的数据流划分成若干层,在每层上对数据值域进行分段。然后在每层上定义若干分段集合,并对分段集合进行求和运算。通过对两个窗口的概要结构进行合并,采用二分法,利相集合的分解,可以求得变化较大的元素。理论和实验证明,本算法利用对数空间有效地解决了数据流中变化较大元素的检测问题。     

基于网格耦合的数据流异常检测

基于网格的数据分析方法以网格为单位处理数据,避免了数据对象点对点的计算,极大提高了数据分析的效率。但是,传统基于网格的方法在数据分析过程中独立处理网格,忽略了网格之间的耦合关系,影响了分析的精确度。在应用网格检测数据流异常的过程中不再独立处理网格,而是考虑了网格之间的耦合关系,提出了一种基于网格耦合的数据流异常检测算法GCStream-OD。该算法通过网格耦合精确地表达了数据流对象之间的相关性,并通过剪枝策略提高算法的效率。在5个真实数据集上的实验结果表明,GCStream-OD算法具有较高的异常检测质量和效率。     

基于数据流特征的网络拥塞控制与异常检测研究

本文对互联网络的拥塞及其控制问题进行了深入探讨分析。首先分析了造成网络拥塞现象的深层次原因及恶意数据流对拥塞的影响,进而阐述了基于数据流的网络异常检测对控制网络拥塞的作用,并给出了进行网络异常检测的三个基本步骤。     

面向软件错误检测的数据流分析

程序中某一点的数据流状态与软件的执行路径有关。程序中的部分错误与变量所处的状态相关。提出的MUST数据流和MAY数据流反映了数据流的执行路径具有相关性的特点。根据不同变量的管理特点,从程序的控制结构出发,详细讨论了影响变量状态的各种因素及其之间的关系,提出了基于程序控制结构的、以基本块为最小程序单位的静态数据流分析方法,为精确地进行数据流分析提供了依据。     

基于模型检测的数据流异常测试技术研究

程序的执行体现为数据在变量中的流动。对C/C++源代码中变量定义使用情况进行分析,针对变量未赋值就使用、变量重复赋值和变量定义后未使用三种数据流异常情况,使用程序阅读自动机,把程序转换为变量状态机,使用ALCCTL时序逻辑和模型检验工具,验证程序是否满足定义的可信模式。提出了新的静态查找变量使用故障的方法。该方法已应用于面向故障的软件测试系统中。     

数据流相关软件故障的静态检测

建立了数据流相关的软件故障模型,对应用程序中由于变量的定值与引用操作及动态内存访问过程中导致故障发生的情况进行了分析．该类故障的检测需要数据流分析的支持．基于程序控制结构的精确数据流分析方法,充分考虑了不同程序路径上变量的定值情况,在静态分析过程中模拟了动态执行过程中到达各引用点的定值信息．根据引用-定值链建立的故障诊断规则,为有效地进行故障检测提供了依据．     

突发信号宽带检测概率分析

针对突发频段超出瞬时接收带宽的突发信号宽带检测概率计算问题,建立信号宽带检测问题模型,结合信号特征检测算法参数,分析扫描及守候接收策略下未知参数突发信号的检测概率计算方法,推导两种接收策略下检测概率理论计算公式,采用计算机仿真验证推导结果的可靠性。理论分析表明在信号特征持续时间较长时采用扫描策略进行信号检测要优于采用守候策略,理论仿真结果可指导突发信号最优检测策略的选择。     

基于核密度估计的分布数据流离群点检测

基于数据流数据的挖掘算法研究受到了越来越多的重视.针对分布式数据流环境,提出基于核密度估计的分布数据流离群点检测算法.算法将各分布节点上的数据流作为全局数据流的子集,通过分布节点与中心节点的通信,维护基于全局数据流的分布密度估计.各分布节点基于该估计对其上的分布数据流进行离群点检测,从而得到基于全局数据流的离群点集合.对节点之间的交互以及离群点检测算法的细节进行了讨论.通过实验验证了算法的适用性和有效性.     

基于数据流趋势分析的通信信号检测方法

从短波无线电通信检测在处理时间方面的实际需求出发,提出一种基于数据流趋势分析的无线电信号检测方法。分析了基于增量递推最小二乘算法构建数据流线性回归模型的方法,针对广义似然比检测法用于信号检测虚警较高的问题,提出了基于置信区间的数据流趋势分析中变化点检测方法,有效地降低了虚警。无线电检测数据动态检测实验验证该方法的有效性。     

孤立点检测算法及其在数据流挖掘中的可用性

孤立点（也称为噪声、异常点等）是那些不符合数据一般模型的数据,它们与数据集的其他部分不同或不一致。检测孤立点的主要目的是为了从数据集中找出那些不正常的观察结果。随着现实世界和工程实践中不断产生大量的数据流,在数据流上有效检测孤立点越来越引起国内外研究者的广泛关注。在系统地分析了目前国内外孤立点检测相关文献的基础上,本文对孤立点检测算法进行了较为全面的阐述,并就这些算法是否可以用于数据流上孤立点检测进行了深入探讨和研究,同时指出了这些算法存在的主要问题以及未来的研究方向。     

数据流关键技术研究

处理无限的连续数据流的应用日益流行,传统数据库对快速变化的数据流进行在线分析的支持存在很多限制,需要对已存在的技术进行广泛的研究扩展,构建新的系统管理流数据。本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战及数据流系统新颖之处;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术。并提出在数据流研究方面的一些新看法。     

分类器动态集成的入侵数据流检测算法

入侵数据流具有快速更新以及概念漂移的特点,静态集成分类器无法及时反映整个空间的数据分布,入侵检测正确率不高,对此,文中提出了一种单分类器动态集成的入侵检测方法,该方法动态分配各分类器权值并用区间估计检查概念漂移并更新分类器。实验结果表明,在处理超平面构造的数据流上,分类效果优于多数投票、加权投票两种静态分类方法,在真实入侵实数据集上有高检测率。     

演化数据流上的连续异常检测

基于滑动窗口的异常检测是数据流挖掘研究的一个重要课题,在许多应用中数据流通常在一个分布网络上传输,解决这类问题时常采用分布计算技术,以便获得实时高质量的计算结果。对分布演化数据流上连续异常检测问题,进行形式化地阐述,提出了两个基于核密度估计的异常检测定义和算法,并通过大量真实数据集的实验,表明该算法具有良好的高效性和可扩展性,完全适应数据流应用的需求。     

基于数学模型的网络数据流异常检测系统设计

为实现对网络数据流中异常的完全检测,提高网络数据流的安全性与可靠性,引进数学模型,从硬件与软件两个方面,设计一种针对网络数据流的异常检测系统。首先,选择HTLMK-15000型号的采集设备与F1501-G1400型号的单片机作为系统的主要硬件。其次,在硬件设备的支撑下,获取网络数据流的异常特征与属性,引进分段线性值函数(Piecewise Linear Value Function,PLVF)数学模型,对采样中的局部异常点进行强化训练,并通过对网络数据流尺度的分解,实现对数据流异常的识别与检测。最后,选择基于改进单类支持向量机(One Class Support Vector Machine,OCSVM)技术的异常检测系统作为传统系统,开展对比实验。实验结果表明,设计的系统在实际应用中可以实现对样本中全部异常点的精准检测,检测结果更加全面。     

基于网格聚类的数据流多事件检测

事件检测是事件处理系统最重要的研究问题之一。异常、变化和突发是三类最典型的数据流事件。本文关注如何在数据流中同时检测多种事件,首先研究了多种事件之间的联系,然后给出了基于网格聚类的统一处理方法,最后为了评估事件的严重程度,给出了打分函数。实验验证了所提方法的正确性与有效性。