CEStream:一种复杂事件流处理语言

复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理。该语言以XML等层次化数据为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,并且支持结构连接和正规式匹配。同时,针对分布式的多个事件流,其能够将各个事件源模式匹配的结果按照时间顺序再一次进行正规式模式匹配,满足多源组合型复杂事件的检测需求,具有较强的事件处理能力。为了实现CEStream语言,研制了一个基于流数据处理集群和远端查询代理的执行引擎系统。该系统通过远程查询代理实现基于正规树模式的事件检测,通过流处理集群完成多源组合型复杂事件处理。实验表明,该系统实现了CEStream语言,有效地限制了各个节点之间的通信量,充分利用了集群的计算能力,整体性能能够满足应用需求。     

Ceper:一个高性能复杂事件处理引擎

复杂事件处理技术从连续的输入事件流中分析并提取出满足特定模式的事件序列。它将传统先存储静态数据再进行处理和挖掘的数据处理方法,转变为实时处理动态事件流,更加符合真实世界的数据处理模式,能够高效及时地从数据流中过滤出相对少量的具有应用价值的数据。文章设计并实现了一个高性能复杂事件处理引擎——Ceper,提出了Ceper的事件处理模型,展示了它的系统结构和模式匹配树的方法 PMT,介绍了Ceper的实现的关键技术,并进行了一定的测试。     

RFID数据流上多目标复杂事件检测

已有的RFID复杂事件处理技术主要关注于单个RFID对象的复杂事件检测和优化技术.实际上,很多RFID应用中往往需要同时检测多个同类型关联目标的复杂事件序列.研究了多个关联的RFID对象的复杂事件处理问题.通过扩展的事件语言和算子的语义以支持同类型多个RFID目标复杂事件查询的定义.通过模式的变换规则,将RFID应用中存在的各种非线性多目标复杂事件模式转换成线性模式,以便各种多目标模式在一个统一的框架下检测.提出了基于自动机NFAb2的多目标复杂事件检测模型和多目标复杂事件检测算法.通过在多目标检测算法中使用关键节点下压和同位置约束置后优化策略,大大减少了单个类型上无用实例的数目和不同类型间模式匹配的搜索空间.与SASE算法的实验比较表明算法的正确性和高效性.     

制造物联网中高吞吐率复杂事件检测技术研究

复杂事件处理能非常有效地检测到事件流中有价值的模式,高吞吐率意味着单位时间内获取更多有价值的信息.为复杂事件处理提出一种提高吞吐率的查询技术,通过聚集活动实例栈中的连接,并批量执行序列构造,减少了相同连接的遍历,降低了序列构造处理的运行频率,从而提高了复杂事件处理的吞吐率.仿真实验表明:提出的方案相比于SASE提出的传统方案,吞吐率有数倍的提升.     

面向RFID数据处理的复杂事件模式匹配方法

RFID数据具有不确定性,复杂事件处理技术将RFID数据看作不同类型的事件,从事件流中检测符合特定匹配模式的复杂事件。概率事件流分为多项概率事件流和单项概率事件流;针对多项概率事件流,提出NFA-MMG模式匹配方法,亦即使用多个有向无环图结合自动机实现模式匹配。针对单项概率事件流,提出NFA-Tree模式匹配方法,亦即使用匹配树结合自动机实现模式匹配;并提出改进的NFA-Tree方法,即基于概率阈值进行过滤,提高结果过滤效率。实验结果验证了上述模式匹配方法的性能优势。     

分布式复杂事件流处理平台的研究

复杂事件处理是大数据时代的关键技术之一。针对现有的复杂事件处理平台存在的各种问题,提出并设计了一个以复杂事件流处理语言CEStream为基础的分布式复杂事件流处理平台,实现了基于正规树模式的事件检测功能,支持多数据源的复杂事件处理。针对多数据源组合事件模式的检测需求,该平台可以将复杂事件分解为多个独立的事件检测任务,部署在集群中不同节点和远端的事件检测代理上。实验结果表明,系统的吞吐量和响应时间达到了预期结果,可以满足目前主流的复杂事件处理的应用需求。     

地铁列车环境中多依赖复杂事件处理研究

针对多源海量实时数据的复杂事件检测中，原始事件流的分流处理存在事件检测准确率低及效率慢的问题，提出一种基于事件树的复杂事件检测方法。首先给出事件依赖关系的明确定义，然后根据原子事件间存在的多依赖关系生成原子事件树，以事件树为节点构造依赖事件树链表，提升复杂事件处理引擎的有效检测次数，使得事件检测的匹配效率得到提升。同时该方法减少了事件检测过程的内存消耗，提高了事件检测的吞吐量。仿真实验与案例研究证明了提出方法在海量数据处理上的优异性及可行性。     

一种基于算子的可扩展复杂事件处理模型

随着大数据处理的深入发展,系统单位时间内产生的数据日趋庞大,数据间的关联关系日趋复杂,这使得传统的“存储-查询”或者“发布-订阅”的方式无法很好地满足诸如故障监控、股票分析、医疗及生命保障等对大数据具有实时处理需求的系统。复杂事件处理技术实现的是将用户对特定的事件序列的查询需求映射到特定识别结构上。该结构从多个持续的数据流中分析并提取满足特定模式的事件序列。该技术能够很好地支持对大量数据进行实时在线分析。但由于在数据处理的过程中,系统不可能预置全部的查询语义,许多系统在使用过程中会需要使用新的语义,以查询新产生的模式。因此,一种支持扩展的语义的复杂事件处理模型是非常必要的。同时,现有的复杂事件处理模型仅针对某几类特定的查询进行描述以及优化,对整体模型缺乏统一描述,导致许多模型在多规则复杂查询的情况下效率欠佳。针对上述问题,提出了基于算子的可扩展复杂事件处理模型。该模型能够良好地支持现有的各类查询语义,具有较快的识别速度。基于该模型的形式化描述,对系统在识别过程中的性能消耗进行了详细分析,给出了模型构造最优算法。通过实验验证了算子模型优化方案的正确性。实验结果表明,经过优化后的树结构事件处理速度比开源复杂事件处理引擎Esper快3倍以上。     

不可靠RFID数据上的复杂事件处理研究*

通过在基于NFA的复杂事件处理算法中引入可靠性约束检测,提出了一种直接应用于不可靠RFID数据上的复杂事件处理算法。实验结果表明该方法是有效和高效的。     

基于双数组trie树的多模式复杂事件检测方法

制造物联网中海量实时数据流急需高效的事件检测与处理方法，高效意味着单位时间内使用较小的存储空间处理更多的输入事件。提出一种基于双数组trie树的多模式复杂事件检测方法，通过构建多模式匹配自动机模型减少查询过程中冗余的检测和计算，并利用双数组trie树充分压缩存储空间，从而提高了复杂事件处理的效率。仿真实验表明，提出的方案相比传统的单模式复杂事件检测，具有较小的空间和时间消耗。