RFID物联网复杂事件模式聚类算法研究

随着近年来物联网技术的发展,其应用领域已经覆盖到了人们的工作和生活的各个领域,作为物联网的关键技术之一RFID技术也得到了广泛应用;随之而来的数据量的不断递增,传统的物联网数据处理方法遇到了瓶颈。复杂事件处理（Complex Event Processing,简称CEP）技术的提出是有望解决大数据挑战的技术之一。然而,当事件流形成大数据时,目前的有效获取事件模式方法和技术都存在很多不足。针对这一问题通过基于云计算平台Hadoop聚类算法,有效的改变了传统技术面临海量数据的局限性。实验结果表明了提出的事件模式聚类算法有效性。     

RFID复杂事件检测方法的研究和改进

复杂事件处理（CEP）是一个新兴的技术领域,用于处理大量的简单事件,并从其中整理出有价值的事件。RFID事件和传统事件相比具有海量、时间性和空间性、数据不准确等特征。针对RFID事件的相关特征进行研究,建立一个可扩展的基于规则的RFID复杂事件处理系统是非常必要的。从复杂事件的描述模型、处理框架、上下文语义、检测方法等方面总结了国内外RFID复杂事件处理的研究现状,分析了目前的研究存在的不足,并且针对SASE的复杂事件算法存在的三点不足进行了改进。实验证明相关的改进对简单数据集是有效的。     

基于CEP的RFID数据处理模型研究

RFID数据处理技术是近年来射频识别技术应用研究的热点。本文针对RFID数据的特点以及目前RFID数据处理技术的不足,探讨了将复杂事件处理（CEP）技术应用于RFID数据处理的具体技术问题,提出一种基于CEP的RFID数据处理模型,重点对高速缓存cache、事件滤波器以及复杂事件构建器等关键技术进行了研究,对该处理模型的应用进行了讨论。     

基于复杂事件处理机制的RFID数据流处理方法

射频识别（RFID）数据流处理技术中基于复杂事件处理机制（CEP）的方法受到业界广泛关注。针对射频识别数据的特点以及目前射频识别复杂事件处理方法的不足,通过扩展和改进高效模式匹配算法Rete,提出了复合事件处理方法ERD。该方法实现了事件检测机制与中间结果共享机制的有机统一,从而达到了提高系统整体检测效率的目的。仿真实验证明该方法具有较好的效果。     

复杂事件处理技术及其应用综述

近年来,处理更高级别的事件(通常被称为业务事件)的需求迅速扩大,复杂事件处理(Complex Event Processing,CEP)的发展满足了这些新的市场需求。CEP能结合来自多个数据源的数据来推断更为复杂的事件或模式。CEP的目标是从事件流中找出有意义的事件(如机会或威胁),并尽快做出反应。文本介绍了CEP的研究现状,包括通用的参考架构,代表性的CEP系统及其事件处理语言,以及最常见的应用场景。     

基于层次自动机模型的复杂事件层次实现研究

复杂事件处理技术从数据流中提取满足特定模式的事件序列,具有实时、海量、智能的特点,近年来引起了学术界和商业界的广泛关注。但是,之前的工作侧重于对单层复杂事件检测的研究。事实上,由于业务系统对信息有不同层次的需求,需要对事件进行分层处理,单层复杂事件检测并不能充分支持事件分层的需求。针对这种情况,在事件层次概念以及传统NFA模型的基础上,定义了分层复杂事件检测模型层次自动机NHA,基于NHA模型设计了更为直观高效的EH-Tree结构,并给出了分层复杂事件检测HCED算法和代价模型。最后以吞吐量和内存占用为指标,进行了大量的实验,对比并分析了HCED算法与传统基于NFA模型的SASE算法的时间性能和空间性能。实验结果表明,HCED算法能有效且高效地实现分层复杂事件检测,填补了CEP不支持分层复杂事件检测的空白,为下一步研究提供了基础。     

一种基于算子的可扩展复杂事件处理模型

随着大数据处理的深入发展,系统单位时间内产生的数据日趋庞大,数据间的关联关系日趋复杂,这使得传统的“存储-查询”或者“发布-订阅”的方式无法很好地满足诸如故障监控、股票分析、医疗及生命保障等对大数据具有实时处理需求的系统。复杂事件处理技术实现的是将用户对特定的事件序列的查询需求映射到特定识别结构上。该结构从多个持续的数据流中分析并提取满足特定模式的事件序列。该技术能够很好地支持对大量数据进行实时在线分析。但由于在数据处理的过程中,系统不可能预置全部的查询语义,许多系统在使用过程中会需要使用新的语义,以查询新产生的模式。因此,一种支持扩展的语义的复杂事件处理模型是非常必要的。同时,现有的复杂事件处理模型仅针对某几类特定的查询进行描述以及优化,对整体模型缺乏统一描述,导致许多模型在多规则复杂查询的情况下效率欠佳。针对上述问题,提出了基于算子的可扩展复杂事件处理模型。该模型能够良好地支持现有的各类查询语义,具有较快的识别速度。基于该模型的形式化描述,对系统在识别过程中的性能消耗进行了详细分析,给出了模型构造最优算法。通过实验验证了算子模型优化方案的正确性。实验结果表明,经过优化后的树结构事件处理速度比开源复杂事件处理引擎Esper快3倍以上。     

复杂事件处理在RFID中间件中的应用

KFID中间件作为RFID技术的神经中枢.它的事件与数据处理能力直接关系到KFID应用的推广.复杂事件处理是一种事件与数据处理的新技术,通过介绍它的工作原理,说明在RFID中间件中引入复杂事件处理技术的依据,并给出基于复杂事件处理技术的RFID中间件的模块化设计方案.     

RFID数据流上多目标复杂事件检测

已有的RFID复杂事件处理技术主要关注于单个RFID对象的复杂事件检测和优化技术.实际上,很多RFID应用中往往需要同时检测多个同类型关联目标的复杂事件序列.研究了多个关联的RFID对象的复杂事件处理问题.通过扩展的事件语言和算子的语义以支持同类型多个RFID目标复杂事件查询的定义.通过模式的变换规则,将RFID应用中存在的各种非线性多目标复杂事件模式转换成线性模式,以便各种多目标模式在一个统一的框架下检测.提出了基于自动机NFAb2的多目标复杂事件检测模型和多目标复杂事件检测算法.通过在多目标检测算法中使用关键节点下压和同位置约束置后优化策略,大大减少了单个类型上无用实例的数目和不同类型间模式匹配的搜索空间.与SASE算法的实验比较表明算法的正确性和高效性.     

实时复杂事件处理的最坏响应时间估算

实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成.确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间.现有针对一般程序的估算方法需要标注对象程序中子程序执行次数的取值范围.然而,CEP程序较为复杂,难以直接获知子程序执行次数的取值范围.虽然执行次数间存在关联关系,可以间接求解出取值范围,但这样得到取值范围不够严格,使估算精度较低,因此现有估算方法难以直接使用.提出一种CEP程序的最坏响应时间估算方法.采用新标注方式,通过对CEP程序的检测结构进行分析,归纳出子程序执行次数间的关联约束,并使用关联约束进行标注,替代了标注其取值范围,避免了标注困难.实验表明方法具有较高估算精度.     

A model-driven approach for facilitating user-friendly design of complex event patterns

Complex Event Processing (CEP) is an emerging technology which allows us to efficiently process and correlate huge amounts of data in order to discover relevant or critical situations of interest (complex events) for a specific domain. This technology requires domain experts to define complex event patterns, where the conditions to be detected are specified by means of event processing languages. However, these experts face the handicap of defining such patterns with editors which are not user-friendly enough. To solve this problem, a model-driven approach for facilitating user-friendly design of complex event patterns is proposed and developed in this paper. Besides, the proposal has been applied to different domains and several event processing languages have been compared. As a result, we can affirm that the presented approach is independent both of the domain where CEP technology has to be applied to and of the concrete event processing language required for defining event patterns.     

面向RFID数据处理的复杂事件模式匹配方法

RFID数据具有不确定性,复杂事件处理技术将RFID数据看作不同类型的事件,从事件流中检测符合特定匹配模式的复杂事件。概率事件流分为多项概率事件流和单项概率事件流;针对多项概率事件流,提出NFA-MMG模式匹配方法,亦即使用多个有向无环图结合自动机实现模式匹配。针对单项概率事件流,提出NFA-Tree模式匹配方法,亦即使用匹配树结合自动机实现模式匹配;并提出改进的NFA-Tree方法,即基于概率阈值进行过滤,提高结果过滤效率。实验结果验证了上述模式匹配方法的性能优势。     

CEPSim: Modelling and simulation of Complex Event Processing systems in cloud environments

The emergence of Big Data has had profound impacts on how data are stored and processed. As technologies created to process continuous streams of data with low latency, Complex Event Processing (CEP) and Stream Processing (SP) have often been related to the Big Data velocity dimension and used in this context. Many modern CEP and SP systems leverage cloud environments to provide the low latency and scalability required by Big Data applications, yet validating these systems at the required scale is a research problem per se. Cloud computing simulators have been used as a tool to facilitate reproducible and repeatable experiments in clouds. Nevertheless, existing simulators are mostly based on simple application and simulation models that are not appropriate for CEP or for SP. This article presents CEPSim, a simulator for CEP and SP systems in cloud environments. CEPSim proposes a query model based on Directed Acyclic Graphs (DAGs) and introduces a simulation algorithm based on a novel abstraction called event sets. CEPSim is highly customizable and can be used to analyse the performance and scalability of user-defined queries and to evaluate the effects of various query processing strategies. Experimental results show that CEPSim can simulate existing systems in large Big Data scenarios with accuracy and precision.     

Bat4CEP: a bat algorithm for mining of complex event processing rules

Complex Event Processing (CEP) is a modern software technology for the dynamic analysis of continuous data streams. CEP is able of searching extremely large data streams in real time for the presence of event patterns. So far, specifying event patterns of CEP rules is still a manual task based on the expertise of domain experts. This paper presents a novel bat-inspired swarm algorithm for automatically mining CEP rule patterns that express the relevant causal and temporal relations hidden in data streams. The basic suitability and performance of the approach is proven by extensive evaluation with both synthetically generated data and real data from the traffic domain.

     

基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法研究

伴随流式数据处理需求而产生的复杂事件处理技术,在处理具有多样性和流式特征数据方面性能表现突出,被广泛应用于复杂事件大数据处理系统中。针对复杂事件大数据处理系统测试需求,提出一种基于贝叶斯网络的复杂事件大数据处理系统测试数据生成方法,该方法以部分真实数据中的复杂事件结构关系及概率分布特征构建贝叶斯网络预测模型,生成具有真实数据结构特征与分布特征的复杂事件测试数据集。实验结果表明,提出的方法具有可行性。     

MEdit4CEP-CPN: An approach for complex event processing modeling by prioritized colored petri nets

Complex Event Processing (CEP) is an event-based technology that allows us to process and correlate large data streams in order to promptly detect meaningful events or situations and respond to them appropriately. CEP implementations rely on the so-called Event Processing Languages (EPLs), which are used to implement the specific event types and event patterns to be detected for a particular application domain. To spare domain experts this implementation, the MEdit4CEP approach provides them with a graphical modeling editor for CEP domain, event pattern and action definition. From these graphical models, the editor automatically generates a corresponding Esper EPL code. Nevertheless, the generated code is syntactically but not semantically validated. To address this problem, MEdit4CEP is extended in this paper by Prioritized Colored Petri Net (PCPN) formalism, resulting in the MEdit4CEP-CPN approach. This approach provides both a novel PCPN domain-specific modeling language and a graphical editor. By using model transformations, event pattern models can be automatically transformed into PCPN models, and then into the corresponding PCPN code executable by CPN Tools. In addition, by using PCPNs we can compare the expected output with the actual output and can even conduct a quantitative analysis of the scenarios of interest. To illustrate our approach, we have conducted an air quality level detection case study and we show how this novel approach facilitates the modeling, simulation, analysis and semantic validation of complex event-based systems.     

RFID数据流分布式层次复杂事件处理

当前RFID应用中的复杂事件处理通常采用集中式的体系结构,这样不能适用于分布式的应用,并且由于存在单点失效和网络拥塞而缺乏健壮性和可伸缩性。同时,很多高效的RFID复杂事件处理方法不能很好地支持层次复杂事件。提出了一种基于CORBA的分布式层次复杂事件处理模型以及高效的基于查询规划的分布式层次复杂事件处理方法。实验结果表明该方法在处理大规模的分布式RFID应用时是有效的。     

Discovering multi-label temporal patterns in sequence databases

Sequential pattern mining is one of the most important data mining techniques. Previous research on mining sequential patterns discovered patterns from point-based event data, interval-based event data, and hybrid event data. In many real life applications, however, an event may involve many statuses; it might not occur only at one certain point in time or over a period of time. In this work, we propose a generalized representation of temporal events. We treat events as multi-label events with many statuses, and introduce an algorithm called MLTPM to discover multi-label temporal patterns from temporal databases. The experimental results show that the efficiency and scalability of the MLTPM algorithm are satisfactory. We also discuss interesting multi-label temporal patterns discovered when MLTPM was applied to historical Nasdaq data.