基于布隆过滤器的RFID数据冗余处理算法研究

RFID技术作为物联网领域的关键技术,具有广阔的应用前景。然而RFID设备在读取标签信息时会产生大量冗余数据。因此,RFID数据冗余处理的研究对于减少RFID中间件系统负荷、快速检测出入标签有着重要的意义。之前针对RFID数据冗余过滤的研究往往是单维度、静态场景的简单过滤,无法实现复杂场景下标签的出入检测。因此,本文提出一种名为时间距离布隆过滤器（TDBF）的算法,该算法从时间和空间两个维度进行冗余过滤。与常用的时间布隆过滤器相比,该算法兼顾了RFID标签的读取时间和读取距离,极大的降低了数据的冗余问题。在保证漏读率较低的情况下,极大的降低了数据的误读率。同时该算法支持动态场景中移动标签的冗余过滤,能够较好的满足出入监控需求。     

一种基于动态标签的RFID不确定性数据清洗算法

基于自适应滑动窗口清洗算法SMURF(Statistical sMoothing for Unreliable RFid data)需要手动输入阈值δ,对于静态标签,δ的取值对平滑结果几乎没有影响;对于动态标签,结果会造成巨大的误差。针对以上的缺点,提出一种基于动态标签的RFID不确定性数据清洗算法DSUMRF(Dynamic tags-based SMURF)。另外,SMURF算法主要考虑RFID不确定性数据的漏读和错读,没有涉及到冗余数据的处理。在DSUMRF算法的基础上,提出一种RFID冗余数据清洗框架。对比实验表明,针对动态标签,DSMURF算法具有更好的性能。     

RFID应用系统中一种快速高效的冗余阅读器去除算法

该文对已有的冗余阅读器去除算法RRE（Redundant—ReaderElimination）进行分析，针对RRE算法中的不足，提出一种快速高效的冗余阅读器去除算法TRRE（Two—StepRedundant-ReaderElimination）。实验表明，算法TRRE减少了写标签的次数以及阅读器与标签的交互时间，从而在实现冗余阅读器去除的同时也缩短了标签的响应时间。     

RFID应用系统中一种快速高效的冗余阅读器去除算法

该文对已有的冗余阅读器去除算法RRE(Redundant-Reader Elimination)进行分析,针对RRE算法中的不足,提出一种快速高效的冗余阅读器去除算法TRRE(Two-Step Redundant-Reader Elimination)。实验表明,算法TRRE减少了写标签的次数以及阅读器与标签的交互时间,从而在实现冗余阅读器去除的同时也缩短了标签的响应时间。     

一种不确定RFID数据流清洗策略

原始RFID数据流含有大量噪声且具有不确定性,必须在使用之前对其进行数据清洗,而清洗策略是清洗质量的保证。提出一种适合不确定RFID数据流的清洗策略。该清洗策略引入了最大熵原理,对待清洗的RFID元组的特征属性进行权重选择,并根据清洗节点的时间消耗以及误差进行清洗成本分析,决策出最佳的清洗方法。仿真实验结果表明,该清洗策略提高了不确定RFID数据流的清洗效率与精度。     

基于伪事件的RFID数据清洗方法

传统的基于事件驱动的滑动窗口清洗方法只能处理理想的匀速RFID数据流,然而在实际应用中处理非匀速数据流时却会产生较大的输出延迟.为了解决滑动窗口清洗方法的输出延迟和海量中间数据,提出了一种基于伪事件的数据清洗方法PSCleaning.该方法通过在滑动窗口中增加伪事件处理机制,有效地减小了数据的输出延迟;通过对错读和重复读进行的一次性处理,明显缩减了数据量,提高了数据清洗的效率.     

一种基于规则的交互式数据清洗技术

以往数据清洗工具在三个方面存在不足:工具和用户之间缺少交互,用户无法控制过程,也无法处理过程中的异常;数据转化和数据清洗规则缺少逻辑描述,没有达到与物理实现的分离;缺少元数据管理,用户很难分析和逐步调整数据清洗过程。文中提出了一种新的基于规则描述的交互式数据清洗框架,解决了上述三个方面存在的不足,提高了数据清洗的效率,使得数据的质量得到保证。并通过描述清洗规则的定义和执行,详细阐述了该清洗框架的结构。     

一种基于规则的交互式数据清洗技术

以往数据清洗工具在三个方面存在不足:工具和用户之间缺少交互,用户无法控制过程,也无法处理过程中的异常;数据转化和数据清洗规则缺少逻辑描述,没有达到与物理实现的分离;缺少元数据管理,用户很难分析和逐步调整数据清洗过程.文中提出了一种新的基于规则描述的交互式数据清洗框架,解决了上述三个方面存在的不足,提高了数据清洗的效率,使得数据的质量得到保证.并通过描述清洗规则的定义和执行,详细阐述了该清洗框架的结构.     

一种基于规则的交互式数据清洗框架的设计

针对日前数据清洗框架中普遍存在的交互性和可扩展性差的问题,本文从数据清洗的定义出发,分析了数据清洗的原理和流程,并在此基础上提出了一种基于规则的交互式数据清洗框架.该框架具有较好的交互性、可扩展性和通用性.     

一种基于字串拆分消除数据冗余的新方法

为进一步消除数据冗余、节省存储空间,基于字串拆分思想,提出一种采用编程来改进一类数据库规范化设计的新方法。该方法还能减少数据的不一致性,提高更新效率。最后通过A SP编程验证了其可行性和有效性。     

基于选择性冗余的测试数据自动生成算法

基于选择性冗余思想,提出了一种测试数据自动生成算法.算法首先利用分支函数线性逼近和极小化方法,找出程序中所有可行路径,同时对部分可行路径自动生成适合的初始测试数据集;当利用分支函数线性逼近和极小化方法无法得到正确的测试数据时,基于使得测试数据集最小的原理和选择性冗余思想,针对未被初始测试数据集覆盖的谓词和子路径进行测试数据的增补.由于新算法结合谓词切片和DUC表达式,可以从源端判断子路径是否可行,因此能有效地降低不可行路径对算法性能的影响.算法分析和实验结果表明,该算法有效地减少了测试数据数量,提高了测试性能.     

基于预读策略的节能数据访问技术

传统节能策略通过控制组件状态切换来节省能耗,但状态切换本身需要耗费一定能量。为此,提出一种基于预读策略的节能数据访问技术。引入文件系统数据访问中的预读方式,读取数据并将其聚合到一起进行访问,减少设备组件的状态切换,从而实现降低能耗的目的。实验结果表明,在多媒体数据访问方式下使用该技术能节省70%以上的磁盘能耗。     

基于监控对象动态聚簇的高效RFID数据清洗模型

由于RFID(radio frequency identification)技术采用无线射频信号进行数据通信,漏读和多读现象时有发生,降低了其在事件检测中查询结果的准确性.在很多RFID监控应用中,监控物体都是以动态变化的小组为单位进行活动的.通过定义关联度和动态聚簇对各个RFID监控物体所在的小组进行动态的分析,并在此基础上定义了一套关联度维护和数据清洗的模型和算法,通过对图模型进行压缩,提出了基于分裂重组思想的链模型关联度维护策略,提高了维护的时空效率.模拟实验结果表明,该数据清洗模型可以获得较好的效率和准确性.     

一种有效的XML数据清洗方法

研究XML格式的重复数据元素的特点,提出对于特定应用领域,在具体的上下文环境中主动学习XML重复元素的识别规则。通过结构转换,将结构不尽相同的XML数据映射成结构一致的数据,并通过学习不同层次数据元素间的依赖关系权重来获得匹配规则。根据学习得到的转换和匹配规则,采用哈希过滤的方法来提高检测重复XML元素的效率。该方法能够有效地解决XML重复检测面临的结构多样性的问题,理论分析和实验表明,该方法有较高的精度和效率。     

数据清理中不完整数据的清理方法

针对数据源中出现的不完整数据,提出一种有效的清理方法。     

An Efficient Method for Cleaning Dirty-Events over Uncertain Data in WSNs

Event detection in wireless sensor networks (WSNs) has attracted much attention due to its importance in many applications. The erroneous abnormal data generated during event detection are prone to lead to false detection results. Therefore, in order to improve the reliability of event detection, we propose a dirty-event cleaning method based on spatio-temporal correlations among sensor data. Unlike traditional fault-tolerant approaches, our method takes into account the inherent uncertainty of sensor measurements and focuses on the type of directional events. A probabilitybased mapping scheme is introduced, which maps uncertain sensor data into binary data. Moreover, we give formulated definitions of transient dirty-event (TDE) and permanent dirty-event (PDE), which are cleaned by a novel fuzzy method and a collaborative cleaning scheme, respectively. Extensive experimental results show the effectiveness of our dirty-event cleaning method.     

一种基于能量消耗的有效传输策略

对中继能量模型进行了理论分析,指出越靠近sink节点,能量消耗越快.提出了一种基于能量消耗的有效传输策略,在sink的邻居节点集合中,数据根据决定性能量比例(DER)进行传输.仿真结果表明这种传输策略简单有效.     

基于自引导进化策略的高效自动化数据增强算法

深度学习在图像、文本、语音等媒体数据的分析任务上取得了优异的性能. 数据增强可以非常有效地提升训练数据的规模以及多样性, 从而提高模型的泛化性. 但是, 对于给定数据集, 设计优异的数据增强策略大量依赖专家经验和领域知识, 而且需要反复尝试, 费时费力. 近年来, 自动化数据增强通过机器自动设计数据增强策略, 已引起了学界和业界的广泛关注. 为了解决现有自动化数据增强算法尚无法在预测准确率和搜索效率之间取得良好平衡的问题, 提出一种基于自引导进化策略的自动化数据增强算法SGES AA. 首先, 设计一种有效的数据增强策略连续化向量表示方法, 并将自动化数据增强问题转换为连续化策略向量的搜索问题. 其次, 提出一种基于自引导进化策略的策略向量搜索方法, 通过引入历史估计梯度信息指导探索点的采样与更新, 在能够有效避免陷入局部最优解的同时, 可提升搜索过程的收敛速度. 在图像、文本以及语音数据集上的大量实验结果表明, 所提算法在不显著增加搜索耗时的情况下, 预测准确率优于或者匹配目前最优的自动化数据增强方法.     

改进的XML智能数据清洗策略

摘要：针对XML数据的质量问题,以XML键为基础,借助多模板隐马尔可夫模型信息抽取策略与粒子群优化算法构建新的XML数据清洗方法。为了提高XML相似性数据并行检测效率,利用波函数对粒子群优化算法进行优化。仿真实验表明,与其他XML数据清洗算法相比,该方法的白适应学习能力强、人工参与程度低、计算量小,时间性能有94％左右的提升。