基于布隆过滤器的RFID数据冗余处理算法研究

RFID技术作为物联网领域的关键技术,具有广阔的应用前景。然而RFID设备在读取标签信息时会产生大量冗余数据。因此,RFID数据冗余处理的研究对于减少RFID中间件系统负荷、快速检测出入标签有着重要的意义。之前针对RFID数据冗余过滤的研究往往是单维度、静态场景的简单过滤,无法实现复杂场景下标签的出入检测。因此,本文提出一种名为时间距离布隆过滤器（TDBF）的算法,该算法从时间和空间两个维度进行冗余过滤。与常用的时间布隆过滤器相比,该算法兼顾了RFID标签的读取时间和读取距离,极大的降低了数据的冗余问题。在保证漏读率较低的情况下,极大的降低了数据的误读率。同时该算法支持动态场景中移动标签的冗余过滤,能够较好的满足出入监控需求。     

布隆过滤器研究综述

布隆过滤器（BF）是一种基于哈希策略的二进制向量数据结构,凭借分摊哈希碰撞的思想、存在单向误判性的特点以及极小常数查询时间复杂度,常用于表示集合元素并作为进行集合元素查询操作的“加速器”。作为计算机工程中解决集合元素查询问题最好的数学工具,BF在网络工程、存储系统、数据库、文件系统、分布式系统等领域得到了广泛的应用和发展。近几年来,为了适用于各种硬件环境和应用场景,BF出现了大量基于改变结构、优化算法等思想的变种方案。随着大数据时代的发展,对BF自身特点和操作逻辑进行改进已经成为现有集合元素查询研究的一个重要方向。     

布隆过滤器在重复数据删除中的应用

重复数据删除技术是一种数据缩减技术,它可以减少对物理存储空间的需求,从而满足日益增长的数据存储需求。该文将Bloom过滤器应用于重复数据删除技术中,加入两级fingerprint映射表,经过多个高效率的散列函数的计算,以引入较小的"假阳性错误率"为代价,增大磁盘的空余量。     

基于计数布隆过滤器的负载均衡算法

由于哈希冲突的存在,基于哈希表的网络流负载均衡算法无法约束最坏情况下算法的性能。针对该问题,设计一种多哈希算法,将需要调整的流保存在精确流匹配布隆过滤器结构中。与基本哈希表相比,该算法保持了会话的完整性以及更低的冲突概率,提高了查询性能。     

Spark环境下基于多维布隆过滤器的星型连接算法

为了适应联机分析处理(OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter(MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构建MDBF,利用其占用空间小的特点,广播到所有节点;然后,在本地节点完成事实表过滤操作,事实表不需要在节点间移动数据;最后,过滤后的事实表与维表采用重划分方式进行连接,进而得到最终结果。SMDBFSJ算法避免了事实表数据移动,通过MDBF减小了需要广播的数据量,充分结合了广播连接和重划分连接的优势。实验结果表明了该算法的有效性,在单机和集群环境下,该算法相比重划分连接均获得了3倍左右的性能提升。     

Hadoop下改进布隆过滤器算法的网页去重

针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率。实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间。     

基于混合计数布隆过滤器的高效数据名查找方法

数据名查找是信息中心网络、内容分发网络、5G核心网中基础功能组件的关键操作,需要面向大规模规则表进行最长前缀匹配,在查找速度、更新开销和存储开销等方面面临严峻挑战.首先设计了混合计数布隆过滤器（HyCBF）,将数据名前缀和前缀标记维护在同一个计数布隆过滤器中同时保持二者的逻辑独立性.这样可在不增加额外存储开销和时间开销的情况下提供更丰富的指示信息.基于此,提出HyCBF辅助的二分数据名查找（HyBS）方法以实现高效查找.进一步,为缓解二分查找过程中因回溯导致的性能损失,为HyCBF中每个条目关联一个特征比特位图以降低其假阳性率.实验表明,HyBS相比现有方法在查找性能和更新速度方面具有明显优势,存储效率也有一定提升.此外,将HyBS集成到向量化数据包处理（VPP）框架中进行系统性能评估,结果表明HyBS可用于构建高通量可扩展的数据名查找引擎.     

基于布隆过滤器的网页搜索去重方法

介绍布隆过滤器的相关理论,对MD5哈希算法进行较为详细的分析,对GPU和CPU的结构及运算特点进行分析比较,提出一种基于布隆过滤器并使用GPU进行URL的MD5计算的网页搜索去重方法。     

分片计数布隆过滤器及其在Hbase二级索引的应用

针对Hadoop Database(Hbase)仅支持主索引结构,即通过主键和主键的range来检索数据的问题,提出利用Counting Bloom Filter的新变体建立二级索引来支持非主键数据的检索.分析了已有的Counting Bloom Filter(CBF)技术,针对CBF溢出概率高的问题,提出一种新的Split Counting Bloom Filter(SCBF)技术,SCBF将标准CBF分成多个相互独立的区域,由这多个区域共同存储元素的fingerprint.实验结果表明,与标准CBF相比,SCBF降低了溢出概率,充分提高了过滤器的性能,可以很好地用来建立Hbase二级索引.     

基于Bloom Filter的报文分类算法

针对传统报文分类算法在实际运行中存在的问题,提出一种基于Bloom Filter的报文分类算法。将该算法的思想应用于入侵防护系统硬件模型,建立相应的流信息预处理引擎,并介绍具体的实现方法。实验结果表明,该算法是有效实用的。     

基于Bloom Filter的海量数据分布式快速匹配算法研究

海量数据的快速匹配已经成为当前应用系统一个严峻问题,针对此问题展开深入讨论,将分布式技术与Bloom Filter技术有效结合,给出一种基于Bloom Filter的分布式快速匹配算法。与传统算法相比,此方法大大降低了程序对服务器内存的要求,同时提高了匹配效率,解决了制约应用程序运行效率的瓶颈问题。     

基于副本复制和Bloom Filter 的P2P 概率路由算法

非结构化P2P网络资源定位过程中的查询延迟、查准率和查询成本难以同时被优化,为此,提出一种基于副本复制和Bloom Filter技术的P2P概率路由算法DCBF(data copying and Bloom Filter).DCBF基于有向随机网络,对资源对象进行少量的复制,并将各个副本随机路由给网络中的节点;接收副本的节点,以分布式衰减Bloom Filter向邻近节点传递副本的成员资格信息.理论分析和实验结果均表明,DCBF仅需复制少量的副本,通过以分布式衰减Bloom Filter传递副本的成员资格信息,使得网络中的绝大多数节点能够感知到副本的成员资格信息,从而使得各个节点能够以极低的查询代价,在较低的路由延迟范围内,高概率地将查询路由到目标节点.     

基于计数型Bloom过滤器的网络数据流统计

现有的流统计信息主要侧重于流抽样而忽视全流统计。为此,提出一种使用优化设计的计数型Bloom过滤器流统计方法。针对计数型Bloom过滤器数据增长带来的计数器溢出和假阳性错误率增高的问题,分别设计动态统计和多个计数器协同统计的方案。概要化的存储结构可方便查询,而且其计数型Bloom过滤器简单的数据结构也易于硬件实现。实验结果表明,与传统哈希方法相比,计数型Bloom过滤器流统计方法的时间复杂度更低,可用于网络应用中的快速全流统计。     

布鲁姆过滤器查询算法

从理论和应用两方面系统地综述了布鲁姆过滤器查询算法迄今为止的主要研究成果,分析了目前布鲁姆过滤器查询算法的研究现状,最后展望了布鲁姆过滤器查询算法未来可能的研究方向.     

基于布鲁姆过滤器距离的集合变动定量评估算法

布鲁姆过滤器(Bloom filter)对数据集合采用一个位串表示并能有效支持元素的哈希查找,是一种精简的信息表示方案,广泛应用于数据库、网络和分布式系统中.本文研究布鲁姆过滤器的序列分析方法,通过定义布鲁姆过滤器距离,用概率统计方法分析动态数据集合元素增加和删除的变化对布鲁姆过滤器的影响,提出了基于计数式布鲁姆过滤器距离的集合变动定量评估算法.理论分析和仿真实验表明,该评估算法评估准确率高达90%以上.     

基于分层计数型Bloom过滤器的进化数据流计数

许多应用场景所产生的数据流中,元素的频数分布符合重尾分布的特点,即大部分元素的频数较小而少部分元素的频数较大.为了解决数据流中所有相异元素及其频数的高效存储问题,提出了一个基于分层的计数型布卢姆过滤器(hierarchical counting Bloom filter,HCBF)保存所有元素频数的方法.该方法采用长度递减、计数单位递增的多层计数型布卢姆过滤器作为存储数据结构,多层过滤器共同组成元素的频数.与两个经典的计数型布卢姆过滤器CBF和DCF相比,HCBF更加适合真实数据流元素频数分布的重尾特点,在不影响查询性能和错误率的前提下,能够显著地降低空间开销.理论分析与实验结果验证了该结论.     

一种基于计数型布隆过滤器的分子相似性算法研究

分子相似性是虚拟筛选技术的重要环节,在计算机辅助药物设计中有着关键作用。在2D Fingerprint相似性判别过程中,一些典型的分子相似性评估过程使用了Hash函数进行分子指纹映射,然而Hash函数固有的冲突问题极易降低分子指纹的映射精度。提出了一种基于计数型布隆过滤器的指纹映射方法,对相似性判别过程进行了有效改进,并采用DUD LIB VS 1.0数据集对改进方法进行了比较验证,将ROCE,AUC,awROCE,awAUC值作为评价标准。与其他原始分子相似性方法相比,所提方法有效地提高了相似性判断的准确性和骨架跃迁能力。