关于布隆过滤器在BSS中应用

介绍布隆过滤器(Bloom Filter)的相关算法原理和使用说明,并阐述其在BSS领域中应用。通过与Redis缓存技术相结合,利用布隆过滤器(Boom Filter)的高效匹配、低存储等优势,提高BSS中排重效率,减少BSS对硬件扩容的需求。同时,阐述BSS排重中关于位数组的划分,以及针对布隆过滤器(Bloom Filter)对数据存在一定误判率的不足,并提出相应的应对措施。     

LSM树中基于热度预测的异构布隆过滤器方案

日志结构合并(Log-Structured-Merge,LSM)树中常使用布隆过滤器减少无效磁盘I/O.但是用户无法无限制地细化布隆过滤器的粒度,原因是在一些数据量庞大而数据项较小的工作流中,这些元数据需要占用大量存储空间.其次在一些内存受限的环境下,内存缓冲区无法容纳更多的过滤器数据,造成缓冲区与磁盘的频繁数据交换.针对上述问题本文提出LSM树中的异构布隆过滤器方案,在LSM树的每一层维护热度预测模型,新生成的SSTable通过预测的热度来分配不同粒度的布隆过滤器,然后使用特定缓存管理方案来维护缓存中的过滤器数据并处理工作流热度发生改变的情况.实验证明,本文的方案在保持相同外存占用与内存消耗的情况下,读取吞吐量比采用原始LSM树结构的LevelDB提升22％～53％.     

基于布隆过滤器的轻量级隐私信息匹配方案

针对智能终端用户私有数据匹配中的隐私保护问题,基于布隆过滤器和二元向量内积协议,提出一种新的综合考虑用户属性及其偏好的轻量级隐私信息匹配方案,包括建立基于Dice相似性系数的二维向量相似度函数、设置参数、生成布隆过滤器、计算二元向量内积、计算相似度和确定匹配对象6个部分。该方案采用基于布隆过滤器的相似度估计和基于混淆方法的二元向量内积协议,在不依赖于可信第三方的前提下,大幅度降低计算开销,且能够有效抵御蛮力攻击和无限制输入攻击。实验结果表明,该方案与典型代表方案相比,计算效率得到明显提升。     

基于计数布隆过滤器的属性基多关键词可搜索加密方案

为解决传统公钥密码体制下的可搜索加密方案检索效率低、关键词索引存储开销大、索引不支持动态更新等问题，基于计数布隆过滤器良好的空间和时间效率判断元素是否属于某个集合的特性，将此特性应用于可搜索加密建立关键词索引，即将关键词集合映射到一个二进制向量中，从而降低关键词存储开销；同时，利用计数布隆过滤器可删除的特性实现关键词索引的动态更新。此外，为防止敌手通过统计分析手段从二进制向量中推断出关键词明文信息，将二进制向量利用置换进行盲化，然后将置换利用属性加密进行秘密共享，合法用户正确生成关键词陷门后，服务商基于用户的关键词陷门帮助用户完成关键词匹配查询。最后，安全性分析和仿真实验证明了方案的安全性和高效性。     

最小风险的Naive Bayes技术在反垃圾邮件系统中的应用

文章提出了一套更好地过滤中文垃圾邮件的方案，这套方案将利用垃圾邮件规律的规则过滤和最小风险的Naive Bayes内容过滤算法结合了起来，并根据垃圾邮件的特性做了必要的改进。并且这套方案也在Linux／Solaris系统平台下基本上完成了大部分功能的软件编程。实际电子邮件服务器上对本方案进行了测试．结果显示这套方案取得了很好的过滤效果。最小风险的Naive Bayes技术是目前最重要的反垃圾邮件技术之一。     

基于贝叶斯定理的垃圾邮件分类技术研究

邮件过滤技术是反垃圾邮件的重要手段,目前对垃圾邮件的过滤主要有基于内容、基于IP地址和基于信头、信封等方法,这些方法对垃圾邮件的过滤起到了一定作用.但是由于信体是垃圾邮件的最终载体,而仅依据IP地址、信头、信封中的特征容易造成错误判断.在贝叶斯分类器的工作原理的基础上,提出了基于贝叶斯分类器的反垃圾邮件模型的原理与实现方法,将反映垃圾邮件的特征综合在一起统称为"属性",避免了单纯基于IP、信头、信封过滤的规则性太强的缺点,降低将正常邮件判断为垃圾邮件的风险.     

治理垃圾邮件：我们的路有多长？

新闻背景:最近,“国外封锁我国邮件服务器地址”的报道不断出现,有些甚至采用了“欧美全面封杀中国IP地址”、“互联网分裂”等字眼。国外一家名为UXN的网络公司所公布的发送垃圾邮件的IP地址黑名单中包括了中国电信的202.96.0.0-202.111.255.255范围内的全部地址。UXN公司的理由是,这些地址是日益增长的源自中国的垃圾邮件的来源。基于同样的理由,UXN公司宣布拒绝接受来自84个网站的电子邮件、在这份名单上,新浪、网易、搜狐、163、263、21CN等国内主要邮件服务商赫然在列。“垃圾邮件”一事已经引起了社会各界的广泛关注和讨论。     

基于深度布隆过滤器的NDN网络三级名字查找方法

为提高命名数据网络(Name Data Networking, NDN)路由过程中内容名字查找的效率,该文提出一种基于深度布隆过滤器的3级名字查找方法。该方法使用长短记忆神经网络(Long Short Term Memory, LSTM)与标准布隆过滤器相结合的方法优化名字查找过程;采用3级结构优化内容名字在内容存储器(Content Store, CS)、待定请求表(Pending Interest Table, PIT)中的精确查找过程,提高查找精度并降低内存消耗。从理论上分析了3级名字查找方法的假阳性率,并通过实验验证了该方法能够有效节省内存、降低查找过程的假阳性。     

一种邮件防火墙部署模型的研究

目前对于大量垃圾邮件问题尚没有十分有效的解决办法。垃圾邮件的传播者总会以不同的方式绕过邮件过滤器而到达用户的邮箱。研究本题目就是为了建立一套类似于网络防火墙的设备,以高效、准确地过滤垃圾邮件,净化网络环境。     

基于布隆过滤器的分簇式复制节点检测协议研究

针对传统的CBDM复制节点检测协议中簇头节点存储开销大,基站和基站附近节点通信开销大的问题,文章提出了一种基于布隆过滤器的分簇式复制节点检测协议。每一轮周期检测,簇头节点不再单纯地利用自身的存储空间来存储节点信息,而是通过携带存储空间利用率较高的布隆过滤器来储存信息,减轻了簇头节点的存储开销;与CBDM相比,该协议通过选择能量较高的簇头节点进行复制节点的判定、分析和广播,减轻了基站和基站附近的网络开销。仿真实验表明,该协议在保证网络复制节点检测率的情况下,提高了网络的生命周期。     

基于事例推理的中文垃圾邮件过滤

分析现有垃圾邮件过滤分类算法的不足,根据垃圾邮件的概念漂移特性,提出了一种基于CBR的垃圾邮件过滤算法.针对中文垃圾邮件特点提取特征,设计基于CRN网络的实例检索算法,该算法增加了预计算阶段,从而提高检索速度.实验结果表明,与传统贝叶斯算法相比,该算法对于动态变化的中文垃圾邮件数据集有更好的过滤效果.     

一种基于神经网络和主动反馈的反垃圾邮件技术的研究

在分析传统垃圾邮件过滤技术的基础上,提出了一种基于神经网络和用户反馈的反垃圾邮件技术.通过引入用户反馈机制,使用神经网络分类方法,构建面向特定用户的过滤器,从而进行垃圾邮件过滤.实验证明,该方法能够有效地降低误报率,提高反垃圾邮件系统的可用性,具有较好的实用效果.     

如何避免垃圾邮件的骚扰

使用过电子邮件的用户一定都有过收到垃圾邮件的经历。现实中,垃圾邮件确实非常让人头疼,许多用户对此深恶痛绝。前一段时间还闹出了由于通过中国一些IP地址发出的垃圾邮件泛滥,中国电子邮件面临被欧美全面封杀的风波。好在没有成为事实。那么,什么样的邮件属于垃圾邮件?我们如何避免受到垃圾邮件的骚扰呢?     

一种基于人工免疫的多层垃圾邮件过滤算法

随着电子邮件日益广泛的使用,如何有效地避免和防范垃圾邮件的侵扰已成为一个亟待解决的问题.受生物免疫系统自我保护机制的启发,本文提出了一种基于人工免疫的多层垃圾邮件过滤算法,利用分层检测的思想来过滤垃圾邮件.文中给出了针对多层过滤算法中获得性免疫层的垃圾邮件过滤测试实验,实验结果表明本算法在垃圾邮件过滤中能得到较高的召回率、精确率和正确率.文中也指出了可以通过合理地设置各检测器层之间的与或关系来得到更好的垃圾邮件过滤效果.     

图像型垃圾邮件中文字区域检测方法的研究

分析了现有文字区域检测方法,介绍了图像型垃圾邮件文字区域检测算法,并结合实验数据进行了验证分析。     

一种混合型垃圾邮件过滤系统的研究与设计

针对目前互联网垃圾邮件日益泛滥的情况，对目前常用的几种抗击垃圾邮件方法进行了介绍，同时提出一种混合型的垃圾邮件过滤系统，对其进行了详细地阐述。该方法结合贝叶斯理论和基于内容的邮件过滤思想，给出了邮件过滤系统的体系结构，并对其算法进行了分析。     

改进的神经网络算法在垃圾邮件过滤中的应用

针对垃圾邮件威胁信息安全而又屡禁不止的现状,如何从技术上增加对垃圾邮件的控制,维护网络安全成为一个研究的热点问题。人工神经网络具有自适应的特点,在处理变化多端的垃圾邮件问题上有显著优势,但传统算法存在效率低下的问题。现结合模糊理论遗传算法提出了一种改进的BP神经网络算法,在一定程度上提高了算法的效率。通过对中文邮件分类的实验分析,结果表明,本算法的效率优于传统算法,并有较高的识别准确率。     

基于布隆过滤器的事务存储架构中的高速缓存

在基于硬件的事务存储多核处理器中,高速缓存具有暂存事务执行结果、检测事务间冲突以及当发生冲突时解决冲突的功能,是系统的核心模块.为了简化上述功能,研究并设计了一种基于布隆过滤器的高效缓存结构,提升了事务的执行效率,并且新增的硬件开销也比较小.     

基于GBF的追踪溯源系统设计

互联网的快速发展引发了学术界和工业界对于网络安全技术的研究热潮,网络攻击追踪溯源技术能够定位网络攻击的源头,为防御方采取有针对性的防御措施和对攻击者进行反制提供必要信息,对于网络取证也有重要意义。首先介绍网络追踪溯源的基本方法;然后,介绍了广义布隆过滤器（Generalized Bloom Filter）及其在包标记追踪溯源中的应用;接着,设计并实现基于GBF的追踪溯源系统,实验表明本系统可以成功重构攻击路径;最后,进行总结并大致描述了今后的研究方向。     

一种基于查询事件的域名服务器日志模型

提出了一种基于查询事件的日志模型,采用查询/应答日志匹配的方法完整的记录了一次查询事件,利用内存数据结构提高了海量数据写入的I/O效率;在日志分析过程中对日志文件建立二维哈希索引,利用布隆过滤器减少磁盘I/O次数,提高了分析效率.