基于XGBoost算法的垃圾短信分层分级治理体系

为有效整治垃圾短信,不断提升不良信息治理的精准性,文章基于XGBoost算法构建了一套科学的分层分级垃圾短信治理体系。通过对用户入网、消费、通信行为等特征进行建模与运算,识别出用户发送垃圾短信的风险系数,并定义了六级用户。分级名单生成后,依托于垃圾短信拦截系统的分级策略管理功能,分别设置相匹配的拦截策略。在加大对中高危用户的识别和拦截力度的同时,有效降低了高价值用户因不良信息治理导致被误拦截的风险。该治理体系应用于辽宁移动管理实际以来,垃圾短信平均投诉量降幅34.82%。误关停投诉率稳定在0.1%以内。一至三级高价值客户群关停投诉量降幅27.43%。     

基于支持向量机的垃圾邮件过滤分析与实现

互联网的发展逐渐改变了人们的生活方式,电子邮件因其方便、快捷的特点已受到人们的青睐。但许多垃圾邮件同时也在网络中蔓延,占据了邮件服务器的大量存储空间,用户往往需要花费大量的时间去删除这些垃圾邮件。因此,研究邮件的自动过滤具有重要意义。邮件的自动过滤主要有基于规则和基于统计两种方式。而目前基于统计的过滤器中,常用的贝叶斯方法等是建立在经验风险最小化的基础之上,过滤器推广性能较差。支持向量机（SVM）是在统计学习理论的基础上发展而来的一种新的模式识别方法,在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势。它不仅考虑了对推广能力的要求,而且追求在有限信息的条件下得到最优结果。因此,本文将支持向量机应用于邮件过滤,实验证明过滤效果较好。     

垃圾邮件过滤系统的设计

伴随着电子邮件的广泛使用,垃圾邮件日益泛滥,严重影响了人们正常的工作、学习和生活。如今新型的垃圾邮件变化多端,使得传统的、单一的垃圾邮件过滤方法对新型垃圾邮件已经无能为力。针对这一难题,介绍了当前已经应用于垃圾邮件过滤领域主流的3种垃圾邮件过滤技术。通过详细分析各种技术的优缺点,对黑白名单过滤技术、基于规则的过滤技术和贝叶斯过滤技术进行整合,从而建立了一个分层次的垃圾邮件过滤系统模型,并对该过滤系统进行了性能分析。     

基于贝叶斯神经网络的垃圾邮件过滤方法

垃圾邮件过滤是当前互联网应用中急需解决的一个重要课题，日益受到人们的关注。本文提出了一种基于贝叶斯神经网络BNN(Bayesian Neural Network)的垃圾邮件过滤方法，利用贝叶斯推理和神经网络相结合的贝叶斯神经网络算法对用户给定的正常／垃圾邮件集合进行训练，得到邮件过滤模型。并且提出了一种有效的特征选择方法，采用信息增益准则，有效降低了特征维数。经过实验测试，本文提出的方法可以实现对垃圾邮件的有效过滤。     

基于文本分类技术的垃圾邮件识别系统

文章介绍了一个基于文本分类技术识别垃圾邮件系统的体系结构，并介绍了该系统涉及到的中文信息处理、文本特征选取、朴素贝叶斯分类器等关键技术。最后，文章给出了针对部分垃圾邮件的处理结果。结果表明，该方法对于垃圾邮件的识别，具有较好的效果。     

垃圾邮件控制-"首次验证法"

针对目前垃圾邮件泛滥的趋势,作者提出了一种新颖的垃圾邮件控制方法-"首次验证法".通过使用邮件策略文件来阻止邮件来源伪造;通过使用首次验证以及信任指数和联系人列表来保证对合法邮件的干扰性降低到最小,同时也对垃圾邮件发送者产生致命打击.鉴于篇幅,全文只是对"首次验证法"的简单介绍,最后给出了作者对于此方法的可行性分析.     

A suffix tree approach to anti-spam email filtering

We present an approach to email filtering based on the suffix tree data structure. A method for the scoring of emails using the suffix tree is developed and a number of scoring and score normalisation functions are tested. Our results show that the character level representation of emails and classes facilitated by the suffix tree can significantly improve classification accuracy when compared with the currently popular methods, such as naive Bayes. We believe the method can be extended to the classification of documents in other domains. Editor: Tom Fawcett     

Textual case-based reasoning for spam filtering: a comparison of feature-based and feature-free approaches

Spam filtering is a text classification task to which Case-Based Reasoning (CBR) has been successfully applied. We describe the ECUE system, which classifies emails using a feature-based form of textual CBR. Then, we describe an alternative way to compute the distances between cases in a feature-free fashion, using a distance measure based on text compression. This distance measure has the advantages of having no set-up costs and being resilient to concept drift. We report an empirical comparison, which shows the feature-free approach to be more accurate than the feature-based system. These results are fairly robust over different compression algorithms in that we find that the accuracy when using a Lempel-Ziv compressor (GZip) is approximately the same as when using a statistical compressor (PPM). We note, however, that the feature-free systems take much longer to classify emails than the feature-based system. Improvements in the classification time of both kinds of systems can be obtained by applying case base editing algorithms, which aim to remove noisy and redundant cases from a case base while maintaining, or even improving, generalisation accuracy. We report empirical results using the Competence-Based Editing (CBE) technique. We show that CBE removes more cases when we use the distance measure based on text compression (without significant changes in generalisation accuracy) than it does when we use the feature-based approach.     

基于Qmail的邮件过滤网关关键技术研究

本文从邮件过滤网关的实际功能需求出发,详细介绍基于qmail的邮件网关中应用到的透明网桥模式、SMTP认证和邮件内容过滤等技术的实现。     

蜜网技术的研究与应用

蜜网技术是由蜜网项目组(TheHoneynetProject)提出并倡导的一种对攻击行为进行捕获和分析的新技术。本文给出了蜜网的定义和分类,并通过对其技术特点的分析,探讨了蜜网在对抗蠕虫、反垃圾邮件、捕获和分析网络钓鱼及僵尸网络上应用的可行性。