基于免疫原理的个性化Spam过滤算法

受生物免疫系统工作机制的启发,本文提出一种基于免疫原理的个性化Spam过滤算法.其主要思想是根据用户兴趣和邮件特征定义垃圾邮件社区,将各垃圾邮件归类于不同的垃圾邮件社区,抽取各个垃圾邮件社区的特征并用一组特征检测器来表示,检测时通过判断待检测邮件是否归属于某垃圾邮件社区来进行过滤.该算法是一个增量学习算法,能连续过滤垃圾邮件.算法中免疫学习与免疫记忆机制的采用不仅能提高垃圾邮件过滤的检出率与正确率还能加快邮件过滤的速度.文中通过测试实验和分析表明,本文算法的垃圾邮件过滤性能优于AISEC与Naive Bayesian算法.     

基于树突状细胞算法的垃圾邮件群发检测

通过分析垃圾邮件的群发特征,结合危险理论的思想,提出了运用树突状细胞算法（ DCA）检测垃圾邮件群发现象的方法。该方法从垃圾邮件群发的行为特征入手,对一段时间内垃圾邮件的群发特征进行分析,根据正常和垃圾邮件在群发特征表现上的差异,判断是否为垃圾邮件群发。实验结果表明：该方法能够有效、快速地检测出垃圾邮件群发现象,具有较高的检测率。     

基于梯度和颜色特征的图像垃圾邮件过滤

提出以图像的梯度直方图和颜色直方图作为分类特征,分析最小二乘支持向量机(LS-SVM)算法以及该算法与传统SVM算法的区别,比较传统分类算法与LS-SVM算法的分类准确度,将LS-SVM算法用于图像垃圾邮件过滤。实验结果表明,该方法能提高图像垃圾邮件的检测率。     

基于人工免疫的邮件检测模型研究与实现

针对目前垃圾邮件制造者不断利用新技术和新方法,使垃圾邮件的内容和发送手段等都发生了很大的变化,对传统基于内容的邮件检测技术提出了严峻挑战。本论文根据人工免疫的工作原理,采用阴性选择算法,提出了一种主动的,具有自组织、自学习、自适应等特点的垃圾邮件检测模型。实验结果表明,该模型可以有效识别与拦截垃圾邮件,提高了垃圾邮件检测效率和准确率。     

基于支持向量机的垃圾邮件过滤方法

针对中英文混合垃圾邮件过滤问题,提出一种基于支持向量机(SVM)的过滤方法和融合多种分类特征的框架.通过改进SVM中线性核的表示方式,解决存储空间和计算最问题.通过领域术语自动抽取技术,增强垃圾邮件过滤的语义单元识别能力,提高垃圾邮件分类性能.在跨语言大规模语料库上的实验表明,采用SVM比采用Good-Turing算法平滑的朴素贝叶斯模型泛化性能提高了6.13%,分类精度比最大熵模型提高了8.18%.     

基于签名的近似垃圾邮件检测算法

针对垃圾邮件短小、一定时间内在网络上重复、大量地散发的特点，提出了基于签名的近似垃圾邮件检测算法（ASD）。该算法以句为基本单位，求取邮件所含的全部句子的摘要，垃圾邮件的近似检测转变为两个摘要集近似度的比较。通过与近似文本查询算法DSC、DSC-SS、I-Match的比较，ASD算法在近似垃圾邮件查询中，表现出样本集的存储空间大小适中、运算时问短、鲁棒性高、高准确率、高召回率的特征。     

一种基于多贝叶斯算法的垃圾邮件过滤方法

贝叶斯算法在垃圾邮件过滤中应用广泛。针对算法提高精确率和召回率的矛盾,提出了一种新的基于多贝叶斯算法组合的垃圾邮件过滤方法,并给出了不同方法下中、英文垃圾邮件过滤实验数据对比。实验表明该方法显著提高了垃圾邮件的过滤性能。     

垃圾邮件图像中的文字角点检测

为提取垃圾邮件图像中文字的角点信息,提出一种新的基于图像边缘和圆形模板的角点检测算法。算法首先利用彩色边缘检测算子和阈值分割方法获取文字图像的边缘,然后采用圆形模板提取文字的角点信息。边缘检测和阈值分割降低了干扰背景和噪声对角点检测的影响,圆形模板使得角点检测对文字方向变化不敏感。实验表明,在真实的垃圾邮件图像中文字角点定位精度略高于SUSAN算法,并能同时获取角点角度的大小。     

深度置信网络在垃圾邮件过滤中的应用

针对深层神经网络初始化方法不明确、泛化能力差而导致解决垃圾邮件过滤时效果较差的问题,提出了基于深度置信网络的分类方法。深度置信网络通过逐层无监督的方法来预训练网络,实现了网络的初始化。在LingSpam,SpamAssassin和Enron1三个广泛使用的数据集上,通过与目前最好的垃圾邮件过滤方法支持向量机(SVM)在分类性能上进行比较,实验结果表明深度置信网络的垃圾邮件过滤方法是有效的,获得了较高的准确率和召回率。     

图像型垃圾邮件过滤技术综述*

从基于图像特征的图像型垃圾邮件的检测难点入手,总结了目前用于识别垃圾邮件的图像特征,将其归类为文件属性、图像属性等八类特征。对已经用于图像型垃圾邮件分类的五种分类算法,包括支持向量机、决策树法、最大熵模型、DS证据理论、贝叶斯算法进行了理论分析与效果比较。最后对图像型垃圾邮件过滤技术的研究方向进行了展望。     

基于Base64编码的垃圾图片过滤方法

针对目前直接提取图片文本特征费时且分类准确率不高,以及使用图像属性特征过滤垃圾图片召回率低下等问题,提出一种快速有效的垃圾图片过滤方法。在使用4-gram切分Base64编码后的图片文本后,通过Binary特征将图片特征项表示为Binary向量,并训练支出向量机分类器来识别垃圾图片。实验结果表明,该方法不仅能够识别不同格式的垃圾图片,而且垃圾图片识别精确率、召回率和F1值分别可达99.85%、99.49%和99.67%。     

垃圾邮件处理中LDA特征选择方法

垃圾邮件处理是一项长期研究课题,越来越多的文本分类技术被移植到垃圾邮件处理应用当中。LDA（Latent Dirichlet Allocation）等topic模型在自动摘要、信息获取和其他离散数据应用中受到越来越多的关注。将LDA模型作为一种特征选择方法,引入垃圾邮件处理应用中。将LDA特征选择方法与质心＋KNN分类器结合,得到简单的测试用垃圾邮件过滤器。初步实验结果表明,基于LDA的特征选择方法优于通常的IG、MI特征选择方法;测试过滤器的过滤性能与其他过滤器相当。     

距离函数分类法在垃圾邮件过滤中的应用

为了得到实用性强的垃圾邮件过滤方法,将距离函数分类法首次引入到垃圾邮件过滤中.在通用邮件语料库上进行测试,并与目前过滤性能较好的KNN算法进行比较,实验结果显示距离函数分类法中的类中心向量法不适合用于垃圾邮件的过滤,而类重心向量法在保持较高过滤性能的同时,具有训练和过滤速度快的优点,是一种理想实用的垃圾邮件过滤方法.     

基于改进贝叶斯原理的垃圾邮件过滤算法研究

为了提高垃圾邮件过滤系统的对邮件过滤的准确性和返回率,论文改进了传统的贝叶斯定理。提出一种改进的垃圾邮件过滤方法,该方法使用基于单词提取特征值和使用特征向量来描述频率。模型降低了垃圾邮件的错误率,总体上提高了系统的过滤性能。与传统贝叶斯公式的假设不同,系统为垃圾邮件样本的每个特征值分配不同的权值,降低了的垃圾邮件判断误差。实验结果表明,论文提出的垃圾邮件过滤方法能够显着提高准确性和返回率,系统性能得到了较大改进。     

高性能中文垃圾邮件过滤器

设计并实现了基于在线过滤模式高性能中文垃圾邮件过滤器,能够较好地识别不断变化的垃圾邮件。以逻辑回归模型为基础,该文提出了字节级n元文法提取邮件特征,并采用TONE(Train On or Near Error)方法训练过滤器。在多个大规模中文垃圾邮件过滤公开评测数据上的实验结果表明,该文过滤器的性能在TREC 06C数据上优于当年评测的最好成绩,在SEWM 07立即反馈上1-ROCA值达到了0.000 0%,并明显优于SEWM 08评测在线过滤任务中的所有其他方法。     

代价敏感支持向量机在垃圾邮件过滤中的应用

支持向量机在垃圾邮件过滤中能达到较高的分类准确率,实际应用中,将正常邮件误判为垃圾邮件会给用户造成更大的损失。该文提出一个基于代价敏感支持向量机的垃圾邮件过滤方案,通过为正类和负类训练样本设置不同的错误惩罚系数对分类器进行训练,在保证较高的垃圾邮件召回率的前提下,尽可能降低正常邮件的误判率(假阳性率)。实验结果表明,该方案能有效地提高过滤器的整体性能,更好地满足垃圾邮件过滤的实际要求。     

基于偏最小二乘特征抽取的垃圾邮件过滤

随着垃圾邮件逐渐成为网络用户的一大困扰,垃圾邮件过滤技术的研究显得越来越重要。针对电子邮件存在数据极度稀疏性、高特征维数和多重相关性等特点,本文提出了一种基于偏最小二乘原理的特征抽取方法,可以通过对原始特征进行线性组合抽取出既可反映邮件内容又可反映邮件类型的潜在语义特征,并可解决多重相关性问题。在Enron-Spam邮件数据集上的实验结果表明,同χ²特征选择方法相比,该方法在较低维数上可以获取良好的邮件过滤性能。     

基于集成学习的图像垃圾邮件过滤方法

目前的图像垃圾邮件过滤技术，大都采用国际上通用的垃圾图像数据集作为训练集，与中国国内图像垃圾邮件的图像特点不一致，图像数据缺乏实时更新，且分类器单一，过滤效果难以保证。针对该问题，在建立国内垃圾邮件图像数据库的基础上，首先提取图像的颜色、纹理和形状特征，再经K-NN分类算法优选出HSV颜色直方图特征对不同分类器进行训练、测试和性能比较，提出将基于粗糙集的K-NN算法、Naive Bayes算法和SVM算法构成的3种基分类器相结合，并基于串行迭代提升的方法形成集成学习的强分类器。该方法可以实现对国内图像垃圾邮件的有效过滤，使图像垃圾邮件过滤的准确率和召回率同时得到提升，分别为97.3%和96.1%，误判率降低到了2.7%。