垃圾邮件过滤

自从互联网普及以来,电子邮件逐渐成为人们生活中便捷的通信手段之一。但随之产生的垃圾邮件泛滥成灾,污染网络环境,占用大量传输、存储和运算资源,影响了网络的正常运行。垃圾邮件过滤技术逐渐成为信息网络安全研究领域的热点。本文从内容过滤、接入过滤、行为过滤等三方面对垃圾邮件过滤技术的研究现状进行综述。     

基于贝叶斯算法的垃圾邮件过滤研究

大量垃圾邮件的出现给用户收发电子邮件带来极大困扰。贝叶斯算法由于在垃圾邮件处理上表现出很高的准确度,因此受到了广泛关注。本文介绍了贝叶斯算法的理论依据,分析了贝叶斯算法的优缺点,总结了贝叶斯的相关改进算法,最后对贝叶斯算法进行了总结和展望。     

一种基于内容的垃圾邮件过滤系统的设计

众所周知，垃圾邮件问题已经是当今网络世界的一个严重问题。大量无用，甚至有害的信件在网络传播，不仅消耗了大量的网络资源，而且还严重威胁到邮件系统用户信息的安全。本文将用采用基于内容的文本检索过滤技术对电子邮件进行判别及分类．     

基于截图内容的图片垃圾邮件过滤系统

垃圾邮件制造者常常将文字嵌入到图像中,产生了大量的图片垃圾邮件.为解决这一问题,提出并实现了一个基于截图内容的图片垃圾邮件过滤方案.首先由用户从垃圾邮件中截取某一子域图片,每一截图对应一类垃圾图片,所有的截图构成一个自定义的垃圾图片“黑名单”.其次对读入的每一封图片邮件,其内置图片与“黑名单”中的图片进行图像匹配.最后若存在匹配项,则判定该邮件含有用户已指定的垃圾图片信息.将此图片垃圾邮件过滤方案应用于一个小型的邮件收发系统,使用3 534幅垃圾邮件图片进行实验,结果证明了该垃圾邮件过滤方案有效.     

基于PPM算法的垃圾邮件过滤方法

本文在简要介绍PPM数据压缩算法及其改进的基础上,着重论述该算法在垃圾邮件过滤中的应用。首先将样本邮件进行文本预处理,并对正常邮件和垃圾邮件训练集进行训练,分别建立上下文模型;然后输入待过滤邮件,与PPM压缩模型进行比较,分别计算交叉熵以判断邮件类型;最后,测试结果表明,该算法达到较好效果。     

基于贝叶斯的垃圾邮件过滤算法的研究

基于内容的垃圾邮件过滤问题是Internet安全技术研究的一个重点问题,而基于贝叶斯的分类方法在垃圾邮件处理上表现出了很高的准确度,因此受到了广泛的关注。在朴素贝叶斯算法的基础上,提出了一种基于最小风险贝叶斯方法同Boosting算法相结合的邮件过滤改进算法,提高了分类的精确度。实验证明,算法在邮件过滤中有更好的表现。     

基于小样本学习的垃圾邮件过滤方法

针对客户端垃圾邮件过滤器难以获取足够训练样本的问题,提出一种基于小样本学习的垃圾邮件过滤方法,利用容易获取的未标记样本提高垃圾邮件过滤的性能。该方法使用已标记的小样本邮件实例集训练一个初始Na?ve Bayes分类器,以此标注未标记邮件,再使用所有数据训练新的分类器,利用EM算法进行迭代直至收敛。实验结果证明,当给定5个~20个已标记小样本训练邮件时,该方法可有效提高垃圾邮件过滤性能。     

基于协同过滤的垃圾邮件过滤系统

针对当前垃圾邮件过滤技术中邮件性质评价难及邮件附件判断难的问题,提出协同过滤模型,设计一个多层次垃圾邮件过滤系统。该系统针对垃圾邮件一般群发给多人的特点,提取用户的操作和阅读速度进行反馈,利用他人的反馈结果进行协同过滤。实验和分析结果表明,协同过滤技术有效地提高了垃圾邮件过滤的召回率。     

累积反馈学习的简单贝叶斯垃圾邮件过滤

给出了一种基于累积反馈学习的简单贝叶斯邮件过滤方法.在此基础上,通过领域规则的引入,对基于累积反馈学习的简单贝叶斯过滤方法进行了改进.实验结果表明累积反馈学习对不断保持和提高分类器的分类效果是必要的.     

基于覆盖算法的垃圾邮件过滤

电子邮件系统分类的正确性与风险性是评价邮件系统好坏的关键因素,邮件过滤是文本分类问题的一种特殊应用.将神经网络中的覆盖算法引入到邮件过滤中,结合多种特征降维方法进行邮件分类实验,并与SVM方法进行了比较.给出一个结合覆盖算法、合适的特征选择与降维方法的分类器,可以实现较好的效果.另外,根据垃圾邮件过滤在实际使用中的最小风险性的要求,从风险角度分析了覆盖算法对测试样本进行分类时的过程.根据分析结果提出对其拒识样本的处理过程进行改进,通过改变非垃圾邮件所属覆盖的影响范围降低了垃圾邮件过滤时的风险.     

基于改进K近邻的垃圾邮件过滤技术

提出了一种基于K近邻（KNN）原理的快速文本分类算法。该算法不仅具有原始K近邻算法分类效果好的优点,还通过对训练样本进行压缩,消除相似度之间的比较,提高了分类效率。实验表明,该算法用于邮件过滤系统时,分类效果要优于基于朴素贝叶斯分类器的二项独立模型和多项式模型,而分类的时间复杂度与其相当,完全可以应用于实时邮件过滤。     

一种模糊认知的协同过滤算法

协同过滤是目前电子商务推荐系统中应用最成功的个性化推荐技术之一,但传统的协同过滤算法认为各个时期的评分数据信息是静态的。针对该问题,提出两种模糊认知：评分的模糊递增和评分权重的模糊递增。首先,对项目的评分信息划分时间窗口,且利用链式结构计算项目的相似性,选择目标项目的最近邻居;其次,对评分数据赋予时间权重,提出一种权重函数,并对传统的预测方法进行改进。同时,在预测阶段提出一种分层式的优化策略对评分的时间权重进行求解,完成推荐。最后,在Netflix的数据集实验结果表明,该算法较传统的协同过滤算法有显著的提高,推荐准确率提升了9.8%~14.1%。     

基于集成学习的图像垃圾邮件过滤方法

目前的图像垃圾邮件过滤技术，大都采用国际上通用的垃圾图像数据集作为训练集，与中国国内图像垃圾邮件的图像特点不一致，图像数据缺乏实时更新，且分类器单一，过滤效果难以保证。针对该问题，在建立国内垃圾邮件图像数据库的基础上，首先提取图像的颜色、纹理和形状特征，再经K-NN分类算法优选出HSV颜色直方图特征对不同分类器进行训练、测试和性能比较，提出将基于粗糙集的K-NN算法、Naive Bayes算法和SVM算法构成的3种基分类器相结合，并基于串行迭代提升的方法形成集成学习的强分类器。该方法可以实现对国内图像垃圾邮件的有效过滤，使图像垃圾邮件过滤的准确率和召回率同时得到提升，分别为97.3%和96.1%，误判率降低到了2.7%。     

基于有监督Bayesian网络的垃圾邮件过滤

对影响邮件特性的邮件报文格式作了仔细的分析并对垃圾邮件的特征进行了分类归纳,在此基础上构建了一个有监督的Bayesian邮件分类网络。通过对该网络作Bayesian参数估计,实现了判定邮件类别的不确定推理。对不同邮件测试集的在线学习试验结果表明,有监督Bayesian邮件分类网络能够有效地实现垃圾邮件的相对完备特征学习,改善邮件过滤的准确率。     

基于用户反馈的混合型垃圾邮件过滤方法

针对目前垃圾邮件过滤技术仅依赖单一邮件特征实施邮件分类、对邮件特征变化的适应性较差等局限,提出一种基于用户反馈的混合型垃圾邮件过滤方法。以用户社会网络关系为基础,借助用户反馈机制分别实现对基于内容与基于身份标识的邮件分类知识的动态更新;在此基础上采用贝叶斯模型,实现邮件的内容特征与发件人身份标识特征在邮件分类中的有机结合。实验结果表明,与传统的过滤方法比较,所提方法在邮件特征动态变化的环境下能够获得更好的邮件分类效果,邮件分类的总体召回率、查准率、精确率均能达到90%以上。所提方法能够在保证邮件分类性能的同时,有效提高邮件分类对邮件特征变化的适应性,是已有垃圾邮件过滤技术的重要补充。     

Spam filtering framework for multimodal mobile communication based on dendritic cell algorithm

With the continual growth of mobile devices, they become a universal portable platform for effective business and personal communication. They enable a plethora of textual communication modes including electronic mails, instant messaging, and short messaging services. A downside of such great technology is the alarming rate of spam messages that are not only annoying to end-users but raises security concerns as well. This paper presents an intelligent framework for filtering multimodal textual communication including emails and short messages. We explore a novel methodology for information fusion inspired by the human immune system and hybrid approaches of machines learning. We study a number of methods to extract and select more relevant features to reduce the complexity of the proposed model to suite mobile applications while preserving good performance. The proposed framework is intensively evaluated on a number of benchmark datasets with remarkable results achieved.     

基于改进Nave Bayes的垃圾邮件过滤模型研究

分析了目前在垃圾邮件过滤中广泛应用的NaveBayes过滤模型(NBF),指出了期望交叉熵(ECE)特征词选取方法的不足。提出了改进的NaveBayes垃圾邮件过滤模型(A-NBF),用改进的期望交叉熵(AECE)选取垃圾邮件特征词,并在邮件分类过程中对特征词进行加权,从而提高对垃圾邮件过滤的精度。实验结果可以看出A-NBF比NBF在过滤精度方面有明显的提高。     

基于改进堆叠自动编码机的垃圾邮件分类

针对堆叠自动编码机(SA)容易产生过拟合而降低垃圾邮件分类精度的问题,提出了一种基于动态dropout的改进堆叠自动编码机方法。首先分析了垃圾邮件分类问题的特殊性,将dropout算法引入到堆叠自动编码机算法中;同时,根据传统dropout算法容易使部分节点长期处于熄火状态的缺陷,提出了一种动态dropout改进算法,使用动态函数将传统静态熄火率修改为随着迭代次数逐渐减小的动态熄火率;最后,利用动态dropout算法改进堆叠自动编码机的预训练模型。仿真结果表明,相比支持向量机(SVM)和反向传播(BP)神经网络,改进的堆叠自动编码机平均准确率达到了97.66%,各个数据集上马修斯系数都大于89%;与传统堆叠自动编码机相比,改进的堆叠自动编码机的马修斯系数在Error1~6数据集上分别提高了3.27%、1.68%、2.16%、1.51%、1.58%、1.07%。实验结果表明,基于动态dropout算法的改进堆叠自动编码机具有更高的分类精度和更好的稳定性。     

QBC主动采样学习在垃圾邮件在线过滤中的应用

针对垃圾邮件在线过滤的实际应用,在委员会投票算法采样学习的基础上,提出动态提升采样门槛,在无标签样本池中阶梯式获取高信息量训练样本的方法。该方法能够在稳定识别精度的前提下,进一步降低用于标注和学习的样本数量,压缩由此带来的时间成本。通过在UCI的Spambase数据集上仿真,证明了该方法在改善学习效率方面的有效性。     

基于矢量相似性的多元滤波方法研究

为了避免彩色图像滤波时排序的难题,在探究矢量相似性的基础上提出一种针对彩色图像的多元滤波方法。首先,在RGB彩色空间中,利用彩色矢量间距离和角度定义其相似性测度,以刻画与人类视觉感知相一致的彩色相似性;其次,以上述彩色相似性为准则设计并构建一种彩色多元滤波方法,并就其相关参数对滤波性能的影响进行了深入分析和研究;最后,为了验证提出方法的有效性,将其应用于标准彩色影像和彩色遥感影像滤波。提出的方法不仅有效解决了传统滤波方法的排序难题,而且克服了因滤波使图像模糊、边缘不清等问题;另外,将提出的多元滤波与传统方法进行实验对比,结果表明其不仅能有效滤除多种类型噪声,而且较好地保持了原始图像信息,使图像信息保真清晰,其视觉效果优于传统,客观评价指标也有较大幅度的改善和提升。