基于改进的贝叶斯中文垃圾邮件过滤方法研究

基于内容的垃圾邮件过滤问题是Internet安全技术研究的一个重点问题,而基于贝叶斯的分类方法在垃圾邮件处理上表现了很高的准确度,因此受到了广泛的关注。本文将一种基于模拟退火遗传算法的贝叶斯分类方法引入到中文垃圾邮件过滤中,提高了分类的精确度。实验证明,算法在邮件过滤中有更好的表现。     

结合特征和非特征信息改进Nave Bayes及其应用*

朴素贝叶斯算法是一种常见的基于内容的垃圾邮件过滤算法,但是,传统朴素贝叶斯过滤存在判断内容的不确定性和邮件表示不完整性等问题。分析邮件信头各域在正常邮件和垃圾邮件中表现出的不同属性,提取非特征信息,结合特征信息和非特征信息改进朴素贝叶斯算法。实验结果表明,改进的朴素贝叶斯分类方法与单纯使用特征信息的方法相比,垃圾邮件的召回率和准确率更高,凸显了该方法涵盖邮件信息、克服内容判断缺陷的优势。     

基于用户行为的邮件分类算法

针对垃圾邮件过滤过程中分类模型难以个性化、难以适应用户兴趣动态变化的问题,提出了一种基于用户行为的邮件分类算法。通过分析朴素贝叶(NB)斯分类算法的原理,改造朴素贝叶斯算法,使其具有动态调整能力。邮件服务器接收到新邮件后自动进行分类判别,用户浏览邮件的过程中对邮件进行操作,根据用户对错分邮件的处理自动将该邮件加入训练数据集,并动态更新相应特征的统计概率,使邮件分类算法能够依据用户对不同邮件的操作行为动态调整分类模型,以达到有效过滤垃圾邮件的目的。与常用的贝叶斯分类算法的实验比较表明在给定小样本集合进行训练的情况下,新算法对于垃圾邮件的识别率比传统的朴素贝叶斯方法、基于风险敏感的朴素贝叶斯方法等提高了10%,获得了较好的分类性能。     

基于MapReduce的贝叶斯垃圾邮件过滤机制

贝叶斯邮件过滤器具有较强的分类能力和较高的准确性,但前期的邮件集训练与学习耗用大量系统资源和网络资源,影响系统效率。提出一种基于MapReduce技术的贝叶斯垃圾邮件过滤机制,一方面对传统贝叶斯过滤技术进行改进,另一方面利用MapReduce模型的海量数据处理优势优化邮件集训练与学习。实验表明,较之目前流行的传统贝叶斯算法、K最近邻(KNN)算法和支持向量机(SVM)算法,基于MapReduce的贝叶斯垃圾邮件过滤机制在召回率、查准率和精确率方面保持了较好的表现,同时降低了邮件学习和分类成本,提高了系统执行效率。     

基于Agent的邮件过滤与个性化分类系统设计

随着电子邮件的广泛使用,垃圾邮件的危害日益增大,用户的个性化需求也日趋强烈.文中提出了一个基于A-gent的邮件过滤与个性化分类系统,既能过滤垃圾邮件,又可以根据用户的个性化需求对正常邮件进行自动分类.垃圾邮件过滤采用了朴素贝叶斯方法,邮件的个性分类采用了最小风险贝叶斯方法.邮件个性化分类有效地利用了邮件过滤的输出,提高了系统运行的效率.本系统还可以接收用户的反馈并传递给对应的Agent,从而改进分类算法,不断地微调分类系统.     

一种改进的贝叶斯算法在垃圾邮件过滤中的研究*

研究了改进的基于SVM-EM算法融合的朴素贝叶斯文本分类算法以及在垃圾邮件过滤中的应用。针对朴素贝叶斯算法无法处理基于特征组合产生的变化结果,以及过分依赖于样本空间的分布和内在不稳定性的缺陷,造成了算法时间复杂度的增加。为了解决上述问题,提出了一种改进的基于SVM-EM算法的朴素贝叶斯算法,提出的方法充分结合了朴素贝叶斯算法简单高效、EM算法对缺失属性的填补、支持向量机三种算法的优点,首先利用非线性变换和结构风险最小化原则将流量分类转换为二次寻优问题,然后要求EM算法对朴素贝叶斯算法要求条件独立性假设进行填补,最后利用朴素贝叶斯算法过滤邮件,提高分类准确性和稳定性。仿真实验结果表明,与传统的邮件过滤算法相比,该方法能够快速得到最优分类特征子集,大大提高了垃圾邮件过滤的准确率和稳定性。     

基于粗糙集的带决策规则边界的邮件过滤算法

针对垃圾邮件过滤的准确率和稳定性不高,以及为了解决邮件过滤算法在语料分类上存在漏报和误报等问题,提出基于粗糙集的带决策规则边界的邮件过滤算法(RARM)。该算法运用粗糙集理论对语料库进行直接分析,并采用启发式方法提出了粗糙集理论的三种不同决策规则的执行计划,确保当邮件内容的词汇语义较为模糊时,仍能保证一定的分类准确度。在实验仿真中,通过与基于支持向量机(SVM)、Ada Boost和贝叶斯分类的邮件过滤算法相比较,该算法在垃圾邮件过滤上的准确率优于对比算法。     

一种基于向量空间模型的邮件自动过滤算法研究

对于垃圾邮件的判别和处理的研究,正逐渐成为热点。本文根据垃圾邮件过滤特点,通过对基于概率统计的贝叶斯理论的文本分类方法分析和探讨,引入基于向量空间模型中多变量贝努里事件模型的一种邮件自动过滤算法,并给出该算法的实现过程,完成垃圾邮件的分类与判别,最后给出邮件分类与过滤的实现流图。     

单一表文件垃圾邮件过滤算法的研究与实现

研究探讨了传统贝叶斯模型的原理和优缺点,指出朴素贝叶斯算法没有考虑到合法邮件和垃圾邮件被误判带来的不同损失.针对个人用户的个性化需求,以朴素贝叶斯算法为基础,结合最小风险,提出改进的基于垃圾单词的单一表文件垃圾邮件过滤算法,给出其具体实现方法及过程,并且通过实验证明其可行性.最后综合黑白名单、规则过滤和文本内容分类过滤三级模式构建了邮件过滤模型.     

基于贝叶斯最小风险分类的邮件过滤系统

针对互联网上垃圾邮件给用户带来种种困扰的问题，本文提出了一种基于贝叶斯最小风险分类方法的邮件过滤系统。本方法通过设置损失代价函数，在过滤大部分垃圾邮件的同时，保证了将合法邮件保留，避免了将有用邮件误分类为垃圾邮件时，给用户带来的损失。实验结果表明，本文提出的垃圾邮件过滤系统效果较好。     

基于K-means的朴素贝叶斯分类算法的研究

将K-means算法引入到朴素贝叶斯分类研究中,提出一种基于K-means的朴素贝叶斯分类算法。首先用K-means算法对原始数据集中的完整数据子集进行聚类,计算缺失数据子集中的每条记录与k个簇重心之间的相似度,把记录赋给距离最近的一个簇,并用该簇相应的属性均值来填充记录的缺失值,然后用朴素贝叶斯分类算法对处理后的数据集进行分类。实验结果表明,与朴素贝叶斯相比,基于K-means思想的朴素贝叶斯算法具有较高的分类准确率。     

基于K-means的朴素贝叶斯分类算法的研究

将K-means算法引入到朴素贝叶斯分类研究中，提出一种基于K-means的朴素贝叶斯分类算法。首先用K-means算法对原始数据集中的完整数据子集进行聚类，计算缺失数据子集中的每条记录与k个簇重心之间的相似度，把记录赋给距离最近的一个簇，并用该簇相应的属性均值来填充记录的缺失值，然后用朴素贝叶斯分类算法对处理后的数据集进行分类。实验结果表明，与朴素贝叶斯相比，基于K-means思想的朴素贝叶斯算法具有较高的分类准确率。     

基于贝叶斯理论的自适应显著性检测

针对传统基于贝叶斯的显著性算法通常采用固定窗口的形式,适应性较差的特点,提出了一种基于贝叶斯理论的自适应显著性检测算法,该算法能够考虑到不同图像显著物体大小不同。首先采用Canny算法提取图像边缘,并利用阈值算法确定图像的自适应窗口,然后采用基于贝叶斯的滑动窗口算法计算显著图。给定的自适应窗口能够更好地契合显著物体,实验结果表明相比其他传统贝叶斯算法与经典算法,该算法具有更高的精确率和更好的召回率。     

基于互信息可信度的贝叶斯网络入侵检测研究

传统贝叶斯入侵检测算法没有考虑不同属性和属性权值对入侵检测结果的影响,因此分类准确率不够高.针对传统贝叶斯入侵检测算法存在的不足,提出基于互信息可信度的贝叶斯网络入侵检测算法.在综合考虑网络入侵检测数据特点和传统贝叶斯分类算法优点的基础上,用互信息相对可信度进行特征选择,删除一些冗余属性,把互信息相对可信度作为权值引进贝叶斯分类算法中,得到优化的贝叶斯网络入侵检测算法(MI-NB).实验结果表明,MI-NB算法能大大降低分类数据的维数,比传统贝叶斯入侵检测算法及改进算法有更高的分类准确率.     

基于模拟退火遗传算法的贝叶斯分类

朴素贝叶斯分类器是一种简单而高效的分类器，但是其属性独立性假设限制了对实际数据的应用。文章提出一种新的算法，该算法为避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若干属性子集，以这些子集构建相应的朴素贝叶斯分类器，采用模拟退火遗传算法进行优选。实验表明，与传统的朴素贝叶斯方法相比，该方法具有更好的性能。     

具有丢失数据的贝叶斯网络结构学习研究

目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gi     

基于EM-GA改进贝叶斯网络的研究及应用*

为了解决软件风险分析中可能出现的数据不完整以及影响因素间关系复杂的问题,提出了一种改进贝叶斯网络的软件项目风险分析方法。将遗传算法和EM算法相结合得到EM-GA算法,利用EM-GA算法对软件项目分析过程中贝叶斯网络结构中的参数进行学习,同时优化网络结构,通过实例验证了该方法的有效性及可行性。     

正则化参数求解方法研究

针对BP神经网络算法训练过程中出现的过拟合问题,提出了利用一阶原点矩,二阶原点矩,方差和极大似然估计概念的推广来计算L2正则化中正则化参数λ值的方法。该方法通过对算法数据集[X,Y]中的X矩阵进行运算得到的四个λ值,BP神经网络算法训练时通常采用的是贝叶斯正则化方法,贝叶斯正则化方法存在着对先验分布和数据分布依赖等问题,而利用上述概念的推广计算的参数代入L2正则化的方法简便没有应用条件限制;在BP神经网络手写数字识别的实验中,将该方法与贝叶斯正则化方法应用到实验中后的算法识别结果进行比较,正确率提高了1.14-1.50个百分点;因而计算得到的λ值应用到L2正则化方法与贝叶斯正则化方法相比更能使得BP神经网络算法的泛化能力强,证明了该算法的有效性。     

基于内容的垃圾短信过滤

研究一种基于最小风险贝叶斯决策的垃圾短信过滤方法。对于以文本信息为主的短信,采用信息增益的方法进行特征选择,使用基于最小风险贝叶斯决策方法进行分类。通过自建短信语料库对该方法进行了实验。实验结果表明,该方法能够准确地对短信进行分类,降低合法短信的分类错误率,分类正确率达到99.3%,符合了短信分类要求。     

基于人工鱼群算法的贝叶斯网络参数学习方法

研究算法改进,提高计算性能,贝叶斯网络是解决不确定性问题的一种有效方法,在很多领域得到了广泛应用。参数学习是贝叶斯网络构建的重要环节,但含隐变量、连续变量的参数学习是非常困难的。为解决上述问题,提出了一种人工鱼群算法的贝叶斯网络参数学习方法,并进一步通过调整人工鱼随机移动速度的方法提高了算法的收敛性能和速度。最后,将参数学习方法在由Noisy-Or和Noisy-And节点组成的贝叶斯网络中进行了仿真,仿真结果表明了参数学习方法,特别是改进后方法的可行性和优越性。