应用特征词分类贡献的垃圾邮件过滤研究

在垃圾邮件过滤中,考虑到特征词对合法邮件和垃圾邮件分类贡献的不同,通过定义分类贡献比系数,将特征词分类贡献的思想应用到特征选择和朴素贝叶斯过滤器的设计中,在英文语料库上进行实验,实验结果表明,应用特征词分类贡献的垃圾邮件过滤方法可以有效提高过滤器对合法邮件和垃圾邮件的识别能力,降低过滤器对合法邮件和垃圾邮件的误判率。     

垃圾邮件过滤中信息增益的改进研究

针对垃圾邮件过滤中的特征项选择问题,提出了一种改进的信息增益方法。首先利用特征词的先验概率定义增益比,然后利用增益比对特征词为整个分类所提供的信息量进行放大或弱化,从而对特征词的类别条件熵计算作了改进,采用极大后验假设朴素贝叶斯决策方法在英文语料库上进行实验,通过召回率、正确率、精确率和错误率对算法进行评价分析。实验结果表明,改进后的算法提高了过滤器的分类精度,降低了过滤器对合法邮件的误判给用户带来的损失。     

基于自学习K近邻的垃圾邮件过滤算法

针对现有垃圾邮件过滤算法所存在的训练样本与测试样本分布不一致而导致实际应用效果比较差的现象,提出了一种基于自学习K近邻(k nearest neighbors,KNN)方法的垃圾邮件过滤算法.应用KNN方法对未知邮件样本进行精确匹配,以排除合法邮件的误判结果,同时结合用户对垃圾邮件的处理,自动调整训练集合.实验表明算法具有较好的过滤性能.     

单一表文件垃圾邮件过滤算法的研究与实现

研究探讨了传统贝叶斯模型的原理和优缺点,指出朴素贝叶斯算法没有考虑到合法邮件和垃圾邮件被误判带来的不同损失.针对个人用户的个性化需求,以朴素贝叶斯算法为基础,结合最小风险,提出改进的基于垃圾单词的单一表文件垃圾邮件过滤算法,给出其具体实现方法及过程,并且通过实验证明其可行性.最后综合黑白名单、规则过滤和文本内容分类过滤三级模式构建了邮件过滤模型.     

基于多属性群决策的垃圾邮件过滤

提出一种基于多属性群决策的垃圾邮件过滤方法来解决垃圾邮件过滤器出现误判的情况,其基本思想是通过OWA(有序加权平均,ordered weighted averaging)算子和CWAA(组合加权平均,combination weighted arithmetic averaging)算子相结合的多属性群决策方法对每封邮件计算出一个合理的综合评价值作为隶属度,然后采用FSVM分类算法对邮件进行分类.实验表明该算法在一定程度上提高了垃圾邮件过滤的召回率和准确率.     

粗糙贝叶斯改进算法在垃圾邮件分类中的应用

分析当前使用最广泛的粗糙贝叶斯算法,指出其在实际应用中的不足,并采用2-gram理论对该算法进行了改进.经过实验证明,改进后的粗糙贝叶斯算法,邮件分类效果明显改善,垃圾邮件误判率、合法邮件误判率和平均误判率都有大幅度下降.     

针对基于内容邮件过滤器的攻击及过滤改进

基于内容的过滤技术是反垃圾邮件技术中最有效的方法,但是垃圾邮件发送者千方百计利用各种方法对基于内容的垃圾邮件过滤器进行攻击,严重影响了过滤器的正确率和健壮性.在介绍主要基于内容的垃圾邮件过滤技术基础上,分析了针对基于内容垃圾邮件过滤器的常用攻击方法,并提出了相应的过滤改进技术.同时,针对单词沙拉攻击,在几种过滤器上进行了模拟攻击实验.最后分析了垃圾邮件技术的发展趋势和未来反垃圾邮件技术的主要改进方法.     

基于双隶属度模糊支持向量机的邮件过滤

针对邮件所含信息的模糊性和合法邮件与垃圾邮件错分代价的不对称性提出了基于双隶属度模糊支持向量机的邮件过滤方法,通过对每个样本赋予不同的双隶属度,得到最优分类器,提高了邮件过滤的正确率。经仿真实验证明,该方法能够有效降低将合法邮件误判为垃圾邮件,而且有很高的正确率等特点。     

基于P2P网络的个性化协同邮件过滤模型

基于内容的协同过滤器利用用户关于误判和漏判信息的反馈,对电子邮件进行过滤,可以提高过滤器跟踪垃圾邮件中概念漂移的能力,但这类方法都对集中式的垃圾邮件过滤做出了隐含假设.为了解决集中式协同邮件过滤的问题,提出了一种基于P2P网络的个性化协同垃圾邮件过滤模型,描述了其系统结构和基于签名的系统设计与实现方法.实现了一个原型系统,收集使用其作为垃圾邮件过滤器的用户的数据进行分析.实验结果分析表明,这种个性化协同垃圾邮件过滤是准确和有效的.     

代价敏感支持向量机在垃圾邮件过滤中的应用

支持向量机在垃圾邮件过滤中能达到较高的分类准确率,实际应用中,将正常邮件误判为垃圾邮件会给用户造成更大的损失。该文提出一个基于代价敏感支持向量机的垃圾邮件过滤方案,通过为正类和负类训练样本设置不同的错误惩罚系数对分类器进行训练,在保证较高的垃圾邮件召回率的前提下,尽可能降低正常邮件的误判率(假阳性率)。实验结果表明,该方案能有效地提高过滤器的整体性能,更好地满足垃圾邮件过滤的实际要求。     

强噪声下改进Canny算法的边缘检测

针对传统边缘检测算法抗噪性较差、易受噪声影响、误判率高和漏判等问题,提出一种强噪声环境下对传统Canny边缘检测算法的改进算法。该算法选用平滑聚类滤波取代高斯滤波对受噪声图像进行预处理;对滤波窗口内的像素点进行噪声检测,根据检测到的噪声点个数自适应调整滤波窗口的大小,改变窗口中各信息的输出,为图像中的重要信息赋予较大的权值,实现降低噪声影响的同时防止重要信息被过滤;极大值抑制阶段在3×3邻域内使用Sobel算子,额外加入45°、135°方向计算梯度幅值和方向,更全面地检测细节信息;针对图像的灰度变化使用平均方差来计算高阈值。仿真结果表明,在高斯噪声和椒盐噪声的混合强噪声干扰下,该算法得到的边缘提取结果明显优于传统算法得到的结果。     

基于M估计的鲁棒后向平滑CKF单站跟踪算法

提出一种基于M估计的鲁棒后向平滑容积卡尔曼滤波（M-estimated based Robust Backward-Smoothing Cubature Kalman Filter,MR-BSCKF）算法。该算法将改进的M估计思想引入后向平滑容积卡尔曼滤波（BSCKF）算法中,引入Mahalanobis距离构建P-Huber等价权函数,通过降低野值误判概率进一步提高滤波算法的鲁棒性;在传统CKF算法的基础上增加后向平滑函数,通过后向平滑和前向滤波相结合的二次滤波进一步提高滤波的精度,实现了算法精度和抗野值能力的统一。仿真结果表明,与传统算法相比,MR-BSCKF在有野值和无野值的情况下都能够得到更加准确的目标跟踪结果,且鲁棒性更强。     

空域同态滤波算法研究

改进空域同态滤波算法,将图像低通滤波结果反相作为补偿模型来平衡图像的光照非均衡性,减少低频信息的损失;对主要影响同态处理速度的空域滤波进行优化,提出了两种简化计算方法:基于Kronecker积构造2维窗的模板分解方法和基于抽样和插值方案的空域滤波近似方法。仿真结果表明,基于优化计算方案的改进同态滤波快速算法在补偿图像光照非均衡性、降低计算量的同时,有效地保持了图像低频信息,且可通过更多滤波模板实现。     

一种用于目标跟踪的改进粒子滤波算法

为解决目标跟踪中粒子滤波算法的估计精度、粒子退化问题,提出一种改进的粒子滤波算法。在粒子滤波的基础上,利用UKF生成粒子滤波的建议分布,以改善滤波效果,在无味粒子滤波的基础上,融合典型的MCMC抽样算法,减少传统算法未考虑当前量测对状态的估计作用所带来的影响,增加采样粒子多样化。将该算法应用于具有非线性、非高斯特点的目标跟踪问题中,仿真结果表明,与普通的粒子滤波算法相比,其跟踪精度和滤波效果有较大提高。     

一种基于改进的极值中值滤波算法

提出的改进的极值中值滤波(IEM)算法是在极值中值滤波(EM)算法的基础上做了如下两点改进.首先,采用更合理的检测方法来检测噪声点,减小将信号点误判为噪声点的概率.其次,采用改进的滤波算法,解决了当噪声点个数大于像素总数一半时,传统中值滤波无能为力的问题.实验证明,当噪声密度很大时,IEM方法不仅比EM方法有更好的滤波效果,而且能够更好地保护图像细节.     

基于Winnow算法的垃圾邮件过滤器研究

实现了基本的Winnow算法、Balanced Winnow算法和带反馈学习功能的Winnow算法,并将其成功地应用于大规模垃圾邮件过滤,分别在SEWM2007和SEWM2008数据集上对上述三个算法进行了对比实验.实验结果表明,Winnow算法及其变体在分类效果和效率上都优于Logiisfic算法.     

基于slope one算法改进评分矩阵填充的协同过滤算法研究

为解决协同过滤算法中的数据稀疏性问题,提出了一种改进的协同过滤算法。该算法使用slope one算法计算出来的评分预测值来填充评分矩阵中的未评分项目,然后在填充后的用户-项目评分矩阵上通过基于用户的协同过滤方法给出推荐。利用slope one算法计算出来的评分预测值作为回填值,既能降低评分矩阵的稀疏性,也保证了回填值的多样性,从而减少均值、中值等单一填充值造成的推荐误差。在MovieLens-1M数据集上对本文改进算法和协同过滤算法及均值中心化处理的算法作五折交叉实验,结果表明,基于评分预测值填充数据后的协同过滤算法有效的缓解了数据稀疏性问题,并且有更好的推荐效果。     

一种改进Minhash的分布式协同过滤推荐算法

协同过滤推荐算法通过研究用户的喜好,实现从海量数据资源中为用户推荐其感兴趣的内容。衡量用户（资源）的相似性是协同过滤算法的核心内容,在数据量大的系统中,用户（资源）的相似性度量会面临准确性和计算复杂性等问题,影响到推荐效果。提出一种改进的协同过滤推荐算法,提取用户兴趣偏好的多值信息,运用改进Minhash算法度量用户相似性,并结合Mapreduce分布式计算,合理、高效地产生用户邻居,实现对用户的评分推荐。实验结果表明：改进算法能有效改善大数据集的推荐准确性并提高推荐效率,降低了推荐耗时。