面向教学的网页自动分类系统的设计和实现

提出一个面向教学的Web页面自动分类的框架,并详细叙述了这一框架的实现。重点在于页面元数据的提取,页面特征的选取和量化。系统采用基于决策树的分类方法,采用C4．5机器学习算法,通过对大量人工标注页面的学习形成分类规则,并利用链接相关性对分类结果进行优化,以提高精度。     

基于决策树的ID3算法和C4．5算法的比较

阐明决策树分类器在用于分类的数据挖掘技术中依然重要,论述基于决策树归纳分类的ID3、C4．5算法,并且对决策属性的选取法则进行说明。通过实例解析ID3、C4．5算法实现过程,结果表明C4．5算法相比较于ID3算法的优越性．尤其在处理具有多属性值的数据时的更加合理和正确。     

决策树算法在天气评估中的应用

分类算法是数据挖掘中的一个最重要技术．本文分析了决策树分类算法中的ID3算法和C4．5算法．利用它们建立天气评估的决策树模型．研究了该决策树模型在天气评估中的应用，分析了决策树算法应用于数据分类和知识发现的过程和特点．同时文章中也指出了分类算法的不足之处和待解决的问题。     

一种多分类器Deep Web数据源的自动分类与判别方法

Deep Web数据源的发现和其领域相关性越来越引起人们的关注和兴趣。针对在判别查询接口时,提取精度低和忽略领域相关性的问题,提出一种采用多分类器对Deep Web数据源进行自动分类和判别的方法,其思想是：对爬虫获取到的页面使用朴素贝叶斯分类器对其进行领域相关性分类,然后使用改进的决策树分类器来对特定领域的数据源进行判定。实验结果表明此方法相比于使用单一决策树分类器有更好的性能,其召回率和精度都有所提高。     

浅析构造决策树分类方法

决策树是分类方法中的常用之一。对当前常用构造决策树的方法ID3和c4．5,最具代表性SLIQ和SPRINT算法进行介绍,在结合实例对ID3和C4．5算法构造决策树进行分析和比较,总结了各算法的特性。     

基于距离权值的C4.5组合决策树算法

针对C4.5决策树算法在处理多维数据分类时,没有考虑各属性对分类结果的影响,导致分类准确率低的问题,提出一种基于距离权值的C4.5组合决策树算法。根据标准欧式距离定义数据属性的距离权值,更新C4.5决策树算法的信息增益率,得到基于距离权值的C4.5算法。利用改进后的C4.5决策树分类算法训练多个基分类器,基分类器通过Bagging集成方法构建组合决策树。实验结果表明,该算法在处理多维数据时有较高的准确性和稳定性。     

竞争选择分裂属性的决策树分类模型

构建决策树分类器关键是选择分裂属性。通过分析信息增益和增益比率、Gini索引、基于Goodman-Kruskal关联索引这三种选择分裂属性的标准，提出了一种改进经典决策树分类器C4＋5算法的方法（竞争选择分裂属性的决策树分类模型），它综合三种选择分裂属性的标准，通过竞争机制选择最佳分裂属性。实验结果表明它在大多数情况下，使得不牺牲分类精确度而获得更小的决策树成为了可能。     

决策树分类技术研究

决策树分类是一种重要的数据分类技术。ID3、C4．和EC4．5是建立决策树的常用算法，但目前国内对一些新的决策树分类算法研究较少。为此，在消化大量文献资料的基础上，研究了CART、SLIQ、SPRINT、PUBLIC等新算法，对各种决策树分类算法的基本思想进行阐述，并分析比较了各种算法的主要特性，为数据分类研究者提供借鉴。     

基于改进的C4.5算法的网络流量分类方法

在基于C4.5算法的网络流量分类方法中,网络流量数据量的海量性及其特征的多样性使得决策树的构建速度、分类速度成为评价网络流量分类器的重要标准。在原C4.5算法的基础上提出一种改进的信息熵的计算方法,通过减少计算函数的复杂度,提高决策树的构建速度。实验表明,基于改进后算法的分类器在达到原有分类准确率的同时,极大地缩短了决策树的构成时间。     

基于贡献增益的森林剪枝

基于决策树的组合分类器可以看作一个森林。提出了一种森林剪枝算法来对森林进行剪枝,以简化组合分类器的结构,并提高其分类准确率。传统的决策树剪枝只考虑剪枝对单棵决策树的影响,而森林剪枝则把所有决策树看作一个整体,更加关注剪枝对组合分类器的性能影响。为了确定森林的哪些分枝可以被剪枝,提出一种称作贡献增益的度量。子树的贡献增益不仅与它所在的决策树的分类准确率有关,而且也与诸决策树的差异性有关,因此它较好地度量了一个结点扩展为一棵子树对组合分类器分类准确率的提高程度。借助于贡献增益,设计了一种基于结点贡献增益的森林剪枝算法FTCG。实验表明,无论森林是基于某种算法(如bagging)构建的还是某种组合分类器选择算法(如EPIC[1])的结果,无论每棵决策树是未剪枝的还是剪枝后的,FTCG都能进一步降低每棵决策树的规模,并且在大部分数据集上显著提高了剪枝后的组合分类器的分类准确率。     

A novel ensemble decision tree based on under-sampling and clonal selection for web spam detection

Currently, web spamming is a serious problem for search engines. It not only degrades the quality of search results by intentionally boosting undesirable web pages to users, but also causes the search engine to waste a significant amount of computational and storage resources in manipulating useless information. In this paper, we present a novel ensemble classifier for web spam detection which combines the clonal selection algorithm for feature selection and under-sampling for data balancing. This web spam detection system is called USCS. The USCS ensemble classifiers can automatically sample and select sub-classifiers. First, the system will convert the imbalanced training dataset into several balanced datasets using the under-sampling method. Second, the system will automatically select several optimal feature subsets for each sub-classifier using a customized clonal selection algorithm. Third, the system will build several C4.5 decision tree sub-classifiers from these balanced datasets based on its specified features. Finally, these sub-classifiers will be used to construct an ensemble decision tree classifier which will be applied to classify the examples in the testing data. Experiments on WEBSPAM-UK2006 dataset on the web spam problem show that our proposed approach, the USCS ensemble web spam classifier, contributes significant classification performance compared to several baseline systems and state-of-the-art approaches.     

Web图像清洗技术的研究与实现

目前Web文档中充斥着各种图像，因此，对Web上的图像进行清洗就显得非常必要，提出了Web图像清洗的概念，给出了一种基于机器学习的Web图像清洗方案，并实现了基于此方案的系统，将图像特征的提取建立在Web文档的DOM结构之上，并在决策树算法的基础上对多种特征表示及组合进行了实验和评价，实验结果表明，提出的Web图像清洗方案切实可行，清洗方法具有较快的速度和准确性。     

面向分层结构的网页分类与抓取

传统网络爬虫为基于关键字检索的通用搜索引擎服务,无法抓取网页类别信息,给文本聚类和话题检测带来计算效率和准确度问题。本文提出基于站点分层结构的网页分类与抽取,通过构建虚拟站点层次分类树并抽取真实站点分层结构,设计并实现了面向分层结构的网页抓取;对于无分类信息的站点,给出了基于标题的网页分类技术,包括领域知识库构建和基于《知网》的词语语义相似度计算。实验结果表明,该方法具有良好的分类效果。     

改进的决策树算法在文理分科中的应用研究

文理分科是高中生面临的第一次重大选择,选文科还是理科,很多同学感到两头难。针对这种情况,通过对比决策树分类算法中的ID3和C4.5算法,提出了基于影响因子的新的分类算法,构造了"文理分科分类器"。实验证明该方法在文理分科问题上比传统的ID3和C4.5算法有更高的分类精确度,该分类器可以辅助学生和家长进行文理科的选择,降低选择的错误性。     

网络流量的决策树分类

应用识别与流量分类是网络管理、安全、研究等相关事务的必要前提.随着网络的高速发展以及各种新型应用的不断涌现,基于分组传输层端口号和深度分组解析的分类技术难以满足需求.本文验证网络流量的统计特性可以有效地区分不同应用,提出一种基于C4.5决策树分类器的有监督网络流量分类方法,讨论boosting增强方法和特征选择两种改进.实验结果表明,C4.5分类器的训练复杂度适中,准确率高且分类速度快;增强方法可以进一步提高分类器的准确率,代价是训练时间大幅提高和分类时间稍微减慢;特征选择算法则提高分类速度而稍微降低准确率.     

基于不平衡数据集的级联决策树改进算法

提出一种针对客户离网问题的改进决策树分类算法——M-AdaBoost级联决策树。采用级联式的思想构造多个基于AdaBoost决策树分类器,通过设定子分类器的判决信息,组合成级联式决策树。实验结果表明,该方法相对于单一的C4.5决策树、传统的AdaBoost决策树以及随机森林具有更好的分类效果。     

C4.5算法在信息检索结果分类中的应用

决策树是归纳学习和数据挖掘的重要方法,该文对c4.5算法、决策树的构建和剪枝进行了介绍,然后将C4.5算法应用于信息检索结果分类中,实现了检索结果的分层分类处理。     

基于IF-THEN规则的决策树裁剪算法

决策树是机器学习和数据挖掘领域中一种基本的学习方法。文中分析了C4.5算法以及该算法不足之处,提出了一种决策树裁剪算法,其中以规则信息量作为判断标准。实验结果表明这种方法可以提高最终模型的预测精度,并能够很好克服数据中的噪音。