一种基于VSM的中文网页分类方法

本文应用有指导机器学习方法实现了一个分类器.运用改进型的MI进行特征提取,并对传统的TFIDF加权公式进行了改进.实验结果表明该分类器有较高的分类质量,满足了中文网页自动分类的要求.     

"天网"目录导航服务研究

为了提高搜索引擎的查准率,帮助用户快速地定位其感兴趣的网页,研究了如何在Spider式搜索引擎“天网”系统中提供目录导航服务。基本思想就是利用有指导的机器学习方法实现中文网页的自动分类。主要贡献有两点：①搜集并建立了一个面向中文网页并且支持层次模型的大规模中文网页数据集,这是实现中文网页自动分类的前提和基础;②针对中文网页信息的自身特性以及CHI方法的固有缺陷,提出一种自动清除“噪音”的特征选取算法,并实现了一个能够处理海量中文网页的分类器。实验结果表明该分类器有较高的分类质量,满足了搜索引擎目录导航服务的要求。     

基于决策支持向量机的中文网页分类器

提出了基于决策支持向量机的中文网页分类算法。把支持向量机方法和二叉决策树的基本思想结合起来构成多类别的分类器，用于中文网页分类，从而减少支持向量机分类器训练样本的数量，提高训练效率。实验表明，该方法训练数据规模大大减少，训练效率较高，同时具有较好的精确率和召回率。     

一种基于支持向量机的专业中文网页分类器

文中提出了一种基于支持向量机的专业中文网页分类算法，利用支持向量机对网页进行二类分类，找出所需专业的中文网页；然后利用向量空间模型，对分类好的专业网页进行多类分类。在构造支持向量机的过程中，为了提高分类的召回率，采用了一种偏移因子。该算法只需要计算二类SVM分类器，实验表明，它不仅具有较高的训练效率，同时能得到很高的分类精确率和召回率。     

基于支持向量机的中文网页自动分类

研究了支持向量机在中文网页分类中的应用,给出了基于关键词的中文网页特征提取和选择方法,阐述了统计学习理论中的支持向理机模型及其在分类问题应用中的特点,给出了设计支持向量机分类器的二次规划学习算法。     

一种基于预分类的高效SVM中文网页分类器

中文网页分类技术是数据挖掘研究中的一个热点领域,而支持向量机（SVM）是一种高效的分类识别方法。首先给出了一个基于SVM的中文网页自动分类系统模型,详细介绍了分类过程中涉及的一些关键技术,其中包括网页预处理、特征选择和特征权重计算等。提出了一种利用预置关键词表进行预分类的方法,并详细说明了该方法的原理与实现。实验结果表明,该方法与单独使用SVM分类器相比,不仅大大减少了分类时间,准确率和召回率也明显提高。     

基于URL的中文多语义名词在线语义标注

中文语义标注在自然语言处理领域有广泛的应用,其目的在于挖掘并标注出中文多语义名词的多个语义。提出一种新颖的语义标注算法,通过在线URL分类目录,构建得到URL分类器。借助于URL分类器,对搜索引擎返回的多语义名词的搜索结果(包括网页URL及摘要)进行分类,得到多语义名词的初始语义分类结果。对初始语义分类结果按其网页摘要聚类,提取聚类特征后得到多语义词的语义标注结果。该算法利用基于URL的网页分类方法,能在线对中文多语义名词进行语义标注。实验结果证明,该语义标注算法可以取得70%的准确率及80%的召回率,适用于网络热词语义标注。     

基于代表样本动态生成的中文网页分类

针对中文网页分类问题该文设计了一种新的基于代表样本动态生成的分类算法。算法通过对原始训练样本集的训练逐个生成代表样本，并充分利用被裁剪训练样本的有效信息，对已生成的代表样本进行多次调整，从而使代表样本更具有代表性。基于该算法的中文网页分类器的实验结果表明，算法有效地压缩了原始训练样本集，提高了分类效率，同时保持了分类的准确性；具有较好的分类性能。     

一种基于Oracle Text的中文网页自动分类系统

Oracle Text是一种创建文本搜索和文档分类应用的技术。本文提出了一种基于该技术实现中文网页自动分类系统的解决方案。实验结果表明该方案准确有效,具有较好的性能,满足中文网页自动分类的需求。     

文本自动分类关键技术研究

为了提高文本自动分类的准确率,本文在分析文本分类预处理阶段的中文分词、特征提取、向量空间模型、web结构挖掘技术等基础上,对相关技术进行了的改进,并设计基于支持向量机文本分类器(UJS-Classifier)实现了最终的文本分类.根据测试语料分别对中文分词模块和网页文本分类模块性能进行测试,实验结果表明UJS-Classifier在分词的歧义切分、网页分类的性能及准确率都有一定的提高.     

级联式低消耗大规模网页分类在线获取方法

针对海量网页在线自动高效获取网页分类系统设计中如何更有效地平衡准确度与资源开销之间的矛盾问题,提出一种基于级联式分类器的网页分类方法。该方法利用级联策略,将在线与离线网页分类方法结合,各取所长。级联分类系统的一级分类采用在线分类方法,仅利用锚文本中网页标题包含的特征预测其分类,同时计算分类结果的置信度,分类结果的置信度由分类后验概率分布的信息熵度量。若置信度高于阈值（该阈值采用多目标粒子群优化算法预先计算取得）,则触发二级分类器。二级分类器从下载的网页正文中提取特征,利用预先基于网页正文特征训练的分类器进行离线分类。结果表明,相对于单独的在线法和离线法,级联分类系统的F1值分别提升了10.85%和4.57%,并且级联分类系统的效率比在线法未降低很多（30%左右）,而比离线法的效率提升了约70%。级联式分类系统不仅具有更高的分类能力,而且显著地减少了分类的计算开销与带宽消耗。     

基于向量空间的网页内容相似度计算方法研究

针对海量网页数据挖掘问题,提出基于向量空间的网页内容相似计算算法和软件系统框架。利用搜索引擎从海量网页中提取中文编码的网页URL,在此基础上提取网页的中文字符并分析提取出中文实词,建立向量空间模型计算网页内容间的相似度。该系统缩小了需要进行相似度计算的网页文档范围,节约大量时间和空间资源,为网络信息的分类、查询、智能化等奠定了良好的基础。     

基于贝叶斯分类器的主题爬虫研究*

主题爬虫是实现定题搜索引擎的核心技术。提出了基于贝叶斯分类器实现主题爬虫的方法,介绍了基于贝叶斯分类器的主题爬虫的系统结构以及系统关键部分的实现,包括URL队列、爬行历史、页面下载以及页面分析,并重点介绍了基于贝叶斯分类器的主题相关度算法。爬虫使用改进的TF-IDF算法来提取网页内容的特征,并采用贝叶斯分类器计算其主题相关度。实验结果表明,在搜索大量网络资源的情况下,贝叶斯分类器比PageRank算法更适合用于实现主题爬虫。     

关于“中文网页自动分类竞赛”结果的分析

在最近召开的“全国搜索引擎与网上信息挖掘学术研讨会”上,举办了一场“中文网页自动分类竞赛”,共有来自全国各地的10个队参加。本文在介绍本次竞赛活动规则和过程的基础上,详细分析了竞赛的结果,从而使我们对于目前中文网页自动分类技术的现状有了一种具体的认识:目前已有分类器的性能没有呈现出明显的差距,中文网页的分类比普通文本的分类要困难的多。同时,本文还尝试推出一个标准的中文网页分类的实例样本集,希望通过不断完善,最终作为中文网页分类技术研究的基本语料。     

面向恶意网页训练数据生成的GAN模型

针对基于机器学习算法识别恶意网页时恶意网页样本收集困难的问题,提出了一种基于生成对抗网络（GAN）的扩展恶意网页样本数据集的方法（WS-GAN）,使用少量的原始样本数据训练生成对抗网络,利用生成器模拟生成网页样本。同时在原有生成对抗网络的结构中加入了多个判别器：全局判别器判别整体样本的真伪,控制生成样本整体的质量;各特征判别器判别其对应类别特征数据的真伪,控制生成样本细节部分的质量。实验结果表明,WS-GAN生成的网页特征样本可用于恶意网页分类器的训练,并且其生成样本的质量优于条件生成对抗网络和条件变分自编码器生成样本的质量。