基于LDA的文本特征选择算法研究与探讨

LDA模型是目前在智能信息处理领域应用较多的挖掘主题信息的方法,本文从LDA模型生成、模型参数求解到最终的模型生成等方面对其进行了详细介绍,并就其在文本特征选择算法中的应用做了相关研究与探讨,并详细说明LDA在文本特征选择中所具有的优势。     

基于层级类别信息的标题自动分类研究

针对标题文本特征少、特征维度高和分布不均匀导致分类性能不佳的问题,该文提出了一种利用分类体系结构信息的双向特征选择算法,并在该方法基础上实现标题分类。该方法以具有严格层级关系的分类体系为应用前提,利用类别与词的同现和分布关系进行特征词和候选类别的双向选择,构建类别向量空间;通过分析标题文本特征词在层级类别向量空间的分布所表现出的类别语义信息,确定文本所在层级以及所在层级的候选类别;之后利用分类器对未能成功分类的标题进行分类。在人工标引数据集上的实验结果表明,该方法在不进行语料扩展和外部知识库添加的基础上仍可有效地确定文本所在层级,实现多级学科的分类;并可在识别类别语义信息的基础上,降低候选类别数目,提高分类效率。