基于卡方特征选择和LDA主题模型的中文短文本分类

中文短文本自身包含词汇个数少、描述信息能力弱,常用的文本分类方法对于短文本分类效果不理想。同时传统的文本分类方法在处理大规模文本分类时会出现向量维数很高的情况,造成算法效率低,而且一般用于长文本分类的特征选择方法都是基于数理统计的,忽略了文本中词项之间的语义关系。针对以上问题本文提出基于卡方特征选择和LDA主题模型的中文短文本分类方法,方法使用LDA主题模型的训练结果对传统特征选择方法进行特征扩展,以达到将数理信息和语义信息融入分类算法的目的。对比试验表明,这种方法提高了中文短文本分类效果。     

流数据和传统数据存储及管理方法比较研究

传统数据或静态数据是指来自关系数据库、数据仓库和事务数据库里面的数据,与之对应的流数据,是一种具有实时、快速和连续到达特点的动态数据.由于流数据的上述特点,使得应用于传统数据挖掘的技术和方法不能很好地适应流数据.对传统数据进行存储、查询和管理,使用成熟的DBMS完成,对流数据的类似操作,必须开发出具体的DSMS加以实现.提出了一个对流数据进行管理的系统框架,并在管理系统和存储方式两方面对两种数据进行综合比较.     

基于语义查询扩展的垂直搜索研究

基于关键词的搜索引擎无法满足用户需求,传统查询扩展方式又会带来许多语义理解错误,针对该问题,提出一种基于本体的垂直搜索引擎概念模型,建立基于关键词和基于概念的两层索引结构,利用行业领域本体对用户提交的关键词进行语义查询扩展,并对按照本体标注的文档进行排序优化,提高查询的查全率和查准率。     

基于加权的本体相似度计算方法

为优化基于本体的语义推理效果,提出了对本体中概念结点赋予权重的相似度计算方法.通过定义本体树中深度因子和密度因子,以解决本体中概念深度与密度对相似度计算的影响.利用Jena API、Lucene等开源工具包,提出了查询扩展方法.实验结果表明,提出的基于加权语义相似度计算模型与传统的计算法方法以及主观判断的方法相比,提高了相似度计算的准确性,效率有明显提高.     

基于综合本体相似度计算的WEB服务发现算法

服务发现的主要过程就是对服务请求和己注册服务间IOPE进行匹配.提出一种新的服务发现框架,以及改进的综合相似度算法.综合考虑语义距离,本体树中概念的深度、密度,以及信息共享来计算服务的相似度.将服务发现过程分为过滤和排序两阶段,并对服务的各参数分别采用更适合的相似度计算方法.将用户给出的服务输入用于最后的排序阶段,以减...     

基于语义的VSM模型改进

文本聚类在很多领域都有广泛的应用,传统的文本聚类方法由于并不考虑语义因素,得出的聚类效果并不理想.利用语义对VSM模型进行变换,即基于语义对VSM模型的各维进行扭曲,将原本的正交坐标系基于语义变换为斜角坐标系,然后将文本的特征向量映射到变换后的VSM模型上再进行聚类,相对减小语义相关的特征向量间的语义距离,从而提高了文...     

一种混合属性数据的聚类算法

提出一种基于属性分解的随机分组的改进方法,以提高聚类算法的稳定性和适用性。实验仿真结果表明,改进算法具有很好的稳定性和应用性。     

关联规则挖掘中的隐私保护研究

数据挖掘中的关联规则反映一个事件和其他事件之间依赖或相互关联的知识.随着大量数据不停地收集和存储积累,人们希望从中发现感兴趣的数据关联关系,从而帮助他们进行决策.随着信息技术的发展,数据挖掘在一些深层次的应用中发挥了积极的作用.但与此同时,也带来隐私保护方面的问题.隐私保护是当前数据挖掘领域中一个十分重要的研究问题,其目标是要在不精确访问真实原始数据的条件下,得到准确的模型和分析结果.为了提高对隐私数据的保护程度和挖掘结果的准确性,提出一种有效的隐私保护关联规则挖掘方法.针对关联规则挖掘中需预先给出最小支持度和最小置信度这一条件,提出了一种简单的事务数据库中事务的处理方法,即隐藏那些包含敏感项目的关联规则的方法,以对相关事务作处理,达到隐藏包含敏感项目的关联规则的目的.理论分析和实验结果均表明,基于事务处理的隐私保护关联规则挖掘方法具有很好的隐私性、简单性和适用性.     

本体映射中的概念相似度计算

本体是概念、属性和关系的集合,本体映射是解决本体异构的最好方法.文中针对目前本体映射过程中概念相似度计算存在的问题,提出一种综合的相似度计算方法.先根据本体中两个概念名称的相似性,选出最相关的概念,减少相似度的计算,然后分别基于概念的属性、实例和关系来计算概念相似度,并进行综合得到概念相似度.在计算属性相似度时,先通过计算属性的信息增益来确定各个属性的优先级,最后只选取几个信息增益大的属性进行相似度的计算,从而减小计算量.     

银行业数据仓库的性能优化方法

首先说明了数据仓库的特点和结构及性能优化技术;然后结合银行业数据仓库的特点,提出了在银行业数据仓库系统开发中提高系统性能的几种设计方法。实践证明,在系统开发过程中,合理运用这些方法,可大大提高数据仓库系统的性能。