点击流数据仓库ETL设计

介绍对点击流数据仓库中存储的大量客户在网站上的web日志信息进行ETL的过程.     

基于点击流数据仓库的用户行为分析

点击流数据揭示了网上消费者在网上的冲浪行为,这些数据记录了用户的行为信息.如何从海量日志数据中自动、智能地抽取隐藏于其中的知识,这是本文要研究的问题.介绍一种利用SQL Server 2005构建Web日志数据仓库的方案,先对点击流数据进行收集、预处理,并加载到数据仓库,然后通过Analysis Services深入分析网站用户的消费行为、兴趣偏好,挖掘有趣模式,获取更多有指导意义的商业信息.     

基于点击流的客户行为分析引擎的设计与实现

给出了一个基于点击流的客户分析引擎的设计,通过对ExLF日志文件格式进行扩充,分别利用基于嵌入Session变量的Cookie识别机制和时间窗口模型来对用户及用户访问事务进行识别,同时给出了数据源收集的具体数据库表格.在结合聚类和CLV价值分析识别核心客户后,进一步将点击流会话事务文件与商务网站的内部数据相结合,利用改进的Apriori算法,进行多维关联规则挖掘,从而实现对用户行为和兴趣模式进行分析.     

点击流数据仓库中客户管理星型模式设计

点击流数据仓库中存储了大量客户基本信息及客户在网站上的点击行为信息,其组织方式的好坏直接影响到联机分析处理和数据挖掘的效率.传统的页面事件和会话星型模式没有把客户这一商业行为中的核心实体作为实事表,因而不能提供直接面向客户的综合分析.对原有模式进行分析的基础上,根据企业CRM的实际需求,提出了一种以客户为中心的客户管理星型模式,并利用面向客户的时间轮转模型予以实现.     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

Web站点的点击流数据分析方法的设计与实现

Web挖掘就是利用数据挖掘技术从Web文档和服务中自动发现和抽取信息,用于Web挖掘的最有效的数据就是点击流,现在对点击流数据进行建模和分析所采用的方法要么过分强调挖掘算法,要么过分强调实用性。基于此,笔者提供了一种将挖掘算法与商业智能(BI)相结合的统计建模方法。     

关联规则在高校系统中的应用

运用数据挖掘中的关联规则分析了高校教学管理中教师信息之间的隐藏关系.并对数据进行了标准化处理,采用优化的Appriori算法进行数据挖掘.通过事例分析了教师的教学工作量和发表论文之间的隐含关系,可为教学管理提供决策支持.     

点击流中事务数据模型的设计与实现

点击流数据简单说就是Web服务器上一系列有序的日志记录。随着WWW应用及电子商务的高速发展,电子商务网站的Web服务器上自动收集了大量的用户访问信息记录,即所谓的Web日志。Web日志蕴涵了大量的有用信息,如客户来源、客户访问趋势、客户兴趣、网站流量等,因而记录和分析Web日志数据已逐渐成为e企业的一项重大活动。点击流数据仓库对原始的Web日志数据进行过滤、清洗并集成,以便于利用联机分析处理和数据挖掘技术对点击流数据做进一步分析,从而为企业创造巨大的信息财富。     

关联规则在超市购物系统中的应用

互联网技术在带给我们一个信息爆炸时代的同时,也极大地增加了从浩瀚数据堆里寻找有用知识的困难程度。面对不断拓展的数据规模,对海量信息的搜索、管理以及实时处理能力将面临严峻的挑战。文章主要介绍基于Apriori算法关联规则的具体应用。     

基于数据仓库和数据挖掘的应用研究

介绍了数据仓库的发展历史,讨论了构建数据仓库的方法和实现数据挖掘的一般步骤.最后用基于关联规则的数据挖掘技术解决网络拥挤的问题.     

改进Apriori算法在医院监护中心的研究与应用

为了提高对医院监护中心历史数据的管理水平,为监护人员提供有力的决策支持,提出了一种针对该系统的改进Apriori算法。该算法引入了属性值度的概念,减少了找出频繁项集所需要的时间,也减少了扫描数据库的次数。为了验证改进Apriori算法的正确性、有效性和快速性,文中将改进的Apriori算法与传统的Apriori算法分别应用到医院监护中心系统中去,并对两种算法的效率进行了比较。结果表明,改进Apriori算法能够得到所需要的强关联规则,并在效率上有显著的提高,为监护人员更好控制患者的病情提供了很好的决策支持。     

基于改进的关联规则挖掘算法的研究

A priori算法是经典的关联规则挖掘算法,它利用逐层搜索的迭代方法完成频繁模式的挖掘工作,反复进行连接剪枝操作,思路简单易操作,但也伴随着产生庞大候选集,多次扫描数据库产生巨大I/O开销的问题,提出一种改进算法:基于矩阵的关联规则挖掘算法,同A priori算法比较,该算法只需扫描一遍数据库,就可直接查找k-频繁项集,尤其是当频繁项集较高的时候,该算法具有更高的执行效率,在大数据量的情况下更具有可行性。     

基于遗传算法的多关系数据挖掘的研究

多关系数据挖掘的研究领域涉及多个学科,它在由多张表构成的关系数据库中进行知识发现。遗传算法是模拟生物的遗传和进化过程而形成的一种自适应全局优化概率搜索算法。该文将遗传算法应用于多关系数据挖掘,组合使用Apriori方法可从多张表中高效地挖掘出有意义的关联规则。     

数据挖掘中关联规则算法的研究

目前,人们已经提出了许多挖掘关联规则的算法及其变型,其中最著名的是Apriori算法,但传统的算法效率太低。为了解决这些问题,本文提出了一种快速更新的关联挖掘算法。     

数据挖掘技术在高校课堂教学评价中的应用

数据挖掘技术目前在商业、金融业等方面都得到了广泛的应用,而在教育领域应用较少。数据挖掘中的关联规则挖掘能够发现大量数据中项集之间有趣的关联或相关联系,特别是随着大量数据不停地收集和存储,从数据库中挖掘关联规则就越来越有其必要性。文中从滁州学院教师档案数据库提取相关教师的记录,并结合课堂教学质量评估中的实际数据,利用改进的Apriori算法找出教师本身的素质与学生评价结果之间的内在关系。     

关联规则挖掘Apriori算法的研究与改进

本文采用一种基于布尔矩阵的频繁集挖掘算法。该算法直接通过支持矩阵行向量的按位与运算来找出频繁集,而不需要Apriori算法的连接和剪枝,通过不断压缩支持矩阵,不仅节约了存储空间,还提高了算法的效率。     

关联规则挖掘算法的改进

为了提供一种更加准确高效的关联规则算法,在传统的Apriori算法的基础上引入分而治之的理念和加权的思想。先把数据库分成互不相交的块,根据需求分析从每一个块中产生用户感兴趣的子集,把所有的子集合并成挖掘对象,再利用普通的关联规则算法产生频繁项集,最后在该项集的基础上产生加权频繁项集。该算法基本上克服了传统Apriori算法的缺点,从而大大地提高了运算效率,最大限度解决了“项集生成瓶颈”问题,并且使得生成的关联规则更加科学、准确。     

基于领域专家知识挖掘应用研究

概述了数据仓库与数据挖掘,并在此基础上对山西省109个气象站建站以来常用的气象要素资料采用SOL server的Analysis Services建立了气象数据仓库;在数据仓库上结合实际需求,采用VB编程,应用FCM算法结合领域专家的经验对气象数据进行预处理,利用语言值关联规则挖掘算法挖掘关联规则。实验证明,这种旱涝预测的新方法可以更好地为地方政府服务,为决策者服务。     

数据挖掘中关联规则算法的研究

近些年来,计算机技术迅猛发展带动信息技术的兴起,数据挖掘技术被广泛地应用到各个领域当中。这个新兴的领域为数据挖掘技术提供了最为活跃的算法,即关联规则算法,其能够对于大量的数据和信息进行处理,通过将繁琐的项集从数据库中找出来,经过整理之后,将项集之间的关联关系建立起来,从中挖掘出有价值的数据信息,以在一定程度上满足不同领域的需要。本文针对数据挖掘中关联规则算法进行研究。     

数据流聚类算法研究

许多应用程序会产生大量的流数据,如网络流、web点击流、视频流、事件流和语义概念流。数据流挖掘已成为热点问题,其目标是从连续不断的流数据中提取隐藏的知识/模式。聚类作为数据流挖掘领域的一个重要问题,在近期被广泛研究。不同于传统的静态数据聚类问题,数据流聚类面临有限内存、一遍扫描、实时响应和概念漂移等许多约束。本文对数据流挖掘中的各种聚类算法进行了总结。首先介绍了数据流挖掘的约束;随后给出了数据流聚类的一般模型,并描述了其与传统数据聚类之间的关联;最后提出数据流聚类领域中进一步的研究热点和研究方向。