基于Web使用挖掘的用户行为分析

Web服务产生了大量的日志数据,这些数据记录了用户的行为信息。如何从海量的日志数据中自动、智能地抽取隐藏于其中的知识,这是本文要研究的问题。基于Web使用挖掘,对点击流数据源进行收集、预处理,并基于FP-tree的关联规则挖掘算法对用户行为进行分析,发现新模式,为优化网站建设提供有价值数据。     

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。     

Web日志挖掘与Web结构挖掘相结合的挖掘过程

Web挖掘常常被分成Web内容挖掘、Web结构挖掘和Web使用挖掘三类。Web使用挖掘又称为Web日志挖掘,是指从万维网用户的导航行为中发现有价值的信息的一种数据挖掘技术。Web日志挖掘一般有4个步骤:数据预处理、挖掘过程、模式分析和知识发现。数据预处理是对网站日志文件中的数据进行整理,清洗不完全的、杂乱的、噪声数据;模式分析是指提取用户不感兴趣的信息,并找到用户感兴趣的模式的过程;知识发现是指从日志文件中收集并发现有用知识的统计。主要介绍Web日志挖掘与Web结构挖掘相结合来完成挖掘过程及其应用。     

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

一种Web挖掘的框架

随着Web信息量的增长,Web用户也迅速增长,如何在海量信息中找出用户需要的信息变得更加重要。基于Web服务器日志,分析在线用户的浏览行为,挖掘Web数据并找出用户的遍历模式已经成为一个新的研究领域。针对Web站点的结构,给出了一个Web挖掘的完整框架,允许在分析复杂的遍历模式时加入约束条件,然后对框架中算法的执行效率和执行准确性进行比较和分析,同时展望了Web挖掘的未来研究方向。     

Web日志挖掘技术的应用研究

Web日志中保存着用户访问网站的大量信息,通过挖掘预处理后的日志数据,可以得到用户聚类,URL聚类以及用户频繁访问路径等诸多有用信息。本文先分析处理网站的日志数据,再阐述了Web日志挖掘的算法,最后讨论了Web日志挖掘的应用。     

Web日志挖掘中的数据预处理研究

Web日志信息的预处理是Web日志挖掘任务中的重要阶段,是整个Web日志挖掘过程的基础和实施有效挖掘算法的前提,在Web日志挖掘中起着重要的作用,也是工作量较大的一部分。数据预处理的基本技术,包括数据清理、数据集成和转换、数据归约等。本文介绍了数据预处理中涉及到的数据清理、用户识别、会话识别、路径补充、事务识别等过程,并提出了一种路径补充算法。     

关联规则在Web日志挖掘中的应用研究

首先分析了类FP关联规则挖掘算法,然后重点介绍了如何对Web服务产生的大量日志数据进行收集、预处理,并基于类FP挖掘算法对Web日志进行分析,发现新模式,为优化网站建设提供有价值数据。     

改进的关联规则算法在电子商务中的应用

Web日志数据中保存有大量用户访问信息,而Web日志挖掘就是对系统日志信息以及用户的注册数据等进行挖掘,以发现有用的模式和知识。首先介绍了Web日志挖掘的基本流程,然后介绍了电子商务中的日志挖掘,并着重分析了在模式识别中如何利用改进的关联规则算法来挖掘出用户频繁访问的路径和页面兴趣度,为个性化推荐系统模型提供了依据,从而证实了对Web日志数据进行挖掘具有很重要的现实意义。     

一种基于Web日志文件的信息挖掘方法

数据预处理和日志挖掘算法是Web日志挖掘中的关键技术。文中根据Web访问模式的用户特征，提出了一种基于Web日志文件的信息挖掘系统的体系结构。在此基础上，分析了其数据挖掘过程和信息挖掘算法。     

基于粗糙集的Web事务聚类算法

针对现有Web数据挖掘方法发现的知识和规则存在不精确或不完全的问题,将粗糙集引入到Web挖掘中,进行Web事务聚类.粗糙近似算法基于用户访问序列的顺序和内容建立用户事务相似度矩阵,运用基于相似度矩阵的粗糙上近似提取初始类,使用相对相似性的条件作为合并准则,基于约束相似性的上近似形成后续类.粗糙近似算法能够有效挖掘Web访问日志,聚类Web事务,发现用户访问Web页面的模式.     

基于粗糙近似的Web事务聚类方法研究

Web使用挖掘是数据挖掘技术在Web信息仓库中的应用.Web使用挖掘通过挖掘Web服务器日志获取的知识来预测用户浏览行为,是Web挖掘技术中的一个重要研究方向.通常发现的知识或一些意外规则很可能是不精确的、不完备的,这就需要用软计算技术如粗糙集来解决.提出一种基于粗糙近似的聚类方法,该方法能够实现从Web访问日志中聚类Web事务.通过这种方法可以有效地挖掘Web日志记录,从而发现用户存取Web页面的模式.     

基于高斯混合模型的Web代理服务器缓存替换策略

Web代理服务器缓存能够在一定程度上解决用户访问延迟和网络拥塞问题,Web代理缓存的缓存替换策略直接影响缓存的命中率,从而影响网络请求响应的效果;为此,使用一种通过固定大小的循环滑动窗口提取Web日志数据的多项特征,并使用高斯混合模型对Web日志数据进行聚类分析,预测在窗口时间内可能再次访问到Web对象,结合最近最少使用(LRU)算法,提出一种新的基于高斯混合模型的Web代理服务器缓存替换策略;实验结果表明,与传统的缓存替换策略LRU、LFU、FIFO、GDSF相比,该策略有效提高了Web代理缓存的请求命中率和字节命中率。     

基于兴趣度的Web用户访问模式分析

Web日志隐含了用户访问Web行为的动因和规律,如何有效地从中挖掘出用户访问模式是Web日志挖掘的重要研究内容.构造了User_ID-URL矩阵,矩阵元素为用户访问页面的兴趣度.应用经典的模糊C-均值聚类算法进行用户访问模式分析,通过在真实数据集上的实验,结果表明引入了用户兴趣度的日志挖掘算法是行之有效的.     

基于模糊聚类的Web日志挖掘的应用研究

在Web数据挖掘研究领域中，Web日志挖掘是Web数据研究领域中一个最重要的应用方面。本文对Web日志挖掘作了系统的研究。包括对服务器上日志结构的分析和对数据预处理过程的描述。文中着重讨论了用户模糊聚类的算法，并用实例证明了模糊聚类在web用户聚类应用中的可行性。在此基础上还提出了一个Web站点的个性化服务模型，通过对Web服务器中日志的挖掘，发现具有相似访问兴趣的用户群，进而为用户作个性化的推荐。     

基于模糊聚类的Web日志挖掘的应用研究

在Web数据挖掘研究领域中,Web日志挖掘是Web数据研究领域中一个最重要的应用方面。本文对Web日志挖掘作了系统的研究,包括对服务器上日志结构的分析和对数据预处理过程的描述。文中着重讨论了用户模糊聚类的算法,并用实例证明了模糊聚类在Web用户聚类应用中的可行性。在此基础上还提出了一个Web站点的个性化服务模型,通过对Web服务器中日志的挖掘,发现具有相似访问兴趣的用户群,进而为用户作个性化的推荐。     

基于WEB挖掘的企业营运能力绩效评价模型的研究

企业的Web日志中蕴藏着丰富的信息.首先从企业绩效的角度出发,提出以企业营运能力的绩效评价为目标的Web被访信息的空间存储模型,模型中存储了访问时间序列、访问轨迹和评价指标等信息;然后将绩效评价体系的理论、基于Web的信息技术、数据挖掘技术集成,利用关联规则挖掘算法实现对因特网内的大范围Web日志的内容分析和主题挖掘,建立了基于Web挖掘的企业绩效方法.该模型为企业进行绩效评价提供了一种新思路.     

Web使用挖掘在信任管理中的应用

通过研究IIS的工作原理、.Net程序架构及其宿主环境,在HTTP管道中拦截用户请求,创建一种新的Web日志,以聚类等方法对新日志进行挖掘,将信息数据应用于电子商务系统的信任管理中。实验证明,基于新日志的信息可以提高服务器的各项性能,约束用户的商业行为。     

Web文本信息的特征获取算法

Internet的发展为人们提供了大量的信息资源，Web文本挖掘是从非结构化的文本中发展潜在的、有价值知识的一种有效技术，本文以矢量空间模型为Web文本的表示方法，提出了一个基于遗传算法的Web文本特征抽取算法，进一步提高了Web文本诉处理效率，为文本的分类、聚类以及其它处理提供了简炼的特征表示方法，实验证明，该种处理方法有效地降低了文本特征矢量的维数。     

结合Web站点结构的路径补充

服务器端保存的Web访问日志含有大量的用户浏览信息,因此有效地利用该资源可以挖掘出有用的信息,并能得到用户个人的访问模式,从而为改善站点结构提供了支持。在结合站点拓扑结构的基础上,针对Web日志挖掘数据预处理过程中的路径补充提出了最短向后父节点算法(SBFN)。研究表明该算法能够对Web日志中的用户访问路径进行补充,从而为解决站点结构优化问题提供了方案。