基于代理服务器的协作浏览

1 引言当一个工作组的用户通过WWW代理服务器(ProxyServer)访问Internet时,在Proxy Server的日志内会留下他们的访问记录。其基本访问方式如图1所示。     

一种新的代理缓存替换策略

代理缓存的替换策略事实上可以看做排序问题，排序的标准可能有多种，寻找一个好的代理缓存的替换策略就是寻找一个能够反映真实Web访问特性的标准，基于文档大小的替换策略是一种简单实用的策略，但是并未全部利用WWW访问特性，根据在代理缓存日志中对各种访问特性的分析，使用文档大小，访问频率、文档访问剩余寿命作为计算文档价值的要素，提出了一种新的替换策略，这种策略同时具有较高的文档命中率和文档字节命中率，最后给出了基于日志的模拟。     

网络日志规模分析和用户兴趣挖掘

文章围绕网络日志中是否蕴含用户访问Web的规律性特性以及如何利用这些特性,研究了日志规模与用户数、Web文档数以及单位用户访问的Web文档数的关系;通过用户对Web访问动机的分析得出结论：一定时间段的Web访问日志中蕴含了用户的稳定兴趣;利用日志中蕴含的用户稳定兴趣,提出了一个基于用户行为的相关文档检索模型和搜索引擎系统SISL SISI的实际检索性能与分析检索模型所得结论一致：检索准确率和检索时间主要依赖于用户数,检索返回的记录数主要依赖于文档数．     

话说Proxy

经常在网上冲浪的朋友一定见过Proxy这个词,在WWW浏览器的设置中也有Proxy Server这个选项。那么Proxy是个什么东西呢? 普通的因特网访问是一个典型的客户机/服务器(Client/Server)结构:用户本地计算机上的客户端程序(例如浏览     

基于分布式协同缓存机制的Web Proxy研究

提出了一种基于全局内存对象缓冲池的高性能分布式Web Proxy模型，通过在系统范围内构建类似于分布式共享存储器系统的缓冲池，并将分布式Web Proxy系统中访问最频繁的Web对象置于其中，则Web对象的平均服务时间缩短，提高了系统性能。通过实际Proxy服务器的访问日志进行了系统性能仿真，结果表明，该机制可以提高分布式Web Proxy服务器的性能。     

基于Web日志挖掘的数据预处理应用研究

文章在分析Web日志的基础上,结合西华师范大学计算机学院WWW站点的访问日志,主要论述了在Web日志挖掘前所做的准备工作--数据预处理.数据预处理是整个Web日志挖掘过程的基础和实施有效挖掘算法的前提,在Web日志挖掘中起着重要的作用.     

如何在网页中访问Web数据库

随着Web应用越来越广泛,WWW页面已经由静态网页逐渐发展成为动态的交互式网页,WWW网页与数据库的连接也显得越来越重要。本文将综合介绍几种在WWW中访问数据的方法。假设数据库服务器的操作系统为WindowsNT Server 4.0,数据库是MicrosoftSQL Server 6.5,其中有一名为Example的数据库,一个名为Student的表,其中存放着年龄、性别等信息,现在讨论如何在网页中访问它。     

应用多维数据立方体开采Web日志的多维关联规则

随着WWW应用的高速发展和广泛普及,在WWW民务器上收集了大量的Web日志,这些日志记录了Web用户对Web页面的每一次访问的过程,它是一种宝贵的信息财富．应用多维数据立方体开采Web日志的多维系联规则,可以掌握网络流量、理解用户访问模式,进一步地可利用这些信息来提高Web系统性能、促进对Web站点的系统设计,以及预测未来用户的数量和爱好;最终可以在日益发展的电子商务领域,指导企业明智地进行市场决策。     

基于Web访问的数据挖掘

随着WWW的迅猛发展,基于Web的信息量不断的增加,如何从Web挖掘中寻找知识,通过对Web访问模式的数据挖掘研究,探索Web日志的分析流程,并展示它广泛的应用前景。     

基于用户兴趣迁移的Web日志仿真生成算法

针对仿真生成算法采用静态分布模型生成Web日志,会造成与真实数据之间存在较大差异的问题,提出一种基于用户兴趣迁移的Web日志仿真生成（WLSG）算法。该算法首先对Web日志与时间的关系进行了建模;其次,模拟了用户在不同时间访问文件时用户的兴趣迁移;最后,也模拟了用户自适应访问当前时刻最感兴趣的文件。相对于现有的采用静态分布模型的仿真算法,所提算法能够提高自相似性指标约2.86%。实验结果表明,该算法通过用户的兴趣迁移来改变用户的访问序列,能够较好地模拟真实Web日志,有效地应用于Web日志的仿真生成。     

基于马尔可夫链的网页间距离衡量方法

HTTP/1.1的持续连接特性会给基于内容请求分发的Web集群服务器带来额外的开销。为减少这种开销,可将用户经常一起访问的网页组成簇并以簇为单位来分布文档。如何衡量网页间的距离是网页组簇的关键问题。该文提出一种基于马尔可夫链的衡量网页间距离的方法,该方法同时考虑了用户访问的时间相关性和用户的访问路径。实例表明,与基于时间相关性的衡量网页间距离的方法相比,采用该衡量方法能更有效地减少网页组簇后HTTP/1.1持续连接所带来的额外开销。     

网站浏览路径预测

用户浏览因特网网站点击某个链接后,该链接的网页往往需要一段时间才能传送到用户端.为了缩短用户的等待时间,利用网站服务器的空闲CPU时间,对用户下一个HTTP请求进行预测,以便预处理下一个网页是一种可能途径.使用已分类的网页信息、用户配置文件和网站日志进行预测,介绍并且分析了16种预测算法.实验结果证明某些算法是比较有效可信的.     

Analysis and modeling of World Wide Web traffic for capacity dimensioning of Internet access lines

A study on traffic characterization of the Internet is essential to design the Internet infrastructure. In this paper, we first characterize WWW (World Wide Web) traffic based on the access log data obtained at four different servers. We find that the document size, the request inter-arrival time and the access frequency of WWW traffic follow heavy-tail distributions. Namely, the document size and the request inter-arrival time follow log-normal distributions, and the access frequency does the Pareto distribution. For the request inter-arrival time, however, an exponential distribution becomes adequate if we are concerned with the busiest hours. Based on our analytic results, we next build an M/G/1/PS queuing model to discuss a design methodology of the Internet access network. The accuracy of our model is validated by comparing with the trace-driven simulation. We also investigate the effect of document caching at the Proxy server on the WWW traffic characteristics. The results show that the traffic volume is actually reduced by the document replacement policies, but the traffic characteristics are not much affected. It suggests that our modeling approach can be applied to the case with document caching, which is demonstrated by simulation experiments.     

基于高斯混合模型的Web代理服务器缓存替换策略

Web代理服务器缓存能够在一定程度上解决用户访问延迟和网络拥塞问题,Web代理缓存的缓存替换策略直接影响缓存的命中率,从而影响网络请求响应的效果;为此,使用一种通过固定大小的循环滑动窗口提取Web日志数据的多项特征,并使用高斯混合模型对Web日志数据进行聚类分析,预测在窗口时间内可能再次访问到Web对象,结合最近最少使用(LRU)算法,提出一种新的基于高斯混合模型的Web代理服务器缓存替换策略;实验结果表明,与传统的缓存替换策略LRU、LFU、FIFO、GDSF相比,该策略有效提高了Web代理缓存的请求命中率和字节命中率。     

动态网页加速技术

综述了动态网页加速技术的最新发展，首先介绍了主动缓存，它通过在代理服务器上运行原始服务器提供的Applets以完成必要的处理，并返回结果给用户而不用连接服务器，接着介绍了服务器加速器，它放置于Web Server前端或内部以加速服务器访问速度，最后重点介绍了一种简单的标记语言ESI（Edge Side Includes)，用于定义网页片段，使得在因特网边缘可以动态地组装和分发Web应用。     

基于对象角色的高精度缓存替换算法*

现有的Web缓存器的实现主要是基于传统的内存缓存算法,由于Web业务请求的异质性,传统的替换算法不能在Web环境中有效工作。研究了Web缓存替换操作的依据,分析了以往替换算法的不足,考虑到Web文档的大小、访问代价、访问频率、访问兴趣度以及最近一次被访问的时间对缓存替换的影响,提出了Web缓存对象角色的概念,建立了一种新的基于对象角色的高精度Web缓存替换算法(ORB算法);并以NASA和DEC的代理服务器数据为例,将该算法与LRU、LFU、SIZE、Hybrid算法进行了仿真实验对比,结果证明,ORB算     

基于电子商务的客户访问模式算法的分析研究

通过对电子商务中服务器上的日志文件等Web数据进行客户访问信息的分析，重点研究了客户分析系统的数据采集、数据处理以及跟踪客户在Web上的浏览行为并进行模式分析，并构建了用户访问模式的挖掘模型及算法的分析与实现。     

Optimizing Web servers using Page rank prefetching for clustered accesses

This paper presents a Page rank-based prefetching technique for accesses to Web page clusters. The approach uses the link structure of a requested page to determine the “most important” linked pages and to identify the page(s) to be prefetched. The underlying premise of our approach is that in the case of cluster accesses, the next pages requested by users of the Web server are typically based on the current and previous pages requested. Furthermore, if the requested pages have a lot of links to some “important” page, that page has a higher probability of being the next one requested. An experimental evaluation of the prefetching mechanism is presented using real server logs. The results show that the Page rank-based scheme does better than random prefetching for clustered accesses, with hit rates of 90% in some cases.     

A site-based proxy cache

In traditional proxy caches,any visited page from any Web server is cached independently,ignoring connections between pages,And users still have to frequently visity in dexing pages just for reaching useful informative ones,which causes significant waste of caching space and unnecessary Web traffic.In order to solve the above problem,this paper introduced a site graph model to describe WWW and a site-based replacement strategy has been built based on it .The concept of “access frequency“ is developed for evaluating whether a Web page is worth being kept in caching space.On the basis of user‘‘‘‘‘‘‘‘s access history,auxiliary navigation information is provided to help him reach target pages more quickly.Performance test results haves shown that the proposed proxy cache system can get higher hit ratio than traditional ones and can reduce user‘‘‘‘‘‘‘‘s access latency effectively.