Web Cache系统的设计与分布技术

1 引言随着因特网技术和应用向广度和深度迅猛发展,人们除了在网上共享信息外,还试图通过无所不在的因特网来大规模地共享计算能力和服务等一切可以共享的资源。但是,由于网络中瓶颈的存在及热点资源的相对集中,这种迅猛发展也带来了一个问题,即人们上网时常常体验到的“World WideWait”问题。要解决这一问题,一种有效的解决办法就是采用Web Caching技术,即将Web上常被人们访问的、热门的信息缓存在Web服务器与最终用户之间的缓存服务器系统中。当前,Web Caching是一个正在迅速发展的领域,无论科研界还是工业界,都在这一方面投入了大量的精力。如果设计和部署得当的话,Web Caching可以带来很多好处,如节约大     

Evolutionary Techniques for Web Caching

Web caching has been proposed as an effective solution to the problems of network traffic and congestion, Web objects access and Web load balancing. This paper presents a model for optimizing Web cache content by applying either a genetic algorithm or an evolutionary programming scheme for Web cache content replacement. Three policies are proposed for each of the genetic algorithm and the evolutionary programming techniques, in relation to objects staleness factors and retrieval rates. A simulation model is developed and long term trace-driven simulation is used to experiment on the proposed techniques. The results indicate that all evolutionary techniques are beneficial to the cache replacement, compared to the conventional replacement applied in most Web cache server. Under an appropriate objective function the genetic algorithm has been proven to be the best of all approaches with respect to cache hit and byte hit ratios.     

Web缓存的一种新的替换算法

现有的Web缓存器的实现主要是基于传统的内存缓存算法,然而由于Web业务请求的异质性,传统的替换算法不能在Web环境中有效工作.首先给出了问题的一个最优化模型,分析了替换算法的关键在于能正确地体现Web业务的访问模式.在泊松到达模型的基础上,提出一种新的缓存策略--最少正规化代价替换算法(leastnormalized-cost,简称LNC).新的替换算法除了考虑Web文档的平均引用时间、最近流逝时间、文档大小和单位大小价值以外,还考虑了Web业务的访问率动态改变的特征.对轨迹文件所做的性能实验表明,LNC优于其他主要的算法.     

Integrating Web Prefetching and Caching Using Prediction Models

Web caching and prefetching have been studied in the past separately. In this paper, we present an integrated architecture for Web object caching and prefetching. Our goal is to design a prefetching system that can work with an existing Web caching system in a seamless manner. In this integrated architecture, a certain amount of caching space is reserved for prefetching. To empower the prefetching engine, a Web-object prediction model is built by mining the frequent paths from past Web log data. We show that the integrated architecture improves the performance over Web caching alone, and present our analysis on the tradeoff between the reduced latency and the potential increase in network load.     

一种基于分散协作的Web缓存集群体系结构

Web对象缓存技术是一种减少Web访问通信量和访问延迟的重要手段，该文通过分析现有的各种Web缓存系统，提出了一种基于分散协作的Web缓存集群体系结构。该体系结构克服了集中式系统需要额外配备一台管理服务器的缺陷，消除了管理服务器瓶颈失效造成系统瘫痪的危险，减少由于管理服务器带来的延迟；同时消除了分散系统的缓存不命中情况下的多级转发的延迟和缓存内容重叠，提高了资源利用率和系统效率，具有良好的可扩展性和健壮性。     

Web页面缓存技术在业务系统中的应用

为了提高计算环境中缓存数据效率以及使客户获得更好的交互体验,文中介绍了在系统中使用缓存技术的优劣势以及实现缓存的几种方式,在此基础上提出在业务系统中使用Web页面缓存。文中阐述了系统的总体框架,采用分层的思想把庞杂的系统分为几个容易解决的模块,并使用业务中间件使数据的展示方式更加灵活便捷。在业务系统中可以做到不仅对数据进行缓存而且对业务中间件也可以实施缓存。最后对提出的解决方案具体实现进行了有效测试,证明了其方案的可行性。     

Alternative Architectures and Protocols for Providing Strong Consistency in Dynamic Web Applications

Dynamic Web applications have gained a great deal of popularity. Improving the performance of these applications has recently attracted the attention of many researchers. One of the most important techniques proposed for this purpose is caching, which can be done at different locations and within different stages of the process of generating a dynamic Web page. Most of the caching schemes proposed in literature are lenient about the issue of consistency; they assume that users can tolerate receiving stale data. However, an important class of dynamic Web applications are those in which users always expect to get the freshest data available. Any caching scheme has to incur a significant overhead to be able to provide this level of consistency (i.e., strong consistency); the overhead may be so much that it neutralizes the benefits of caching. In this paper, three alternative architectures are investigated for dynamic Web applications that require strong consistency. A proxy caching scheme is designed and implemented, which performs caching at the level of database queries. This caching system is used in one of the alternative architectures. The performance experiments show that, despite the high overhead of providing strong consistency in database caching, this technique can improve the performance of dynamic Web applications, especially when there is a long network latency between clients and the (origin) server.     

Web代理服务器缓存置换算法研究

目前Web代理服务器中的缓存机制普遍都以提高缓存命中率为目标,来设计相应的页面置换算法,一般并不考虑命中页面因过期失效而需要额外的验证及更新这一因素。为此,提出了改进的页面缓存效益模型,对包括页面验证更新在内的各种相关因素进行了综合考虑,以缓存效益系统最优为目标提出Web代理服务器中缓存置换算法——PCR;并基于合理的假设证明了该算法的最优性。最后,通过与LRU-K、Hybrid等算法的比较实验,验证了PCR算法的有效性。     

Web缓存命中率与字节命中率关系

在研究Web缓存性能时,一般考虑2个评价指标：命中率HR和字节命中率BHR。目前大多侧重于2个指标之一,或仅通过测试2个指标的数值来评价缓存替换算法优劣,没有从2个指标关系的角度来评价缓存替换算法的性能。该文讨论了Web缓存系统中命中率与字节命中率之间的关系,提出了一种Web缓存性能评价指标——命中比（FBR）,讨论了该指标在Web缓存替换算法及Web预取性能评价中的应用,为度量缓存系统的性能提供了参考依据。     

Web缓存技术综述

Web高速缓存(Web Caching)技术实现了Web内容的关键节点(包括本地)存储，它能减少网络带宽的占用，降低硬件成本，改善响应时间，提高了最终用户的效率．本文通过对Web缓存的分类、性能指标、一致性策略以及替换算法几个方面对目前流行的缓存技术作了一个总结．     

集中管理式Web缓存系统及性能分析

共享缓存文件是减少网络通信量和服务器负载的重要方法，本文在介绍Web Caching技术及流行的Web缓存通信协议ICP的基础上，提出了一种集中管理式Web缓存系统，该系统通过将用户的HTTP请求，按照一定的算法分发到系统中某一合适的缓存服务器上，从而消除了缓存系统内部服务器之间庞大的通信开销及缓存处理负担，减少了缓存内容的冗余度．通过分析，证明了集中管理式Web缓存系统比基于ICP的简单缓存系统具有缓存效率高、处理开销低、延迟小等优点，并且该系统具有良好的可扩展性．     

基于内容的Web Caching

提出一个新的 Web Caching结构模型—基于内容的 Web Caching.模型综合考虑了 Proxy的操作信息和 Web文档的内容特性 ,界定了虚拟用户团体和 Proxy个性 ,并利用 Ontology技术来刻画 Proxy的个性 ,模拟实验表明 ,结合内容属性可以使得 Web Caching性能得到进一步提高     

本地缓存和代理服务器环境下的网络日志挖掘

介绍了网络日志挖掘的基本概念，提出了一个网络日志挖掘通用系统的结构，分析了本地缓存和代理服务器对日志挖掘的影响，并给出了一种近似解决方案。这种方案通过网络拓扑结构和日志文件记录的结合，将杂乱无章的日志记录组合成具有语义信息的事务记录，从而使挖掘结果更有意义。     

Page Replacement with Multi-Size Pages and Applications to Web Caching

Abstract. We consider the paging problem where the pages have varying size. This problem has applications to page replacement policies for caches containing World Wide Web documents. We consider two models for the cost of an algorithm on a request sequence. In the first (the FAULT model) the goal is to minimize the number of page faults. In the second (the BIT model) the goal is to minimize the total number of bits that have to be read into the cache. We show offline algorithms for both cost models that obtain approximation factors of O(log k) , where k is the ratio of the size of the cache to the size of the smallest page. We show randomized online algorithms for both cost models that are O(log ² k) -competitive. In addition, if the input sequence is generated by a known distribution, we show an algorithm for the FAULT model whose expected cost is within a factor of O(log k) of any other online algorithm.     

Web强缓存一致性的研究

Web对象缓存技术是一种减少web服务器访问通信量和访问延迟的重要手段。Web缓存的引入虽然大大减轻了服务器负载,降低了网络拥塞,减少了客户端访问的延迟等优点,但同时也带来缓存的一致性问题,这样使客户端获得web的数据可能不是最新的版本。该文通过分析现有的缓存一致性方针,提出了一个应适于web的强缓存一致性算法。     

一种基于Peer-to-Peer技术的Web缓存共享系统研究

提出了一种基于peer-to—peer技术的分布式Web缓存共享系统：BuddyWeb．该系统的核心理念是让企业网络中的所有PC能够相互共享浏览器中的本地缓存,从而形成一个高效的、大规模的分布式缓存共享系统,并使系统具备易管理、易实现、低成本等优点;接着详细阐述了BuddyWeb的工作原理和算法策略;然后,针对BuddyWeb系统的特性提出了仿真实验模型和评估方法．实验结果证明了BuddyWeb在命中率、网络通信流量负荷、系统响应延迟等诸方面均能取得令人满意的效果。     

Language-Based Caching of Dynamically Generated HTML

Increasingly, HTML documents are dynamically generated by interactive Web services. To ensure that the client is presented with the newest versions of such documents it is customary to disable client caching causing a seemingly inevitable performance penalty. In the system, dynamic HTML documents are composed of higher-order templates that are plugged together to construct complete documents. We show how to exploit this feature to provide an automatic fine-grained caching of document templates, based on the service source code. A service transmits not the full HTML document but instead a compact JavaScript recipe for a client-side construction of the document based on a static collection of fragments that can be cached by the browser in the usual manner. We compare our approach with related techniques and demonstrate on a number of realistic benchmarks that the size of the transmitted data and the latency may be reduced significantly.     

动态网页分发加速技术研究

随着Web技术的迅速发展,动态和个性化网页的比重日益增加,而传统缓存一般只适用于静态内容,难以减少获取动态网页所需的流量和延时代价。为了更有效地分发动态网页,人们提出了各种动态内容加速方案。文中研究了典型的动态网页分发加速方法,并对相关的加速技术进行了分析和比较。针对ESI和CDE这两种技术的优缺点,提出基于共享片段的动态网页分发加速模型。实验结果表明,与ESI和CDE相比,该模型可以节省更多的带宽,减少更多的延时。     

信息中心网络中的内置缓存技术研究

互联网的应用方式正从以面向主机的点对点通信为主转向以海量内容获取为主.为适应这一转变,研究界提出了多种以信息/内容为中心的新型网络架构.这类网络架构中最重要的特征之一是利用网络内置缓存提高接收者驱动的内容获取的传输效率和网络资源的利用率.与传统的Web缓存、CDN缓存等相比,ICN缓存系统呈现了缓存透明化、泛在化和细粒度化等新特征,对缓存系统的建模、行为理解和优化方法都提出了新的挑战.在介绍了ICN缓存系统的新特征及带来的挑战后,首先从多方面着重阐述和比较了缓存网络的优化方法,之后对缓存网络系统的理论模型研究现状加以阐述,然后分析了仍待解决的关键问题和未来的研究方向.     

适应性Web缓存的研究

近年来,由于Web缓存技术对缓解因特网上热点现象的有效性,它已迅速得到了研究人员和业界的关注。适应性Web缓存(adaptive Web caching)由于能够根据用户的不同访问模式,自适应地调整热点数据在缓存系统中的分布,自动均衡整个缓存系统的负载,因而成为了缓存技术研究的一个新的热点。本文介绍了适应性Web缓存领域的研究状况,详细分析了基于组播和基于单播这两种主要的适应性缓存技术。最后,指出了适应性Web缓存研究存在的问题和值得进一步改进的方向。