面向社交网络密集图数据存储的缓存置换算法

为了缓解社交网络热点话题生成的密集图数据导致存储的频繁读取和缓存空间浪费等问题,针对话题产生与消亡的演化更新规律,提出了基于话题热度演化加速度的缓存置换算法(cache replacement algorithm based on topic heat evolution acceleration, THEA-CR)。该算法首先对社交网络数据进行话题簇的实体划分,识别锚定目标。其次,计算话题热度演化加速度,对热点数据的优先级进行研判;最后设计双队列缓存置换策略,针对话题关注度和访问频率进行缓存空间的置换和更新。在新浪微博数据集中与经典的缓存置换算法进行大量对比实验,验证了所提算法具有较好的可行性与有效性。结果表明提出的THEA-CR算法能够在社交网络密集图数据的不同图查询操作中平均提升约31.4%的缓存命中率,并且缩短了约27.1%的查询响应时间。     

一种结构化数据缓存方法

针对现有报表缓存方法在内存消耗和访问速度上相冲突的问题,提出一种结构化数据缓存方法,把具有行列结构的报表数据分块存储到文件中。以文件形式存储的数据被划分为索引区和数据区,通过数据分块算法和写操作将报表数据缓存入文件。在读取报表数据时根据索引区可以直接定位到所在的块,在块中快速查找所需要的数据,从而在内存消耗和访问速度上达到优化。     

一种数据块关系指导的缓存替换方法

提出了一种数据块关系指导的缓存替换方法BDP(block correlations directed replacement policy).数据块关系所表示的空间局部性可以用来指导存储系统的缓存替换策略.BDP利用历史访问信息和实时访问信息,预测数据块未来的空间局部性特征,并设计数据块驻留时间的控制策略,减少现有替换算法对空间局部性预测失败带来的失效惩罚.同时给出了BDP的有效缓存模型.模拟结果显示,对大多数实际系统工作负载,BDP的失效率相对LRU算法下降11%～38%,优于现有的考虑空间局部性的替换算法.     

边缘计算中基于博弈论的数据协作缓存策略研究

针对边缘计算中服务器存储能力有限的问题,提出一种基于博弈论的数据协作缓存策略。该策略根据基站覆盖范围将边缘计算环境划分为多个区域,每个区域与相邻区域协作缓存数据资源。在每个区域中,计算每个数据块对本地区域及相邻区域的缓存价值,根据待缓存资源的缓存价值进行缓存决策,最小化用户获取数据资源的延迟。仿真实验结果表明,提出缓存策略比现有非协作缓存策略数据资源平均获取延迟降低了36.55%,有效降低了数据资源平均获取延迟。     

一种多租户云数据存储缓存管理机制

随着云计算的普及,软件即服务(software as a service, SaaS)逐渐成为云计算的一种重要表现形式.云中数据节点的缓存是提高多租户应用数据访问性能的一种重要资源,缓存资源的共享和分配受到SaaS提供商的关注.对SaaS提供商而言,如何在多租户间有效地分配数据节点上的缓存资源,从而满足租户的服务水平协议(service level agreement, SLA),获得更高的收益已成为一项挑战.为此,提出了多租户云数据存储缓存管理机制,以实现服务提供商收益最大化的目标,结合SLA收益模型,评估不同缓存策略下服务提供商获取的收益值,将全局缓存管理问题定义为目标优化问题,并结合缓存分配特点,采用优化的遗传算法解决该问题.通过实验比较,该方法能保证SaaS服务提供商在多租户间有效利用缓存资源获取高收益.     

一种高效数据缓存器的设计

介绍了一种使用较少器件便可实现的高性能数据缓存器，重点讨论了缓存器与计算机间高速数据传递及快闪存储器的应用。     

一种面向工业边缘计算应用的缓存替换算法

工业应用对数据传输的确定性有严格要求,有必要通过合理的缓存策略保障工业边缘网络的实时服务性能保障.首先面向工业边缘计算应用场景阐述了边缘缓存问题模型.然后分析了工业应用中用户请求的动态性特点,结合工业用户请求的特征属性,给出用户请求内容流行度变化的预测方法.在此基础上提出了基于属性特征流行度预测的缓存替换(combing periodic popularity prediction and size caching strategy, PPPS)算法,根据最近周期窗口内主导属性特征的热度预测值,和尺寸参数一起确定缓存内容价值.实验结果表明：与MPC(most-popular content)、贪婪双尺寸(greedy dual size, GDS)、最近最久未使用(least recently used, LRU)、最近最少访问频次(least frequently used, LFU)、先进先出(first in first out, FIFO)这5种经典算法相比,提出的PPPS算法在缓存命中率和平均延迟2种性能指标下,在不同的用户请求模型、内容大小分布、内容种类参数下均取得最优性能,有效提升了边缘缓存的命中率,提高了缓存利用效率,降低了用户请求内容的延迟.     

一种基于实时数据采集系统的数据处理方法

给出了产时数据采集系统的一种数据存储格式,并讨论了基于此格式的一般数据处理方法。     

一种基于实时数据采集系统的数据处理方法

给出了实时数据采集系统的一种数据存储格式 ,并讨论了基于此格式的一般数据处理方法     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

面向新型处理器的数据密集型计算

近年来,随着数据量的不断增大,数据密集型计算任务变得日益繁重.如何能够快速、高效地实现在大规模数据集上的计算,已成为数据密集型计算的主要研究方向.最近几年,研究人员利用新型的硬件处理器对数据密集型计算进行加速处理,并针对不同新型处理器的特点,设计了不同形式的加速处理算法.主要对新型硬件处理器基于数据密集型计算的研究进行了综述.首先概述了新型硬件处理器的特点;然后,分别对新型处理器FPGA和GPU等硬件进行性能分析,并分析了每种处理器对数据密集型计算的效果;最后提出了进一步的研究方向.     

数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.     

An Energy-Aware Heuristic Scheduling for Data-Intensive Workflows in Virtualized Datacenters

With the development of cloud computing, more and more data-intensive workflows have been deployed on virtualized datacenters. As a result, the energy spent on massive data accessing grows rapidly. In this paper, an energy-aware scheduling algorithm is proposed, which introduces a novel heuristic called Minimal Data-Accessing Energy Path for scheduling data-intensive workflows aiming to reduce the energy consumption of intensive data accessing. Extensive experiments based on both synthetical and real workloads are conducted to investigate the effectiveness and performance of the proposed scheduling approach. The experimental results show that the proposed heuristic scheduling can significantly reduce the energy consumption of storing/retrieving intermediate data generated during the execution of data-intensive workflow. In addition, it exhibits better robustness than existing algorithms when cloud systems are in presence of I/O- intensive workloads.     

Mochi: Composing Data Services for High-Performance Computing Environments

Technology enhancements and the growing breadth of application workflows running on high-performance computing(HPC)platforms drive the development of new data services that provide high performance on these new platforms,provide capable and productive interfaces and abstractions for a variety of applications,and are readily adapted when new technologies are deployed.The Mochi framework enables composition of specialized distributed data services from a collection of connectable modules and subservices.Rather than forcing all applications to use a one-size-fits-all data staging and I/O software configuration,Mochi allows each application to use a data service specialized to its needs and access patterns.This paper introduces the Mochi framework and methodology.The Mochi core components and microservices are described.Examples of the application of the Mochi methodology to the development of four specialized services are detailed.Finally,a performance evaluation of a Mochi core component,a Mochi microservice,and a composed service providing an object model is performed.The paper concludes by positioning Mochi relative to related work in the HPC space and indicating directions for future work.     

普适计算中基于上下文信息的缓存管理算法

普适计算的一个常见的难题是断连操作,而移动设备在断连状态下对数据进行操作又是必要的.为了支持断连操作,需要在移动客户端上进行数据缓存.数据收集的目的是在断连前把用户将来可能访问的数据预先存储到本地缓存,因此收集过程的结果将对断连操作的性能产生重大影响.目前针对断连操作的数据收集算法,对缓存命中都有一定效果,为了进一步提高缓存命中率,本文根据上下文信息进行数据收集算法;然后在访问数据时同步建立数据之间的关联,并在数据关联的基础上自动选择要收集的数据集;最后将结果按缓存驻留时间和访问次数进行缓存替换.模拟试验结果表明,此算法对于存储容量小的手持移动设备可以有效地提高断连操作时的缓存命中率,可以更好的支持移动设备的断连操作.     

共享多端口数据Cache结构：SMPDCA

随着半导体工艺技术的飞速发展,单芯片多处理器（Single-Chip Multiprocessor,SCMP)结构将是一条提高处理器性能的有效途径。该文在分析SCMP结构的特点的基础上,提出了SCMP的一种结构实现：共享多端口数据Cache结构（Shared Multi-Ported Data Cache Architecture,SMPDCA).SMPDCA结构具有三个突出的优点：最小的通信延迟、没有Cache一致性维护开销和数据Cache命中率提高。模拟结果表明,与数据Cache私有的结构相比,SMPDCA结构的煅出优点使得应用程序的性能得到了明显的提高,特别是对于改善处理器之间的通信与交互比较多的应用程序的性能具有最为明显的效果。     

网络计算环境下大容量数据安全存储策略研究

近年来,随着计算机技术的发展,网络环境下的数据运算能力愈来愈强;加之,大数据时代的来临将人们日常生活、工作、学习的物质化信息转化为数据化关联性链条,通过网络进行大数据资源共享,简化了工作学习的繁杂,提升了工作学习效率;但是,传统的网络储存策略常常出现数据泄露、储存服务器数据溢出等一系列储存安全问题;针对问题产生原因,提出网络计算环境下大容量数据安全存储策略研究方法;通过采用数据修正单元、逻辑补偿单元与节点加密单元,对传统网络储存策略进行动态化针对性解决;通过仿真实验证明,提出的网络计算环境下大容量数据安全存储策略研究方法,具有数据储存响应速度快、反渗透逻辑性强、数据安全级别高、易用性强的优点。     

支持高并发数据流处理的MapReduce中间结果缓存

针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的keyvalue中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.     

针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.