一种结构化P2P协议中的缓存计算模型

P2P系统是一种分布式系统,降低系统负载对提高P2P系统的扩展性具有重要意义.目前结构化P2P协议主要利用缓存方法解决查询热点问题,这些缓存方法对数据缓存后的收益无法预测,是一种较盲目的缓存,往往导致系统负载加重.本文提出一种结构化P2P协议中的缓存计算模型,该模型以降低系统负载为目标,节点采用一种文件访问统计方法跟踪查询本地文件的消息途经邻居节点的历史次数,根据历史统计记录预测缓存该文件到邻居节点可能减少的查询负载,然后与缓存后可能产生的更新开销对比,进而确定是否缓存文件到相应的邻居节点.实验表明,该缓存计算模型可以有效降低系统负载.     

一种数据块关系指导的缓存替换方法

提出了一种数据块关系指导的缓存替换方法BDP(block correlations directed replacement policy).数据块关系所表示的空间局部性可以用来指导存储系统的缓存替换策略.BDP利用历史访问信息和实时访问信息,预测数据块未来的空间局部性特征,并设计数据块驻留时间的控制策略,减少现有替换算法对空间局部性预测失败带来的失效惩罚.同时给出了BDP的有效缓存模型.模拟结果显示,对大多数实际系统工作负载,BDP的失效率相对LRU算法下降11%～38%,优于现有的考虑空间局部性的替换算法.     

一种结构化P2P网络中的动态协作缓存策略

基于结构化P2P网络,提出一种动态协作缓存策略。此算法以缓存引起的收益和损耗为标准,决定是否在该节点缓存该资源,解决了以往算法只考虑单个节点性能而忽略系统整体负载的问题。仿真结果表明,该算法能够很好的降低系统负载,减少节点寻找资源时的平均跳数,较已有的缓存策略,性能有很大提高。     

一种高效数据缓存器的设计

介绍了一种使用较少器件便可实现的高性能数据缓存器，重点讨论了缓存器与计算机间高速数据传递及快闪存储器的应用。     

一种结构化数据和半结构化数据的统一集成模型

结构化和半结构化数据的统一集成和访问是目前Web数据访问中急需解决的问题。文章提出了一种半结构化数据表示模型———层次数据图(HDG),给出了结构化数据向HDG的转换方法,并就不同结构HDG的统一集成问题进行了探究。     

EarnCache:一种增量式大数据缓存策略

在共享的大数据集群中,租户竞争可能导致内存资源分配不公平以及利用效率低下。为了提高缓存利用效率和公平性,针对大数据应用的特性,提出一种增量式缓存策略称为EarnCache,即文件被访问得越多,获得的缓存资源就越多。利用文件被访问频率的历史信息,将缓存分配与替换问题抽象成优化问题,给出解决方案。并在分布式存储系统中实现了EarnCache及MAX-MIN等不同算法,进行性能分析。实验表明,EarnCache可以提高大数据缓存效率和总体资源利用率。     

一种基于XML的半结构化数据存储方法

提出了一种基于XML存储半结构化数据的方法,设计并实现了相应存储与解析算法。鉴于OEM模型是一种图状模型,而通常的XML据模型是树状模型,为此需解决图状模型数据映射为树状模型数据这一关键问题,利用XML元素和属性的语义信息可从语义级别解决该问题。,     

一种结构化P2P 协议中的自适应负载均衡方法

提出一种自适应负载均衡方法,方法采用一种被动式结点负载统计方法生成局部负载视图;一种文件访问统计方法生成局部文件访问视图;当系统内结点负载存在差异时,重载结点把指向自身的逻辑链路迁移至指向局部负载视图中的轻载结点,通过减小重载结点入度和增加轻载结点入度来减小结点间负载差异;当结点的请求负载较高时,通过局部文件访问视图计算需要缓存的热点文件及目标结点,降低承载热点文件的结点请求负载.实验结果表明,在用户查询服从Zipf 分布的环境下,自适应负载均衡方法可使系统负载达到较好的均衡;缓存方法虽然在一定程度上增加了缓存和更新开销,但在一定条件下比查询消息命中缓存节省的网络开销要小,降低了系统的整体负载.     

半结构化数据到结构化数据的模式抽取

在分析现有的半结构化数据的存储方式及存在的问题基础上,引入了小集合属性、集合属性、聚类集合、模板集合、父属性序列等概念,借助映射表达语言STORED,提出了一种基于数据挖掘的半结构化数据到结构化数据的模式抽取的方法。     

一种面向大规模数据密集计算的缓存方法

随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源,使用非易失存储介质构成大缓存空间,存放大规模数据分析的中间过程结果,以此实现高缓存命中率,并利用并发度约束控制等手段避免I/O竞争,充分利用本地存储的特定性能优势保证缓存加速效果,从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性,聚合I/O带宽具有高扩展性,典型数据密集应用的整体性能最大可提升6倍.     

结构化数据到数值型分析文本生成的模型

基于结构化数据的文本生成是自然语言生成领域重要的研究方向, 其可以将传感器采集或计算机统计分析得到的结构化数据转化为适宜人阅读理解的自然语言文本, 因此也成为了实现报告自动生成的重要技术. 研究基于结构化数据到文本生成的模型为报告中的各类数值型数据生成分析性文本具有重要的实际应用价值. 本文针对数值型数据的特点, 提出了一种融合coarse-to-fine aligner选择机制和linked-based attention注意力机制的编码器-解码器文本生成模型, 考虑了生成数值型数据的分析性文本过程中内容过度分散、无法突出描述的问题, 另外也将数值型数据具体所属的域进行了关系建模, 以提高生成文本中语序的正确性. 实验结果表明, 本文提出的融合两种机制的模型, 比仅使用传统的基于内容的注意力机制和在前者基础上增加使用linked-based attention注意力机制的模型, 以及基于GPT2的模型在指标上都具有更好的表现, 证明了本文提出的模型在生成数值型数据的分析性文本任务中具有一定的效果.     

命名数据网络中一种基于节点分类的数据存储策略

缓存是命名数据网络(named data networking, NDN)有别于传统网络最突出的特性之一,NDN中默认所有节点都具有缓存所有经过数据的功能.这种“处处缓存”策略导致网内大量冗余数据的产生,使网内缓存被严重浪费.针对上述问题,首次提出了一种基于节点分类(based on node classification, BNC)的数据存储策略.基于节点位置的不同,将数据返回客户端所经过的节点分为“边缘”类节点与“核心”类节点.当数据经过“核心”类节点时,通过权衡该类节点的位置与数据在不同节点的流行度分布,将数据存储在对其他节点最有利的节点中;当数据经过“边缘”类节点时,通过该数据流行度来选择最有利于客户端的位置.仿真结果表明,提出的策略将有效提高数据命中率,减少数据请求时延和距离.     

一种基于双口RAM的环形数据缓存系统

在嵌入式系统的设计中,时常需要对大量数据进行缓冲处理。文中提出了一种基于双口RAM的环形数据缓存系统。这种设计最大限度地使用了双口RAM的存储空间,有效地解决了大量数据缓存和对缓存数据的复杂数据处理,大大提高了上位机的数据处理能力。这种设计同时提供了扩展系统总线带宽的方法,提高了上位机读取数据的速度,可以应用于需要总线扩展的场合。此方法解决了实际项目中的许多技术问题,具有良好的扩展性和可移植性。     

支持透明集成的数据缓存机制

数据缓存是提升动态Web应用性能的重要手段,传统数据缓存方案主要进行数据查询缓存,通常需要开发人员对应用程序进行大量修改并负责缓存失效维护,导致缓存方案的部署成本和维护成本过高.提出一种新的基于键值存储结构的数据缓存机制EasyCache,支持缓存数据的自动加载,兼容常用的标准数据访问接口及SQL语法,并提出一种基于规则的优化模型及数据一致性保障策略,开发人员无需修改应用程序即可完成EasyCache的集成.TPC-W基准测试结果表明系统性能得到显著提升,在单表数据规模增加以及并发用户规模增加等情况下,系统响应速度可提高10倍,吞吐率提高近1倍.     

Kernels and Distances for Structured Data

This paper brings together two strands of machine learning of increasing importance: kernel methods and highly structured data. We propose a general method for constructing a kernel following the syntactic structure of the data, as defined by its type signature in a higher-order logic. Our main theoretical result is the positive definiteness of any kernel thus defined. We report encouraging experimental results on a range of real-world data sets. By converting our kernel to a distance pseudo-metric for 1-nearest neighbour, we were able to improve the best accuracy from the literature on the Diterpene data set by more than 10%.     

基于数据架构的结构化数据注册引擎设计

随着大数据时代的来临,结构化数据的种类、规模不断增加,但是目前针对于结构化数据的注册还没有相应的研究成果。为了解决结构化数据注册的问题,采用数据架构（DA）的思想和相关技术,结合数据注册中心（DRC）,设计一种针对结构化数据的注册引擎,提出一种结构化数据的统一注册标准和注册方法,实现结构化数据的自动采集注册。通过实验与分析,注册引擎能够准确、高效地将结构化数据注册信息采集并写入DRC中,为国内外常用数据库的注册问题提出了一种解决方案,为DRC数据注册中心的结构化数据注册信息管理和应用奠定了坚实的基础。     

结构化数据在电力年金体系中的应用

大多数电力系统都存有年金托管机构的基本信息,但目前由于托管机构的投资的实效性和市场的约束性导致各投资机构的投资信息独立,且投资信息的保密程度过高,往往只能通过内网邮件的形式交互,使得年金专责无法在短时间内对托管机构的投资方向和投资利润做对比,以至于无法比较托管机构的优劣。在邮件信息中往往存在大量的且关键的信息,基于对结构化数据的模糊识别与算法,并根据定价日、科目名称、成本、市值建立数据模型,实现重要信息的分类处理,解决了投资信息的实时录入和对托管机构营收的准确判断。     

结构化数据核函数综述

核函数是处理非线性问题的新方法,而对于字符串、图像和蛋白质等无法直接输入且具有一定结构信息的数据,则需用结构化数据核函数解决。基于此,对核函数进行初步探讨,描述了句法驱动核、模型驱动核和组合核3种基本的结构化数据核函数,对结构化核函数的应用进行分析归纳总结。     

An Adaptive Data-Shipping Architecture for Client Caching Data Management Systems

Data-shipping is an important form of data distribution architecture where data objects are retrieved from the server, and are cached and operated upon at the client nodes. This architecture reduces network latency and increases resource utilization at the client. Object database management systems (ODBMS), file-systems, mobile data management systems, multi-tiered Web-server systems and hybrid query-shipping/data-shipping architectures all use some variant of the data-shipping. Despite a decade of research, there is still a lack of consensus amongst the proponents of ODBMSs as to the type of data shipping architectures and algorithms that should be used. The absence of both robust (with respect to performance) algorithms, and a comprehensive performance study comparing the competing algorithms are the key reasons for this lack of agreement. In this paper we address both of these problems. We first present an adaptive data-shipping architecture which utilizes adaptive data transfer, cache consistency and recovery algorithms to improve the robustness (with respect to performance) of a data-shipping ODBMS. We then present a comprehensive performance study which evaluates the competing client-server architectures and algorithms. The study verifies the robustness of the new adaptive data-shipping architecture, provides new insights into the performance of the different competing algorithms, and helps to overturn some existing notions about some of the algorithms.     

无线自组网中数据缓存DGA算法的改进

无线移动节点通过数据缓存可以减少自身访问数据的延迟,为整个网络节省带宽。针对该特点,改进分布式贪婪算法的收益函数,将数据访问频率分为本地访问频率和其他节点访问频率赋予不同权重,研究不同权重时的应用场景。NS2仿真结果表明,在不同场景中合理选择权重可提高数据缓存的效率。