针对高速数据流的大规模数据实时处理方法

以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.     

提高海量图像数据变换域算法速度的方法研究

影响海量图像数据的变换域算法速度的原因主要是文件I／O问题．对此,提出一种将中间结果分块存储、在读写数据时进行缓存优化并采用多线程技术进行并行处理的方法．以FFT算法为例的实验结果证明该方法能有效地提高海量图像数据变换域算法的速度．     

面向SSD/HDD混合存储的动态缓存调度算法DRC

云计算与大数据的发展,对存储系统的性能提出了越来越高的要求。这些系统中的任务具有高并发度特征,使得存储系统的数据访问呈现随机化。SSD具有优异的随机读写性能,但其写入次数受到限制,成本高昂,因此,基于SSD-HDD的混合系统成为存储技术发展的主要方向。面向SSD-HDD混合存储提出了一种基于动态替换代价的缓存调度算法(DRC),以请求中的热点数据以及替换数据的代价作为缓存替换依据,不仅有效地提高了缓存命中率,而且,通过减少磁盘随机写操作提升了系统的整体性能。实验结果表明,在高并发读写的场景下,DRC算法相对于LRU或FIFO算法缓存命中率提升可达11.6%,IO速度最多提升16.7%,在各种缓存大小条件下均取得了显著的性能提升。     

一种加速广域文件系统读写访问的缓存策略

针对广域网高延迟、低带宽的特性给广域文件系统访问带来的性能影响问题,提出了一种不依赖于底层文件系统、能够加速广域文件系统读写访问的缓存策略.该策略支持基于区间粒度的文件数据缓存及访问,并支持元数据本地缓存;该策略提供基于阈值的容量管理功能,采用超时与最终一致相结合的方式维护缓存的一致性.最后使用典型的文件I/O基准测试工具和元数据性能测试工具对该缓存策略进行了评测,实验结果表明:该缓存策略减少了客户端与服务器的交互次数,给广域文件系统的数据访问带来了明显的性能提升,当缓存命中时其数据的读写性能与本地文件系统相近.     

低码率视频解码器去块效应滤波系统的设计

本文在改进MPEG-4后处理滤波顺序的基础上,优化了滤波算法,提出了一种针对低比特率视频编码后处理滤波的硬件实现结构,该结构利用中间数据缓存以重复利用数据来提高数据读写速度,并重复利用缓冲器减少硬件开销,同时在滤波算法中采取流水线设计,实现数据流控制与滤波计算并行执行。该系统较以往去块效应滤波系统具有高效率低复杂度等特点,不仅提高了低码率视频解码器后处理滤波的实时性能,而且节省了面积。     

一种基2DCT后加运算方法的改进

在基2DC7算法基础上,提出一种改进的后加运算策略.该策略利用循环展开技术生成的算法程序可对代码尺寸、缓存开销及读写并发性进行灵活调节,从而适应不同的运算平台结构.最后,针对该算法设计实现了参数可配置的快速算法代码生成器.     

基于虚拟存储层的缓存控制软件设计

缓存加速技术可以利用固态硬盘(SSD,solid state disk)随机访问性能高的优势,提升机械硬盘的随机读写性能;传统的缓存加速技术难以适应大数据背景下高并发、间歇性频繁访问等热点数据访问需求;为了提升缓存整体性能,提出一种基于虚拟存储层的缓存策略(CVSL,cache policy based on the virtual storage layer),将缓存技术和分层存储技术相结合,通过热度统计、数据逻辑迁移,实现基于数据逻辑分层的缓存控制;实验结果表明,相对传统的缓存策略,CVSL策略的随机读写性能提升了9％～10％,未见明显波动,在缓存命中率方面具有良好的效果,达到了预期设计目标.     

基于用户偏好与副本阈值的端到端缓存算法

在端到端（D2D）缓存网络中存在大量多媒体内容，而移动终端中缓存空间却相对有限。为了实现移动终端中缓存空间的高效利用，提出了一种基于用户偏好与副本阈值的D2D缓存部署算法。首先，基于用户偏好，设计缓存收益函数，用于判断各文件的缓存价值；然后，以系统缓存命中率最大化为目标，利用凸规划理论设计缓存副本阈值，用于部署系统中文件的副本数量；最后，联合缓存收益函数与副本阈值，提出一种启发式算法实现了文件的缓存部署。与现有缓存部署算法相比，该算法可显著提升缓存命中率及卸载增益，降低服务时延。     

基于伸展树的文件数据缓存管理策略研究

针对企业内部网络存储,研究并提出了一种基于伸展树的缓存管理策略,以对网络缓存空间进行组织和管理。在内部网络存储缓存链的基础上,引入并改进了伸展树结构和操作,将改进后的伸展树作为缓存节点数据组织和管理的索引结构,分析并设计了基于伸展树的文件数据缓存管理策略。实验结果表明,基于伸展树算法的缓存管理策略提高了缓存空间利用率和用户访问数据的效率,有较好的实时性。     

一种采用Z曲线高维空间范围查询算法

低维空间中线性扫描算法及基于R树、VA文件和NB树的空间范围查询算法的效率较高,高维空间中它们的效率出现恶化现象.Z曲线将空间分割成大小相等网格并依次穿过它们,将网格中的点映射到线性空间中,从而能够使用B+树作为点集的索引结构.利用Z曲线聚类和降维特性,本文给出网格划分方法、搜索区域分解过程,提出一种高维空间范围查询算法.实验结果表明在高维空间中算法的效率优于上述算法.