排序方式: 共有13条查询结果,搜索用时 0 毫秒
1.
近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解. 相似文献
2.
基于多核体系下的系统运行效率越来越受到各行业的关注,一个系统往往是由若干软件子模块构成的.一个完整的系统可以由Tomcat,Httpd以及Lucene这3个软件模块构成.这些软件本身均进行了一定的优化,各自运行效率都良好,可是如果将它们整合成一个系统,其效率的提高仍需要从整体多方面考虑.从不同软件的子任务之间的关系入手,通过分析它们的特点,提出苦干提高整体性能的方案.研究贡献在于以下3个方面:1)线程间同步操作的消除;2)通过多任务重排提高并行度;3)系统调用的单线程化.结果表明系统整体性能得到了提高,同时,每个子任务完成的功能更加清晰明了. 相似文献
3.
4.
基于P2P的Web搜索技术 总被引:4,自引:0,他引:4
Web搜索引擎已经成为人们从海量Web信息中快速找到所需信息的重要工具,随着Web数据量的爆炸性增长,传统的集中式搜索引擎已经越来越不能满足人们不断增长的信息获取需求.随着对等网络(peer-to-peer,简称P2P)技术的快速发展,人们提出了基于P2P的Web搜索技术并迅速成为研究热点.研究的目的是对现有的基于P2P的Web搜索技术进行总结,以期为进一步研究指明方向.首先分析了基于P2P的Web搜索面临的诸多挑战;然后重点总结分析了基于P2P的Web搜索的各项关键技术的研究现状,包括系统拓扑结构、数据存放策略、查询路由机制、索引切分策略、数据集选择、相关性排序、网页收集方法等;最后对已有的3个较有特色的基于P2P的Web搜索原型系统进行了介绍. 相似文献
5.
为提高在面向服务的网格环境下以简单对象访问协议(SOAP)通信方式收集网格资源监控事件的效率,基于对监控事件依次传输时的低效率和收集者SOAP通信处理负载过大的现象的分析,针对具有较长生命期的监控事件提出了一种高效的收集方法——资源本地和资源间分别采用缓存和协同机制;在监控事件生命期允许的范围内先行跨资源汇聚尽量多的监控事件,再将它们通过单个SOAP消息一并发送至收集者。实验结果表明,所提方法不仅能使网格资源个体监控事件的SOAP传输开销降低50%~85%,还可将收集者上的SOAP通信处理负载降低75%左右。 相似文献
6.
数据的高效获取.存储,传输和处理对气象水文信息系统至关重要,然而,管理这些存储在地理分布,异构数据源中的海量数据也是一个重大挑战.其难点在于如何处理数据源之间结构和语义异构性,如何提高分布式查询的效率、如何保证数据源中数据的安全性和查询的正确性.针对这些问题,提出了一种基于网格技术的气象水文信息整合模型.在模型中,存储管理器、查询管理器,事务管理器等组件之间交互协作以提供各种数据管理服务和保障.同时提出的类JDBC的资源统一访问接口模型,不仅可以实现异构数据库信息的整合,也可以实现异构数据库信息和特定格式的水文信息的统一整合.详细描述了各组件的功能作用和模型的工作机制. 相似文献
7.
8.
9.
一种全局统一的层次化网格资源模型 总被引:18,自引:1,他引:18
网格计算通过新的组织方式将广域网上的各种计算资源、信息资源、设备资源等集成起来,以统一的方式向用户提供服务,是当前网络计算领域的研究热点,引入逻辑资源树的概念,通过抽象资源参数,提出了一种全局统一的层次化网格资源模型,支持资源的动态加入与删除,与资源池及全局一本地两层资源模型相比,提出的资源模型有效地屏蔽了广域网上资源的异构性,提高了资源的可扩展性;同时根据网络通信性能对资源进行层次化组织,避免了盲目的资源选择,该模型进行资源查找的时间复杂度为Olog(N),有较高的查找效率。 相似文献
10.
随着互联网数据量和业务量的快速增长,集群规模越来越大,由于机器和网络等故障使得业务中断的可能性越来越高.如何实现一个容错的分布式系统十分重要.多机达成共识是分布式容错系统中一个最基础,最核心的问题.Paxos等一系列共识算法的出现有效地解决了这个问题.近年来,越来越多的系统使用共识相关技术,关于分布式共识算法的研究也层出不穷.这些共识算法可以被划分成2个大类:强领导者共识算法和弱领导者共识算法.随着远程直接内存访问(remote direct memory access, RDMA)等网络技术和现场可编程门阵列(field-programmable gate array, FPGA)等硬件技术的发展,又出现了一些结合新型网络和硬件技术的共识算法研究,用来提升分布式系统的性能.将从分布式共识算法发展历程的角度,介绍Paxos系列算法,阐述算法演进过程中的关键研究,讨论相关算法在不同场景下的优劣势,并展望该类算法的未来发展方向与前景. 相似文献