基于MPI的文件传输服务:MPI-FTS

阐述了基于MPI的文件传输服务MPI-FTS,MPI-FTS能够运行在所有遵循MPI标准的分布式环境中,MPI-FTS实现了将系统中一台计算机上的文件同时传输给其它多台计算机的能力,也实现了将系统中多台计算机中指定的文件提取到某台计算机中的能力,从而为文件在一对一、一对多、多对一的计算机之间传输提供了一种快速方法.     

自适应文件传输与策略研究

针对目前网络中存在多种数据传输协议,并且各个协议不能或不能很好地兼容其他协议的现状,提出了将文件与文件传输协议进行分离的思想,提出了支持多协议的自适应文件传输的体系结构,提出了针对非局域网的三种文件传输策略：对于大文件依据文件类型采用冗余校验传输或者分片并行传输的策略,对于普通文件采用基于平均服务质量的传输策略,对于小文件采用通道复用的传输策略,而由于局域网的文件传输速率比较高,对于所有文件采用基于平均服务质量的传输策略。在此基础上,提出了自适应文件传输算法AFTA。实验证明其可以依据文件属性等因素,从协议库中选择合适的协议来传输文件,从而有效提高了文件传输的灵活性、高效性,同时保证了可靠性。     

分布式海量数据并行传输消息中间件设计与实现

本文提出一种分布式海量数据并行传输消息中间件设计与实现技术,系统采用了计算机集群及并行处理技术、基于数据库日更新技术的数据同步传输机制、异构传输数据库配置与传榆数据配置技术及传输过程设置及传输过程监控技术,实现大型网络系统中异构数据库信息系统问海量数据信息并行交换,多级网络系统间数据信息并行交换.     

支持多集群数据并行的On-demand文件传输算法

数据密集型应用通常需要在广域网分布式共享计算环境中高效地传输海量数据。并行处理中,大量的数据需要在生成集群、存储集群、处理集群间进行传输。针对该传输问题提出了一个支持多集群数据并行传输的按需文件传输算法(On-demand File Transfer),该算法以批量传输请求的整体完成时间最小为目的,根据集群内部快速传输的特点,实现目的端并行,分散单个节点的传输负载;在传输路径上,采用多重路径和多跳路径分割方法实现并行传输。对于批量传输请求,依据每个请求的传输负载,全局按需分配带宽,以解决传输路径的带宽冲突,从而充分利用当前网络带宽,快速传输批量传输请求。     

动态网络环境下面向移动端的文件传输方法

当前智能手机之间文件传输方案可分为依托互联网和自组网2类,基于互联网的方案大多采用P2P直传或者通过服务器转发传输,无法访问互联网的情况下大多采用WiFi热点技术或蓝牙技术建立自组网进行文件传输。但在网络环境动态变化的情况下,这2种传输方式间的切换会导致文件重传,浪费已传输的资源。针对此问题,本文提出一种在网络环境动态变化的情况下文件传输的方案,解决在不同网络环境下文件传输路径的优化选取以及跨网络的文件续传问题,并提高文件传输速度。      

基于云环境下一种小文件传输策略研究

基于互联网的文件传输策略将直接影响到文件传输效率和网络资源的使用效率,这一情况在各种资源集中的云计算环境表现得更为明显,特别是当传输大量小文件时尤为突出。针对这种现状,提出了一种基于打包策略的文件传输策略,给出了文件包优化处理机制,基于该策略,文件传输之前对小文件进行打包处理,然后进行传输,在接收端收到文件时首先进行解包再进行存储,从而减小传输过程中大量的IO操作,提升文件传输效率。大量的实验表明了本文所提策略的正确性,能够极大地提升云环境下小文件的传输效率,提高云资源的利用率。     

机群系统中基于MPI的多维稀疏数组传递方法

机群系统是一种分布存储系统，它主要利用消息传递方式来实现各结点之间的通信。而MPI（Message Passing Interface）作为一种基于消息传递的并行程序设计环境，已广泛应用于多种并行系统，尤其是像机群系统那样的分布存储并行机。该文主要探讨了MPI中的消息传递调用接口，提出了几种有效的在结点间传递多维稀疏数组的方法，并通过实践加以比较。     

一种基于局域网的文件传输技术

针对大型多台计算机并行分步计算问题,介绍一种基于局域网的文件传输方法.阐述了使用这种方法进行文件传输的优点,详细介绍如何用软件程序实现两台计算机间的文件传输.     

基于集群的MPI主从式并行文件传输系统的研究与实现

研究并实现了一种基于PC集群系统的MPI主从式并行文件传输系统。通过引入一个监控节点实时监控当前各真实节点上的连接数、请求任务量以及各节点的实际处理能力,并衡量不同内容节点的负载,以实现集群内各节点负载均衡,从而更合理地实现并行文件I/O的任务分配。结果显示,该系统具有近似线性加速比,即文件I/O传输速度随着并行节点数量的增多而提高。     

网格环境下基于多Replica的数据传输

数据密集型应用需要在广域、分布式计算环境中高效地传输大量的信息。提出了一种在网格环境下基于多Replica的并行传输方法来实现GridFtp中的条状传输，以提高网络传输的效率及其安全性，并实现了一个适用于网格环境的数据传输客户端工具(MFTP)。实验表明，MFTP具有较好的数据传输性能和可靠性。     

Implementation of a dynamic adjustment strategy for parallel file transfer in co-allocation data grids

Co-allocation architecture was developed to enable parallel transferring of files from multiple replicas stored in the different servers. Several co-allocation strategies have been coupled and used to exploit the different transfer rates among various client-server links and to address dynamic rate fluctuations by dividing files into multiple blocks of equal sizes. The paper presents a dynamic file transfer scheme, called dynamic adjustment strategy (DAS), for co-allocation architecture in concurrently transferring a file from multiple replicas stored in multiple servers within a data grid. The scheme overcomes the obstacle of transfer performance due to idle waiting time of faster servers in co-allocation based file transfers and, therefore, provides reduced file transfer time. A tool with user friendly interface that can be used to manage replicas and downloading in a data grid environment is also described. Experimental results show that our DAS can obtain high-performance file transfer speed and reduce the time cost of reassembling data blocks.     

An Anticipative Recursively Adjusting Mechanism for parallel file transfer in data grids

Data Grids enable the sharing, selection, and connection of a wide variety of geographically distributed computational and storage resources for content needed by large‐scale data‐intensive applications such as high‐energy physics, bioinformatics, and virtual astrophysical observatories. In Data Grids, co‐allocation architectures were developed to enable parallel downloads of data sets from selected replica servers. As Internet is usually the underlying network of a grid, network bandwidth plays as the main factor affecting file transfers between clients and servers. In this paradigm, there are still some challenges that need to be solved, such as to reduce differences in finish times between selected replica servers, to avoid traffic congestion resulting from transferring the same blocks in different links among servers and clients, and to manage network performance variations among parallel transfers. In this paper, we propose the Anticipative Recursively Adjusting Mechanism (ARAM) scheme to adjust the workloads on selected replica servers and handle unpredictable variations in network performance by those servers. Our algorithm is based on using the finish rates for previously assigned transfers to anticipate the bandwidth status for the next section to adjust workloads, and to reduce file transfer times in grid environments. Our approach is useful in grid environments with unstable network link. It not only reduces idle time wasted waiting for the slowest server, but also decreases file transfer completion times. Copyright © 2010 John Wiley & Sons, Ltd.     

一种Web 中快速传输大型文件的方法

实现了WEB应用程序中快速传输大型文件的机制．浏览器端采用HTML5标准中文件系统的访问特性,对上载的文件首先进行分片实现并行上传．服务器端采用CGI程序接收浏览器端上传的文件．后台管理服务对上传的分片文件进行管理．下载文件时通过CGI请求后台管理服务,按序发送文件分片．整个过程均不涉及文件分片的重组过程,减少了磁盘IO请求．与其它文件上传下载方式相比,本方法具有上下载文件大小无限制,传输速度高及不需要第三方控件等特点．     

ERFT：一种增强型的可靠文件传输工具

网格数据传输组件RFT提供了可靠文件传输服务,但是GT4中的RFT仍存在不支持xml配置文件、不能进行全局优化配置、不能可视化操作等不足。在研究GT4 RFT组件的基础上,设计和实现了一个增强型的可视化可靠文件传输工具——ERFT。对大型文件的传输实验表明,ERFT继承了RFT的传统优势,同时又改进了其不足,为用户提供了更为可靠、友好的文件传输服务。     

基于多云服务器的企业网盘设计与实现

针对现有企业网盘存在的安全隐患、传输性能较差、可靠性不高、运营商锁定等问题。该文 从网盘存储的机密性、可靠性和访问效率等方面,设计和实现一种基于多云服务器的安全企业网盘系 统——SkyDisk,实现了数据的自主可控、高速存取和安全可靠。其中,基于 Tahoe-LAFS 系统将多个 云服务器整合成分布式存储集群,为网盘系统提供后端存储服务;文件在存储之前采用 256 位高级加 密标准加密,保证数据的机密性;通过纠删编码和分散存储保证数据的可靠性;本地网盘服务器与多 个云服务器之间并行传输数据,实现了高速上传和下载。最终,SkyDisk 实现一个 Web 服务,向用户 提供 Web 方式的网盘系统。系统测试结果表明,SkyDisk 能够实现安全、可靠的文件存储管理,多云 服务器存储集群没有单节点故障。同时,能够满足快速上传、下载和便捷的文件分享等功能性需求, 降低了企业文件管理成本、提高了生产效率和企业竞争力。     

一种面向BitTorrent的文件快速安全分发方案*

提出了一种能够很好利用BitTorrent快速传输特性的同时,也能增加文件下载安全控制的方案。BitTorrent是一种流行的快速传输分发文件的方式,但它存在一定的安全问题,如通过BitTorrent分发文件时,很容易被非法用户窃取获得明文文件。在面向BitTorrent协议基础上,结合使用对称加密技术和身份认证机制对其进行了改进：文件在提供下载前进行对称加密,然后通过BitTorrent进行传输分发;用户成功下载文件后需要进行身份认证,合法用户可以安全获得文件加密密钥,解密得到明文文件。实验结果表明该方