Performance Analysis of Disk Modulo Allocation Method for Cartesian Product Files

Cartesian product files have been shown to exhibit attractive properties for partial match queries. The Disk Modulo (DM) allocation method is shown to have good performance on the distribution of Cartesian product files into an m-disk system. However, there was no explicit expression made before to represent the DM method's response time to a given partial match query. In this paper, based upon discrete Fourier transform, we derive one formula for such a computation. After obtaining this representation, the performance characteristics of the DM method can now be given an analytic interpretation. Some theoretical results are derived from this formula. We also use our formula to analyze the performance of several popular Disk Modulo algorithms.     

通用型字段中存储文件的导出方法

VFP数据表中的通用型字段中可存储声音、图像、动画等类型的文件,文件添加到通用型字段中VFP提供了相应的命令格式,但将通用型字段中的文件导出恢复到原对应的格式文件却没有提供相应的命令,本文介绍了如何利用文件格式标识确定文件存储位置并导出文件的方法。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

一种PE文件加壳检测规则

在恶意代码自动分析系统中,对恶意样本进行文件格式检查,并判断其是否被加壳是对其进行自动分析的第一步。为了对加壳PE可执行文件实现更加准确的识别,提出一个基于文件头和部分文件内容的PE文件加壳检测规则(NFPS)。通过提取PE文件中5个方面的特征值,并按照NFPS规则进行计算,即可判定PE文件是否被加壳。经测试,其检测率高达95%以上,并支持多层壳的循环检测。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．     

如何将PPT文件打包成exe文件

讨论了当花费很多精力设计出一个PPT演示文稿后,将其转换为可独立执行的exe文件呢,以及将演示文稿的源文件进行一定程度的保护的问题。     

Common Properties of Some Multiattribute File Systems

This paper results from an attempt to unify several different file system design theories. We define a term "partial match pattern" and show that in order to produce file systems optimal with respect to partial match patterns, both the multikey hashing (MKH) method [16] and the multidimensional directory (MDD) method [11] must be in such a form that the number of subdivisions is the same for all domains of keys. We show the conditions for the string homomorphism hashing (SHH) method [15], the MKH method, and the MDD method to be equivalent to one another. We define the so-called Cartesian product files and show that if all records are present, the records in a Cartesian product file form a shortest spanning path in which the Hamming distance between every pair of consecutive records is 1. Thus the SHH method, the MKH method, the MDD method, and the multikey sorting (MKS) method [10] are linked together. Finally, we show that for both partial and best match queries, the file systems exhibit a common characteristic: similar records are grouped together.     

探讨VB文件保存的有效办法

保存文件是初学者学习VB程序设计的一个难点;为了克服这一难点,必须对初学者加强VB工程管理的基本理论教育,训练他们针对文件保存的不同情况采取集中保存和个别保存二种不同的操作方式,在文件保存过程中严格把握文件保存位置、文件名称和文件类型三个要素.     

一种基于RFID的文件管理系统设计方案

针对涉密文件特别是纸介质文件管理上存在的安全问题,基于RFID技术设计实现了涉密文件管理系统。该系统采用了文件监控与安全报警的方法,实现涉密文件高效安全的管理,降低了泄密事件的发生率,实现了利用自动化设备对纸介质涉密文件进行监控管理的设想。     

基于智能卡的一种文件加密方案

在FreeBsd系统中,有一种对文件的保护机制,称为Disk Partitions Encryption(磁盘分区加密),对所有放在被设置为加密分区上的文件,将会被自动加密,用户不会有丝毫察觉,但文件是以加密的方式保存在磁盘上的。当用户在此分区上打开文件时,如果用户的权限满足,文件自动解密后被打开,对用户来说做到完全透明。当磁盘不慎丢失或者被偷窃,此加密分区上的数据也不会泄漏。该文就阐述如何通过一个加密Agent和一个解密Agent,在基于智能卡的基础上在Windows系统上模拟一个如同FreeBsd一样的分区保护系统,用户可以把需要加密的文件拖入到设定的加密分区或者加密文件夹中,文件将被自动加密,用户也可以在此文件夹或者分区中任意打开,阅读以及修改此文件,当保存的时候文件将被自动加密。     

关于当代大学生的档案意识调查——以湖州师院求真学院为例

近些年来,中国的档案事业发展迅速,档案及档案工作的地位较之以往都有了明显提高。与此形成鲜明反差的是,当代大学生们档案的关注度很低,档案意识堪忧。如何提高大学生的档案意识是值得关注的问题。     

基于HTML5大文件断点续传的实现方案

在Web应用中,文件上传是一个常用的功能,而目前的文件上传方式在处理大文件上传方面不尽人意,常常因为文件过大或者网络中断导致上传失败,不得不重新上传。随着HTML5相关技术的发展,出现了一系列对文件操作的API,如FileList、Blob、File、FileReader等接口,使得Web端能够使用JavaScript对本地文件进行分片操作进而实现文件断点续传功能。本文在此基础上解决了服务器端文件合并过程中用户等待超时问题以及如何保证合并文件正确性的问题。     

Scalability analysis of declustering methods for multidimensionalrange queries

Efficient storage and retrieval of multi-attribute data sets has become one of the essential requirements for many data-intensive applications. The Cartesian product file has been known as an effective multi-attribute file structure for partial-match and best-match queries. Several heuristic methods have been developed to decluster Cartesian product files across multiple disks to obtain high performance for disk accesses. Although the scalability of the declustering methods becomes increasingly important for systems equipped with a large number of disks, no analytic studies have been done so far. The authors derive formulas describing the scalability of two popular declustering methods-Disk Module and Fieldwise Xor-for range queries, which are the most common type of queries. These formulas disclose the limited scalability of the declustering methods, and this is corroborated by extensive simulation experiments. From the practical point of view, the formulas given in the paper provide a simple measure that can be used to predict the response time of a given range query and to guide the selection of a declustering method under various conditions     

Linux系统中按字节显示文件内容的方法

本文给出Linux系统中按字节显示文件内容的实现方法。对于给定的文件，所显示的格式中包括当前字符到文首的偏移量、各字节的ASCII码的16进制值及其对应的字符(对于非可打印字符，显示成圈点“．”)。利用此方法。可方便地查看文件(特别是非文本文件)的字节构成。例如，可分析某些带结构的数据文件．如BMP位图文件等。     

多计算机间的文件并行传输服务:MPI-TFTS

在异构环境中，计算机间快速、安全、可靠的文件传输是非常必要，然而很多基于MPI的分布式并行开发环境没有提供计算机间的文件并行传输服务。提出了一种基于MPI的支持多种传输工具的文件并行传输服务：MPI-TFTS（message application interface tools filetransfer service），MPI—TFTS采用三层体系结构，集成多种传输工具，使得其可以用MPI通信原语，现有的传输工具进行文件并行传输，在环境条件确定的情况下，用户可以选择更好的传输工具来减少文件传输时间，最后给出了两种文件传输服务的并行实施。     

如何用PDFtoJPG 1.2.3将PDF文档转换为JPG图片

安装PDFtoJPG 1.2.3汉化版后,即可得到该软件的绿色汉化版。但是用它们转换PDF文件所得到的JPG图片上都会有试用版的水印。用十六进制编辑器WinHex V16.0.5绿色中文特别版打开PDFtoJPG.exe,将水印文字清零即可得到绿色汉化去水印版。然后将需要转换的PDF文件拖放到程序列表区,点击转换就可以得到无水印的JPG图片。     

VB实现大型文件的分割和还原

在设计信息管理程序的过程中。大型教据库文件的分割和还原是经常遇到的一个问题。如果仅仅使用文件复制指令。在文件大小超过磁盘容量时．就会出现错误。本文介绍一种用VB实现的对文件进行分割和还原的方法。     

Web服务器集群中的文件优化分配

在现代的网络研究中,高性能集群服务器越来越显示其重要的作用,而在集群中分布地存储着大量的文件。文章在研究了集群服务器性能和文件的访问概率及连接数的基础上,推算出了文件在服务器上的拷贝数,并根据文件间的相关性将文件集合成文件簇,最后提出了一种基于文件簇的文件优化分配策略,提高了服务器的效率和稳定性。