基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．     

把文件装进“集装箱”——文件压缩的精彩

有时候,我们需要把一组文件存储成一个文件,以便备份或传输到另一个目录甚至另一个计算机上;有时候,我们还需要把文件压缩成一个文件,为系统腾出更多的磁盘空间。这时,我们就要使用文件的压缩功能,把一组文件装进一个“集装箱”。今天笔者就给您送上“一卡车”文件压缩的精彩。     

如何利用VC + +实现多文件合并与任意文件提取

建立基于对话框的MFC工程,在对话框上设置添加和提取功能模块控制。定义一个结构,该结构中包含文件名称、文件大小、以及文件的保存的初始位置。合并文件时,先建立一个新文件,将所需合并的文件按照上述结构的要求填写好保存在新文件中,然后按照二进制读写的办法,将所需压缩的文件写入新文件中,填写多个文件后就可以形成一个合并后的文件。     

给你一个小巧的虚拟磁盘管理器

ISO映像文件可以把文件、文件夹或光盘虚拟为一个文件,这个文件在硬盘中可以作为光盘使用,但使用这个文件需要一个工具来加载。这里我给大家介绍一个非常小巧的虚拟光驱管理工具。这是一款微软自己推出的虚拟光驱软件。     

FIND命令的功能扩充及应用

DOS中的FIND命令是一个过滤程序,它可以在一组文件中筛选一个字符串,如要在一个文件中查找一个字符串是很方便的。但由于不能使用通配符*和?,在查找数量较多的文件时,需将文件名一一列出,颇感不便;倘若要从一组文件中查找一组字符串时,FIND命令就更显得先天不足,力不从心。那么,能否寻找一种比较方便的方法来查找一组字符串呢? 如果将需查找的一组字符串放在一个文件内,然后把这个文件改写成一个批文件,使其依次按各字符串对目标文件执行FIND命令,并把结果写到一个文件中去,那末我们就可达到对某一文件过滤一组字符串的目的。把文件名作为变量,在循环中调用这个批文件,则可对一组文件过滤一组字符串,并且可     

一次性命名 一系列文件

如果你有一大批图片或其他文件需要重新命名为带有编号的序列文件,我想你总不会一个一个地用“文件→重命名”来完成;也许你会说,选择了一个文件之后,你会用F2快捷键命名,这样快一点,但也不会瞬间完成一大批文件的命名,很费时间。     

文件虚拟化（File Virtualization）是什么？

文件虚拟化（File Virtualization）是在文件服务器和访问这些文件服务器的客户机之间创建一个抽象层。一旦应用,文件虚拟化层管理跨服务器的文件和文件系统,允许管理员向客户机提供一个所有服务器的逻辑文件挂接。这台服务器继续托管文件数据和元数据。     

Linux文件锁技术的分析与实现

为了解决多个进程并发访问同一个文件时所面临的同步问题,Linux采用了文件加锁技术。介绍了Linux中各类文件锁的概念,详细分析了与文件锁密切相关的系统调用,并给出了一个文件锁的使用实例。     

教你玩转文件压缩

提到压缩与解压缩,相信大家对其都不陌生,压缩主要是用来将一个或是多个文件包装到一个文件中,一般情况下,经过压缩后的文件的体积比原来的文件体积要小很多,压缩后,多个文件可以被合成到一个单独的文件中,以便于在网上传输。同时,我们还可以通过分卷压缩,可以变向地实现将一个大文件分割成多个小文件的目的。当然,通过压缩操作,还有很多好处。今天,笔者就教大家如何进行文件的压缩与解压缩。     

Windows95的应用程序和实用程序

文件浏览器(File Viewers) 文件浏览器是Windows 95中的一种新功能。用户使用它可以查看绝大多数流行的文件格式,而不需要使用创建这些文件的应用程序。文件浏览器对于查看电子邮件和在网络上浏览文件最具实用性。 文件浏览器也支持用户以拖放方式把一个文件从Windows Explorer中或桌面上放到打开的QuickView窗口中。如果文档的扩展名没有和一个特定的应用程序相关联,那么用户可以使用Open With对话框来指定是用Quick View来查看文件,还是用一个指定     

FoxSPLIT一个有用的实用程序

在ＦｏｘＢＡＳＥ＋中,有一个实用程序ＦＯＸＢＩＮＤ．ＥＸＥ,它能把多个分开编辑的独立的命令文件自动组合到一个大的过程文件中去。过程文件的使用,减少了命令文件的个数,节省了外存空间,提高了命令文件的装载速度,而且用户在修改程序时,只需修改一个个的小文件,然后将它们重新组合一下即可。这种方法使过程文件的维护非常方便。但是如果被组合的小文件一旦丢失,修改程序时你将面临编辑一个巨大文件的麻烦。为此,笔者用ＢｏｒｌａｎｄＣ＋＋２．０编写的一个小程序ＦＯＸＳＰＬＩＴ．ＣＰＰ,它能将一个过程文件分解成独立的命…     

基于文件签名的FAT32文件恢复技术原理与实践

文件恢复对电子取证行业非常重要,而文件签名恢复文件是一种常用的文件恢复方法.其过程是,搜索文件签名以确定文件起始扇区号;根据文件签名尾或大小来估算文件的结尾扇区号;把起始和结尾扇区之间的内容复制生成一个新文件即可得到被删文件.如果文件在数据区中是连续存放的,该恢复方法的成功率非常高.文章以FAT32文件系统为例,把一个JPG文件彻底删除,再借助WinHex软件成功地对其进行恢复.     

合并文件 轻松办公

表妹最近心情不错,刚刚找到了一份满意的工作,在一个大公司的办公室干文秘工作。第一天上班,经理就安排了一项工作,把近几年的办公文档归类整理。对于合并处理文档,表妹感觉有些吃力,这不,刚吃过晚饭,表妹就跑来向我请教,我当然是倾囊相助了!一、复制法合并两个Word文件,可以将一个文件中内容整篇复制到另一个文件中,即可完成文件合并。此法最适合合并一个文件的部分内容,如果对于整个文件的合并,应用其它方法更好一些。二、插入法合并两个文件时,在其中一个文件菜单栏上单击“插入/文件”,在“插入文件”窗口中,选定插入文件,单击“插入”…     

基于文件的静态Web查询设计与实现

用程序把DBF表自动转换一个记录为一个文件的HTML格式的文件,用PHP代码模拟实现数据库功能,实现基于文件的静态Web查询。     

把文件装进“集装箱”——文件压缩的精彩

有时候，我们需要把一组文件存储成一个文件，以便备份或传输到另一个目录甚至另一个计算机上，有时候，我们还需要把文件压缩成一个文件，为系统腾出更多的磁盘空间。这时，我们就要使用文件的压缩功能，把一组文件装进一个“集装箱”。今天笔者就给您送上“一卡车”文件压缩的精彩。     

如何利用VC＋＋实现多文件合并与任意文件的提取

建立基于对话框的MFC工程，在对话框上设置添加和提取功能模块控制。定义一个结构，该结构中包含文件名称、文件大小、以及文件的保存的初始位置。合并文件时，先建立一个新文件，将所需合并的文件按照上述结构的要求填写好保存在新文件中，然后按照二进制读写的办法，将所需压缩的文件写入新文件中，填写多个文件后就可以形成一个合并后的文件。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

当心!TXT病毒悄悄走进你——TXT文件也能格式化你的硬盘

在微软的Windows操作系统中引入了一种被称为OLE(ObjectLinkingandEmbedding,对象链接与嵌入)的技术。这项技术能在一个文件中链接嵌入另一个文件,例如在写字板或WORD中可以链接或嵌入另一个文本文件、图像文件或声音文件等。当我们在WORD中嵌入EXCEL文件时,在WORD中会出现一个EXCEL文件图标及文件名称,双击这个图标就可以调用EXCEL程序编辑该文件了,这项技术大大方便了文件的操作。为了能将这种嵌入文件中的“对象”方便地(使用复制方式)从一个文件移入另一个文件(或者说被其它文件调用、与其它文件共享此“对象”),Windows使用了另一种技术ShellScrapObject(简称SHS),它能将嵌入文件中的“对象”包装成一个“碎片对象”文件,以备复制到其它文件中。根据上面所述的原理,有人制作了一种在Windows中被称作“碎片对象”(扩展名为“.shs”)的文件,该文件往往披着雪白的“羊皮”(文本文件“.txt”)悄悄地走近你(通过电子邮件附件),然后轻松破坏你的计算机系统。     

一次性搞定文件关联

电脑里每一种类型的文件都会和一个程序关联,双击文件后系统就会调用关联程序来打开文件,比如双击DOC文件就会用Word程序打开,这就是文件关联。如果文件关     

XML模式文件与名称空间探讨

XML模式文件是用于验证XML文件一致性的其中一种方法。文章探讨XML模式文件与名称空间的关系,提出并比较了在一个XML模式文件中引用另一个XML模式中组件的两种方法。