银企互联中对账文件动态生成机制

针对银企互联中格式多样的对账文件,该文提出了两种动态文件生成机制。一种是基于结构体的动态文件生成机制,它利用了C语言中的结构体成员内存连续的原理,适用于对账明细数据源表固定的情况,但不适合多数据表的联合处理。另外一种是与动态SQL结合的文件生成机制,该机制不再局限于同一个数据源表,可以多表联合查询处理,同时又具备文件格式灵活配置的优点,适应范围更广,灵活度更高。     

银企互联中对账文件动态生成机制

针对银企互联中格式多样的对账文件,该文提出了两种动态文件生成机制。一种是基于结构体的动态文件生成机制,它利用了C语言中的结构体成员内存连续的原理,适用于对账明细数据源表固定的情况,但不适合多数据表的联合处理。另外一种是与动态SQL结合的文件生成机制,该机制不再局限于同一个数据源表,可以多表联合查询处理,同时又具备文件格式灵活配置的优点,适应范围更广,灵活度更高。     

基于ASP.net文件流转系统分析与设计

基于ASP.net环境下,以办公文件流转系统为模型,详细分析了文件流转系统的功能结构模型。同时对系统建立过程中的公文流转设计模型、角色判别模型、电子文件流转方式等内容进行了分析。     

基于VBA的银企电子对账系统

针对企业财务银企对账业务采用不同方法的优缺点,提出了基于VBA的银企电子对账系统,利用VBA技术,通过对企业与银行对账单的读取与比对,输出差异项,帮助企业对账人员快速、准确地生成银行余额调整表.     

基于金融IC卡公共交通电子支付服务平台

为实现银联闪付在公共交通领域的应用,提出一种基于金融IC卡公共交通电子支付服务平台。通过分析金融IC卡公共交通电子支付服务平台,分别介绍公交终端的流程架构、公交终端与银联POS的交易接口、资金的清算与对账,详细说明公共交通电子支付服务平台系统。在当前公交领域电子支付应用的基础上,依托中国人民银行密钥体系和通卡运营商现有密钥体系,全面实现银联闪付在公共交通行业的应用。实验结果表明,该平台达到了预期目标。     

基于弹性并发的文件校验模型

随着数字资源不断发展,面对大容量的数字资源校验时,现有的文件校验方法相比于传统文件校验在执行效率、服务器资源利用率方面已有极大的提高,但仍存在不灵活、服务器资源浪费、文件校验存在限制等特性.本文提出一种基于服务器资源弹性并发处理的文件校验算法模型,利用多并发和分块读取的方式,在保证文件Hash计算理论复杂度不变的情况下,合理利用服务器资源利用率,提升文件校验效率.     

混合P2P海量小文件元数据模型研究与实现

数据的海量存储需求对传统数据存储模式带来了巨大的挑战.目前大多数集群/分布式文件系统都被设计用来管理大文件.当在处理海量的小文件时,这些文件系统并不具有良好的性能表现.论文提出了一种面向海量小文件的元数据模型,该模型是基于具有超级节点的混合P2P拓扑结构,对小文件的优化管理具有一定的普适性.通过测试对比发现,在小文件读写性能上有数量级的提升.     

ASP.NET2.0中利用C#实现DBF文件向MDB文件的转换

本文以C#为设计语言,应用ADO.NET技术,并且综合运用DataAdapter与DataSet,完成ASP.NET下DBF文件向MDB文件的转换,这样在应用系统中无需借助第三方软件的转换就可以直接使用DBF文件,解决了以MDB文件为数据源的应用系统如何直接使用DBF文件的问题。     

基于DRM技术的安全文件管理系统的研究和设计

本文提出了一种基于DRM(数字版权管理技术)实现的安全文件管理系统模型,主要为了解决敏感文件的管理与安全使用问题.文章重点描述了DRM技术框架、安全文件系统模型及其关键技术.     

软件知识产权鉴定方法的初步研究与探索

软件知识产权鉴定中,需要鉴定一方的计算机软件产品对另一方的计算机软件产品是否构成侵权的核心要素是"实质性相似加接触".在通常情况下,接触是很容易判定的,但是在没有取得计算机软件产品源代码和相关文档资料的情况下实质性相似往往很难界定.文章通过对流程比对、功能点比对、界面比对、文件比对和安装过程比对等鉴定方法的革新,为二进制代码的计算机软件产品提供了新的鉴定方法.     

海量数据的相似重复记录检测算法

针对海量数据下相似重复记录检测算法的低查准率和低效率问题,采用综合加权法和基于字符串长度过滤法对数据集进行相似重复检测。综合加权法通过结合用户经验和数理统计法计算各属性的权重。基于字符串长度过滤法在相似检测过程中利用字符串间的长度差异提前结束编辑距离算法的计算,减少待匹配的记录数。实验结果表明,通过综合加权法计算的权重向量更加全面、准确反映出各属性的重要性,基于字符串的长度过滤法减少了记录间的比对时间,能够有效地解决海量数据的相似重复记录检测问题。     

基于HDFS的海量视频数据重分布算法

基于视频数据的分布式计算与基于文本类型数据的分布式计算存在很大的差异。视频数据本身是非结构化的,并且对于同样大小的视频,若其内容不同会导致任务执行消耗的时间也不同。对于简单的结构化数据,HDFS默认的负载均衡器能够解决负载均衡的问题。但是视频文件存在热点访问以及复杂度不一致的问题。使用HDFS默认的数据分布机制不能很好地解决计算负载均衡问题。因此提出了一种基于HDFS的海量视频数据重分布算法。首先对视频文件的访问次数以及历史视频分析对视频文件的访问时间进行记录;然后对数据进行量化之后将其加权作为该视频文件的负载度;最后使用文件置换手段将负载高的视频与低的视频进行置换,直到每个节点的负载达到均衡为止。实验结果表明,使用提出的数据重分布算法可以减少海量视频数据的处理时间。     

基于SQLite的LOD模式海量影像数据管理系统的设计与实现

如何实现海量影像数据的合理化存储、高效的访问是视景仿真领域的一个瓶颈问题。本文提出了一种运用SQLite数据库实现基于嵌入式数据库的集中式数据管理方法,将海量影像数据以数据库的形式进行管理,同时又以类似文件操作的方式实现快速访问,为解决基于LOD模式海量影像数据难以管理维护的问题提供了一种可行方案。本文方法有效而稳定地实现了海量影像数据的管理和调度,具有良好的实际应用价值。     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

Bounded disorder file organization

The bounded disorder file organization proposed by W. Litwin and D.B. Lomet (1987) uses a combination of hashing and tree indexing. Lomet provided an approximate analysis with the mention of the difficulty involved in exact modeling of data nodes, which motivated this work. In an earlier paper (M.V. Ramakrishna and P. Mukhopadhyay, 1988) we provided an exact model and analysis of the data nodes, which is based on the solution of a classical sequential occupancy problem. After summarizing the analysis of data nodes, an alternate file growth method based on repeated trials using universal hashing is proposed and analyzed. We conclude that the alternate file growth method provides simplicity and significant improvement in storage utilization     

基于Hadoop的海量MP3文件存储架构研究

MP3作为数字音乐时代的事实标准,数量已相当巨大,用户的访问需求也与日俱增,有效存储和管理海量的MP3文件,为用户提供良好的体验,越来越引起人们的关注。Hadoop的出现,提供了一种新的思路。但由于Hadoop自身并不适合海量小文件处理,提出一种基于Hadoop的海量MP3文件存储架构,充分利用MP3文件自身包含的丰富描述信息,通过预处理模块的归类算法,将小文件归并到Sequence File中,同时引入高效的索引机制,很好地解决了小文件过多时NameNode内存瓶颈问题。实验证明,该架构能达到良好的效果。     

面向高效文件访问的目录结构优化研究

针对气象水文应用中,大量常规观探测报文批量访问出现的低效问题,研究文件存储特性,定量分析了目录级数和文件数量对访问性能的影响,发现文件数相对于文件大小,对于系统的访问效率影响更大,当单个目录下文件数目过大时,文件存取延时较大,严重影响用户体验与服务性能。根据NTFS下的实验数据,设计了一种高效的目录组织方法,优化用户态文件存储管理算法。实验表明,优化后的文件目录结构和组织形式,能极大地提高批量文件的读取效率,降低20%—73%的访问延时,改善网络环境下的大规模文件接收处理效率。     

提高海量图像数据变换域算法速度的方法研究

影响海量图像数据的变换域算法速度的原因主要是文件I／O问题．对此,提出一种将中间结果分块存储、在读写数据时进行缓存优化并采用多线程技术进行并行处理的方法．以FFT算法为例的实验结果证明该方法能有效地提高海量图像数据变换域算法的速度．     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

基于压缩-字对齐位图的天文海量数据实时索引

澄江一米新真空大型天文望远镜（NVST）当前每天最大能产生2 TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。