嵌入式Service系统应用研究

基于网络使用Web Service技术来更进一步处理分布式系统。在此将使用Web Service技术和嵌入式系统技术设计和架构一些Service系统，来研究一些分布式嵌入式Service系统应用。     

基于OSGi家庭网关和Web Service技术的智能家庭系统

基于开放服务网关规范（OSGi）的家庭网关技术可以向用户提供各种具体的服务，如智能家居管理、远程监控等，通过Web Service技术则可以实现让任何应用系统在任何地方动态访问各种应用服务的功能。目前的智能家庭解决方案大都基于家庭网关技术，没有考虑到将Web Service技术引入其中。提出了一种将OSGi家庭网关技术和Web Service技术相结合的智能家庭系统的设计和实现方案，充分利用两种技术的优势。在对系统各功能模块进行详细设计的基础上，给出了在PDA上调用基于OSGi家庭网关的Web服务来监控家中各电器状态的实现结果。     

基于多Agent的Web Service QoS模型

Web Service是采用面向服务的体系架构的基于标准的Web协议的软件构件,而Agent是一种在异构环境中自主行动以实现其设计目标的智能化软件实体。文章研究了利用Agent技术来进行动态发现、绑定符合用户QoS需求的Web Service,从而能够为用户提供更好的服务。     

基于Agent的面向服务选择的Web Service架构研究

为了更灵活有效地发现Web Service中最合适的服务,文中在阐述了Web Service的核心概念和Agent技术的主要优点基础上,提出了一个基于Agent技术的面向服务选择的Web Service框架,强调应根据QoS选择Web Service,同时给出了一个服务质量评估算法,用户根据此算法可以获得更高质量的、更理想的Web Service。     

Web Service在工业过程监控系统中的应用

研究了Web Service,XML,SOAP,WSDL,UDDI等相关网络技术,以及基于XML Web Service服务架构技术在过程监控领域中的应用.由于采用了Web Service技术构建实时工业过程监控服务器,实现了监控平台跨越应用系统的对象体系、运行平台、开发语言等界限,以服务的形式封装应用并对外发布,提供用户或其他平台调用,从而形成了基于Web的服务的监控共享平台.以实际例子介绍了Web Service应用的具体方案.     

Web Service在工业过程监控系统中的应用

研究了Web Service,XML,SOAP,WSDL,UDDI等相关网络技术,以及基于XML Web Service服务架构技术在过程监控领域中的应用。由于采用了web Service技术构建实时工业过程监控服务器,实现了监控平台跨越应用系统的对象体系、运行平台、开发语言等界限,以服务的形式封装应用并对外发布,提供用户或其他平台调用,从而形成了基于Web的服务的监控共享平台。以实际例子介绍了Web Service应用的具体方案。     

基于Agent的面向服务选择的Web Service架构研究

为了更灵活有效地发现Web Service中最合适的服务，文中在阐述了Web Service的核心概念和Agent技术的主要优点基础上，提出了一个基于Agent技术的面向服务选择的Web Service框架，强调应根据QDS选择Web Service，同时给出了一个服务质量评估算法，用户根据此算法可以获得更高质量的、更理想的Web Service。     

易变信息全局距离最优动态选择算法

Web服务组合问题中数以千计的Web Service的信息可能会随时改变,如何发现这些易变Web Service描述信息（包括服务提供者和服务消费者的描述信息）,如何根据用户的需求来自动组合Web Services,生成满足用户需求的组合业务,并及时应用到业务执行流程中。本文设计了一种基于用户需求服务全局距离最优动态选择算法（Dynamic Selection Algorithm with Global OptimalDistance）,用于发现动态调用Web Services来自动生成满足用户所需目标的Web Service组合。     

基于Web的产品数据管理系统中文件传输模块设计*

网络化制造技术的发展要求产品数据管理系统( PDMS) 实现企业内部或企业间多种异构系统之间的数据共享。文件传输模块的重要性更加突出。讨论了基于Web 的产品数据管理系统中文件传输模块的设计, 提出了几种可行方案, 并分析了各种方案的优缺点, 最后给出了其中一种方案实现的具体思路。关键词: PDMS; Web Service; 文件传输; B/S 结构中图法分类号: TP311. 11 文献标识码:A 文章编号: 1001-3695( 2005) 03-0200-02     

易变信息全局距离最优动态选择算法

Web服务组合问题中数以千计的Web Service的信息可能会随时改变,如何发现这些易变Web Service描述信息(包括服务提供者和服务消费者的描述信息),如何根据用户的需求来自动组合Web Services,生成满足用户需求的组合业务,并及时应用到业务执行流程中。本文设计了一种基于用户需求服务全局距离最优动态选择算法(Dynamic Selection Algorithm with Global OptimalDistance),用于发现动态调用Web Services来自动生成满足用户所需目标的Web Service组合。     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

一种改进的基于缓存池机制的小文件I/O策略

Lustre文件系统对大文件的I/O性能较好,但对小文件不佳。针对这个问题,提出建立一个基于MDS节点的小文件缓存池机制,在缓存池里缓存经常被访问的小文件。在该机制中,小文件缓存池与OST使用全相联映射方式对应,并且使用贯穿读出式和直写式策略保持文件的一致性;缓存池更新策略综合考虑了文件的访问时间和次数等因素,使用改进的近期最少使用算法（LRU）更新替换。实验结果表明,改进后的Lustre文件系统减少了小文件的网络传输开销和访问时间,对小文件的I/O性能有较明显的提高。虽然它对大文件的I/O性能有所降低,但在可接受范围之内,仍具有一定的实用价值。     

A study on multimedia file carving method

File carving is a method that recovers files at unallocated space without any file information and used to recover data and execute a digital forensic investigation. In general, the file carving recovers files using the inherent header and footer in files or the entire file size determined in the file header. The largely used multimedia files, such as AVI, WAV, and MP3, can be exactly recovered using an internal format in files as they are continuously allocated. In the case of the NTFS, which is one of the most widely used file system, it supports an internal data compression function itself, but the NTFS compression function has not been considered in file carving. Thus, a large part of file carving tools cannot recover NTFS compressed files. Also, for carving the multimedia files compressed by the NTFS, a recovery method for such NTFS compressed files is required. In this study, we propose a carving method for multimedia files and represent a recovery plan for deleted NTFS compressed files. In addition, we propose a way to apply such a recovery method to the carving of multimedia files.     

SFFS：低延迟的面向小文件的分布式文件系统

社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS（Hadoop distributed file system）,是面向大文件而设计的,在存储小文件时会产生元数据开销过大,访问延迟较高等问题,不能适应存储海量小文件的应用环境。分析了TFS（Taobao file system）的系统架构和读写流程,发现TFS在每次读/写过程中至少要建立3次网络连接,增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题,提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案,并实现了分布式文件系统SFFS（small-file file system）。性能测试表明,SFFS和TFS相比,写延迟降低了76.6%,读延迟降低了约10%。通过对系统结构的分析,相比于TFS,SFFS在中心节点的负载更轻,失效恢复更快,在可用性方面更有优势。     

基于MSN协议的网络行为审计系统的设计与实现

针对目前一般的网络行为审计软件都没有MSN文件传输的记录模块的状况，该文根据MSN网络传输协议，通过在网络上抓包对用户聊天内容，对传输的文件进行侦听。应用特有的文件重组算法，通过计算网络数据包的ACK值和SEQ值，对其进行过滤、排序、重组和写入，最后还原出原用户传输的文件等工作，设计与实现了基于MSN协议的网络行为审计系统。该系统可以应用到即时通信、HTTP文件传输和邮件传输等方面。     

An optimized approach for storing and accessing small files on cloud storage

Hadoop distributed file system (HDFS) is widely adopted to support Internet services. Unfortunately, native HDFS does not perform well for large numbers but small size files, which has attracted significant attention. This paper firstly analyzes and points out the reasons of small file problem of HDFS: (1) large numbers of small files impose heavy burden on NameNode of HDFS; (2) correlations between small files are not considered for data placement; and (3) no optimization mechanism, such as prefetching, is provided to improve I/O performance. Secondly, in the context of HDFS, the clear cut-off point between large and small files is determined through experimentation, which helps determine ‘how small is small’. Thirdly, according to file correlation features, files are classified into three types: structurally-related files, logically-related files, and independent files. Finally, based on the above three steps, an optimized approach is designed to improve the storage and access efficiencies of small files on HDFS. File merging and prefetching scheme is applied for structurally-related small files, while file grouping and prefetching scheme is used for managing logically-related small files. Experimental results demonstrate that the proposed schemes effectively improve the storage and access efficiencies of small files, compared with native HDFS and a Hadoop file archiving facility.     

基于PKI的文件安全系统

PKI(Public Key Infrastructure)是利用公钥理论和技术建立的提供信息安全服务的基础设施,是网络环境中文件传输与管理的一个重要内容。设计良好的文件安全系统不仅要有高强度的安全性,而且易于使用、可扩展和可集成。该文从文件安全系统的总体结构、工作流程、文件的本地加密存储、文件的网络安全传输、文件的安全域内共享与分发几个方面阐述了系统的工作原理与过程。从技术上解决网上身份认证、信息完整性和抗抵赖等安全问题,为网络应用提供可靠的安全保障。     

基于多云服务器的企业网盘设计与实现

针对现有企业网盘存在的安全隐患、传输性能较差、可靠性不高、运营商锁定等问题。该文 从网盘存储的机密性、可靠性和访问效率等方面,设计和实现一种基于多云服务器的安全企业网盘系 统——SkyDisk,实现了数据的自主可控、高速存取和安全可靠。其中,基于 Tahoe-LAFS 系统将多个 云服务器整合成分布式存储集群,为网盘系统提供后端存储服务;文件在存储之前采用 256 位高级加 密标准加密,保证数据的机密性;通过纠删编码和分散存储保证数据的可靠性;本地网盘服务器与多 个云服务器之间并行传输数据,实现了高速上传和下载。最终,SkyDisk 实现一个 Web 服务,向用户 提供 Web 方式的网盘系统。系统测试结果表明,SkyDisk 能够实现安全、可靠的文件存储管理,多云 服务器存储集群没有单节点故障。同时,能够满足快速上传、下载和便捷的文件分享等功能性需求, 降低了企业文件管理成本、提高了生产效率和企业竞争力。     

Multimedia file forensics system exploiting file similarity search

With the fast increase of multimedia contents, efficient forensics investigation methods for multimedia files have been required. In multimedia files, the similarity means that the identical media (audio and video) data are existing among multimedia files. This paper proposes an efficient multimedia file forensics system based on file similarity search of video contents. The proposed system needs two key techniques. First is a media-aware information detection technique. The first critical step for the similarity search is to find the meaningful keyframes or key sequences in the shots through a multimedia file, in order to recognize altered files from the same source file. Second is a video fingerprint-based technique (VFB) for file similarity search. The byte for byte comparison is an inefficient similarity searching method for large files such as multimedia. The VFB technique is an efficient method to extract video features from the large multimedia files. It also provides an independent media-aware identification method for detecting alterations to the source video file (e.g., frame rates, resolutions, and formats, etc.). In this paper, we focus on two key challenges: to generate robust video fingerprints by finding meaningful boundaries of a multimedia file, and to measure video similarity by using fingerprint-based matching. Our evaluation shows that the proposed system is possible to apply to realistic multimedia file forensics tools.

     

基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．