多线程技术对批量数据处理的优化

运用Win32下的多线程技术对批量数据的处理进行了优化,同时讨论了多线程的启动、优先级和同步等问题。     

高效的两轮远程文件快速同步算法

远程文件快速同步在文件备份与恢复、Web与ftp网站镜像、内容分发网络、Web访问中具有广泛的应用.提出了一种高效的基于内容变长分块和定长滑动块相结合的两轮快速文件同步算法--tpsync.同步算法分两轮进行,第一轮利用基于内容可变分块技术在粗粒度上定位待同步文件的局部变化数据段,第二轮对局部变化数据段采用定长滑动切块...     

跨平台文件共享系统设计与实现

针对目前国家卫星气象中心FTP服务器负载过重的问题,提出了一种基于网络硬盘和文件同步技术的跨平台文件共享系统.系统采用网络硬盘技术实现气象卫星数据共享,并利用文件差异同步算法更新数据.对于Windows和Linux 平台,分别采用事件触发模式和Inotify机制来实时监控文件更新变化.在安全管理方面,采用基于RBAC的权限控制方案,为系统提供安全的权限控制机制,并在.NET平台上给予实现.该系统实现了数据批量下载、文件同步更新、安全管理以及权限设置等功能.应用实践表明,跨平台文件共享系统能够提供可靠、有效的数据共享服务,为用户获取数据提供更便捷的方式.     

多线程快速文件搜索器

简要介绍多线程同步机制,用户方式中的线程同步、线程与内核对象的同步、包括原子访问一互锁的函数家族、关键代码段、事件内核对象、等待定时器内核对象、信标内核对象、互斥内核对象,讲述快速文件搜索的实现原理,并且利用关键代码段实现多线程同步,给出了快速文件搜索器的主要实现过程。     

JAVA 线程处理文件的应用

本文就操作系统中的概念进行了JAVA方式的阐述,提出了多线程处理文件分段记录的一种方式,就关键的同步问题进行了分析,并在试验的基础上得出了应该充分利用的各种语言优势的结论。     

新软物语

GoodSync文件同步利器 很多时候我们会定期对文件进行备份以保证安全,比如将文件多复制一份到另外的移动硬盘中去。虽然这种方法很有效,但是不够方便和智能。当文件数量很多时,我们最好选择专业的文件同步软件,自动将台式机、笔记本、U盘等设备进行数据双向同步,有效备份数据,并且保持数据的一致性。     

文件夹同步利器可双向FTP同步

为了数据的安全，重要文件通常用户都会选择进行备份。然而随着数据的不断变动。每次手动备份，操作起来非常繁琐。FullSync则为用户带来了非常便利的同步工具，可迅速实现文件央的数据同步、程序提供有复制、精确复制、双向同步方式。方便实现各种情况的文件同步。     

基于有序哈希链的文件数据同步方法

针对现有文件数据同步传输方法效率低、局部更新困难的问题,提出一种哈希链构建及文件数据同步方法。将C/S架构中服务器端文件或目录的变化作为一系列哈希节点,根据时间先后顺序,通过哈希函数迭代文件或目录的哈希值,形成能够记录文件库所有操作状态的有序哈希链。客户端只需根据哈希链节点执行相同文件操作并进行同步更新,而不需要对每个文件数据进行同步认证,确保文件库的完整性、不可抵赖性、可溯源性和防篡改性。采用有序哈希链的同步方法对不同终端进行文件数据差异监视和一致性检测,以快速获取文件变化并进行逻辑同步。实验结果表明,该方法在文件库未变动模式下的平均同步加速比为94.85%,在文件库变动的模式下,相较于“quick check”策略和常规策略的Rsync算法,平均同步加速比分别为6.5%和69.99%。有效地减少了同步过程中时间和资源的消耗。     

移动数据库同步技术及其应用

移动数据库应用系统通过数据同步来处理和存储各种数据,数据同步技术是移动数据库的关键技术之一,也是移动系统在进入应用之前必须解决的难题。介绍移动数据库及其特点,探讨分析SQL Server合并复制和基于XML的数据同步方式。结合实际系统中的应用,提出一种基于Socket通信的传输XML文件的数据同步方案。     

多级多域视频监控系统数据同步机制的设计

针对多级多域视频监控系统中多个分布式数据库对数据一致性的要求,提出了基于同步标识轮转的数据同步方法。在对多级多域视频监控系统的结构进行分析后,介绍了同步数据表的设计方法,指出如何利用同步标识字段标识一条记录的同步状态。通过在各区域子系统设置同步模块,完成待同步数据的筛选、封装、解析和处理。上下级同步模块间的通信利用会话初始化协议(SIP),数据格式的转换遵照扩展标记语言(XML)。当发生添加、修改、删除操作时立即进行同步,如果同步失败,可触发批量同步直至所有记录都同步成功。实验结果表明,该方案能够准确地将下级数据的变化情况同步到上级数据库中。     

Posix同步机制在UNIX实时应用软件中的实现

在UNIX多进程、多线程实时应用中,同步机制是保证共享数据同步和完整的重要手段.通过一个应用实例,介绍了Posix互斥锁、条件变量、读写锁等同步机制和信号技术在多进程、多线程实时应用软件中的实现方法.     

步调一致 文件同步自动完成

如今,移动硬盘和大容量U盘早已飞入寻常百姓家,因此,移动硬盘和U盘也成为很多上班族随身必带的“宝贝。除了拷贝文件外,移动硬盘还有一个作用就是同步文件,以便使单位和家中的电脑数据“步调一致”。那么,文件同步是不是每—个文件夹都需要我们手工对比、拷贝呢？当然不用,借助同步工具,文件同步将变得非常简单。     

面向多应用的文件同步方法

容灾系统保证了核心数据的可用性和关键业务的持续性,而文件同步是容灾系统的基础。但在同一系统下多个应用的文件需要同步时,现有的同步算法没有考虑应用间文件的关联关系、应用启动依赖关系和优先级关系以及应用产生的中间型文件和临时文件,导致同步了大量重复文件,紧急应用的文件无法优先同步,不必要的同步文件占用了珍贵的网络资源。针对此问题,提出了面向多应用的文件同步方法,通过对应用间文件去重,减少重复文件同步;利用优先级同步队列保证文件同步的优先级,提出自适应优先级策略保证对中间文件和临时文件的过滤。实验结果表明,该策略在电网基础平台系统应用和分布式Hadoop生态系统应用上分别减少了同步过程中的文件传输数量6%和30%,系统的平均响应时间分别减少了16%和55%,过滤了文件数量40%,减少同步文件大小44%。     

基于隔离网闸的异构数据库同步技术研究与实现

数据同步是分布式环境中维护各节点数据库数据一致性的一项关键技术。本文针对存在物理隔离网闸的应用环境,提出一种基于触发器的SQL文件级异构数据库同步方法,该方法适用于企业异构数据库同步。文中将阐述隔离网闸环境下异构数据库同步的工作原理,提出同步系统的总体框架,给出变化捕获、SQL文件生成、文件传输、数据更新和故障处理这五个环节的实现细节。最后通过在洪水预报系统中的实际应用,验证本文方法的高效性及可靠性。     

多线程技术在航天测控网数据流分割中的应用

将多线程技术应用于航天测控网数据流的数据分割过程,解决多站多目标跟踪状态下数据流保存为数据文件的难题。首先分析测控网数据流模型,提出数据分割的概念;然后阐述引入多线程技术进行数据处理的必要性,提出利用多线程同步对象等待机制来实现数据分割、数据文件生成的方法,并给出程序的关键代码。应用和测试表明,该方法在生成数据文件的过程中,可实现对航天测控网数据流的无损分割,可靠性高,实时性较强。      

基于RTP的机载网络视频同步回放技术

在飞行试验中,机载视频数据是试飞测试数据中的重要组成部分。为了解决多路机载网络视频数据同步回放的问题,提出了基于RTP/RTCP协议的机载多路网络视频数据同步回放方案。采用网络视频数据分流和预处理机制,首先通过对数据包进行识别,从机载记录的数据进行分流提取出网络视频数据包,然后经过对RTP封装的H.264视频数据进行解包、时间计算等处理后,利用FFmpeg良好的解码能力对一帧图像进行解码,利用SDL优异的视频性能显示YUV数据,采用基于时间戳同步机制实现多路机载网络视频的快速同步回放。软件采用模块化和多线程设计思路,提高处理效率,保证功能的可扩展性。目前该系统已成功应用于多路机载网络视频同步回放中,实际应用效果表明,该系统工作稳定,能够有效提高型号试飞效率。     

一种单向多节点海量数据同步机制的研究

随着互联网信息技术的发展,数据同步在解决实际问题过程中也成为了技术难点.以往的数据同步是直接通过数据库文件同步[1]机制或者利用开源ETL软件[2]提取工具完成数据的同步操作,数据存储点之间不存在网络抖动等不稳定的现象.在数据版本控制机制基础上,提出了在恶劣的硬件环境下一个数据源节点多个同步目标节点的千万级结构化数据同步机制,有效地保证了数据同步的快速性和准确性.     

基于Datax的数据同步方案研究

随着人们对数据互联互通分析应用要求的提高,使得其对原本孤立存储的数据资源进行整合、汇总的愿望逐渐提高,然而在早期的数据存储建设时,存储的数据类型大多不同,包括关系型数据库系统RDBMS、分布式数据库系统Hdfs以及本地文件Local filesystem等,将这些异构的数据资源进行统一汇总存储,并同时满足新增增量数据的动态同步,已经成为当前数据同步研究的重点.由于传统的数据同步方案针对任意两个数据源之间的数据同步需要进行插件开发方能辅助同步完成,所以针对多数据源的异构数据同步会带来严重的工作负荷及质量问题.为了进一步提升数据同步的效率及质量,需要更为先进的技术手段,而Datax技术与Quartz技术的出现及应用,恰好能够满足这一需求,所以其也成为当前数据同步研究的新方案.     

基于RSS的OAI框架中元数据同步问题解决方法

OAI协议的飞速发展促使了仓储数目的不断增大,导致服务提供者在短时间内无法及时收割数据提供者仓储更新的元数据记录.文中将RSS技术应用到OAI协议中,提出了一种OAI框架中元数据同步问题的解决方法.该方法以XSLT为基础,将数据提供方的元数据记录转换为对应的聚合文件(RSS1.0和RSS2.0),利用RSS技术的即时性、标准统一、易于整合等特点,有效地维护了数据提供方和服务提供方元数据的同步,从而实现了两方信息的同时更新并提高了信息的利用率.     

数据同步协议的研究和改进

随着网络的移动化趋势,嵌入式移动数据设备的应用系统越来越多,带来了更高的数据同步需求,局部数据库间以及局部数据库与数据中心间的数据的交互、交换的工作量大为增加,利用数据同步协议高效地进行数据同步成为研究重点.从可扩展性角度分析目前几种数据同步协议,并着重研究了CPISync,在保持良好的通信复杂度的基础上,对它作了改进,减少了它的立方级的计算量,更好的应用到资源受限的嵌入式移动设备的同步中.