Hadoop构建的银行海量数据存储系统研究

针对目前国内银行的OLAP(Online Analytical Processing)技术滞后于海量数据处理需求的情况,研究了海量数据存储、处理的关键技术,设计并实现了用Hadoop平台和关系型数据库架构的银行海量数据处理系统.介绍了系统架构、文件存储层次设计、数据迁移方案、任务调度算法等关键技术的实现.通过实验验证,系统能够实现数据的高可靠性与数据的高可用性目标,既能满足业务数据实时处理的需求,也能满足海量数据统计分析的需求.     

Unix系统下消息队列使用探讨

在计算机应用系统中 ,不同程序之间常常要求进行数据交换 ,尤其是在实时监控或统计系统中 ,这种数据交换尤为重要 .在Unix系统中使用消息队列 ,就可以很好实现这些功能 .消息队列可认为是一个消息链表 ,有写权限的线程可以在队列中放置消息 ,有读权限的线程可以从队列在取出消息 .这样当有数据发生时 ,应用程序可以将必要的数据传送给服务程序程序 ,服务程序可以将这些数据显示出来 ,也可以对它们进行相应处理 ,达到监控或统计的目的 .     

Unix系统下消息队列使用探讨

在计算机应用系统中,不同程序之间常常要求进行数据交换,尤其是在实时监控或统计系统中,这种数据交换尤为重要.在Unix系统中使用消息队列,就可以很好实现这些功能.消息队列可认为是一个消息链表,有写权限的线程可以在队列中放置消息,有读权限的线程可以从队列在取出消息.这样当有数据发生时,应用程序可以将必要的数据传送给服务程序程序,服务程序可以将这些数据显示出来,也可以对它们进行相应处理,达到监控或统计的目的.     

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。     

基于XML的消息队列

消息队列技术已广泛用来实现分布式处理中的异步通信,尤其是面向对象的消息队列,在中间件的异步通信中具有很好的可靠性.另一方面,XML是一种很有发展前景的数据工具,它能实现异质事务环境中文档交换的互操作.本文提出的基于XML的消息队列,可以统一消息的数据格式,方便地实现不同应用之间的数据交换.文中还就基于XML的消息和消息队列的相关问题展开了讨论,并给出了具体的实现方案.     

基于MongoDB的海量电能质量数据存储方案设计与实现

在研究非关系型数据库Mongo DB的基础上,设计实现了基于Mongo DB的海量电能质量数据存储方案,并与基于关系型数据库的存储方案进行了性能比较测试。测试结果表明:该存储方案具有更好的数据存储和查询性能,可为海量电能质量数据的存储与处理提供借鉴。     

海量数据管理平台统一接入访问工具的设计与实现

简要介绍了实时数据库的特点及数据在实时库中的存储结构,利用关系数据库和实时数据库的核心技术,实现了海量数据管理平台对准实时数据的统一接入、存储、共享及访问;着重介绍了3种海量数据接入方式的设计与实现,并分析了各种数据接入方式的适用范围.     

用于1553总线控制器的存储管理单元设计

从消息队列的数据存储结构定义、存储空间规划和控制过程设计三方面讨论了MIL-STD-1553/1773总线控制器的设计实现。在总线控制器的模块化设计方案中,这三个方面构成了总线控制器的核心模块——存储管理单元,应用该方案可实现具有多消息自动处理功能的总线控制器。     

延迟光照算法对Hadoop集群渲染系统的改进与实现

针对集群渲染系统在三维场景文件输出过程中,海量数据处理以及存储的问题,利用Hadoop框架对现有系统进行分布式模型改造,以基于延迟光照算法的处理方式,对分布式存储和计算的业务逻辑结构部署,实现改进Hadoop集群渲染系统对任务的处理策略,提供高容错、可靠的存储和海量计算数据的方式.通过实验证明改进的Hadoop集群渲染系统可以提高系统利用率和任务处理能力.     

红外图像采集与控制系统研究

针对红外图像采集中的非均匀校正及图像存储等问题,构建多通道红外图像采集与控制系统,通过神经网络算法实现非均匀校正,并实现海量图像实时存储等功能。系统能快速有效实现非均匀校正功能,在采集过程中能稳定保存图像数据。     

工控系统中进程间通信的设计与实现

随着工控系统规模的扩大,各服务进程之间的通信日益成为关键问题之一。提出了基于共享内存和先进先出队列的进程间通信模式。在给出工控系统3层结构的基础上,阐述了嵌入式、数据采集进程、数据服务进程和监控进程4个进程间的通信机制。同时,详细描述了报文定义、共享内存实现、先进先出队列实现、数据包类定义和Hash寻址算法等关键技术。实际应用表明,基于以上机制构建的工控系统,可以满足系统的实时性、可靠性和稳定性要求。     

基于消息队列的实时GIS协同操作研究

针对实时GIS协同操作有序性、一致性、高响应及对空间数据易共享的要求,在分析当前G1S协同操作研究现状的基础上,结合地理信息服务技术,提出以消息的方式记录协作者的GIS操作,构建消息队列存储、分发消息来实现GIS协同操作的方法。根据GIS操作特征对其进行了类型划分、优先级评定,建立协同环境中GIS操作转换机制;结合地理信息服务的特征构建了GIS操作消息的描述模型,研究消息队列入队、出队的规则;并在此方法的基础上构建了面向地理信息服务的GIS协同操作框架;以原型系统验证了该方法的正确性。     

一种XML报文自动处理引擎的关键技术

在SOA-BPM系统集成平台的研发过程中,实现了一种XML报文自动处理引擎（以下简称为引擎）,该引擎能对XML报文自动拆包、打包、持久化处理、加密、解密等,是SOA-BPM系统集成平台的核心部件。引擎的任务在Spring容器中进行组合,基于优先级对队列任务进行调度,采用了报文结构描述文件来描述数据通信XML报文的结构情况,并基于此给出了数据结构和关键算法。     

Aglet消息系统应用研究

介绍了移动agent系统的组成结构，以及它的工作平台IBM Aglet，重点研究了Aglet的消息机制、消息的类型、各种不同类型消息的作用以及消息队列的概念和控制方法．在此基础上，以聊天系统为例，设计实现了Aglet消息系统的简单应用．     

基于消息队列的分布式系统数据一致性方法研究

为在分布式环境下保持数据的一致性,结合一个实际的容灾系统,对维护分布式数据库数据一致性问题进行了分析。根据对当前数据一致性维护技术的研究和比较,提出一种基于消息队列技术的一种实现数据一致性的方法。该方法通过对数据同步的研究,保证了实际容灾系统在一定条件下的数据一致性。     

利用CORBA技术设计异步消息中间件

用Delphi开发设计了一个以CORBA技术为标准的异步消息中间件,通过消息中间件,客户之间可以进行异步消息传输,解决了CORBA消息中间件对异步消息的传输局限.并对消息队列中的消息重新排列提出了一个算法.     

VOQ交换机的输出队列调度算法

针对VOQ高速交换机的通信调度,提出在VOQ交换机的输出队列中直接进行通信调度(OSA-VOQ)的策略.OSA-VOQ算法可直接支持变长数据包通信调度,克服了传统通信调度算法只能调度定长数据包的缺点,降低了交换机的实现复杂度.仿真结果表明,在各种流量下,OSA-VOQ算法都比iSLIP等现有的调度算法具有更好的调度性能.OSA-VOQ算法高效地实现了VOQ交换机的通信调度.     

一种高效的磁盘队列I/O机制

分析了传统磁盘队列的存储管理开销和读写性能,针对磁盘队列I/O已成为影响消息服务器性能的首要瓶颈,提出了一种高效磁盘队列I/O机制-FlashQ。FlashQ采用物理上连续的磁盘块作为磁盘队列,以紧凑方式组织数据,采用延迟写策略和预先读策略提高读写性能。实验表明,FlashQ的性能比传统磁盘队列好。