基于压缩传输组件的WebGIS海量数据传输方案

针对企业级WebGIS应用中海量数据网络传输的瓶颈问题,设计了一对具有压缩和解压功能的数据传输控制器组件。该组件通过控制服务器与浏览器间的数据传输方式,透明压缩和解压数据,无缝连接和集成WebGIS,从而扩展了利用商用WebGIS开发应用系统的功能和应用范围。通过对该组件在多种网络环境下传输海量数据的应用试验,结果表明合理应用该解决方案,能满足大多数企业级WebGlS应用系统的开发和应用需求。     

海量数据流环境下自动化巡检平台开发与实现

自动化巡检平台是智能处理数据的崭新手段,当代信息社会不断产生大量数据流,为提升数据巡检性能,开发一种海量数据流环境下自动化巡检平台。数据采集层核心是Flume NG技术,包括Source、Channel、Sink组件,完成数据采集与传输;数据挖掘层利用数据挖掘过程模型、代码生成引擎、数据挖掘组件模型以及MapReduce执行框架等技术挖掘海量数据,获取自动化巡检结果;巡检结果在功能展示层通过B/S系统展现。仿真实验结果显示:海量数据环境下,平台查全率与查准率始终高于95%,巡检结果与实际情况一致,是一种可靠的海量数据自动化巡检平台。     

化整为零分卷压缩

文件分卷压缩解压工具是方便进行Rat分卷压缩的工具。对大型文件分卷压缩后可以方便传输或者刻盘。该软件操作简单，“分卷压缩”功能非常实用，而且为绿色软件，无任何插件捆绑。     

网络环境下海量影像数据的多分辨率传输

在基于网络的空间信息服务领域中,由于多用户访问下网络带宽的限制以及影像数据的海量特征,海量影像数据的多分辨率传输成为空间信息服务应用的瓶颈。该文在探讨基于四叉树的海量影像数据组织的基础上,设计一个二分树模型的影像数据多分辨率传输方法,通过实验对该方法进行了验证。     

一种基于组件结构的协同检测模型

本文针对检测分布式入侵时海量数据分析的应用需求,提出一种基于组件结构的协同检测模型。该模型将用于海量数据分析的相关组件独立出来封装成一个组件事务服务层, 通过聚类分析器、分类分析器等多个细粒度组件并行对海量数据进行压缩与分类,提取攻击特征值,从而不仅可以检测分布式入侵,而且加快了数据分析与处理速度,提高了了系统的可伸缩性。     

海量数据分布式处理的研究与实现

介绍了涉及海量数据的大型软件的分布式解决方案。将繁重任务分解到Internet／Intranet上的多台机器提高性能是分布式系统的出发点,借此思想处理海量数据、实现数据的分开配置。对DCOM组件的实现原理、组件的划分、远程组件服务器的配置以及采用MMF处理超大型文件进行了详细阐述,而且该方案极易应用到实际开发中,对同类问题极具参考性。     

基于Cache的数据挖掘专用数据访问组件

介绍了数据挖掘算法的两种传统数据访问方式及其缺点,提出了新的数据访问方式——基于Cache的数据挖掘算法的数据访问方法,该方法提供了三种模式缓存数据：单列模式、多列模式、混合模式,以适用多种数据挖掘算法的需要。设计实现了这种数据挖掘专用数据访问组件,该组件兼顾了传统访问方式的优点,实验证明在占用有限系统资源的情况下,保证了高效的数据访问效率并支持对海量数据的访问。     

虚拟化组件数据安全交换平台设计

为了提高数据交换传输的安全性,开展虚拟化组件数据安全交换平台的设计研究。根据数据安全交换需求,设计数据安全交换平台架构,选用信锐品牌、XMG-3500型号的安全网关作为虚拟化组件数据安全交换平台中的核心硬件。在硬件设备的支撑下,使用pentaho中的Kettle工具,设计虚拟化组件数据处理与本地内网传输,使用Linux操作系统隔离非Linux病毒,调用平台终端的“白名单”认证数据信息,采用生成数据安全交换链路的方式实现虚拟化组件数据的安全传输。对比实验结果证明,该平台可以在提高数据传输稳定性的同时,解决数据的丢失问题,提高数据交换的安全性与可靠性。     

分布式海量数据并行传输消息中间件设计与实现

本文提出一种分布式海量数据并行传输消息中间件设计与实现技术,系统采用了计算机集群及并行处理技术、基于数据库日更新技术的数据同步传输机制、异构传输数据库配置与传榆数据配置技术及传输过程设置及传输过程监控技术,实现大型网络系统中异构数据库信息系统问海量数据信息并行交换,多级网络系统间数据信息并行交换.     

数字地球系统中海量数据存储与传输方案研究

文中目的是设计一种基于四叉树索引的海量数据存储和传输方案,并将其应用在自主开发的数字地球系统中。使用四叉树索引完成海量影像与高程数据的存储方案设计,并在此基础上设计了一种基于海量数据的传输方案。该方案在数字地球系统的展示效果表明,这种基于四叉树索引技术的海量数据存储技术以及网络传输方案,能够满足影像、高程数据实时可视化的需要,并且利于确定视野可见范围内的地图块位置,利用截锥裁剪技术减少系统渲染的数据量,提高系统的执行效率。该方案在数字地球系统中发挥了重要作用,有一定的实用价值。     

面向对象数据分析框架ROOT及其I/O系统剖析

为了分析系统中产生的海量数据,研究并分析了一个面向对象数据分析框架ROOT系统。首先分析了ROOT系统的核心模块和主要功能,然后阐述了ROOT系统的文件存储结构和输入输出系统。ROOT系统的文件存储采用压缩的二进制格式,大大减少了数据的存储空间和传输时间;针对数据分析领域中的局部性特点,提供了数据对象自动拆分机制,减少了数据分析时数据的吞吐量,显著提高了数据分析效率。最后通过实验验证了ROOT系统在海量数据分析领域的高效性。     

基于Storm的海量数据实时聚类

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。     

多用户多任务并发的海量数据异步网络通信参考模型研究

当前已经进入信息个性化网络服务时代,而有限的网络带宽和海量的数据成为瓶颈,为解决此问题,在网络L/O模型基础上提出一种支持多用户并发的海量数据的异步网络通信参考模型。设计基本架构与通信流程,并解决网络传输中粘包和基于线程池并行消息处理的关键问题。最后通过在百兆和千兆网络环境下单用户和多用户访问进行实验测试,对实验结果的分析验证了所设计模型的高效性和稳定性,可以满足基于大规模数据的各种实时应用的需要。     

遥感影像Web共享关键技术应用研究

研究海量遥感数据在Web 共享中所需要的网络支撑环境、数据自动入库、数据自动传输、影像高效查询等关键运行技术。在关键技术研究的基础上,详细分析与设计了针对海量遥感数据的可视化查询、浏览及下载功能,并基于 Web服务等相关计算机技术,实现了海量遥感数据共享原型系统,完成海量遥感数据的 Web 共享。
     

基于COM+技术的空间属性数据一体化存取的DGIS

利用微软的COM+技术能够使DGIS提高数据更新的实时性和数据传输的实时性,提供数据对象化存取与传输的框架,增强数据的安全性,同时也符合OpenGIS标准。特别是与UDA数据库技术相结合,基于COM+技术的DGIS系统可解决GIS中的空间数据与属性数据的一体化存取的问题,并使用Visual Basic 6及UDA体系下的数据访问组件ADO进行了COM+组件的开发,对整个框架体系进行了实验。     

基于最优内插预测的科学数据压缩方法

在海量科学数据存储和传输压力愈来愈大的背景下,我们针对结构网格离散的科学计算数据,研究了基于二维9点、三维27点最优内插预测的科学数据压缩方法.数值实验表明该方法大大优于现有的压缩算法,可以较好地解决科学计算数据的压缩存储问题.     

面向气象水文信息整合的网格模型

数据的高效获取.存储,传输和处理对气象水文信息系统至关重要,然而,管理这些存储在地理分布,异构数据源中的海量数据也是一个重大挑战.其难点在于如何处理数据源之间结构和语义异构性,如何提高分布式查询的效率、如何保证数据源中数据的安全性和查询的正确性.针对这些问题,提出了一种基于网格技术的气象水文信息整合模型.在模型中,存储管理器、查询管理器,事务管理器等组件之间交互协作以提供各种数据管理服务和保障.同时提出的类JDBC的资源统一访问接口模型,不仅可以实现异构数据库信息的整合,也可以实现异构数据库信息和特定格式的水文信息的统一整合.详细描述了各组件的功能作用和模型的工作机制.     

智能机器人语音远程控制系统的设计

为使智能机器人远程控制更加方便、快捷、人性化,设计并实现了一种智能机器人的语音远程控制系统方案。该方案利用微软语音开发包Microsoft Speech SDK,构建基于听写模式的大词汇量语音识别模块和语音合成模块,利用海量中文智能分词组件构建关键词检测模块,结合VFW（Video For Windows）技术与无线网络技术构建信息传输模块。实验表明,该系统语音识别准确率高,识别范围广,语音输入灵活。     

基于COM的医学形态学投影考试系统设计与实现

高等医学院校的形态学实验考试是对学生的实践能力的检测,以往传统的形态考试效率低下,浪费人力、物力和时间资源.针对这些现状及需求设计了医学形态学多媒体投影考试系统,本系统研究过程主要采用了COM(组件对象模型)软件技术,通过COM定义了文件数据组件、数据库组件的对象模型及通信接口,完成了数据的传输及安全控制;主要给出了考试系统的总体设计与功能,系统在实际应用中取得了一定的经济效益和社会效益并深化了教育改革.     

基于DHT对等网络的虚拟场景数据发布

与网络的结合使虚拟现实技术飞速发展,但实际应用中有限的网络带宽、海量场景数据的传输等问题使其受到严重制约。本文提出将DHT技术引入到虚拟场景中,通过对场景数据的分块处理及对用户的管理实现对海量三维场景数据的有效发布及获取。本文深入探讨了基于DHT原理的数据分布式存储、发布及获取机制。实验结果表明,该方法能够对虚拟场景数据有效发布及获取,并使数据获取效率有所提升。