基于UML技术的空间基础数据库设计与实现

设计合理的空间基础数据库不仅能提高整个空间数据操作时的性能和效率,而且还可以减少后期的维护修复工作,使整个空间基础数据运行的更加快捷,需要对空间基础数据建立数据库;当前的空间基础数据库设计方法采用ArcSDE数据引擎对空间基础数据进行不断地更新调整,再利用多源空间数据格式转换的技术对空间基础数据库进行设计,存在空间基础数据运行时速度缓慢,计算精度低的问题;为此,提出了一种基于UML技术的空间基础数据库设计方法;该方法首先在空间基础数据库设计中建立空间基础数据索引结构,利用R-树族构建空间基础数据索引树,依据空间基础数据索引树,扫描索引空间基础数据,过滤掉不满足查询条件的空间基础数据对象,使空间数据查询结果可以在额定时间内获得,然后采用空间基础数据点、数据线、以及由数据线组成的区域、一组区域、空间基础数据网络的详细存储方式对空间基础数据进行存储,利用MongoDB驱动程序对矢量空间数据进行存储存储,最后通过对空间基础数据库索引、查询、存储等设计实现了空间基础数据库的建立;仿真实验结果证明,所提方法提高了空间基础数据的建库速度,减少了数据运行的时间,提升了空间基础数据的利用率。     

数字地球系统中海量数据存储与传输方案研究

文中目的是设计一种基于四叉树索引的海量数据存储和传输方案,并将其应用在自主开发的数字地球系统中。使用四叉树索引完成海量影像与高程数据的存储方案设计,并在此基础上设计了一种基于海量数据的传输方案。该方案在数字地球系统的展示效果表明,这种基于四叉树索引技术的海量数据存储技术以及网络传输方案,能够满足影像、高程数据实时可视化的需要,并且利于确定视野可见范围内的地图块位置,利用截锥裁剪技术减少系统渲染的数据量,提高系统的执行效率。该方案在数字地球系统中发挥了重要作用,有一定的实用价值。     

医学影像云存储模型的研究与设计

为解决早期云计算模型对医学小文件存储出现的单节点问题,数据高冗余造成数据的不一致性以及检索效率低等方面的问题,提出一种新型云存储模式。模型中,引入BWFS算法实现优化海量医学小文件序列化合并,优化纠删码算法实现数据块编码,减少数据块的冗余存储,而且引入位图索引技术与HBase索引结合形成新型并行索引策略,优化HBase主索引的缺点。实验表明,新型存储模型通过使用BWFS算法和纠删码技术减少了集群主控节点的内存消耗,在保证数据快速恢复的情况下,减少了集群数据的冗余存储,并行索引技术提高了医学数据影像的检索效率。     

基于谓词索引的海量数据压缩存储及数据操作算法

压缩数据库技术是海量数据管理的重要技术之一.利用海量数据自身及其数据操作的特点,提出了一种海量数据压缩存储结构.该存储结构将第二级和第三级存储器结合起来,以数据操作条件中的谓词为索引,在减少存储空间的同时有效地支持查询、删除和更新等数据操作.理论分析和实验结果表明,这种存储结构可以提高海量数据的存储效率和数据操作的性能.     

基于HBase的气象结构化数据查询优化

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。     

面向存储管理的RFID中间件设计与实现

现代物流对信息获取的及时性和准确性提出更高的要求.将RFID技术应用于物流容器,用以保存动态的物流信息,由此提出了信息容器的概念.针对RFID系统缺少存储管理、读写器对标签数据访问效率低的问题,设计实现了标签操作系统（tag operating system,简称TOS）RFID中间件体系.TOS依据电子产品代码（electronic productcode,简称EPC）的长度对标签内存进行分页,在标签内存中构建位示图以索引存储空间使用状态,应用数据存储格式标识提升内存分页的灵活性,并在上位机建立实时内存数据库提高对标签数据查询的效率.实验结果显示,TOS中间件可以提高读写器对标签数据的操作效率. TOS中间件可普遍应用于物品的生命周期管理.     

面向城轨线网的海量小文件存储方法

城轨线网小文件数据量巨大,传统的分布式文件系统很难为海量小文件存储提供符合需求的高吞吐、低延迟读写过程。根据城轨线网级业务的数据特点和以天为周期的数据访问方式,提出基于FastDFS分布式文件系统和Redis键值数据库的城轨线网海量小文件存储方法,将具有相关性的城轨小文件合并成大文件进行聚合写操作;根据FastDFS返回的大文件索引、小文件存储起始偏移量和小文件长度建立全局索引,利用Redis存储小文件名和全局索引的键值对;采用数据预取机制,预取创建时间相邻的数据。实验结果表明,相较于FastDFS系统,FastDFS-Redis系统的小文件读写吞吐量分别提高了9.35%和4.45%,达到明显改善城轨线网海量小文件的访问效率的目的。     

视频监控存储系统的设计与实现

针对文件系统存储视频数据时存储效率低和检索性能差的问题,提出一种基于裸盘设备的视频数据专用存储方案,实现了视频数据的高效存储和秒级检索。针对多路视频流的并发写入控制,采用单线程非阻塞I/O复用技术和"乒乓缓冲"机制,避免多路视频流并发写入时的阻塞问题;针对视频监控系统媒体转发服务器的时钟漂移问题,采用基于两级索引的回馈定位技术,提高系统对服务器钟差的容错能力。系统测试结果表明,相对于文件存储,"时间索引+数据块"存储方式的视频检索效率不受数据规模大小影响,多路并发写入时,单线程非阻塞I/O复用和"乒乓缓冲"机制能有效避免阻塞现象的发生。     

航天测控信息数据库实时优化管理策略研究与应用

为提高和优化测控信息数据库实时性能,设计了一种基于内存数据库与关系数据库的两级实时存储模型,文章详细阐述了两级数据库的存储机制及其生命周期,分析归纳了实时测控信息的特征及存储策略,提出了内存数据库基于“T树”＋“哈希”索引相结合的白适应索引算法和两级数据库实时数据同步机制等关键技术,从而提升和优化了数据库的实时性、可靠性和安全性,为今后实时的扩展应用提供了可靠数据保证．     

HCSIM:一种长期高频Block-Level快照索引技术

高频快照技术应用于备份时,能够为物理错误和人为错误提供数据保护,构建可靠数据存储环境.针对长期、高频block-level快照检索效率低下问题,在对目前常见的block-level快照技术建模、分析基础上,提出结合数据分布特征和检索模式的分层次二维索引结构--HCSIM.实验、分析结果表明:HCSIM索引技术应用于长期、高频快照管理时,比时空索引结构Overlapping B+Tree索引技术显著提高索引的存储效率和检索效率;通过定性的分析,HCSIM是目前存在的block-level快照索引模式中存储效率和检索效率相对平衡的索引技术.     

关系数据库中海量要素存储的分区优化研究

目前,关系数据库中的分区技术应用相当广泛,但是用分区策略管理海量要素图层数据的存储与索引没有比较系统的技术方法。采用不同管理方式、不同分区粒度、不同索引方式及其组合的分区技术来系统地管理海量空间图层数据,进一步研究了不同的分区粒度及索引方式对查询效率的影响,并通过实验验证了关系数据库中的分区技术对海量要素图层数据的存储与管理具有优化作用。结果表明,在不使用分区键作为查询条件时,分区粒度越大查询效率越高;使用分区键作为查询条件时,本地分区索引查询效率更高等。利用合理的分区方案使得海量要素图层数据存储和管理得以优化,对矢量大数据的存储和管理研究具有重要意义,为更好地应用分区技术来解决实际遇到的存储与检索效率问题提供决策支持。     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

基于三维地球的多源空间科学数据可视化管理系统的设计与实现

如何高效地组织和管理日益增长的多源海量空间科学数据、提高数据的可用性和易用性,是空间科学目前需要重点解决的技术问题。在充分分析现有空间科学数据管理技术和数据特点的基础上,提出了一种有效的系统架构,研究并利用空间关系数据库及分布式数据库技术,实现了海量异构数据的高效存储、检索与定位;研究基于三维数字地球的多层次细节展示方法、三维数据剪裁、多线程并行加载等关键技术,提高了空间科学数据的集成可视化显示与应用效率。最后设计并集成了多源空间科学数据可视化组织与管理系统,在实际工程应用中验证了设计的合理性与有效性。     

无人机数据库中海量飞行数据快速检索模型设计

对无人机数据库中海量飞行数据进行快速准确的检索,能够为无人机的安全飞行提供可靠的保障。传统的数据检索方法进行海量飞行数据检索的过程中,没有考虑飞行数据之间的联系,在检索的过程中需要频繁扫描数据库,降低了挖掘效率。提出一种基于模糊粗糙集算法的无人机数据库中海量飞行数据检索方法。该算法在充分考虑到飞行数据之间的联系的前提下,利用自动标引技术对数据库中的实时飞行数据进行分析,再利用特征向量进行飞行数据的内部描述,计算飞行数据检索的模糊表示的上、下近似集,建立海量飞行数据检索模型,根据模型的输出结果利用布尔逻辑进行模糊匹配,最终检索出与查询的关键词近似的飞行数据,并将检索结果按照相似度进行排序。实验结果表明,该算法能够提高检索的效率,效果令人满意。     

基于大数据的水土保持监测站自动数据采集系统设计与应用

随着信息技术、网络技术的快速发展,在水土保持的预防和治理工作中可以应用自动化采集设备进行数据的采集、存储和管理,提高水土保持检测的准确性、完整性和整个过程的工作效率。本文设计一套基于大数据的水土保持监测站自动数据采集系统,该系统可实现水土保持监测数据远程自动采集、归类、汇总、存储,将其应用到监测站中,通过几个月的运行测试,系统工作状态良好,可准确、完整地完成水土标尺监测数据自动采集与数据处理和存储功能。     

基于Neo4j的海量石油领域本体数据存储研究

语义网技术的发展促进了石油领域中多学科本体之间的整合技术的发展。随着数据的规模的增大,传统的基于关系型数据库的数据存储和信息检索等存在较多问题。对此,提出了一个基于Neo4j数据库的领域本体构建过程,专注于改进数据存储和信息检索两个方面。首先,提出了一种基于图形数据库Neo4j的大规模本体数据存储问题的解决方案,通过设计一种基于Neo4j的存储模型配合分布式存储机制,实现存储空间的高效利用。其次,在Neo4j数据模型的基础上,设计了一种两层索引结构的检索算法。实验评估表明, 提出的方法与基于关系数据库的方法相比,在数据存储方面可以节省10％以上的存储空间,在信息检索方面将检索效率提高了30多倍。     

移动数据库中数据复制同步处理策略的研究

同步技术是保证复制移动数据库系统一致性的一项关键技术,鉴于目前移动复制同步技术存在通讯数据量大,存储空间消耗多,尤其是在网络带宽下降时,不能及时更新客户端的数据,导致移动事务执行失败等缺陷。通过UTLRSP（Union Transaction-Level Result-Set Propagation,关联事务结果集）复制同步模型结合数据广播技术,并利用基于优先级的增量更新算法实现客户端与中心数据库服务器的数据同步处理。实验结果表明,与两级复制机制相比,UTLRSP模型将事务作相关联处理,且只保存事务结果,有效降低了存贮空间的消耗,减小了同步过程中通讯数据量;基于优先级的增量更新算法根据数据新鲜度排列优先级,保证在无线网络带宽下降时新鲜度最高的数据先传输,提高了数据的传输效率、动态新鲜度以及客户端的可扩展性。     

一种新的P2P空间矢量数据索引网络的研究*

针对当前P2PGIS研究在多尺度、多图层空间矢量数据索引方面的不足,从应用实际出发,提出了一种新的P2P空间矢量数据索引网络。该网络扩展了已有的混合式索引网络结构体系,利用金字塔融合多尺度构建分布式四叉索引树;在此基础上,提出相应的分布式空间矢量数据的查询算法,并用数学方法进行了性能分析。原型系统性能测试结果表明,该索引网络能有效地减少网络负担,提高空间索引的效率。     

基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

测量数据处理系统的设计与应用

在火箭研制阶段,遥测系统用于测量火箭各系统的工作状态参数和环境数据。测量数据是评定火箭的性能和进行故障分析的依据。测量数据处理是火箭测试流程中的关键环节之一,是火箭各系统功能检查、系统测试评价和火箭整体性能评估的重要手段。测量数据处理系统以数据处理和管理为核心,以实时数据库和事后数据库为基础,引入数据快速处理、网络发布、数据共享与存储等技术,构建了分布式的测量数据处理与综合管理平台。该系统的应用提高了运载火箭的测试效率,减少了系统测试时间和工作量,降低了测试成本,既实现了测量数据的高效处理和管理,又提高了数据判读解析的准确性。