内存数据库索引技术在消防监控系统中的应用研究

传统的磁盘数据库因为要进行大量的I／O操作,不能很好地满足系统的实时性要求。内存数据库系统将用户数据加栽到内存中,使得数据的处理速度大大提高,可满足各种实时应用系统的实时数据处理需求。本文介绍了消防监控系统中内存数据库索引的设计方法,并对比了两种方法下的系统运行效率。     

基于RTX的仿真平台下实时仿真数据库设计

针对Windows平台下的传统非实时数据库实时性无法满足实时仿真需求问题,首先分析了RTX的特点,介绍了基于RTX的仿真平台。在此基础上,提出了一种在RTX和Windows的仿真平台下,利用RTX的实时特性以及内存管理特性,设计实时仿真数据库的方法。方法主要利用RTX的中断处理以及进程调度机制来提高Windows的实时特性,利用RTX的内存锁定技术来构建实时仿真数据库,采用传统的非实时关系数据库保存历史仿真数据,并由实时仿真数据库和历史数据库构成完整的仿真数据库。     

基于内存映射的ENVI标准格式影像指定块数据快速读取

针对遥感影像海量数据存储问题,提出了一种基于内存映射的指定块数据快速读取方法,并通过OpenGL对ENVI标准格式的遥感影像海量数据快速读取予以验证。实验结果表明,基于内存映射的方式能有效地解决遥感影像海量数据指定内容的快速读取问题。论文还对内存映射的原理以及基于OpenGL显示的ENVI标准格式遥感影像数据读取程序实现细节进行了描述。     

基于窗口函数和分布式集群的可视化学术搜索系统数据查询优化

针对在密集分析型查询请求和海量数据的应用场景下传统关系型数据库MySQL性能不佳问题,提出了基于窗口函数(Window Function)的分析型查询优化方法,以分区(Partitioning)方法代替传统的分组(Group by)操作,并提出了基于分布式集群(SQL-on-Hadoop:SparkSQL)计算引擎的海量数据查询优化方法,采用内存列存储优化技术和Spark分布式集群计算以提高查询性能.同时,以典型的分析型SQL查询实例验证了其有效性.结果表明,所提出的查询优化方法能够显著提高查询性能.与传统的关系型数据库MySQL相比,基于SparkSQL的查询优化方法的查询速度大幅提高,从而验证了其用于可视化学术搜索系统AceMap数据查询的正确性.     

C#中对SQL Server数据库的海量数据提取显示与Excel表格导出的技术研究

海量数据的提取显示与Excel表格的导出是数据库操作技术的一个难点.本文详细介绍基于NET C#开发平台实现解决这两个问题的流程、步骤和实现方法.本方法解决了海量数据提取可能造成内存溢出的问题并实现了海量数据高效率地导出至Excel文件.     

非阻塞事务型实时数据注入技术研究与实现

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.     

基于NoSQL的海量出租车GPS数据Web服务研究

【目的】针对传统关系型数据库扩展性差、存取效率低等问题,提出一种基于非关系型数据库(NoSQL)的海量出租车GPS数据Web服务方案,满足海量空间数据高效存储管理与实时在线服务的需求。【方法】利用MongoDB地理空间索引实现基于位置的查询,基于Node.js技术提供Web service服务,采用Express MVC框架构建Web应用。【结果】与MySQL Spatial相比,MongoDB在区域查询方面具有较高的查询效率,数据量多时,其性能尤为显著。【结论】基于NoSQL的出租车GPS数据Web服务方案可以支持海量位置数据的实时查询与地图显示,具有一定的应用参考价值。     

航天产品可靠性信息云数据库平台构建技术与方法

为了解决航天产品可靠性设计与评估工作中数据备份和恢复操作效率低,无法快速有效地获得准确数据,整个数据的监控和安全机制无法统一调度等方面的缺陷,文中以关系型云数据库为着眼点,分析可靠性信息云数据库平台的系统架构,设计该模型下的数据访问策略,进行了海量数据存储、访问、分析和管理方面的研究。最后构建一种适应航天产品可靠性信息复杂性、海量性和多源性特点的数据库体系架构。为未来可靠性信息云数据库平台支持系统扩展、信息安全管理、海量数据存储和恢复备份研究提供思路。     

海量冗余数据干扰下数据库中数据优化检索方法

针对传统方法对数据库中的数据进行检索的过程中,在海量冗余数据干扰时存在无法区分检索数据类别,降低数据检索的效率和精度的问题,提出一种基于特征模糊接近的海量冗余数据干扰下数据库中数据优化检索方法.利用数据模糊集间的接近度表述海量冗余数据干扰下数据库中数据的一致度,结合数据融合技术,对类间数据实现分类处理.利用模糊集算法准确查询分类数据,对分类数据实现二次聚类计算,细分其类边缘,通过加载辨别函数实现数据定位,完成数据检索.实验结果表明:该方法进行数据检索时具有较高的检索效率和精度,且抗干扰能力较强.     

动态散列目录扩展算法的研究

为了分析分裂条件(桶溢出和存储利用率)和数据偏斜性对线性散列、可扩展散列、改进的动态散列目录增长的影响,对三种动态散列的目录扩展算法进行了研究。实验结果表明,在数据分布均匀的情况下,采用桶溢出分裂与采用存储利用率分裂相比较,三种动态散列目录增长速度较快,溢出桶数目较少;当采用存储利用率作为分裂条件时,三种数据分布偏斜情况对线性散列与可扩展散列的目录增长的影响相同。当采用桶溢出作为分裂条件时,数据分布越靠后端,线性散列目录增长越慢,改进的动态散列目录增长越快。     

体育场馆空间信息云存储与服务技术研究

基于移动互联网的体育场馆管理与服务应用平台中需要海量的空间信息数据作为支撑.空间信息中包括海量的非关系型数据,传统的关系型数据库显然无法满足海量空间信息存储与服务的需要,而基于云计算的非关系型数据库与分布式文件系统却是有效的解决办法.针对体育场馆空间信息不同的数据形式,分别采用了不同的数据模型,同时为了提高数据的存储与服务性能,采用了集群技术.文章提出的体育场馆空间信息的存储与服务解决方案为体育场馆智能化管理与服务提供了有力的技术支撑.     

试论大数据时代的科技平台构建

传统数据库技术已无法满足海量数据的充分利用,大数据的管理和使用成为突出问题。大数据处理使实现精准化和精细化管理成为现实。本文对大数据的概念进行了深入探讨,并分析了大数据时代的解决方案与大数据科技平台构建的必要性及技术措施。     

面向CLAIMS基于Smart物化策略的列存储设计与实现

物化是列存储数据库查询中必不可少的操作,物化策略和物化技术在查询执行过程中起着至关重要的作用.因此设计一种针对列存储数据库的物化策略尤为重要.提前物化生成的元组中存在无关属性;而延迟物化对选择率较高的查询可能无法优化其性能,且某些列会被访问多次.针对以上缺点,本文提出了有别于上述两种策略的策略——Smart物化策略.本文提出了在逻辑查询计划中使用结构——projection,该结构是由用户选取查询所需的属性来生成的,相当于对全表进行物理上的切分;在查询开始时,能减少直接加载到内存的数据量,避免额外的开销.在构建逻辑查询计划过程中,Smart物化策略将projection作为扫描操作标准来对数据进行按列划分,根据一组语句集中对列访问的相关性来对下一次查询所需要的列进行预测,将所需要的列加入到一个最合适的projection中来进行物化.本文通过在分布式内存数据库CLAIMS上使用TPC-H数据集来验证其有效性.     

电力调度自动化实时数据库管理系统的设哥

本文针对调度自动化系统相对于传统事务型应用的特殊性,对实时数据库系统进行分析,介绍了基于面向对象的程序设计方法,以此为基础设计了一个实时数据库系统,实现了实时数据库的涉及问题：实时数据库的总体结构设计、实时数据的存储和实时任务处理。并进一步设计了数据备份和内存数据库等功能模块的实时数据库管理系统的体系结构。     

基于C++的实时数据库的设计与实现

根据仿真系统支撑平台的实时性要求，利用动态链接库和内存映射文件建立系统运行的实时数据库，通过内存映射文件开辟共享内存区，编制一系列封装在动态链接库的接口函数来实现对共享内存区数据的操作．该方法既能实现多个进程数据的共享，又保证了实时的响应速度．     

利用VBA实现Word数据的转换操作

熟悉和掌握VBA与数据库连接及Word对象模型的操作,可以使日常工作的Word文档及表格格式内容转换成SQL数据库,以便获取数据库格式的教据。之后,进行记录的增删、查询、修改等操作,完全满足了程序设计所需的数据要求。既避免了二次数据的录入,又使工作变得更加简单、高效。     

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.     

关系数据库中无模式数据存取实现方法

关系型数据库较好的满足了企业级管理面向事务处理的数据一致性要求,但目前越来越多的Web2.0应用使得大量强调高并发下高效存取的非结构化数据出现。对于处理关系型数据库与NoSQL模式的融合和扩展问题,该文提出了在传统关系型数据库数据存取过程中,将数据及存取命令重新解构,使数据存取分为模式和无模式两种方式分别进行处理的思想,从而解决了数据一致性和高效存取的矛盾。最后,在同一MySQL数据库中对相同数据分别进行模式和无模式环境下并发海量数据插入、查询等操作,测试结果证明了此方法的确有比关系型数据更高的存取效率。     

基于FastDB的CIM数据访问机制的实现

通过对CIM数据访问机制的分析,阐述了数据访问过程中资源定位、数据查询、数据描述的方法.研究并给出了基于FastDB的CIM数据访问接口 ResourceIDService和Resource Query Service 的实现代码、功能及异常处理方法.可以有效地使用CPU周期和内存,在一定程度上满足了系统对数据的实时操作,提高了不同行业中对整个系统的复用、开发和维护率.     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.