水利行业国产数据库选型思考

在当前国际形势下,为避免核心技术受制于人,数据库国产化是必然趋势.分析目前国产数据库的现状、应用场景,数据库国产化实施的难点及改造中面临的问题,介绍国产数据库的主要技术路线,分析主从、分布式等架构的技术特点和读写方式,以及数据同步、一致性、分片及分布式事务等具体实现原理,论述达梦、金仓、OceanBase和TBase等...     

基于Chunk Folding的多租户数据库缓存管理机制

Chunk Folding是SaaS模式下常用的存储架构之一,通过共享数据库共享架构来存储租户的数据以获取规模经济效益,但基于传统数据库搭建的Chunk Folding共享存储架构,其缓存管理机制缺乏良好的多租户特性,导致数据库性能恶化,租户的SLA得不到保障.为此,提出了基于Chunk Folding的自适应多租户缓...     

基于Kubernetes的云原生数据库集群部署方案

针对气象结构化数据在单机数据库环境下存在缺乏灵活扩展和资源利用率低下的问题,提出了一种基于Kubernetes的云原生数据库部署方案,将MySQL数据库运行在Kubernetes+容器的环境,通过集群部署调优,形成分布式云原生数据库服务能力。该方案利用Shared Everything+Shared Storage的存储计算分离架构实现资源池化高效管理;利用Shared Nothing的分布式架构,实现数据水平分片、水平扩展。测试结果证明,该方案具有较好的横向扩展和数据查询性能。     

基于原生数据库的SaaS存储模型

SaaS应用中的多租户数据存储是当前的热门研究点, 现有解决方案大都基于关系数据库, 采用模式映射技术. 从SaaS的存储灵活性和分布式特点分析了使用原生XML数据库的可行性, 并给出了适合多租户数据的XML存储结构, 能够有效支持SaaS的上述特点.     

多副本分布式事务处理关键技术及典型数据库系统综述

数据复制是分布式数据库提高可用性的重要手段,通过在不同区域放置数据库的部分副本,还可以提高本地读写操作的响应速度,增加副本数量也会提升读负载的线性扩展能力.考虑到这些优良特性,近年来国内外都出现了众多多副本分布式数据库系统,包括Google Spanner、CockroachDB、TiDB、OceanBase等一系列主流的工业界系统,也出现了包括Calvin、Aria、Berkeley Anna等一系列优秀的学术界系统.然而,多副本数据库带来诸多收益的同时,也带来了一致性维护、跨节点事务、事务隔离等一系列挑战.总结分析现有的复制架构、一致性维护策略、跨节点事务并发控制等技术,对比几个代表性多副本数据库系统之间在分布式事务处理方面上的差异与共同点,并在阿里云环境下搭建跨区域的分布式集群环境,对几个代表性系统的分布式事务处理能力进行了实验测试分析.     

一种基于云的SaaS分布式多租户数据库研究

给出一种基于云平台的Saa S分布式多租户数据库架构,探索了Saa S多租户应用面临的租户自定义数据访问控制和租户海量数据存储两大挑战的解决方法。使用云平台虚拟机作为局部存储节点,借助数据切分和读写分离,实现了可用性和扩展性强的租户海量数据的存储。采用灵活的键值对模型存储租户自定义数据,提出了基于元数据的租户自定义数据访问控制方法,并设计了访问控制算法。将典型应用TPC-W转换为多租户模式并进行原型实验分析,结果表明该架构是有效和可行的。     

数据库连接中间件的研究

文章对松散耦合的分布式信息系统进行性能优化的一个重要的方面———数据库连接中间件技术进行了讨论。数据库连接中间件实现多客户共享数据库连接,有效地改善了多用户对数据库的访问性能,优化了网络传输性能,并且支持与多种关系数据库的连接。     

在SaaS中使用原生XML数据库

多租户数据存储是软件即服务（SaaS）的重要研究点之一。现有的解决方案大都是基于关系数据库的模式映射技术,然而理想的SaaS多租户数据库并没有产生。文中从SaaS的web特性、数据存储存储灵活性和分布式特性三个方面讨论了在SaaS中使用原生XML数据库（NXD）的可能性,并且给出了等价于私有表方法的多租户数据XML存储结构。与此同时依据此XML结构进行了相关的实验,结果表明NXD作为理想的web中XML数据存储方式可以成为多租户数据存储的一种解决方案,并且能够有效地支持SaaS的web特性、数据存储灵活性等特点。     

在SaaS中使用原生XML数据库

多租户数据存储是软件即服务(SaaS)的重要研究点之一.现有的解决方案大都是基于关系数据库的模式映射技术,然而理想的SaaS多租户数据库并没有产生.文中从SaaS的web特性、数据存储存储灵活性和分布式特性三个方面讨论了在SaaS中使用原生XML数据库(NXD)的可能性,并且给出了等价于私有表方法的多租户数据XML存储结构.与此同时依据此XML结构进行了相关的实验,结果表明NXD作为理想的web中XML数据存储方式可以成为多租户数据存储 的一种解决方案,并且能够有效地支持SaaS的web特性、数据存储灵活性等特点.     

基于主动TCP连接复制的高性能高可用MySQL数据库集群

提出一种基于主动TCP连接复制的高性能高可用MySQL数据库集群解决方案．该方案采用集群技术对并发的多个TCP连接进行原子多播转换和复制以达到连接容错的效果,同时,对连接流中的只读操作进行分流以达到提高性能的目的．该方案将对TCP连接进行复制的技术应用于MySQL数据库集群中,从而实现了数据库集群整体的高可用性和高性能．经过原型系统的实现和测试,证明了该方案在复制过程中对数据库写操作造成了较小的性能损耗,同时极大地提高了数据库集群的只读查询性能．     

基于SaaS模式的科技信息资源托管系统

针对科技信息资源分散于基层科技机构的现状,提出一种基于SaaS模式的在线科技信息资源托管系统。采用完全隔离的多租户数据体系结构及分布式数据库代理策略,将系统架构分为应用层、数据库调度层和数据库层,设计包括多租户数据结构与分布式数据代理的系统核心机制。实验结果表明,该系统可以对多租户接入的科技信息资源进行在线管理,实现信息资源的汇聚与托管。     

面向科研领域的分布式对象存储系统

随着科研工作的推进, 科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统. 传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题, 严重限制了数据在科研场景下的有效利用. 依托中科院地球科学大数据专项, 本文设计并实现高效的存储系统i-Harbor. 该系统以对象存储系统为核心架构, 以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体, 设计通用的基于HTTP和FTP协议的数据接口, 同时利用多副本和纠删码技术消除单点故障, 配合Zabbix集群监控系统, 实时定位平台参数以及故障, 提高平台容灾性和安全性. 此外, 基于底层分布式结构的特点, 集群可以随意添加存储节点, 提高了平台的扩展性.     

分布式关系型数据库研究与金融行业应用

数据库作为金融信息化建设的重要组成部分, 需要面对持续的业务量增长、高度可用性和扩展性等挑战,而以MySQL、Oracle等为代表的传统数据库单点架构, 在可用性、扩展性和存储能力上已经无法满足当前的金融服务要求. 分布式数据库的出现, 旨在解决单机数据库所面临的各种挑战, 提供更加灵活的架构, 保障系统稳定运行. 为此, 本文在结合实际的金融业务需求下, 研究实现了具有分布式事务支持、分布式SQL引擎、混合事务分析处理等特点的分布式数据库. 系统采用全组件的冗余设计, 通过类Raft增强一致性算法保证了存储层高可用和数据强一致, 同时利用基于Zookeeper的集群调度方案保证调度层的高可用.     

基于改进Kademlia协议的分布式爬虫

随着互联网信息的爆炸式增长,搜索引擎和大数据等学科迫切需要一种高效、稳定、可扩展性强的爬虫架构来完成数据的采集和分析.本文借助于对等网络的思路,使用分布式哈希表作为节点间的数据交互的载体,同时针对网络爬虫自身的特点,对分布式哈希表的一种实现——Kademlia协议进行改进以满足分布式爬虫的需求.在此基础上设计并完善了具有可扩展性和容错性的分布式爬虫集群.在实际试验中,进行了单机多线程实验和分布式集群的实验,从系统性能角度和系统负载角度进行分析,实验结果表明了这种分布式集群方法的有效性.     

集群环境下分布式索引的实现

针对分布式存储系统上使用非主键访问数据带来的性能问题,探讨在分布式存储系统上实现索引的相关关键技术。在充分分析分布式存储特征的基础上,提出了分布式索引设计和实现的关键点,并结合分布式存储系统的特点及相关的索引技术,讨论了索引的组织形式、索引的维护和数据一致性等问题;然后基于如上的分析,选择在分布式数据库系统OceanBase开源版本上,设计和实现分布式索引机制,并通过基准测试工具YCSB进行性能测试。实验结果表明,虽然辅助索引会对系统性能产生影响,但因为充分考虑了系统特征及存储特点,在不同数据规模下,该索引都能够将性能影响控制在5%以内。另外,使用冗余列的方式,能进一步将该索引的性能提升100%。     

分布式深度学习通信架构的性能分析

近年来,深度学习技术的进步推动人工智能进入了一个新的发展时期.但是,海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战,分布式深度学习应运而生,逐渐成为应对这一挑战的有效手段,而高效的参数通信架构是保证分布式深度学习性能的关键.针对传统分布式深度学习模型同步架构在大规模节点上并行训练的问题,首先,分析了集中式的Parameter Server和去中心化的Ring Allreduce这2种主流的参数通信架构的原理和性能.然后,在天河高性能GPU集群上基于Ten-sorFlow构建了2种分布式训练架构的对比测试环境.最后,以Parameter Server架构为基准线,测试了Ring Allreduce架构在GPU集群环境下训练AlexNet和ResNet-50的对比性能.实验结果表明,在使用32个GPU的情况下,Ring Allreduce架构扩展效率可达97％,相比Parameter Server架构,其分布式计算性能可提升30％,验证了Ring Allreduce架构具有更好的可扩展性.     

SaaS多租户数据管理及实现策略

云计算是通过互联网以服务的形式为客户提供企业级计算资源的技术。最普遍使用的服务是软件即服务(SaaS)。许多SaaS提供者利用多租户模式来托管应用。多租户是一种架构方法,软件应用程序的单实例服务多个租户,因此多租户设计关键要解决的是租户数据的共享与隔离。文章论述了多租户架构中数据存储管理的三种方式,详细描述了共享表时多租户数据库的具体实现策略,指出了各种模式映射技术的优缺点,最后给出了将来的研究目标。     

CIMS中数据分布的研究与应用

本文主要是针对CIMS环境下多个层次,多种类型、多种应用、多数据库管理系统的数据分布式设计,以及数据库的分布式实现.针对各种情况进行了具体的设计,并重点讲述了基于ORACLE7.3、充分满足数据安全性的前提下数据的分布式实现.     

基于LSM的分布式强制访问控制的设计与实现

LSM（Linux Security Modules）是得到Linus Torvalds本人支持的安全访问控制的底层架构，强制访问控制是操作系统安全增强技术中经常采用的方式。为了在基于Linux的集群系统上，实现节点间信息的安全流动，在简要介绍LSM和强制访问控制的原理的基础上，讨论了如何拓展LSM及其相应的安全政策来实现集群系统节点问的安全访问控制，并设计和实现了基于LSM的分布式强制访问控制。最后指出了这一实现在性能上的缺陷和进一步改进的方向。     

云环境MMM数据库集群双主多从架构模型构建

随着湖南国家农村农业信息化示范省综合服务平台与农村物联网基础平台的运行,对农业大数据的操作与安全提出了新的要求。为了适应这一要求,针对RedHat与MySQL系统,提出一个基于Linux系统可扩展的MySQL数据库集群双主多从架构优化模型。该模型主要由三个设计模块组成,即前端代理层实现主备热切换与读写分离;数据服务层对服务节点进行整合、监控与单一镜像;数据共享层实现远程数据同步备份容灾。测试证明在不提高服务器硬件性能的条件下,仅通过增加服务器数量就能解决整个数据库集群的性能瓶颈问题,而且能够在大批量读写数据的环境下进行有效的服务,加强云平台下农业数据的安全性、健壮性及可靠性。