一种优化的Key-Value型NoSQL系统

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。     

一种优化的内核态文件发送方法

传统的Linux内核协议栈已不能满足大规模数据处理系统对网络传输越来越高的性能要求。现有很多研究是将原来在内核态实现的协议和接口移到用户态去实现，但针对内核态优化的研究比较少。在研究分析Linux内核态文件发送接口sendfile( )处理流程和管理机制的基础上，本文提出一种内核态文件发送优化方法，采用自动负载均衡的定长内存池管理、CPU亲和性等技术，对内核态文件发送接口进行优化改造。解决了系统在高负载情况下内存碎片、内存耗尽及CPU抖动的问题，有效提升了数据传输性能。实验结果表明，在高并发、高吞吐场景下，采用本文优化方法后，系统运行更稳定，内核态CPU占有率下降50%。     

基于Kubernetes的水平弹性扩缩容系统

Kubernetes的诞生，降低了应用开发者对基础架构和运维团队的依赖，为其提供了强大的工具来编排和调度容器及虚拟机，已经成为分布式集群系统开发及管理的事实标准。Kubernetes通过核心组件HPA（Horizontal Pod Autoscaler）监测集群中CPU和内存的使用情况，并依据这些指标来对微服务集群进行扩容和缩容。但是这些简单的度量指标不能满足实际应用的扩缩容诉求，虽然在社区的最新版本中已经做出了改进，实际效果依然差强人意。本文在原生平台的基础上，设计一种叠加的弹性扩缩容系统E-HPA，可以通过灵活简易的配置方式提供丰富的用户可定制的度量指标，弥补Kubernetes在水平弹性扩缩容方面的缺陷和不足；阐述该系统的设计思想和具体实现细节，并以电信业务应用为例，验证其实验效果。