一种Shared-Nothing分布式数据库的构建方法

分布式数据库能够以相对低廉的代价满足海量数据分析处理的性能需求,兼具良好的可扩展性.文中采用Shared-Nothing架构及MySQL数据库来实现分布式数据库访问层的功能架构及模块设计,提出了使用列存储机制提升分布式数据库系统查询性能的思路,包括数据存储的方法及策略.对所设计实现的系统进行了基准性能测试及扩展性能测试,结果表明,文中所实现系统相较传统列式数据库具有出色的查询性能表现,同时具有优秀的可扩展性,能够以较低的代价满足海量数据分析处理所带来的额外数据库性能提升要求.     

一种Shared—Nothing分布式数据库的构建方法

分布式数据库能够以相对低廉的代价满足海量数据分析处理的性能需求,兼具良好的可扩展性。文中采用Shared—Nothing架构及MySQL数据库来实现分布式数据库访问层的功能架构及模块设计,提出了使用列存储机制提升分布式数据库系统查询性能的思路,包括数据存储的方法及策略。对所设计实现的系统进行了基准性能：侧试及扩展性能测试,结果表明,文中所实现系统相较传统列式数据库具有出色的查询性能表现,同时具有优秀的可扩展性,能够以较低的代价满足海量数据分析处理所带来的额外数据库性能提升要求。     

基于多资源池的医疗数据中心建设实践

为了构建高效运行、架构合理且安全的医疗数据中心,提出采用超融合架构集群,科学评估集群计算存储资源,实现高度虚拟化、基于软件定义的数据中心设施.不同于传统的逻辑资源划分,文章按照功能和区域将数据中心划分为内网计算存储资源池、外网应用资源池、桌面云资源池、安全资源池和容灾备份资源池共五大资源池,多资源池医疗数据中心的建设,有效地提升了全院业务系统的性能,保障了医院业务的安全性和连续性.     

基于导航卫星信号的采集系统设计与实现

针对导航卫星信号监测的新要求,提出一种集成了数据采集、处理、存储和回放功能的一体化卫星信号采集系统。该系统采用PCIe架构,系统带宽可达到全双工900MB;数据采集480MB持续数据,以及480MB突发数据;数据处理采用FPGA＋DSP联合架构,完成对数据实时处理;存储采用全固态结构,用Flash代替传统的磁盘存储;并且能够通过PCIe接口完成960MB带宽的数据回放。该系统具有性能高、集成度高的优点,可以运用在雷达、侦查等高端领域。     

基于HBase的交通流数据实时存储系统

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.     

基于OpenCL的HMAC-SHA256算法优化与实现

HMAC算法作为主流消息认证算法之一,面临着以纯软件方式运行速度慢,以传统的FPGA硬件实现方式更新维护困难的问题。针对上述问题,设计了HMAC-SHA256算法的定制计算架构并基于OpenCL以高层次描述方式进行了实现。具体包括计算路径优化、存储结构与查找表优化、HMAC-SHA256全流水结构设计。基于OpenCL的计算任务分组优化、数据存储优化、数据通道矢量化等手段实现了HMAC-SHA256算法的FPGA定制计算架构。实验结果表明：在Intel Stratix 10 FPGA平台上,所实现的HMAC-SHA256吞吐率达到174.236Gbps,与Intel Core I7-10700 CPU相比,性能提升了656%,能效提升了1514%;与NVIDIA GTX 1650 SUPER GPU相比,性能提升了14%,能效提升了288%。     

基于云计算的数字图书馆服务平台架构设计

在分析数字图书馆功能需求的基础上,提出了一种基于云计算的数字图书馆服务平台架构的设计方法,该平台采用六层架构,既能提供存储服务以实现资源共享,也能为计算量巨大的工作(如基因序列测定)提供计算服务。文中同时介绍了架构的实现技术,利用这些实现技术,能够快速构建云服务平台。     

基于MapReduce模型的Hopfield神经网络联想记忆算法

Hopfield神经网络以良好的联想记忆功能、容错性而得到广泛的应用。然而,云计算平台下,面对海量数据时它并不能在单机上存储高维度模式以及获得良好的性能。另外,传统的联想记忆网络数据分布存储,使得MapReduce结构可以很好地解决并行化和分布性的问题。根据以上原理,提出一种MRHAM(MapReduce-based Hopfield Network for Association Memory)算法,对传统的Hopfield联想记忆算法采用MapReduce架构实现大规模并行化处理。通过实验验证在大规模数据量下获得比传统Hopfield联想记忆算法更好的性能,对于海量数据的基于内容存储、联想记忆有重要意义。     

结合云存储的新一代博客系统架构

为解决新一代博客系统海量信息的存储问题,结合云存储技术,提出了一种新的博客系统架构BlogCloud。该架构以分布式存储技术为核心,避免了集中式存储的性能瓶颈问题,可扩展性高;采用半分布式P2P网络拓扑结构,能快速定位网络中的存储资源;只将稳定节点作为存储节点,避免了不稳定节点带来的网络波动问题;遵循就近存储原则,同时在客户端缓存文件,减少了网络传输;允许用户自定义文件分块的大小,对大的文件可分块并行传输,提高了文件传输的速度,对小的文件则不用分块,节省了文件分块、合并的开销;具备数据冗余备份功能,在网络中多个存储节点保留文件副本,并实行异地备份,增强了数据的安全性和可靠性。在虚拟机上对BlogCloud和ZSWIN博客系统进行比较测试,结果显示:BlogCloud的吞吐量明显高于ZSWIN;将不稳定节点作为存储节点会降低BlogCloud的性能;在存储节点和索引节点减少的情况下BlogCloud仍然能够稳定运行,可靠性较高。结果表明,BlogCloud架构能够满足新一代博客系统的存储要求。     

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以...     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

稳定之星 浪潮英信服务器NF280D

浪潮英信NF280D基于全新的浪潮智能弹性架构IFA+,是一款高可靠性、易扩展的2U的双路服务器,也是IFA+系列中引人注目的“稳定之星”。凭借智能散热系统和智能扩展设计在有限的空间内完美展现了高可靠性、易扩展的特性。性能卓尔不凡智能弹性架构IFA+的核心是效能三角,即以性能均衡提升为原则,以应对用户业务应变为目的,整合计算、存储、I/O等服务器基础功能单元,和可信、智能、弹性等客户应用技术于一体,最大限度释放双核计算性能,实现服务器在客户应用过程中的高效能体验。在计算性能方面,双核的NF280D可谓“卓尔不凡”!NF280D支持…     

多级P2P架构VOD系统中分布式节点的设计与实现

大规模对等网络点播服务中主要的挑战之一为服务性能及可靠性保障.提出一种基于多级P2P架构的VOD(视频点播)系统,克服了传统的集中式P2P结构和纯P2P结构的缺点,综合了二者的优点.文中给出系统中主要的分布式节点的设计与实现方法,在后续的实验床上的验证结果表明,各主要分布式节点实现了预期的功能,多级P2P架构具有一定的先进性,较大地增强了系统的服务性能及稳定性和可靠性,有效地拓展了系统的带宽.     

AES算法的CUDA高效实现方法

针对AES算法的ECB工作模式安全性低的弱点, 提出了一种新的ECB工作模式, 并在GPU最新统一计算设备架构(CUDA)下进行了实现。具体并行实现包括线程组织、数据存储结构以及共享内存的性能优化技术。实验结果表明这种新模式增强了AES算法的性能和安全性, 与传统CPU实现相比, 利用 CUDA能够实现显著的加速性能。     

基于J2EE的研究生教务管理系统研究与设计

基于J2EE架构的研究生教务管理系统,实现跨平台动态网页的创建,采用MVC设计模式,提高了系统的效率和性能。阐述了教务管理系统的体系结构、系统功能、数据库访问技术和系统实现的安全性设计,充分考虑系统扩展性和适用性,为研究生培养提供方便快捷的开放平台。     

嵌入式远程视频监控系统

针对传统VCR和DVR存储式的视频监控系统对于工作的实时性和便捷性存在的缺陷与弊端,设计了一种基于B/S架构的嵌入式远程视频监控系统,实现了通过浏览器网页远程访问视频监控系统终端的功能,包括远程视频图像的浏览与存储、远程视频图片的抓拍。系统以Cortex-A8为核心处理器,并在其上搭载了开源Linux操作系统,综合运用了MJPG-Streamer和BOA服务器技术、B/S架构的网页技术、实现静态页面动态刷新的CGI技术,以及实现视频图像采集的V4L2标准接口技术,从而使用户端远程通过浏览器输入视频监控系统的IP可访问视频监控系统。     

一羽示风向，一草示水流——浅谈MVR发展动向

目前市场上NVR的产品形态可以分为节点型NVR．接入层NVR以及汇聚层NVR;从架构上可以分为嵌入式ARM架构、X86架构以及MIPS架构等。节点型NVR多采用Linux内核系统;接入层NVR采用X86架构,可进行盘组管理以此实现多种RAID;汇聚层NVR可实现海量数据集中存储,一般更加关注数据安全性、存储性能,云存储架构更为普遍。     

分布式虚拟化存储在公安专科类学校中的应用

随着云计算、大数据等新技术和应用的不断涌现,传统SAN存储在扩展性等方面暴露出不足之处。虽然依照传统存储的思路构建了大容量+高性能的存储架构,但是在数据量大幅增加、云计算和互联网应用逐渐增多的情况下,公安专科类学校需要一套新的具有高性能、易扩展、易管理等特性的存储架构。vSAN通过软件的不断更新升级,能支持越来越多的功能,性能也得到不断提升,其产品发展进程已经完全改变了原来以硬件为主的存储架构演进;随着数据镜像复制、虚拟机双机热备、容灾等高级功能的推出,其完全突破了传统IT架构,大幅度提高了系统的性能和安全性,IT管理、数据管理等都将面临变革。上海公安高等专科学校是国内首个成功部署并上线运行VMware vSAN虚拟化分布式存储的单位,它在VMware vSAN项目实施过程中遇到的问题以及应对之策对于其他用户的分布式存储实践和VMware公司的产品改进都具有很积极的意义。     

基于Web的三位一体招生系统设计与实现

为实现网上三位一体招生,分析了三位一体招生的现状。在阐述网上招生报名流程的基础上,研究了招生系统的设计思路。讨论了系统的功能设计、代码设计、数据库设计,给出了较为详细的数据表结构和存储过程清单,以及系统的三层架构。以存储过程编写为切入口,讨论了该系统几个重要功能的实现方法。实践证明该系统已具备网上招生的基本功能。     

基于Apache Spark的地震观测数据噪声功率谱计算

为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.