B／S模式下提高业务处理效率的研究

针对B／S模式下的业务实现问题,比较现有的三层体系结构模型,提出数据本地化存储模式,将部分服务器端业务处理功能移植到客户端来执行,并讨论了数据本地化存储模式中的传输数据文件的格式问题,提出可行的文件打包和解析方案。     

基于气象应用的私有云存储方案

为解决气象观察数据的频繁写入和大数据存储的问题,设计私有云存储模型。该模型分为用户访问接口层、元数据存储层、实体数据存储层和关系数据库4层结构。采用HDFS集群分布式文件系统,实现气象大数据的存储和高效查询与搜索业务;使用关系数据库系统,实现数据采集端频繁数据写入的业务。实验结果表明,该平台实现了海量气象数据存储、查询统计和属性管理,克服了云存储单条插入效率低的缺点,较好满足了气象部门大数据存储和管理的需求。     

Hadoop应用测试实战

通过研究基于HBase的数据存储模式,开展基于Hadoop的数据应用研究,并探索Hadoop的集群配置、任务调度配置和优化技术。通过研究成果的应用,构建基于云计算技术的海量日志信息存储访问架构,改进监控数据存储与应用的关联度,极大地提升海量监控数据存储与访问的时效,为实时监视与业务分析人员提供更快捷、高效的访问体验,从而进一步提高对业务系统运行及性能的监视与评估能力。     

基于分级存储环境的数据即时应用产品

目前很多大型企业的核心业务采用二级部署模式,此模式下总部对全公司范围内业务数据进行全面即时统计分析时会存在数据量大、存储分散、需求变化响应不及时以及手工统计填报等问题.基于以上问题,设计了一种基于分级存储环境的多维数据分析软件.该产品能够让用户从不同视角分析业务数据,快速形成满足业务工作需要的数据视图,最后通过报表的形式进行展示.该产品已成功应用于国家电网公司,具有一定的经济效益和理论价值.     

基于数据中台的智能化电力监控数据应用模型

为了精准采集低开销智能化电力监控数据,有效应用电力监控数据,评估智能化电网运行状态,设计基于数据中台的智能化电力监控数据应用模型,该模型中数据技术层利用基于压缩传感的数据采集方法,采集低开销智能化电力监控数据,按照结构化与非结构化数据形式存储采集的数据;统一数据层利用贴源层按照存储数据类型,建立数据库,分类存储各类型数据;通过共享层清洗整合各类型数据,获取各类型数据的业务明细数据;采用分析层分析业务明细数据,为数据分析应用提供所需数据;通过统一数据服务引擎为不同数据分析应用提供数据服务支撑;数据分析应用中利用K-means算法与多元线性回归法预测智能化电网线损,通过博弈论集对云方法,评估与预测智能化电网运行状态。实验结果证明：该模型可精准采集低开销电力监控数据,在不同数据稀疏度与压缩长度时,数据采集的累积相对估计误差均较低;可有效聚类线损相关特征属性数据,精准预测电网线损,有效评估电网运行状态。     

运维驾驶舱大数据平台关键技术研究

电网自动化调度业务繁多,若存在数据遗漏,数据突变等数据准确率问题很难通过人工发现.本文通过阐述运维大数据、云计算和智能电网之间的关联,提出了基于智能电网的海南运维驾驶舱大数据平台总体框架.该平台的总体框架分为五个层,分别是应用程序层、数据源层、数据调度处理层、数据集成存储层以及数据分析层.本文对基于大数据的集成管理技术、索引技术、分析技术和数据挖掘技术进行了深入的探索和研究,以实现自动化驾驶舱大数据关键技术的突破.     

云存储服务端数据存储加密机制的设计和实现

云存储是一种新型的网络存储形式。随着云存储的广泛使用,云存储中的数据安全问题,如数据泄漏、数据篡改,也成了用户广泛关注的问题。云存储可以分为访问层、应用接口层、基础管理层和存储层,云存储安全可以分为访问层安全、应用接口层安全、基础层安全和存储层安全。为保证云存储中服务端数据存储的机密性,文章设计了数据存储加密机制,在基于云桌面的办公系统个人存储的应用环境中,实现了基础管理层和存储层加密机制。基于JAVA、JSP等技术,实现了基础管理层;基于Bash脚本等技术,实现了基础管理层与存储层的接口;基于开源项目TGT实现了存储层数据加密机制,保证服务端存储数据的机密性。     

基于大数据技术的大学生社会性发展促进模式研究

随着移动互联网技术和信息技术的发展,大数据技术在各个学科领域都有了普遍的应用。在大数据视角下对大学生社会性行为进行研究,再以数据采集层、数据存储层、数据分析层、特征发现层、应用层五个层次构建大学社会性发展的促进模式,可以有效促进大学生社会性发展,培养能适应社会发展需要的人才。     

基于大数据的智能工厂数据平台架构设计与研究

在分析智能工厂国内外研究现状基础上,对基于大数据的智能工厂数据平台架构技术展开研究,为智能生产的运行分析、预测、决策调控以及数字孪生信息物理融合提供技术参考。探讨了智能工厂定义与内涵,以及智能工厂大数据来源和特征,采用Hadoop、Spark、Storm热门开源大数据计算引擎,提出了数据来源层、数据传输层、数据存储层、资源管理层、处理分析层以及业务应用层构成的智能工厂大数据平台技术架构,有效解决智能工厂大数据多源复杂性和实时性的要求和难点。所提数据平台技术架构将对智能制造和智能工厂的实现具有重要的借鉴价值。     

基于门限秘密共享的区块链分片存储模型

针对存储原因所导致的区块链技术难以在大型业务场景应用的问题,提出了一种基于门限秘密共享的区块链分片存储模型。首先由共识节点使用改进的Shamir门限,将要上链的交易数据进行分片处理;其次,共识节点基于分片数据构造不同的区块,并分发给现存于区块链网络中的其他节点进行存储;最后,当节点要读取交易数据时,在从分发到交易数据分片的n个节点中的k个节点请求数据,并利用拉格朗日插值算法进行交易数据的恢复。实验结果表明,该模型在保证了上链数据安全性、可靠性、隐私性的同时,每个节点的数据存储量约为传统存储方法的1/（k-1）,从而有利于区块链技术在大型业务场景的应用。     

基于FPGA的遥测系统数据存储器控制模块设计

针对当前遥感系统存储器早期控制模块存在控制效率低的问题,提出了基于FPGA的遥测系统数据存储器控制模块设计。根据模块总体设计方案,设计模块结构和功能。其中模块结构是由自体测试接口模块、低速读写控制模块、高速流读写控制模块组成的,以SATA2.0接口为存储介质设计控制器,构建不同帧,进行数据间传输转换。设计稳态触发接口电路,达到高速流读写控制触发目的。根据软件主流程,在组合逻辑中插入寄存器使逻辑延迟,实现FPGA时序控制。采用分时操作方法,对命令层中控制器读写模式进行控制,实现传输层完成帧的控制收发。由实验结果可知,该模块最高控制效率优于传统模块,为数据高效存储提供支持。     

基于.NET平台采用ADO.NET实现数据访问层

目前传统的Web应用程序访问数据库的方法是SQL代码嵌入在domain/business类中,一旦系统出现改动,就要修改源代码。目前比较通用的方法是SQL代码写在独立的一个或多个数据类中或在存储过程中,这种方法能压缩源代码。提出了通用数据类的概念。采用通用数据类,使程序开发人员摆脱开SQL和事务,达到了快速开发的目的。利用ADO.NET和XML技术实现了数据访问层的思想,并实现了事务集中处理。     

基于TYKY cNosql云数据库的医疗卫生信息存储架构研究

随着互联网Web 2.0技术的发展和医疗卫生信息数据的急剧增加,传统关系型数据库针对医疗海量大数据已出现存储效率低、高并发读写性能差、弹性存储扩展和数据管理困难等问题。研究采用非关系型数据库技术作为传统关系型数据库的补充,以模式自由的方式,设计具有海量大数据高效存储、高并发读写、易扩展、低成本等特点的医疗卫生信息存储架构,并阐述TYKY cNosql云数据库的关键技术和应用效果。     

一种基于对象信息的MIS自适应生成器

为解决MIS在开发和运行过程中因需求频繁变更所带来的开发和维护的工作量上升问题,提出一种新的MIS软件基础模块自适应生成管理器。通过信息化管理MIS的版本、用户与权限、系统结构、系统模块、对象信息、通用视图元素、通用业务逻辑元素和通用数据访问方式,并基于通用的界面层基础元素、业务逻辑层基础元素、数据访问层基础元素和对象信息自适应生成或重构MIS软件基础模块的数据库、交互界面、业务逻辑、数据交互部分和软件内部结构,以达到动态构建和管理MIS软件基础模块,实现基础模块信息化和系统对自身信息化、自动化管理的目的。通过将该生成器技术实现并实际应用于MIS开发,验证其能够较好地应对MIS基础模块的快捷构建与变更,有效降低MIS开发与维护的工作量。该生成器较好地解决了MIS软件基础模块快速构建与重构问题,能较好地应对MIS在开发和运行过程中的频繁变更。     

基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的 I/O 软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以 Ceph 大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎 NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升 Ceph 的小块数据读写性能。     

大型计算机集群数据持续保护研究与设计

随军工集团业务应用在线协同发展,数据存储对持续保护、容灾安全、读写速度要求越来越高。本文针对这些要求,设计一套大数据持续保护系统,简单增加一套存储硬件,部署相关软件,不改变现有存储方案硬件结构,在块级层面实现对数据定时备份、持续数据保护、查询统计,提高数据存储安全性、容灾性能和读写速度。     

基于OSGI分层动态的软件设计与开发

在传统的java框架下开发的应用软件系统缺乏模块化、动态化的管理能力.在深入研究OSGI框架的基础上,本文在井下作业管理系统的开发过程中,采用OSGI规范与分层解耦思想结合的方法,设计了系统的总体架构,并解决了系统动态管理与服务层的问题.本文在井下作业管理系统的开发中,详细阐述了OSGI在系统中的应用,包括OSGI扩展点机制以及AOP思想等,提高了系统扩展能力与解决了数据同步更新的问题.软件测试结果表明,该模型提高系统的性能,降低了系统各模块之间的耦合性,实现了模块的动态管理,增加了各组件的重用性与可扩展性,也提高了系统的稳定性.     

基于Struts框架构建小城镇电子政务系统

研究了基于Struts框架开发方法的小城镇电子政务系统,将小城镇表现层从业务逻辑层和数据层中分离开来,采用柔性构件设计思想,划分并实现了系统的组织模型、任务模型、过程模型和资源模型。形成了分层系统架构,初步建立了我国小城镇电子政务标准化体系。以典型应用模块为例,具体探讨了系统的设计和实现过程,系统的实施解决了小城镇各级政府、部门间存在的相互独立、信息分散、规范不统一等问题。     

面向Flash Memory的高性能数据存储引擎的研究

传统的数据存储引擎对Flash Memory数据的修改是通过页内更新技术实现的,这将导致FlashMemory的性能下降及其磨损加剧。针对该问题,文章提出了一种面向Flash Memory的采用页外更新技术的多版本数据存储引擎MV4Flash。该数据存储引擎采用多版本存储和垃圾回收机制,所有数据的更新和修改都通过文件追加的方式进行,适应了Flash Memory先擦除后写入的特点,延长了设备寿命。采用NDBBench对该数据存储引擎进行测试的结果表明,MV4Flash与传统的InnoDB相比,事物处理性能有较大的提升,更适合于数据规模大、实时性要求高的应用系统。     

基于规则的数据仓库主题分析技术研究

数据仓库中多维组织存储了海量的面向主题的数据,对于技术人员针对不同和可变的领域业务规则对数据仓库中的主题数据进行分析是一件复杂繁琐的任务,文章提出了一种基于规则的DW主题分析系统,从而能够有效地创建和维护复杂的知识密集型的分析应用,将数据仓库的定量分析和基于规则定性分析有效的结合。该文对系统的特点、总体框架和相关关键技术的研究进行了描述。