数据仓库/数据集市体系结构的改进

本文提出了一种新的建立数据集市／数据仓库体系结构的方法。它使用同一数据加载机制同时向各数据集市和中心数据仓库加载数据，将当前数据和轻度综合数据加我到数据集市，将历史数据和共享数据加载到中心数据仓库．并通过二次集成特各部门高度综合的数据加载到中心数据仓库。这种结构既具有自底向上方法的优点，又具有自顶向下方法的优点，例如。开发简单、数据结构统一等；而且比联合方法优越的是，解决数据的重复存储，使数据存储结构更合理，提供的数据更符合各级决策者需要。     

基于全生命周期管理的电力企业数据治理技术研究

电力企业业务数据存在人为干预多、数据口径不一致、缺乏管理规范等现象,造成数据统计困难、及时性低、数据失真等问题,严重影响数据的深化应用。针对该问题,本文提出一种基于数据全生命周期管理的电网企业数据治理方案,通过构建公共数据云,开展数据资源池建设,部署结构化数据中心、非结构化数据中心及海量准实时数据中心等三大公共数据资源管理平台,定义完整的电网数据管控流程和数据责任机制,对数据进行从数据获取到数据加工、数据分发到数据使用的数据全生命周期管理,从各环节把控数据质量,辅以数据质量评估,提升电网数据的及时性、准确性及完整性。经过在输电、配电、电网调度、电网规划等多方面应用实践,该方案实现了多口径业务数据的质量管控及集中应用,提升了数据质量及综合治理水平,实现了专业数据资产全面共享。     

基于数据元的数据模型语义映射技术研究

各企业在进行数据共享之前,首要考虑的是数据模型的数据映射关系,然而数据模型在不断的更替与升级,给数据集成带来了很大困难。文中设计了一种对数据源结构进行统一描述的数据字典元模型,利用数据元来规范数据项,将编辑距离算法思想应用其中,实现数据项与数据元字典中数据元的相似度匹配。应用语义树的表示方法来描述数据元结构,利用语义相似度算法进行数据元间的相似性、一致性检查,寻找数据元间的关联关系,间接地定位数据项间的语义关系,为数据映射奠定良好基础。以中石化标准数据元规范油田企业搜索引擎数据项,确保研究的实用价值。     

黑河综合遥感联合试验地面观测数据质量控制与评价

详细介绍了“黑河综合遥感联合试验”(Watershed Allied Telemetry Experimental Research,WATER)的地面观测数据(气象水文和涡动相关数据除外)的数据质量控制和处理过程。从观测规范的制定和执行、数据处理和规范化、数据文件命名规范化、数据质量评价等方面进行详细阐述。不仅为数据用户提供数据质量参考信息,也为以后类似试验的开展提供一些数据质量控制和处理的借鉴。通过数据评价可以看出WATER试验的地面观测数据总体上具有较高的数据质量,这些质量控制措施为最后获取高质量的试验数据提供了重要的保证。利用这一套多尺度、标准化的高质量综合数据集开展大量数据分析和应用研究是下一步工作的重点。     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

生物医疗大数据隐私安全保障机制研究

在大数据产业发展的背景下,医疗卫生领域也开始探索生物医疗大数据的新用途、新价值。随着生物医疗大数据在临床治疗与科学研究中的应用,相应的数据安全隐患也随之出现,其隐私安全保障问题开始引起人们的重视。为了降低隐私泄露的风险,加强人们对生物医疗数据的保护意识,需要从数据的生命周期角度出发,在采集、存储、访问、应用、共享、销毁这些阶段,对生物医疗大数据的操作、管理行为进行规范,并初步搭建了一个大数据云平台来实现电子数据的安全保障。     

分布式海量矢量地理数据共享研究

地理空间数据的应用应用范围迅速扩大,实现空间数据的共享,充分有效利用已有数据,可节约用户成本,栅格数据的共享方式在多媒体领域有较多研究,而矢量数据研究得不多,本文讨论了分布式海量矢量地理空间数据共享的几个问题－海量空间数据的管理,传输,可视化及空间数据共享的安全问题。     

面向关系型数据与知识图谱的数据集成技术综述

目前,各个国家和地区均已将大数据视为重要的战略资源.然而,大数据时代普遍存在数据流通困难、数据监管不足等问题,致使数据孤岛现象严重,数据质量低下,数据要素潜能难以释放.这驱使研究人员探索数据集成技术,以打破数据壁垒、实现信息共享、提升数据质量,进而激活数据要素潜能.关系型数据和知识图谱作为两种至关重要的数据组织与存储形式,在现实生活中应用广泛.为此,聚焦关系型数据和知识图谱,归纳总结并分析实体解析、数据融合、数据清洗3方面的数据集成关键技术,最后展望未来研究方向与趋势.     

面向火箭数据分析和故障诊断的数据仓库设计

针对运载火箭测试发射数据分散存储且数据利用不充分的问题,提出了以数据仓库技术对火箭的测试发射数据进行组织和存储管理,实现对火箭数据价值的深层次发掘。根据运载火箭数据的特点,提出了数据仓库基础层、源数据层、数据交互层、数据架构层、应用层、显示层六个层次的框架设计;通过面向火箭数据分析和故障诊断的数据清洗规则设计,对不同来源、不同格式的数据进行清洗和加载;对火箭的数据应用方向进行了探索,设计了包络分析、相关性分析、故障诊断等数据分析模块。用某型号火箭测试发射数据进行了验证,结果表明,数据仓库方案切实可行,为后续火箭数据的持续性管理和分析奠定了基础。     

复杂异构数据的表征学习综述

随着智能时代和大数据时代的到来,各种复杂异构数据不断涌现,成为数据驱动的人工智能方法、机器学习模型的基础。复杂异构数据的表征直接关系着后续模型的学习性能,因此如何有效地表征复杂异构数据成为机器学习的一个重要研究领域。文中首先介绍了数据表征的多种类型,并提出了现有数据表征方法面临的挑战;其次,根据数据类型将数据划分成单一类型数据和复合类型数据,针对单一类型数据,分别介绍了4种典型数据的表征学习发展现状和代表算法,包含离散数据、网络数据、文本数据和图像数据;然后,详细介绍了4种由多个单一数据或数据源复合而成的复杂数据,包含了离散特征与连续特征混合的结构化数据、属性数据与复杂网络复合的属性网络数据、来自不同领域的跨领域数据和由多种数据类型复合的多模态数据,分别介绍了基于上述复杂数据的表征学习现状以及最新的表征学习模型;最后,对复杂异构数据表征学习的发展趋势进行了探讨。     

试飞数据平台数据架构设计与应用

试飞数据是民机飞行试验的重要产物,具有测量参数数量大,数据体量大,飞行试验数据与试飞任务信息关联性强等特征,支撑飞机型号取证与设计优化等任务。试飞数据平台数据架构对多源异构数据集成接入、多类形态数据存储管理、多种层次数据处理分析等技术进行了研究,采用湖仓一体的关键技术和方法打造试飞数据全集。试飞数据接入采用流批一体的数据处理技术,融合Spark和Flink主流数据处理引擎,具备试飞数据快速入库能力。提出按秒聚合方法,具备PB级多维度试飞数据压缩存储功能,存储性能提升近10倍；采用以秒为索引条件支持快速检索,强化数据湖查询能力。研究数据仓库技术,设计试飞数据多层数据模型,具备多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成等功能,并成功应用在某型国产民机的飞行试验数据管理中,服务于试飞数据用户,提高了试飞数据管理效率与试飞数据应用价值。     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

便携式数据采集器的数据传输控制系统设计

当前数据采集器在数据传输过程中,存在数据传输效率低,数据安全性得不到保障等问题。现在针对这些问题,设计了一种便携式数据采集器的数据传输控制系统。数据传输控制系统通过FPGA转换器接口对数据进行采集,将采集到的数据除杂并存储在DDR2 SDRAM中,然后将这些数据应有核心处理的FIFO芯片进行处理,保障数据传输过程中的数据传输效率。对系统的数据传输效率与丢包率进行实验,实验结果表明,便携式数据采集器的数据传输控制系统有效减小数据丢包率,对于数据攻击的控制准确度达到98.92%。     

■-残缺数据与■-残缺数据圆特征—应用

Fˉ-残缺数据是由Fˉ-数据(x)Fˉ与损失数据(x)-构成的数据对((x)Fˉ,(x)-),((x)Fˉ,(x)-)具有内-动态特性,应用于一类具有数据元减少特征的信息系统。基于Fˉ-残缺数据可视化问题,应用Fˉ-残缺数据提出Fˉ-残缺数据圆概念,讨论Fˉ-残缺数据辨识与恢复的几何方法。给出Fˉ-残缺数据圆位置关系定理,Fˉ-残缺数据的Fˉ-残缺数据圆辨识定理与辨识准则;给出Fˉ-残缺数据的Fˉ-残缺数据圆恢复定理,并给出应用。Fˉ-残缺数据圆是由数据圆OFˉ,O-构成的数据圆对(OFˉ,O-),Fˉ-残缺数据圆为研究Fˉ-残缺数据提供了一种几何方法。     

面向电耗与网络同步代价优化的数据副本放置研究

在数据中心放置海量数据时,每个数据常有多个副本,服务提供商需要支付巨额电费以运行存储这些数据副本的服务器。同时,为保证多个数据副本的一致性,放置在不同数据中心的副本需要通过数据中心之间的网络进行同步,从而引发高额的网络传输费用。为此,以最小化多副本数据放置代价为目标,建立数据放置问题模型,并提出一种基于数据组和数据中心划分的数据放置算法DDDP。将数据划分为多个数据组,按用户访问数据的延迟要求将数据中心划分成数据中心子集,并将每个数据组中的数据放置到能满足访问延迟要求且能最小化放置代价的数据中心子集中。仿真结果表明,相比NPR算法,DDDP算法能有效降低数据中心存储数据时的放置代价。     

大数据环境下的电子数据审计:机遇、挑战与方法

电子数据审计的研究与应用是近年来审计领域的热点问题。大数据时代的到来给电子数据审计带来了机遇与挑战。首先阐述了研究大数据环境下电子数据审计的重要性;然后分析了电子数据审计的内涵及原理;在此基础上,重点研究了大数据环境下电子数据审计面临的机遇与挑战,并结合大数据的特点以及目前已有的大数据分析技术与工具,探讨了大数据环境下开展电子数据审计的方法;最后给出了大数据环境下开展电子数据审计的相关建议。研究结果为今后大数据环境下开展电子数据审计提供了理论基础。     

基于XML的异构地籍数据映射技术及实现

在当前地籍数据管理中,存在着诸多如数据库平台异构,数据库设计不统一等问题。采用XML语言,在国家地籍数据库标准的基础上,设计了一套数据获取工具,尝试解决了来自异构数据源的信息之间的关系冲突,并通过网络实现了异构地籍数据提取,并以此构建了国家地籍数据网上汇交系统。     

基于数据虚拟化技术的多来源数据集成方法

司法业务数据存储没有统一的格式标准,各机关在进行数据查询访问时存在数据孤岛现象。为解决数据访问之间的异构性,本文提出一种基于数据虚拟化的多来源司法数据集成方法,通过数据虚拟化技术建立元数据映射关系,利用中间件构成数据交换中心,实现多机关多类型司法数据集成。利用改进的K-means聚类算法对虚拟对象元数据进行聚簇,缩短数据访问时间,提高司法数据查询效率。本文方法可以忽略数据存储异构性的影响,实现各司法机关无障碍数据访问通道。     

地震数据综合管理系统设计与开发

详细介绍了利用地震数据综合管理系统提高地震资料信息管理和应用水平,该系统把基础数据、原始归档数据以及各种知识型数据与各种数据管理、数据处理、资料解释等专业应用软件集成到一起,实现了数据和应用之间有机的融合。     

医院数据统一应用平台的研究与设计

[目的]基于现有的业务信息系统数据,建立医院数据统一应用平台,提升业务数据的服务与再利用能力.[方法]通过建立医院数据统一应用平台改善业务系统数据获取能力、实现数据集中统一存储、提升医院数据综合应用利用与服务能力.[结果]通过门诊实时流量监控数据展示与医院综合运营数据展示作为医院数据统一应用平台的示范应用,建立医院数据统一应用的示范原型,实现了医院数据统一应用的综合展示、数据准实时监控的效果.[讨论]数据统一应用平台的建设过程涉及多个业务系统数据的整合,解决好数据一致性、海量数据处理、如何规划好数据统一应用主题的问题是建设过程中的关键性问题.