用电信息采集系统中多源异构通信协议设计

数据采集终端中上下行数据通信遵循的通信协议不同,导致主站接收数据与电能表采集数据的质量不同,也无法保证产品的复用性。现有的面向对象协议对终端不同功能模块数据统一通信的支持还不完善,导致终端的数据采集耗时较长。因此需要设计一种支持多源异构数据的通信协议,保证终端的各功能模块能够快速、统一的进行数据通信,有效提高数据采集效率。对现有的面向对象通信DLT698.45协议进行扩展,在各个功能模块中增加了相应的属性和方法,实现对不同功能模块中多源异构数据通信的支持。实验测试中使用多源异构通信协议的终端在功能和性能上明显优于面向对象通信协议,将多源异构协议应用到终端产品中可以增强终端的各项功能支持,同时显著提高数据采集效率。     

基于XML的异构数据库数据集成

由于计算机的广泛应用以及各大数据库厂商的不同商业标准,使得现代社会在海量数据中的数据交换成为一种难题.分析了数据库的特点及XML的特点,设计了基于XML的异构数据库数据集成方案.并以关系型数据库为例阐述了XML与关系型数据之间的双向映射方法.     

基于ETL及新型数据建模的智能报表系统设计与实现

随着大数据时代的到来,数据分析对于公司甚至是一个行业的发展逐步展现出其优越性和重要性。使用开源Kettle工具提供高效、支持异构的数据提取方案,通过新型数据建模完成不仅仅是数据查询,更重要的是大数据分析,能够为公司未来的发展决策提供重要依据。     

基于Ontology井史数据集成方法的应用研究

根据中国石油钻井井史管理系统的特点,针对钻井领域数据量大、关系复杂、分布、异构、自治等当前存在的问题,创新地提出了新一代井史异构数据集成方法"基于Ontology井史异构数据集成",该方法从语义集成的角度彻底消除数据源之间数据异构问题,实现各油田井史数据高效集成、共享。对方法的原理及实现步骤进行了详细阐述,建立了钻井领域本体库基础模型,实现了油田关系型井史数据库到钻井领域本体库之间的关联映射。实例分析证明,该方法在井史数据集成过程中高效可行,集成效果良好。     

面向电信客服数字化改造的多源数据采集和大数据可视化技术研究与运用

提出了一种多源数据采集的工程实践方法，通过机器人流程自动化（RPA）等技术打破企业数据烟囱隔离，使得离散在企业各个数字孤岛的数据能够实时同步到统一的数据库中，并通过大数据可视化技术实现各类生产经营过程的实时看板，提升企业运营生产管理效率。     

一种基于深度学习的多源异构数据融合方法

在大数据背景下,结合深度学习,讨论了多源异构影像数据融合问题,在数据融合的基本架构基础上,构思了一种泛化性强的多源异构影像数据融合的深度学习模型,将深度学习技术运用到多源异构数据信息提取与挖掘。     

大数据背景下的数据库技术研究

随着大数据技术的发展,适应大数据的数据库技术的重要价值日益显现。本文首先介绍了大数据的4v特性、影响以及一些典型的产品应用案例,从数据库技术的角度出发,详细讨论了大数据背景下数据库技术的键值存储模型、云数据库概念、Big Table非关系型数据库等研究问题。分析比较Big Table与传统RDMBS数据库的不同之处。最后探讨了未来数据库技术的发展趋势,以及未来海量异构数据的融合、高维度数据的存储等数据库技术的发展方向。     

大数据环境下基于NoSQL数据库的存储技术研究

文章通过研究和分析了典型的NoSQL数据库技术,基于该平台和Hadoop云架构,完成了非结构化的数据云存储架构的设计,可以很好的解决传统的关系型数据库在应对非结构化数据存储过程中的效率低下等问题。     

铀矿勘查数据湖分布式存储和计算系统构建

<正>本文在梳理和分析当前主流数据湖大数据平台技术体系构成的基础上，根据铀矿勘查数据来源、数据类型、数据结构等特征，选择Postgre SQL（关系型数据库）+Mongo DB（非结构化数据库）+Ceph（存储组件）+Kafka（消息队列）+Spark（计算组件）等搭建铀矿勘查数据湖大数据技术平台。该平台即适用于地震、电磁、重力等体量巨大，又适用于地质图件、钻孔数据、化验分析测试等多源异构数据的存储；Spark计算引擎即可以处理离线数据又可以处理实时流数据的分析，满足钻孔数据分析，物化探数据反演，遥感蚀变提取，成矿预测分析及钻探进尺统计等勘查业务的应用。     

基于KETTLE的高校多源异构数据集成研究及实践

解决数字化校园建设中的多源异构数据集成问题.利用开源ETL工具KETⅡE,对学生考试信息与上网信息的抽取、转换和加载.ETL模型自动生成了以上网行为事实表为中心表,以学生信息、上网信息、时间3个维度表的数据仓库.利用KETTLE能够快速实现高校多源异构数据集成,形成高质量的分析型数据,为决策支持服务.     

移动互联网大数据关键技术

随着智能终端的普及,移动互联网得到蓬勃发展。其产生维护了海量的数据信息,包括系统的日志、服务质量、服务调用关系、用户的行为、位置、业务使用偏好等。越来越多的数据使得数据量变得过于庞大、内容过于复杂,难以通过传统的方法进行有效地处理。本文将讨论移动互联网大数据处理的关键技术,包括移动互联网的多源数据采集、海量异构数据管理、实时数据挖掘、高效数据分析与呈现等技术。     

地下基础设施监测设备架构设计与工程实现

针对地下基础设施复杂环境中的多源异构传感器信息获取的问题,该文基于Real Time-Thread物联网操作系统,设计了总线式数据获取、传输、处理和上报的信息处理框架.通过设计传感器插入主动监测与识别机制、传感器运行调度与数据采集机制,以及不同形式传感器信息编码等手段,实现了设备随应用场景需要即插即用、不同原理传感器数...     

MySQL数据库在自动测试系统中的应用研究

MySQL数据库具有原子性、一致性、隔离性、持久性等基本特性,作为关系型数据库的代表被广泛应用于不同行业自动测试系统的设计与开发环节,在测试模块选择、测试系统创新等方面为用户提供工具支持。通过基于LabVIEW开发平台进行数据库访问流程的建构,聚焦数据存储与分类、数据备份与恢复、数据库处理与测试三个层面探讨自动测试系统的功能实现路径,并结合某自动测试系统的数据存储与管理需求进行数据库技术应用要点与实现路径的分析,以期为MySQL数据库与自动测试系统的融合应用提供参考。     

基于Hadoop平台的海量数据高效抽取方法及应用

本文从数据抽取过程的本质出发,论述了传统数据抽取过程与大数据平台数据抽取过程的异同,以基于Hadoop的大数据平台为例,结合传统的关系型数据库和非关系型数据库(No SQL)的特点,提出了一种从关系型数据库到大数据平台的高效数据抽取方法,实现了对数据源系统资源占用的最小化,并在电力公司用电大数据抽取中得到广泛应用。     

多源异构数据融合与高性能图数据库查询引擎设计

随着信息时代的快速发展,多源异构数据的整合和利用变得日益重要。文中着眼于解决多源异构数据融合与高性能图数据库查询引擎设计的问题,提出了一种创新的方法。首先,探讨了数据融合的重要性以及在整合过程中面临的挑战,特别是在异构数据类型、格式和来源多样的情况下。接着,介绍了高性能图数据库的基本原理,并根据数据融合的需求设计了一种高效的查询引擎。文中设计了一个多层次的数据融合模型,并提出了相应的查询优化算法,以应对数据融合过程的复杂性和多样性。     

多级转发数据采集任务的关系数据存储方案设计

针对通用数据采集需要采集动态多样的数据,采集任务需要多级转发,采集到的数据需要逐级审核汇总,同时还要确保不同用户数据间的安全隔离等问题,设计了支持多级转发数据采集任务的关系型数据存储方案。通过为数据采集任务动态构建数据字段以及使用序列化LOB,实现了通用数据采集任务的统一关系型数据存储。借助“自关联表”,实现了填表类与追加类两种数据采集方式下数据采集任务的多级转发、追踪与审核汇总。父子任务的状态联动跃迁进一步降低了多级数据采集中状态管理的复杂度。     

大数据开源技术发展研究

大数据技术发展与开源运动的结合已成为大数据技术创新中的一个鲜明特点。目前,大数据分析处理流程中所使用的关键技术几乎都源自开源模式,知名的大数据开源项目如分布式计算和存储系统Hadoop、基于内存计算的集群计算系统Spark,以及多款非关系型数据库（NoSQL）产品等。文章对Hadoop、Spark等知名大数据开源项目进行分析和解读,为读者开展大数据应用提供技术参考和支持。     

基于大数据分析的电网企业跨专业多源数据挖掘

为了改善电网企业跨专业多源数据挖掘能力，从数据采集、数据融合能力和数据挖掘能力方面分别对电网企业跨专业多源数据进行分析。在进行数据融合时，设计的硬件结构包括ARM处理器，通过A/D转换实现多维数据信息的转换，将数据信息从模拟数据量转换为数字信息量，并构建多源数据挖掘函数，从数据采集、数据降维、数据分类、数据挖掘等一些列动作中获取电网企业跨专业多源数据之间的联系，提高了电力整体数据信息的把控能力。通过试验，证明方法的数据融合和分析能力较强。     

基于数据湖的实时数据管理平台设计与实现

文章在传统DCS实时数据采集系统中,采用双实时库解决采集数据的实时传输与存储问题,同时基于数据湖架构,替换原有的关系型数据库,以实现多源复杂结构海量数据的存储,并通过微服务架构,提供应用层使用数据,以更好地解决实时数据的管理问题。     

数据操作在模型演化中重构方法的研究

随着数据库技术的发展,对模型和数据的要求也越来越多,异构数据也日益增加,为了实现数据库的升级和整合,更好地发挥数据的作用,文中提出了在模型演化过程中数据操作重构方法,基于本方法,可以有效地消除数据融合之间的异构性问题,用户也可通过本方法获取希望得到的视图和操作。