基于大数据技术的医学知识图谱构建方法

为了解决医学知识图谱中知识重复、知识质量良莠不齐、知识间关联不够明确等问题,本文提出了一种大数据驱动下的医学知识图谱构建方法,同时针对医学知识图谱集成、演进、增强方面进行图谱知识融合和补全操作。然后,简单介绍医学知识图谱在医学领域的几个重要应用以及相关的人工智能技术的支持。最后,结合当前我国医学知识图谱构建技术面临的重大挑战和关键问题,对其发展前景进行了展望。     

城市群建设与管理的时空大数据体系框架构建研究

城市群时空大数据具有跨时空与跨行政区域的动态性与实时性特征,传统的样本数据建设方式给数据存储管理、整合集成、挖掘分析与知识发现等技术环节带来挑战。本研究面向城市群建设与管理对空间信息集成应用服务的重要需求,基于应用主题领域触发的事件模型和关联要素的特征研究,以城市群空间格局与功能定位、区域规划与监测评价、城乡统筹发展、产业协同发展4个应用主题为例,设计了基于要素-事件-主题的时空大数据体系框架,并对“产业用地利用效率评估”事件模型驱动的要素设计、数据组织和算法实现进行了探索。本研究提出的时空大数据体系框架设计思路,使得时空信息互联互通和模型驱动的自适应数据调用成为可能,有助于推动要素类时空大数据在城市群建设与管理工作中的集成应用。     

关系型数据的知识抽取和RDF转换框架及实现

关系数据库是行业中广泛使用的数据存储和管理方案,根据自定义的本体模型从关系型数据中进行知识抽取并转换成RDF是构建行业知识图谱的关键步骤。但是当前关系数据的知识抽取方案,需要进行大量的查询语句和映射的编辑工作,映射语句编码的工作量和映射的维护是关系型数据的知识抽取的主要障碍。针对以上问题提出一种能够自动解析关系数据和本体模型并生成对应关系,支持可视化调整和修正的关系型知识抽取转换框架。该框架简化了映射编辑和维护工作,提供了更自动化和简单易用的关系型数据的知识抽取的解决方案。最后应用该框架进行知识图谱的构建的实验表明,该框架能够较为高效地对关系数据进行知识抽取并转换成RDF。     

基于知识图谱的智能决策支持技术及应用研究

知识图谱是把复杂的领域知识通过数据挖掘、信息处理、知识计量和图形绘制而显示出来,解释知识领域的动态发展规律。知识图谱把所有不同种类的信息(heterogeneous information)连接在一起得到一个关系网络并从"关系"的角度去分析问题。知识图谱目前被广泛应用于智能搜索、智能问答等领域。提出了一种基于知识图谱的智能决策支持框架,用于解决传统决策支持系统存在的问题。通过大数据、知识图谱等海量知识分析和模型构建技术,结合决策支持系统,增强对问题的分解与处理、形成具有关系型网络的知识系统。最后结合电信领域中的经典决策案例,搭建基于知识图谱的欺诈电话智能决策支撑平台。和传统的决策支持系统比较,该研究方法的优点在于结合大数据处理方法提升了知识建模的算力和决策支持的效率,使实时处理大规模信息数据成为现实;基于知识图谱的关系型网络,提升了决策模型的准确性和关联相关性。     

不确定数据的重复记录检测

随着不确定数据成为研究的热点,不确定数据管理吸引了研究者的极大兴趣.目前业界已经使用概率数据库来存储和管理不确定数据.为合并多个自治概率数据库中的数据,需要对不确定数据进行集成.现有对数据集成的研究主要集中于对确定数据(关系型数据和半结构化数据)的研究,对不确定性数据的集成没有相关工作.重复记录检测是集成过程中必要和具有代表性的组成部分,文中讨论了重复检测的基础,研究了有依赖和无依赖的不确定数据重复检测,最后提出了两个不确定数据重复记录检测的模型     

大数据呼唤数据集成新思维

大数据技术的发展为数据管理开辟了一条新的道路,这也为数据集成创造了新的机会。高质量的数据对于数据集成项目的成功具有关键的作用,而不关心数据质量的数据集成注定将会失败。除了与数据质量和主数据管理更好的集成以外,用户还希望工具能够支持更加广泛的数据集成风格与功能。     

企业大数据治理研究

介绍了面对大数据的数据量大、种类多、速度快和高价值的处理技术挑战,企业应当如何建立可靠的大数据平台。利用信息架构原则和实践,实现大数据与企业数据的灵活集成,通过结合使用分布式文件系统、NoSQL与关系型数据库,企业可以获取、组织和分析其所有企业数据(包括结构化和非结构化数据),从而做出最科学的决策。     

大力推进数据治理技术与系统的学术研究

数据治理是组织机构数字转型和数据管理的基础.如何有效利用计算机科学与技术推动数据治理实践,进而提升数据治理活动的智能水平是一个值得研究的新课题.在技术层面,智能数据治理需要解决大数据质量的实时分析与控制、数据治理模型和算法的可解释性、数据驱动型大数据治理技术、大数据治理中的实时分析与洞察、面向智能数据治理的知识图谱自动生成与动态维护、数据交换及共享、数据规整化及数据准备、数据集成与融合以及大数据的安全保障与隐私保护等核心问题.然而,现阶段的大数据治理技术尚未成熟,亟待在上述问题的研究中取得突破性进展.     

大数据治理的理论与技术专题前言

<正>数字经济时代,数据已成为新型生产要素,大数据技术更是数据要素市场发展的核心科技引擎.然而,近年来大数据使用中普遍存在着“重采集轻管理、重规模轻质量、重利用轻安全”的现象.科学而有效地进行大数据治理将有助于提升数据质量、降低管理成本、增强决策能力.本专题旨在探究大数据治理所面临的核心技术挑战,面向数据的全生命周期,不仅研究劣质数据的清洗与修复等数据治理技术,也讨论隐私安全与开放共享等内容,还研究利用区块链、联邦学习、知识图谱、数据定价等新技术形成大数据治理的新理论与新方法同时关注大数据治理在各应用领域的最新成果.     

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.     

基于大数据挖掘的高校知识管理系统

当前高校大数据应用面临数据集成困难、成果难以应用、知识难以管理等问题,急需加以解决.本文结合知识管理与软件工程方法,首先设计了基于CRISP-DM的高校大数据挖掘流程;在此基础上,设计了高校知识管理系统的总体架构和功能模型;然后对主要功能模型进行了详细设计,并对其关键技术——数据集成方法、大数据挖掘技术进行了分析和设计;最后给出了该系统的开发环境及测试情况.该系统设计方案对高校大数据应用提供了参考和借鉴.     

知识图谱数据管理研究综述

知识图谱是人工智能的重要基石.各领域大规模知识图谱的构建和发布对知识图谱数据管理提出了新的挑战.以数据模型的结构和操作要素为主线,对目前的知识图谱数据管理理论、方法、技术与系统进行研究综述.首先,介绍知识图谱数据模型,包括RDF图模型和属性图模型,介绍5种知识图谱查询语言,包括SPARQL、Cypher、Gremlin、PGQL和G-CORE;然后,介绍知识图谱存储管理方案,包括基于关系的知识图谱存储管理和原生知识图谱存储管理;其次,探讨知识图谱上的图模式匹配、导航式和分析型3种查询操作.同时,介绍主流的知识图谱数据库管理系统,包括RDF三元组库和原生图数据库,描述目前面向知识图谱的分布式系统与框架,给出知识图谱评测基准.最后,展望知识图谱数据管理的未来研究方向.     

大数据背景下的数据通信调度方法研究

大数据背景下,传统数据通信调度方法研究由于预测要素引入面窄、预测算法逻辑同意性差,导致数据调度出现数据调度断层现象;针对上述问题,提出大数据背景下数据通信调度3+1集成法设计;采用3+1集成法,通过CPU信号强度波动算法、处理器数据节点动态数检测技术、电频信号转换算法与快速执行代码,解决传统的数据通信调度过程中的数据响应慢、数据调度断层的问题;通过仿真实验证明,提出的大数据背景下数据通信调度3+1集成法具有数据调度速度快、资源开销小、调度数据准确度高的特点。     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

Enriching standards-based digital thread by fusing as-designed and as-inspected data using knowledge graphs

Realizing the digital thread is essential for linking and orchestrating data across the product lifecycle in smart manufacturing. Linking heterogeneous lifecycle data is critical to maintain associativity and traceability in a digital thread. Recently, researchers have successfully leveraged ontology models with knowledge graphs in engineering domains for threading different lifecycle data. One of the most successful of such efforts is OntoSTEP which enables the formal capture of information embedded in the STandard for Exchange of Product model data (STEP) data representation, or ISO 10303. Meanwhile, an emerging inspection standard, called the Quality Information Framework (QIF), has garnered significant attention as it can bring quality information into the digital thread. Implementing more automated methods for product quality assurance is challenging due to the lack of unified information models from design to inspection. To this end, we propose an approach to fuse as-designed data represented in STEP and as-inspected data represented in QIF in a standards-based digital thread based on ontology with knowledge graphs. Specifically, we present an automated pipeline for generating knowledge graphs representing STEP and QIF data, a mapping implementation to integrate STEP and QIF knowledge graphs, and rules and queries to demonstrate the integration’s potential for better decision making with respect to product quality assurance.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

Study for Multi-Resources Spatial Data Fusion Methods in Big Data Environment

The rapid development and extensive application of geographic information system (GIS) and the advent of the age of big data bring about the generation of multi-resources spatial data, which makes data integration and fusion share more difficult due to the differences on data source, data accuracy and data modal. Meanwhile, study for multi-resources spatial data fusion methods has an important practical significance for reducing the production cost of geographic data, accelerating the updating speed of existing geographical information and improving the quality of GIS big data. To expound the formation and developing trends of multi-resources spatial data fusion methods systematically, and on the basis of referring to lots of related technical documents both at home and abroad, this paper makes a conclusion and discussion about multi-resources spatial data fusion methods, and foresees the prospects of data fusion in big data environment, which has certain reference value for the related research work.     

大数据服务深度需求与SOA协作集成的异构系统融合机制

大数据服务需求的认知深度和服务架构的融合度直接影响多业务大数据应用的资源管理和服务质量,提出了一种基于大数据服务深度需求分析和面向服务的协作集成架构的异构系统融合机制;该机制,一方面,在分析大数据源多样化、差异化大数据组织形式及其存储方式,基于开放性大数据服务上下文,以及上下文集合的关联匹配与大数据服务分析的映射关系,结合不同类型用户的需求差异化特征,建立了大数据服务需求分析模型;另一方面,对于多态异构的移动互联网大数据服务,经过结构化和开放性处理后,给出大数据通信和服务调用描述定义,提出了SOA协作集成的异构系统融合架构;仿真实验结果表明,所提出的算法在大数据服务响应成功率、执行时间和代价比等方面具有明显优势。     

基于大数据的航道采集系统的架构设计

随着大数据技术的迅速发展,智能航道应运而生。航道的水文、水深、岸线等要素数据是实时监测获取的,其具有大数据 4V 的特征。同时,航道行业中没有标准统一的通讯协议,智能采集设备和业务系统高度耦合,各业务系统存在信息孤岛的状况,无法满足大数据量的要求。因此,本文提出一种基于大数据的航道采集系统的架构设计,构建了高通量、高可靠、高保密的航道数据的采集通道。该系统架构包含四个中心模块：采集处理中心、指令下发中心、数据生命周期管理中心和配置管理中心。各中心模块采用大数据技术分布式/集群架构,能够高效、可靠的处理大规模的实时数据,且能根据数据的规模动态调整集群的大小。本系统通过配置管理中心动态配置协议、设备,实现了对智能设备的可插拔式的管理。所有的智能设备监测的数据均通过采集系统处理后,由业务系统从分发模块订阅,降低设备与业务系统耦合度,且实现所有数据的汇聚整合,有利于后期航道大数据的分析挖掘,进而发现更多有重要价值的航道知识。     

Skill Requirements in Big Data: A Content Analysis of Job Advertisements

The technology behind big data, although still in its nascent stages, is inspiring many companies to hire data scientists and explore the potential of big data to support strategic initiatives, including developing new products and services. To better understand the skills and knowledge that are highly valued by industry for jobs within big data, this study reports on an analysis of 1216 job advertisements that contained “big data” in the job title. Our results are presented within a conceptual framework of big data skills categories and confirm the multi-faceted nature of big data job skills. Our research also found that many big data job advertisements emphasize developing analytical information systems and that soft skills remain highly valued, in addition to the value placed on emerging hard technological skills.