水利舆情大数据分析平台设计及应用

针对水利舆情及业务工作对互联网舆情大数据的需求,研究利用大数据、自然语言处理等技术,基于多模态智能分析架构,采用知识图谱、信息萃取、价值识别等手段,开展信息价值点、敏感点、关键点、发酵点的发现及标引和提取,建设水利舆情大数据分析平台.平台运行有效地推动舆情工作及水利业务工作的融合,扩大水利舆情工作的深度和广度,验证水利业务系统利用互联网维度数据途径的可行性,打开互联网维度数据与水利业务数据叠加的发展空间,提升舆情大数据的价值密度,可为水利部门户网站、河(湖)长制管理、水资源管理、水资源大数据分析等业务系统,提供业务数据支持和分析决策支撑.     

基于央行视角的分布式大数据技术应用探析

随着互联网时代的快速发展,人民银行传统的集中式信息系统架构已不能完全适应对业务需求的快速响应、敏捷开发和迅速部署,为提高业务连续性保障和数据利用能力,采用多节点并行运行、数据分布存储、动态负载均衡的分布式架构势在必行。本文基于某人民银行省级数据中心建设的"支付清算业务大数据分析平台",介绍了如何利用现有开源技术搭建一个分布式大数据平台,同时,为分布式大数据架构在人民银行应用提供可参考的建设思路。     

安徽省水利信息化共享平台建设与思考

针对安徽省水利信息化建设现状及存在的信息资源开发利用和共享程度不高,信息孤岛,现代化技术手段不强等问题,充分运用“互联网 +”、云计算、大数据等新技术和新理念,推进安徽省水利信息化资源整合共享和开发利用,强化信息化技术与水利业务深度融合。根据水利部水利信息化顶层设计,按照“五统一”要求,采用松耦合的分层架构,开发建设安徽省水利信息化共享平台,初步实现水利数据资源统一管理、一数一源,基础设施集约建设、平台共用,地理业务信息有效融合、以图监管,核心应用信息集中展现、业务协同, 信息安全优化健全、稳定可控,形成安徽水利“ 一个大数据中心、一张图、一个应用门户、一套安全防护体系”即“四个一”新局面,逐步实现安徽水利信息化建设“一盘棋”,为安徽省智慧水利建设构建核心应用平台。     

大数据环境下常州市新北区智慧排水平台构建

为解决业务系统相互独立,整合困难,数据利用程度低,决策智能化水平不高等问题,梳理常州新北水务管理体系,分析水务信息化现状,在智慧城市的大背景下,借助云计算、物联网、大数据分析等先进技术,构建大数据环境下新北区排水管理一体化平台,包括水务"一张图",1个数据中心,采集和水务业务2个平台,以及1套完整的排水网络安全体系,为新北区排水建设和管理提供新的思路。     

基于大数据、云平台和微服务的水文综合平台建设

随着社会对水文服务需求的不断提高,为解决水文信息化发展的同时出现的水文应用繁多,资源不共享,标准不统一等问题,江西省建设基于大数据、云平台和微服务的水文综合平台。解析水文综合平台实现水文业务数据的一数一源和业务协同集成的脉络,分别阐述大数据平台、云平台和微服务架构技术结合在数据层和平台层的支撑作用;同时在分析应用支撑、水文综合数据库和数据共享、水文微服务、水文综合等平台建设内容的基础上,重点明确水文综合平台建设意义。江西省水文综合平台在11个地级市落地应用表明:“大数据+云平台+微服务”可为江西省水资源管理、水利数据整合、水利系统优化提供关键支撑,为未来水利信息化发展问题解决提供借鉴方案。     

基于云计算的健康医疗大数据平台

中国新医改的大背景下,用互联网+、大数据等技术助推进行深化医改,让改革红利惠及更多群众,加快健康信息化资源体系建设,实现全区域数据共享、全过程业务监督、全方位数据分析、跨部门业务协同、全流程惠民服务的全面健康医疗大数据平台应运而生。平台运用大数据与云平台技术、OLAP多维分析、SOA体系结构,解决了制约平台建设的系统分割、业务流程不统一、以及纵向信息系统的“孤岛”问题。     

智慧江汉平台的建设思路与思考

湖北省为解决水利信息化中数据集中管理和使用、应用协同和创新等问题,提出建设智慧江汉平台项目。智慧江汉平台将按照“统一技术标准、统一运行环境、统一数据资源、统一支撑平台、统一门户和应用、 统一安全保障”的思路,基于“一数一源、一源多用”的原则建设水利数据中台,汇聚全省水利及相关数据、 开展数据治理,形成标准一致的基础数据资源,并进行数据资产管理,实现资源共享、信息互通;建设统一应用支撑平台,统一部署三级使用,为全省水利系统提供应用支撑;围绕管理工作重点,以强监管为主导思想, 遵循“分工明确、数据共享、业务协同”的思路,构建建设水利业务中台,改变传统“单独开发、独立运行” 的应用系统建设模式,实现业务全协同;进而通过项目建设中的思索,提出对未来一段时间水利信息化建设的思考,力图促进湖北省水利信息化建设走上健康、良性的发展道路。     

基于元数据和模型驱动的水利信息共享平台

随着水利信息化建设的不断深入,迫切需要搭建水利信息共享平台,为整合数据资源,建成数据中心提供支撑。按照水利信息化"五统一"要求,提出基于元数据和模型驱动的平台建设方案,描述采用SOA思想的平台架构和功能,着重介绍基于元数据的水利业务系统模型体系和基于模型驱动的水利业务系统构建技术。平台的应用能提高水利业务系统的开发速度和质量,降低开发维护成本。     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

智慧太湖建设总体目标与关键内容

随着信息化技术的发展,流域管理和治理的措施也不断创新。在总结目前太湖流域信息化和智慧化工作进展情况的基础上,提出智慧太湖建设主要目标,并利用大数据、物联网、云计算、移动互联网、人工智能等技术,对流域信息资源进行充分整合,构建全要素动态感知监测、太湖大数据、业务支撑3个平台,智能应用系统,以及基础设施、安全保障2个体系等关键内容,提高流域治理与管理的信息化工作水平和协同能力。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...