数据ETL工具通用框架设计

异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架，使用通用数据访问接口来屏蔽各种数据源之间的差异，并以数据清洗为主要目的，为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。     

数据集成中的一种数据合并技术

本文讨论了在数据集成过程中遇到的数据合并问题，主要包括重复记录判断(对象识别技术)和重复记录的冲突处理(冲突解决机制)等，提出了比较实用、有效的方法，并通过实验对多表合并的两种算法进行了比较，指出了需要进一步改进的方向。     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据产权的治理困境与法治化治理路径

文章以数据产权问题的由来为切入点,针对实践分析数据产权治理的三大困境,提出数据产权的法制化治理路径,构建开放型的数据产权谱系,为数据产权治理奠定基础;在治理原则上,协调财产权体系的整体性与数据产权的独特性;在治理内容上,提出建立新型数据产权保护机制,分别从个人、企业、政府角度对数据所有权、数据使用权、数据收益权进行权利构建。     

活用Dreamweaver数据功能

有的时候,我们经常需要把客户信息等一些资料发布到网上以便联系,但是随着客户资料的越来越多,网上更新是越来越力不从心,这该怎么办?其实,除了用asp、php等这些后台语言来实现快捷更新外,Dreamweaver本身就提供了数据导入与排序的方法,这对不懂后台的朋友来说绝对是个大大的福音,Dreamweaver从版本3到最新的MX一直都保留了该功能,可见它的实用之处。下面我们就来见识一下它的功效究竟如何。(注:本文以DreamweaverMX为例)     

Web数据提取与发布工具的设计与实现

介绍一个Web数据提取与发布工具,内容包括系统结构、功能设计、数据组织、界面设计和实现技术。该工具已用于多个部门信息网站建设和信息系统开发之中。     

数据科学研究的现状与趋势

大数据时代的到来催生了一门新的学科——数据科学。首先,探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系。其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题。接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是被动属性)、对智能的认识(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)、人才培养(数据工程师还是数据科学家)。然后,提出了数据科学研究的10个发展趋势:预测模型及相关分析的重视,模型集成及元分析的兴起,数据在先、模式在后或无模式的出现,数据一致性及现实主义的回归,多副本技术及靠近数据原则的广泛应用,多样化技术及一体化应用并存,简单计算及实用主义占据主导地位,数据产品开发及数据科学的嵌入式应用,专家余及公众数据科学的兴起,数据科学家与人才培养的探讨。最后,结合文中工作,对数据科学研究者给出了几点建议和注意事项。     

基于移动行业的ETL方法及策略探讨

基于移动行业的数据仓库，对数据抽取、数据转换、数据装载和数据审计的方法和策略进行了探讨，这些方法和策略对其他行业数据仓库的构建具有借鉴作用。     

基于实时数据库读写的工业实时数据清洗系统设计与实现

介绍一种高效、可靠的基于实时数据库读写的工业实时数据清洗系统的实现方案.目前,工业实时数据的清洗主要采用了基于关系型数据库的方式,在数据量呈现海量增长的今天,弊端显著.针对该现状,提出了一种基于实时数据库本身的工业实时数据清洗系统设计思路,从系统功能需求、系统分析与设计,以及系统实现3个方面做了阐述.实践表明,系统实现了对工业实时数据的快速、稳定清洗目的.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...