商业管理走进智能时代

随着计算机技术和信息技术的飞速发展,信息数据已经以爆炸般的速度膨胀,并存在于各行各业的各个环节中.数据的丰富带来的是对强有力的数据分析工具的需求,快速增长的海量数据被收集、存放在大型和大量的数据库中,没有强有力的工具,理解它们已经远远超出了人的能力.结果,收集的海量数据被沉淀,变成了难得再访问的数据档案.     

商业管理走进智能时代

随着计算机技术和信息技术的飞速发展,信息数据已经以爆炸般的速度膨胀,并存在于各行各业的各个环节中.数据的丰富带来的是对强有力的数据分析工具的需求,快速增长的海量数据被收集、存放在大型和大量的数据库中,没有强有力的工具,理解它们已经远远超出了人的能力.结果,收集的海量数据被沉淀,变成了难得再访问的数据档案.……     

基于数据仓库的证券交易决策支持系统设计与开发

证券交易对海量数据管理和分析存在潜在需求,对证券交易决策支持系统做了分析,针对海量数据管理,提出基于DW、DM、OLAP的系统框架,并设计了网络结构、主题、数据维度、数据库,最后从数据获取、数据的技术分析及多维分析讲述系统的实现,为决策者管理和分析海量证券交易信息提供决策支持.     

《海量数据处理》专辑前言

1965年,数据库领域第一个获得图灵奖的计算机科学家Charles Bachman发表了他的重要论文“Integrated Data Store”,向世人介绍了世界上第一个数据库系统IDS.这一事件标志着数据库的诞生.到现在,数据库概念已经耳熟能详,深入人心,数据库被认为是信息化社会的重要基础设施之一.随着信息技术的发展,数据的生成和收集技术迅猛发展,数据量呈爆炸式增长态势,人们在日常生产生活和科学研究中对数据的依赖越来越强.传统的数据管理技术和系统难以应对海量多源异构数据的维护、保存和使用中所面临的问题.海量数据处理极大地扩展了传统数据库研究的内涵和外延.从应用方面而言,海量数据处理已成为当前信息服务和科学发现的基石;从技术上而言,海量数据处理是传统数据管理体制的一次变革,是当前技术和应用发展的必然趋势.     

基于网络安全的数据库信息系统开发探析

现代科学技术的不断发展进步,计算机信息技术被广泛的应用到社会的各行业领域中,因此而产生了海量的信息数据,将这些数据进行收集、分析和处理对于社会的发展具有重要的意义,计算机数据库应运而生.本文通过对基于网络安全的数据库信息系统开发进行深入的研究,分析网络安全视角下数据库信息系统的开发模式,分析在数据库的系统开发和管理中可能出现的问题,并提出可行的完善措施,以促进计算机数据库的实际应用水平.     

一种关系型数据库自动划分方法的设计

随着互联网、物联网的发展,软件系统收集和产生了海量的数据,单个数据库由于各种限制已经无法满足海量数据存储和访问的要求,必须将数据分散在多个数据库中,以达到存储海量数据、平衡负载、提高系统可用性的目的。如何将单个数据库中的数据划分到不同的数据库中成为数据库管理员面临的首要问题。本文提出一种综合考虑SQL语句、SQL语句执行频率,服务器性能,数据量等多因素的数据库划分方法,满足数据存储和访问要求,从而为数据库设计人员划分数据库提供帮助。     

面向Web的信息收集工具的设计与开发

随着互联网的发展以及网上信息的日益丰富 ,传统的信息处理已经延伸到互联网领域。在对互联网上的信息进行处理时 ,常常要将分布在互联网各处的Web页面下载到本地供进一步处理 ;这便是所讨论的Web页面收集工具的核心功能。该页面收集系统在综合使用Web页面间的链接关系和页面内容的基础上 ,增加了多层次的页面过滤模块 ,可用来收集特定领域内的Web页面 ;同时可采用多机并行收集的方法提高页面收集的效率 ;采用大型数据库存放元收集信息 ,并对收集到的页面进行压缩 ,能够支持海量数据的收集 ;动态更新机制的实施使得下载到本地的页面信息能够得到及时的更新。     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

电子商务网站的Web数据挖掘方案设计

没有有效的数据管理和分析工具, Web上日益增长的海量数据将变成＂数据坟墓＂.本文运用数据挖掘技术,从Web数据库中提取所感兴趣的信息,从不同角度分析它们,从而有效地利用数据库中的大量数据,将＂数据坟墓＂转换成＂知识金块＂.Web数据挖掘的关键在于如何收集有意义的原始数据,本文将重点阐述如何进行Web数据挖掘过程中的数据准备工作.     

民办高校数据库中心数据加密技术研究

网络技术的普及化应用导致了网络信息数据剧增,数据库中心成为了数据收集、筛选、储存以及应用的有效选择。虽然数据库中心可以更加高效地从海量信息数据中挖掘有效信息,但批量化的信息数据存储也衍生出信息安全问题。文章以民办高校数据库中心为例,分析数据库中心潜在的安全因素和防御措施,以高级加密标准（AdvancedEncryption Standard,AES）算法为核心设计数据库中心安全管理系统。     

新形势下Web数据挖掘技术在电子商务中的应用探析

数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间的关系的过程,使用这些模型和关系可以进行预测,它帮助决策者寻找数据间潜在的关联,发现被忽略的因素,是解决当今时代所面临的数据爆炸而信息匮乏的问题的一种有效方法。这些技术在很多电子商务商品推荐系统中已经得到了应用,而且还取得了比较好的推荐效果。本文介绍了数据挖掘的相关知识,深入研究了Web数据挖掘及相关技术,并对Web挖掘技术在新形势下电子商务中的应用做了详细阐述。     

跨平台的电力监控系统可视化制表组件实现

针对工业监控系统中海量信息报表的可视化定制和移植困难的问题,利用PostgreSQL海量数据库、iReport可视化报表工具和Java相融合,进行工业监控中的海量信息报表的跨平台实现。按照电力监控海量电流电压功率等数据的制表显示需求进行了测试,从Eclipse、iReport和pdf中的输出结果表明了实现方法的正确性和实用性。     

智慧城市管理大数据采集及应用探究

信息化、网络化、精细化是目前我国城市管理的主要发展趋势,城市管理目前又主要依赖数字城管系统,系统每天都会产生不同形态的数据资源,经过不断积累后已经形成了庞大的数据库,但在大多数城市中,这些信息量丰富的数据却没有得到有效的利用。如何对数字城管海量数据进行分析和挖掘,应用数学模型生成更高层次的决策支持信息,获得各类分析、评价数据,为城市管理提供决策支持,为市民提供便民服务信息,已经成为当务之急。从苏州市智慧城管运行实际出发,基于实例分析了数据应用的可行性,进一步提升了城市精细化管理服务水平。     

分布式海量数据并行传输消息中间件设计与实现

本文提出一种分布式海量数据并行传输消息中间件设计与实现技术,系统采用了计算机集群及并行处理技术、基于数据库日更新技术的数据同步传输机制、异构传输数据库配置与传榆数据配置技术及传输过程设置及传输过程监控技术,实现大型网络系统中异构数据库信息系统问海量数据信息并行交换,多级网络系统间数据信息并行交换.     

文本挖掘

在去年秋季的一系列的听证会中,美国参议院情报特别委员会表示,在2001年9月11日之前,美国的各级情报机构已经收集了有关袭击世贸中心和五角大楼的罪犯的大量数据。只不过各个情报机构无法将这些分散的数据点联系起来。在情报特别委员会副会长理查德·C·谢尔比的报告中,特别强调了各个情报机构需要更强大的新式工具,来对其搜集到的大量信息进行分析。文本挖掘软件就是目前政府用来提取有价值的关联信息的前沿工具之一。这些专用的搜索引擎能够迅速地对未经组织的海量文本(数据库或电子表格中任何未经仔细整理的数据)进行仔细地筛查,并且从…     

面向海量网络数据的收集方法研究与分析

网络爬虫是当前应用最普遍的针对海量网络数据的收集方法,其通过一定规则和URL自动抓取互联网信息及数据,主要是由程序来实现的.研究和分析了海量网络数据收集方法的理论基础,针对微博用户信息数据收集,提出了一种基于Scrapy框架的爬虫方法.     

从数据挖掘到知识发现

<正> KDD简介 过去的十年里,生成和收集数据的能力迅猛发展。科学数据集、商品的条形码、商业的计算机化和政府事务等都产生了海量的数据。 如此大量的数据明显超出了传统手工数据分析方法的分析能力。这些方法能够从数据中产生信息报告,但不能分析这些报告的内容以便集中处理。这就要求新一代技术与工具具备智能地并且自动地帮助人们分析海量数据来获取有用知识的能力。 从原始数据中发现有用的模式(或知识)通常称之为数据库中的知识发现,简称KDD。这种称法出现于     

基于数据库事务的不变式推导

作为数据处理和并发控制的基本单位,数据库事务被广泛应用于软件系统的业务逻辑中。通过收集运行时数据库事务中的数据,推导这些数据之间满足的不变式,建立相应的数据契约关系,是软件维护过程中对系统的内部状态进行监控的重要方法之一。目前,在不变式推导领域,主要的方法和工具都是基于代码进行分析的,缺少与基于数据分析相关的研究和成果。为了解决这一问题,首先提出了基于数据的推导代数等式形式的不变式的算法,然后设计并实现了基于数据库事务的不变式推导的原型工具,最后通过相关实验分析和验证了原型工具的有效性。实验结果表明,原型工具有良好的推导准确率和运行性能,能够弥补现有工具和方法在基于数据的分析领域的不足。     

基于ArcGIS的可拓住宅建筑设计数据库构建研究

针对海量住宅建筑设计信息的应用需求,借助学科交叉理论与方法,提出基于ArcGIS软件的可拓住宅建筑设计数据库构建方法。包括可拓住宅建筑设计数据的分类表达方法、数据信息整理、数据库的逻辑结构设计、图像数据与属性数据的匹配方法。在此基础上,基于某居住区实例构建数据库。实验结果表明,该方法能够将住宅建筑设计图像与属性信息分别转化为统一格式、可量化的结构数据库,并进行匹配,从而便于计算机识别,并形成高效的住宅数据存储平台,为可拓住宅建筑设计和后续的数据挖掘过程提供丰富的数据基础。     

一个数据挖掘工具的设计与实现

数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测，该文介绍了一人数据挖掘工具的设计，以Apriori算法为核心，实现了数据挖掘中基于数据库的几种常用挖掘方法，包括基于关系数据库的数据挖掘，不完整数据库中的数据挖掘和根据兴趣度测量来挖掘感兴趣知识的异常关联规则挖掘。