Linux嵌入式WEB系统研究及实现

结合工业以太网交换机的研究项目,深入讨论了在嵌入式Linux的环境下实现Web服务的关键技术,即Web服务器,动态网页和实时信息的内容。充分利用环境资源,采用瘦客户模式。在设计上实现了网页实现和动态数据Web处理程序的无关性。充分挖掘了JavaApplet的能力使其在嵌入式环境中实现了实时数据的通信。并结合实际项目开发介绍了具体实现方案和技术。     

基于SVG的实时交通信号Web监控设计与实现

多层组件技术和SVG技术的出现为Web应用开辟了新的领域.本文基于ActiveX组件技术实现交通信号控制系统的实时连接,以SVG矢量图形作为路网和路口图形显示界面,通过XMLHTTP协议在服务器和客户端页面之间传输数据,应用XMLDOM对象对XML数据进行解析,实现了基于Web多层计算结构的交通信号实时监控界面,取得了较好的应用效果.     

基于Web的炼焦实时监视系统设计与实现

针对某钢铁企业炼焦生产过程中网络监控的需求,提出一种基于Web的三层B/S体系结构.首先利用ESP-iSYS实时数据库和SQL Server关系数据库,实现了数据存储层的实时数据采集与数据处理;然后采用基于TCP/IP协议的TCPPublish服务和基于XML的ADO.NET技术,实现业务逻辑层对实时数据库和关系数据库的访问,并通过SOAP方式调用实时数据库的WebService接口实现趋势曲线的实时绘制;最后采用SSL加密和多级区域权限体系作为系统的安全策略.实际运行表明,该系统实现了对炼焦生产全流程作业的实时监视,并有效地保证了数据传输的实时性和安全性.     

ArcGIS Server分布式技术实现与优化

为了解决硬件资源难以满足WebGIS信息增长的需求,提出了ArcGIS Server分布式技术实现企业级GIS应用程序的综合平台.使用WebService技术,在业务逻辑层和空间信息层加入分布式处理服务器,能够真正实现WebGIS系统逻辑上和物理上的分布式处理服务.采用Web Service技术和ArcServer技术可以将信息量巨大的WebGIS系统分解成多个Web Service的分布式服务,从而解决硬件资源上的问题,同时对ArcGIS Server的性能进行最小的服务器资源占用率、最小化的数据传输量、最合适的图像格式和最佳的代码执行效率的优化,提升整个系统的性能.     

基于MVC模式的油罐车多参数远程监测系统的设计

利用MVC模式设计了油罐车多参数远程监测系统。该系统在总体结构设计上采用了3层架构,整个系统从底层的数据采集到用户交互,可分为数据采集层、数据处理层和用户层。数据采集层通过现场计算机与智能变送器交互程序采集油罐车信息,并将数据上传到数据库。数据处理层采用Web服务器和数据库系统,接收用户管理访问。用户层通过服务器和浏览器的交互即可实现远程实时监测油罐车多参数。     

面向服务架构下的移动地理信息数据采集

传统的地理信息数据采集方式和采集平台架构制约着地理空间信息服务的发展,移动地理信息数据采集成为可行的解决手段。通过面向服务技术在移动GIS数据采集中的应用,创建易于部署和管理的客户端和服务器整体架构,采用Web Service技术创建多种地理信息服务,依托移动GIS平台实现了一系列的地图数据浏览和查询等功能。所建立的系统运行状态良好,可扩展性强,界面友好易操作,适用于各种类似的专业,为地理信息空间服务的发展提供有力的数据支撑。     

变电站综合自动化系统设计

针对变电站的实际运行,设计了基于Web平台上的变电站综合自动化系统三层体系结构.站控层监控主机对变电站进行动态全过程自动监视调节,OPC技术作为监控主机与上层应用程序的通信接口,实现变电站运行设备和数据库服务器之间的数据传输和交换.Web服务器和后台实时数据库实现了变电站运行信息的在线查询和报表处理.     

解读MLS位置信息服务

Microsoft于2004年3月22日发布了MapPoint位置服务器产品(MapPoint Location Server,简称MLS)。据称,这种新的服务器软件产品能使企业显著改进其定位、跟踪、管理移动设备和移动工作人员的方式。MLS使移动运营商的实时位置数据与MapPoint Web服务的图示能力相结合变得轻而易举,它标志着基于位置服务(LBS)的一大进步。Microsoft MapPoint经营部门总理Michael Graff说:“大大小小的企业急于开始把实时位置信息融合进他们的实时应用中,并要求用实时信息能力装备MapPoint Web服务,而MLS能满足这一要求,并使MapPoint比地理信息系统(GIS)等应用更具优势。”MLS究竟是什么?它有哪些优点?它能做些什么?     

基于SVG的管道系统技术研究

针对B/S应用中的Web服务器与浏览器间频繁操作导致Web应用执行速度慢的问题,在SVG的基础上利用Ajax和Web服务等技术,实现基于SVG的管道系统.运用Ajax实现Web无刷新页面更新数据,在客户端利用SVG提供的DOM编程接口和JavaScript脚本语言对SVO进行开发,实现其交互功能.通过该系统可以查看管道的布局,管道实时信息,监测管道实时流量变化.     

变电站远程智能巡检系统研究与应用

基于传统变电站人工巡检的方式容易造成巡检不及时、漏检、故障判定不准、现场环境对人员安全性带来潜在危险等问题,通过融合监控技术、通信技术、信息处理技术,建立变电站远程智能巡检系统。这可以实现对各类输变电设备的实时感知、远程监控、智能巡检。系统采用浏览器/服务器(B/S)三层网络分布式结构,划分为应用端、网络通信端、服务端。通过布设的仪器仪表、监测设备进行终端数据采集。基于RS-232、RS-485标准接口,以及无线传输和以太网相结合传输方式,进行子站和检测装置间数据和图像信息传输,采用SQL数据库和Web服务器实现对不同数据类型的存储和访问。通过将该系统应用于实际变电站的远程巡检工作中,表明该系统有限实现了变电站远程图数采集和联动、远程智能巡检,能及时对故障设备发出预警,并有效处理设备缺陷。     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...