基于循环策略和动态知识的Deep Web数据获取方法

针对目前deep Web数据集成在数据获取方面存在代价大和查询选择效率低等问题,提出了一种基于循环策略和动态知识的deep Web数据获取方法,该方法根据同领域数据源之间的关联关系,提出使用循环策略分多次完成数据源的数据获取,同时利用集成系统已获取的数据动态构建知识,并设计了基于集成系统动态知识的查询选择方法。与现有方法比较该方法能降低数据获取的代价,提高查询选择的准确性。实验结果表明,该方法有效地提高了deep Web数据集成的数据获取效率。     

基于Web Service的异构数据库的集成

分析了现有异构数据源的数据集成的方式,为了保持各数据源的自治性和满足数据查询的实时性,提出使用中间件体系结构的集成方案。介绍Web Service分布式计算模型及其特点,提出了一种基于Web Service技术进行异构数据源集成的方法。通过Web Service能将连接在Internet上的异构数据泺构建成一个虚拟的全局数据库,为用户提供透明统一的接口,从而实现异构数据资源的共享和整合。     

无线传感器网络多频率查询的节能优化

在多频率查询的无线传感器网络中,多个接收节点以不同的查询频率请求同一个数据源节点的数据.由于查询频率的不同,如何共享传输链路以降低能耗成为一个新的研究问题.考虑数据序列之间的数据相关性,本文提出了一种节能优化方法,通过在共享链路上广播整合频率的数据序列,再根据需要重构出与查询请求相对应的数据序列.理论分析和模拟实验均表明,在可容忍的平均相对误差下,该方法能够节省能量的消耗.     

一种Deep Web聚焦爬虫爬行策略

实现大规模Deep Web数据源集成是方便用户使用Deep Web信息的一种有效途径,Deep Web爬虫是Deep Web数据源集成的关键组成部分,提出一种针对结构化Deep Web的聚焦爬虫爬行策略,通过对查询接口的特征分析来判断Deep Web数据源的主题相关性,同时,在评价链接重要性时,综合考虑了页面内容的主题相关性和链接的相关信息,实验证明该方法是有效的.     

一种基于JSON的异构数据查询方法

异构数据的查询是近年来研究的热点,用户不能同时对异构数据进行查询。提出一种基于JSON的异构数据查询方法,该方法以JSON传输格式为基础,为不同设备端提供访问异构数据源的接口,使JSON作为统一的模型对异构数据进行编写。使用JSON格式的数据查询方法可以为用户节省流量成本,同时简化了对异构数据的查询问题。理论分析和实验结果证明基于JSON的异构数据查询算法具有高效、稳定的优势。     

Web空间要素服务中的复杂要素建模与实现

介绍了一个复杂空间要素建模方法与Web空间要素服务系统,探讨了复杂要素类型的自定义规则,并针对多数据源的空间要素数据查询介绍了查询算法和优化策略。     

高校学生全信息查询通用信息模型的研究与实现

高校学生综合数据查询中,建立信息查询通用的信息模型至关重要。提出了通用的全信息查询信息模型。基于对现实需求的分析,提出基础结构数据和卡片结构数据2种概念,并基于此归纳出模型的数据项、数据视图、用户角色、管理级别和源权限5种基本元素与角色层、数据层、过滤层3层结构。针对模型实现中的数据视图建立、数据源整合方式、数据项呈现等6项问题进行重点阐述。实践表明,模型具有高度适配性和实用性,可以基本解决高校综合查询中如数据项权限、人员角色分类、行政级别权限、多种数据源等问题。     

基于P2P网络的Web Services发现机制

提出一种改进的两层混合式P2P网络模型,用该模型作为web Services发现技术的底层网络.该网络模型主要在两方面进行改进:在网络结构方面提出CP节点分类策略和SP节点分组策略;在网络组织方面提出一种基于Web Services兴趣因子空间的节点分布自调整策略.     

一种面向重构的XML混合编码方法

为了在关系数据库中高效地组织和管理XML数据,提出了一种混合编码方法.适当改进了向量编码方法,通过向量梯度标识XML数据各节点的位置信息,与各节点的路径信息相结合,能够在数据重构中支持各节点映射与定位,有效避免了由数据更新引发的重新编码问题,实现了高效的路径查询;由此建立了混合编码方案的数学模型、数据模型及关系模式.通过性能分析和实验,表明混合编码能够较好地支持XML数据的查询、更新与重构,验证了该编码方法的有效性.     

基于XML和Web Service的数据集成中间件

主要研究多源异构数据集成的方法,其目标是向具有访问异构数据源要求的用户提供一个统一的查询接口,而不必考虑各局部数据源之间的差异。目前,在多种异构数据源集成方法中,中间件法由于其成本低、容易实现,以及局部数据源加入方便灵活,自治性强等优点,已成为数据集成的主要方法。本文采用中间件法,利用XML技术和Web Service,对多源异构数据的集成问题进行了探讨。     

基于云模型的高校网络舆情监控系统

设计了一种基于云模型的高校网络舆情监控系统,该系统采用基于立即价值和未来价值综合评价的方式指导网页爬行策略,采用云模型指导爬行方向,同时通过正向和逆向云模型对主题网页进行聚类,并通过查询扩展技术提高网页查全率,取得了很好的实际应用效果.     

基于MapReduce虚拟机的Deep Web数据源发现方法

为了提高Deep Web爬虫发现和搜集数据源的效率,提出了一种融合MapReduce和虚拟化技术实现DeepWeb海量数据挖掘的并行计算方法。基于MapReduce架构提出了一个Deep Web爬虫模型,通过链接过滤分类、页面过滤分类、表单过滤分类等3个MapReduce过程找到Deep Web数据源接口,并利用虚拟机构建单机集群进行性能测试。实验结果显示该方法可以实现大规模数据的并行处理,有效提高爬虫数据源发现的效率,避免网络及物理资源的浪费,验证了云计算技术在Deep Web数据挖掘方面的可行性。     

Low-Cost Web Service Discovery Based on Distributed Decision Tree in P2P Environments

Peer to Peer (P2P) techniques were widely applied into Web service discovery fields, but most existing schemes only focused on matching the functional attributes of Web services and ignored the non-functional attributes, i.e. quality of services (QoS). In this paper, we present a QoS-aware Web service discovery approach. The approach maps each Web service into virtual space to distribute all QoS attributes among P2P nodes, and then designs a distributed decision tree to support range service query with QoS requirements. Finally, a load balance algorithm is used to reduce range query cost. Experimental results based on synthetic and real datasets show our proposed approach can perform effective service discovery with low cost in P2P environments.     

Design and evaluation of data allocation algorithms for distributedmultimedia database systems

A major cost in retrieving multimedia data from multiple sites is the cost incurred in transferring multimedia data objects (MDOs) from different sites to the site where the query is initiated. The objective of a data allocation algorithm is to locate the MDOs at different sites so as to minimize the total data transfer cost incurred in executing a given set of queries. The optimal allocation of MDOs depends on the query execution strategy employed by a distributed multimedia system while the query execution strategy optimizes a query based on this allocation. We fix the query execution strategy and develop a site-independent MDO dependency graph representation to model the dependencies among the MDOs accessed by a query. Given the MDO dependency graphs as well as the set of multimedia database sites, data transfer costs between the sites, the allocation limit on the number of MDOs that can be allocated at a site, and the query execution frequencies from the sites, an allocation scheme is generated. We formulate the data allocation problem as an optimization problem. We solve this problem with a number of techniques that broadly belong to three classes: max-flow min-cut, state-space search, and graph partitioning heuristics. The max-flow min-cut technique formulates the data allocation problem as a network-flow problem, and uses a hill-climbing approach to try to find the optimal solution. For the state-space search approach, the problem is solved using a best-first search algorithm. The graph partitioning approach uses two clustering heuristics, the agglomerative clustering and divisive clustering. We evaluate and compare these approaches, and assess their cost-performance trade-offs. All algorithms are also compared with optimal solutions obtained through exhaustive search. Conclusions are also made on the suitability of these approaches to different scenarios     

面向距离查询的属性加权图聚集算法

图聚集技术是在保留原始图的结构和属性信息的同时,将一个大规模图聚集成简洁的小规模图的技术.随着图的规模不断增加使得图数据变得难以查询和存储,而基于距离的查询,例如最短路径查询,非常依赖图的规模大小.本文提出了面向距离查询的属性加权图聚集算法,在保证节点之间结构和属性相似的同时,保护了节点之间的距离,并有效地减小了图规模.实验证明本文方法的有效性与在查询任务上的高效性.     

Graph compression algorithm based on a two-level index structure

The demand for the analysis and application of graph data in various fields is increasing day by day.The management of large-scale graph data with complicated structure and high degree of coupling faces two challenges:one is querying speed too slow,the other is space consumption too large.Facing the problems of long query time and large space occupation in graph data management,a two-level index compression algorithm named GComIdx for graph data was proposed.GComIdx algorithm used the ordered Key-Value structure to store the associated nodes and edges as closely as possible,and constructed two-level index and hash node index for efficient attribute query and neighbor query.Furthermore,GComIdx algorithm used a graph data compressed technology to compress the graph data before it directly stored in hard disk,which could effectively reduce the storing space consumption.The experimental results show that GComIdx algorithm can effectively reduce the initialization time of the graph data calculation and the disk space occupancy of the graph data storing,meanwhile,the query time is less than common graph databases and other Key-Value storage solutions.     

Adaptive and Decentralized Operator Placement for In-Network Query Processing

In-network query processing is critical for reducing network traffic when accessing and manipulating sensor data. It requires placing a tree of query operators such as filters and aggregations but also correlations onto sensor nodes in order to minimize the amount of data transmitted in the network. In this paper, we show that this problem is a variant of the task assignment problem for which polynomial algorithms have been developed. These algorithms are however centralized and cannot be used in a sensor network. We describe an adaptive and decentralized algorithm that progressively refines the placement of operators by walking through neighbor nodes. Simulation results illustrate the potential benefits of our approach. They also show that our placement strategy can achieve near optimal placement onto various graph topologies despite the risks of local minima.     

基于XML的Web数据交换系统设计与实现

为了实现Web应用程序数据的共享问题,提出基于XML的数据交换方案。在该方案中采用JDOM实现XML文件的存取,采用JDBC实现数据源的访问,采用XSLT实现数据的表示。同时结合MVC模式和B／S三层结构构建数据交换系统框架,用Servlet设计XML转换器和DB转换器,用于XML与关系型数据的相互转化。为提高应用程序检索速度,设计查询翻译器,实现了XML查询到SQL查询的转换。该方法实现了应用不同DBMS的Web应用数据的共享。     

网页搜集系统的动态可配置性的研究与实现

Web是动态海量信息的载体,研究的主要目标是要得到一种高性能、高可靠,支持海量网页信息搜集、分析与处理的系统结构。本文主要针对并行网页搜集系统的节点可能出现临时故障的问题,提出了一种系统动态可配置方案。该方案的基础是一种从网页URL到搜集节点的两阶段映射关系,它保证了当配置(节点数)变化时系统能经过一个短暂、安全的过渡过程达到一个新的稳态,从而保证了系统的动态可配置性。