基于ILM的海量存储研究

随着存储技术的发展,海量存储已经越来越普遍.如何管理并使用好这些海量信息,成为海量存储面临的一个新的问题.本文通过数据都有自己的生命周期,引入ILM信息生命周期管理的海量存储模式,试图找寻能够解决海量存储中降低成本,保持数据完整性,提高数据使用率的一种方式.     

IBM深耕业务分析领域

商业智能和分析正成为提高企业竞争力的有效途径，因为企业可以从海量数据中分析出特定的模式，并提取可付诸行动的信息。     

单目视觉导航智能车辆的自定位方法

提出了一种单目视觉导航智能车辆的自定位方法,采用"两步法"对摄像头进行标定;推导出智能车辆位姿的参数表达式,采用基于一点的Hough变换方法提取导航路径信息,计算出导航路径的偏转角β和横向偏移距离d;通过仿真实验进行了验证.实验结果表明,偏转角β的最大误差在1.1°之内,横向偏移距离d的最大误差不超过3.2cm,满足智能车辆的自定位要求.     

HPC海量存储系统Pass-Through访问策略研究

为了解决海量信息处理中实时访问中的"I/O墙"的问题,提高海量信息分布式存储系统的性能,提出了一种基于高性能计算(high performance computing,HPC)的存储部件新型访问策略.首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理,建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下存储部件访问的性能测试,在实际采用该策略的应用系统中进行验证.通过验证测试结果表明,该方法能有效提高存储系统的性能,能够不断满足海量信息处理实时需要.     

基于模板法的网页英语试卷自动抽取技术的研究

为解决在线考试系统中建立海量数据库的问题,采用基于模板法的Web信息抽取方法,提取相似网页中的正文内容。并根据包含英文试卷的网页特点,制定正文抽取规则,最终可获得完整的英语试卷及其答案。实验结果表明,该方法具有较高的准确率和提取速度。     

基于内存映像技术的网络流量日志处理的实现

针对现有存储的网络流量日志信息数据量庞大,访问效率低等问题,为了从海量的网络日志信息中提取所需要的数据,提出了利用内存映像技术解决日志访问的方法,该方法利用网络流量日志自身的特点建立访问路径,通过对网络日志建立内存映像来访问日志信息,并通过C 程序实现了此方法.     

一种面向临床决策推理的可视诊疗技术

海量医学信息的快速增长已远远超出人类认知能力,医疗服务环境和用户人群的复杂多样性使得海量数据难以在现有能力和工具的支持下满足广大用户对于信息服务的需求.临床诊疗服务的可视化、智能化程度不高导致现有的医学知识服务水平难以保证海量资源信息的充分利用.在分析了临床诊疗环境下人机协同认知特性的基础上给出了一种基于语义层次的信息组织方式;分析了符合该数据组织模式的可视形态及自然的可视交互技术;在上述工作的基础上构建了一个面向临床决策推理的可视诊疗分析框架,并给出了原型系统实例加以验证.结果表明,通过结合交互式可视化和自动分析技术,可以有效地帮助人们从海量数据中获取到有用的信息模式,减轻人们对数据进行分析的负担,为医疗诊断过程提供决策支持服务.     

海量信息融合方法及其在状态评价中的应用

针对证据理论无法有效处理海量信息融合的不足,提出一种结合聚类和凸函数证据理论的海量信息融合方法,旨在解决状态评价等普遍而重要的应用问题.该方法首先基于聚类算法BIRCH对采集的海量信息进行预处理,形成多个簇;然后,针对状态评估类问题所用数据大多为数值数据和序数数据这一特点,计算每个簇的质心,并将其作为该簇的代表信息,基于广义三角模糊隶属函数对每个质心信息进行基本概率指派形成证据;最后,基于凸函数证据理论完成各证据的组合,从而完成了海量信息的融合.仿真实验结果表明:该方法既高效又合理地融合了海量信息,为海量信息融合技术的发展提供了一条探索途径.     

基于FPGA的深度卷积神经网络优化压缩算法研究

针对现有海量数字图像信息落后,提出了新型的压缩算法,设计出基于FPGA的视频图像采集系统.应用深度卷积神经网络优化视频图像编码算法和聚类算法实现数据特征提取,将图像与距离信息作为深度卷积神经网络的输入与输出,并利用其特征提取能力学习图像特征的距离信息,提取深度卷积神经网络中的全连接层作为编码,通过迭代调整确定图像编码,完成图像压缩.应用测试结果显示,该算法具有较高效率优势,且图像压缩解码后质量较好.     

基于双向路径约束模型的XML文档结构相似性度量

为了弥补树编辑距离方法时间复杂度高和频繁路径方法丢失过多语义信息的不足,建立XML文档的双向路径约束模型,从而更全面地提取XML文档的结构信息,为更精确的XML相似度计算打下基础.引入自然语言领域中成熟的N-Gram思想,将基于N-Gram的划分方式应用在路径约束相似度计算中,加快了计算效率和精确度.运用正整数和各种权值简化N-Gram信息的提取和运算.实验结果表明,方法提高了聚类的准确率和召回率.     

Extracting local schema from semistructured data based on graph-oriented semantic model

Many modern applications(e-commerce,digital library,etc.)require integrated access to various information sources(from tr5aditional RDBMS to semistructured Web repositories).Extracting schema from semistructured data is a prereuisite to integrated heterogeneous information sources.The traditional method that extracts global schema may require time (and space)to increase exponentially with the number of objects and edges in the source.A new method is presented in this paper.which is about extracting local schema,In this method,the algorithm controls the scale of extracting schema within the “schema diameter“ by examining the semantic distance of the target set and using the Hash class and its path distance operation.This method is very efficient for restraining schema from expanding.The prototype validates the new approach.     

XML数据的结构化处理方法

越来越多的数据采用XML格式表示和交换，对XML数据的有效访问方法是目前需要解决的关键问题之一．对通过面向对象数据库系统访问XML数据的方法进行了讨论，提出了将XML数据映射到对象模型的规则以及建立XML数据的OODB模式的方法．为了建立高效地访问路径提出了一种XML数据的结构索引，并介绍了利用结构索引实现基本的数据操作的方法．实验结果表明，提出的方法具有较高的效率。     

基于信息元的模式匹配方法

结构信息是模式匹配的重要辅助信息,当模式中出现多个自身信息相似的元素时,结构信息是正确区分其匹配关系最有效的依据,这在匹配大型模式时显得尤为重要.已有的研究成果对结构信息的使用存在信息不够准确、缺少有效的描述形式、处理耗时等缺点,极大地阻碍了结构信息的使用.为了充分利用结构信息,提出一种基于信息元的模式匹配方法(IU_Based),该方法首先将模式元素按照描述实体的不同划分为不同的信息元,然后计算信息元间的相似度并获取其匹配关系,最后在相互匹配的信息元之间选择元素匹配关系.实验结果表明,IU_Based方法能够有效地解决结构信息使用中的相关问题,提高匹配准确率.     

Fact-oriented modelling for data analysis

Abstract. Although entity-relationship modelling is the most popular means of specifying the conceptual schema for the data perspective of an information system, an alternative design approach known as fact-oriented modelling appears to offer advantages. This paper provides an overview of fact-oriented modelling, including some recent revisions and an evaluation of how the method has coped with large-scale practical applications. One distinguishing feature of the approach is its emphasis on natural verbalization of information examples in terms of elementary facts. This notion of elementarity is clarified to cater for a problematic case involving compositely identified object types. Finally, the algorithm for mapping a conceptual to a relational schema is revised to cater for lazy object types.     

基于启发式信息的Deep Web结果模式获取方法*

获取模式信息是深入研究Deep Web数据的必要步骤,针对Deep Web结果模式结构信息的丢失问题,提出了一种基于启发式信息的Deep Web结果模式获取方法.通过解析Deep Web结果页面数据,利用启发式信息为结果页面数据添加正确的属性名,进而得到对应Deep Web的结果模式,并对其进行规范化处理,解决不同数据...     

对等数据管理系统中模式映射的备份机制

针对对等数据管理系统中节点因自治性而动态离开和返回网络造成模式映射路径频繁断裂的问题,提出一种基于模式映射备份机制的离开节点绕过方法,向下游节点提供以树状结构组织的上游映射信息。当映射路径中有节点离开时,其下游节点的查询以此映射信息和备份的上游映射,绕过离开节点。仿真和分析的结果表明,映射备份机制的引入提高了查询的可达性,从而可以从更多的局部数据库中获得返回结果。     

Bridging Ontologies and Conceptual Schemas in Geographic Information Integration

Integration of geographic information has increased in importance because of new possibilities arising from the interconnected world and the increasing availability of geographic information. Ontologies support the creation of conceptual models and help with information integration. In this paper, we propose a way to link the formal representation of semantics (i.e., ontologies) to conceptual schemas describing information stored in databases. The main result is a formal framework that explains a mapping between a spatial ontology and a geographic conceptual schema. The mapping of ontologies to conceptual schemas is made using three different levels of abstraction: formal, domain, and application levels. At the formal level, highly abstract concepts are used to express the schema and the ontologies. At the domain level, the schema is regarded as an instance of a generic data model. At the application level, we focus on the particular case of geographic applications. We also discuss the influence of ontologies in both the traditional and geographic systems development methodologies, with an emphasis on the conceptual design phase.     

网格数据融合系统中的数据源管理

针对网格海量动态数据高效融合的要求,提出提出一个套新的数据源管理方案,主要包括一套一套面向对象的元数据描述规范和、基于此规范的数据查询机制以及、模式融合策略,以解决传统网格中动态异构数据源难以维护的问题。给出,一种基于聚类的有效类挖掘算法。实验证明,该能有效地解决传统网格中动态异构数据源难以维护的问题。另外提出一种基于聚类的有效类挖掘算法,实验证明算法能大大优化系统的性能。     

Double-layered schema integration of heterogeneous XML sources

Schema integration aims to create a mediated schema as a unified representation of existing heterogeneous sources sharing a common application domain. These sources have been increasingly written in XML due to its versatility and expressive power. Unfortunately, these sources often use different elements and structures to express the same concepts and relations, thus causing substantial semantic and structural conflicts. Such a challenge impedes the creation of high-quality mediated schemas and has not been adequately addressed by existing integration methods. In this paper, we propose a novel method, named XINTOR, for automating the integration of heterogeneous schemas. Given a set of XML sources and a set of correspondences between the source schemas, our method aims to create a complete and minimal mediated schema: it completely captures all of the concepts and relations in the sources without duplication, provided that the concepts do not overlap. Our contributions are fourfold. First, we resolve structural conflicts inherent in the source schemas. Second, we introduce a new statistics-based measure, called path cohesion, for selecting concepts and relations to be a part of the mediated schema. The path cohesion is statistically computed based on multiple path quality dimensions such as average path length and path frequency. Third, we resolve semantic conflicts by augmenting the semantics of similar concepts with context-dependent information. Finally, we propose a novel double-layered mediated schema to retain a wider range of concepts and relations than existing mediated schemas, which are at best either complete or minimal, but not both. Performed on both real and synthetic datasets, our experimental results show that XINTOR outperforms existing methods with respect to (i) the mediated-schema quality using precision, recall, F-measure, and schema minimality; and (ii) the execution performance based on execution time and scale-up performance.     

大数据下不完备信息系统近似空间的并行算法

上、下近似空间是粗糙理论的重要概念,解决上、下近似问题是海量数据挖掘的基础。经典的近似空间算法不适合处理海量数据,更不适合处理带缺失信息的海量数据问题。为此,通过深度分析带缺失信息的海量数据特征,结合MapReduce编程模型,提出了基于MapReduce框架下近似空间的并行算法,以处理带缺失信息的海量数据,实验结果表明了该并行算法的有效性。