区块链数据库:一种可查询且防篡改的数据库

随着比特币、以太币等一系列加密货币的兴起,其底层的区块链技术受到越来越广泛的关注.区块链有防篡改、去中心化的特性.以太坊利用区块链技术来构建新一代去中心化的应用平台.BigchainDB将区块链技术与传统的分布式数据库相结合,利用基于联盟投票的共识机制改进传统Pow机制中的节点全复制问题,提高了系统的扩展性与吞吐率.但是现有的区块链系统存储的信息大都是固定格式的交易信息,虽然在每个交易里有数据字段,但是现有的区块链系统并不能经由链上对交易内的数据字段的具体细节进行直接查询.如果想要查询数据字段的具体细节,只能先根据交易的哈希值进行查询,得到该交易的完整信息,然后再检索该交易内的数据信息.数据可操作性低,不具备传统数据库的查询功能.首先提出一种区块链数据库系统框架,将区块链技术应用于分布式数据管理;其次提出一种基于哈希指针的不可篡改索引,根据该索引快速检索区块内数据,以此实现区块链的查询;最后,通过实验测试数据库的读写性能,实验结果表明,所提出的不可篡改索引在保证不可篡改的同时具有较好的读写性能.     

数据仓库性能优化之索引和物化视图耦合方法

为了进一步提高数据仓库的性能, 通过分析数据仓库中性能优化技术的特点, 提出了索引和物化视图耦合的性能优化技术。通过数据挖掘自动选择候选索引和物化视图, 减少查询的扫描范围; 然后研究在物化视图上建立索引的空间高效存储方法, 以提高查询速率; 最后利用成本模型对耦合情况进行分析, 验证了耦合方法可以极大提高单一索引查询或者物化视图的性能。     

常用OLAP查询优化方法性能分析

OLAP（OnlineAnalyticalProcessing）查询常常涉及到不同的维表和事实表,要得到查询结果通常需要进行多张表的连接操作。连接操作是一种非常耗时的操作,因此,如何提高OLAP查询效率成为数据仓库应用中的关键问题。文中对存储过程、索引技术、物化视图等几种常用的OLAP查询优化方法进行性能分析,针对特定应用通过反复实验比较得出物化视图的优越性。而就物化视图而言,其本身有优越性的同时也存在一些缺陷。因此,针对物化视图更新问题提出了几种更新方案。     

基于区块链的ARP欺骗攻击防御方法

为了改善静态绑定方法在抵御 ARP 攻击时存在的不易维护的问题,利用区块链技术思想,设计了一种防御成本低、后期易维护的 ARP 欺骗攻击防御方法。改进了区块链结构,设计了交易索引表结构,通过对比发现攻击并及时更新数据,防止后续攻击。正常改动IP后更新交易索引表中内容,保证查询正确性。分析及实验表明,基于区块链的防御方法具有较高安全性,能够保证数据不被篡改,维护成本低,能有效防御ARP欺骗攻击。     

面向XML物化视图远程增量维护的版本管理技术研究

Web应用中以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响.为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护的方法.这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量.重点介绍了增量维护过程中处于核心的版本管理控制方法,用于维护不同时刻数据更新所对应的视图更新程序代码,有效地适应了多用户各种物化视图的维护需求,并且给出了物化视图增量维护的系统框架.     

NDSMMV——一种多维数据集物化视图动态选择新策略

物化视图的选择策略是数据仓库研究的重要问题之一.通过深入研究提出了一种多维数据集中物化视图动态选择的新策略--NDSMMV,包括候选视图生成算法CVGA、物化视图选择算法IGA、物化视图调整算法MAMV和物化视图动态调整算法DMAMV.CVGA基于多维数据格生成候选视图集,对候选视图数量进行压缩以减少后续算法的视图空间搜索代价和时间复杂度;IGA基于视图查询、视图维护和存储空间三元评价标准在候选视图集上进行物化视图的选择;MAMV基于物化视图选择过程已选视图的收益变化情况对物化视图进行进一步调整以提高查询的响应性能;DMAMV定时地判断查询视图类型分布是否变化来决定是否进行物化视图的动态调整,从而避免了物化视图集的"抖动".理论分析和实验结果表明该策略是有效可行的.     

XML物化视图远程增量维护在试验任务数据接口同步中的应用

在试验任务中引入XML文档数据接口,一方面提高了远程数据查询分析的效率,另一方面也产生了XML物化视图的维护带来的高系统开销的问题.针对该问题,采用XML物化视图远程增量维护的方法,通过系统原型设计、系统部署、同步机制,可有效地实现试验任务数据接口同步.结果表明,在不影响试验任务数据处理与传输的实时性及可靠性的条件下,XML物化视图远程增量维护有效地实现了指挥显示系统数据接口的一致性.     

基于物化视图方法优化数据库查询效率

为提高数据库的查询性能,对查询操作进行优化是非常必要的.优化查询速度的措施主要针对数据库管理系统层与应用层,物化视图是其中的一种方法.本文采用物化视图的方法对数据库查询效率进行优化.实验表明,此方法具有较好的优化效果.     

基于X-RESTORE查询XML视图

基于转换 XML文档到关系数据库中进行存储与查询的策略 ,研究了 XML视图查询的有效计算问题 .提出了XML 视图查询的合成重写技术 ,它能够消除视图查询中所有在视图结构上的路径导航操作 ,并将视图查询中所有在原文档结构上的路径导航操作以及所有谓词操作下推到视图定义中去 ,与视图定义中的路径导航操作相结合 ,形成统一的在原文档结构上的路径导航操作 .视图合成重写不仅避免了对视图中不出现在最后结果中的中间 XML 片段的构造 ,而且允许将查询中的所有内存密集型或数据密集型操作尽量下推到关系引擎中去执行 ,从而提高 XQuery查询的执行性能     

一种改进的物化视图动态批量调整算法

针对物化视图集实时调整容易出现"抖动",物化视图集不稳定的缺点,本文提出一种改进的物化视图动态批量调整算法,根据在一个统计周期内收集到的查询调整物化视图集.算法先判断查询集合是否满足调整条件,若满足则根据视图访问频率生成候选视图,再调用物化视图批量选择算法;若不满足则调用物化视图集动态调整算法.该算法不需要频繁计算,而且查询集合能反映用户的查询趋势,调整后的物化视图集对用户查询具有较高的适应性.文中实验从执行时间、物化视图集整体性能等方面验证了该算法的有效性.     

Efficient approaches for materialized views selection in a data warehouse

View materialization is an effective method to increase query efficiency in a data warehouse and improve OLAP query performance. However, one encounters the problem of space insufficiency if all possible views are materialized in advance. Reducing query time by means of selecting a proper set of materialized views with a lower cost is crucial for efficient data warehousing. In addition, the costs of data warehouse creation, query, and maintenance have to be taken into account while views are materialized. In this paper, we propose efficient algorithms to select a proper set of materialized views, constrained by storage and cost considerations, to help speed up the entire data warehousing process. We derive a cost model for data warehouse query and maintenance as well as efficient view selection algorithms that effectively exploit the gain and loss metrics. The main contribution of our paper is to speed up the selection process of materialized views. Concurrently, this will greatly reduce the overall cost of data warehouse query and maintenance.     

数据仓库中基于实体化辅助视图的视图增量维护

为了加快对大量数据的查询处理速度，通常在数据仓库以实视图方式存储数据，当基础数据发生变化时，这些实视图也必须随着更新，因而视图自维护和一致性维护成为数据仓库的重要问题。本文提出利用视图计算的中间结果创建辅助视图，在数据仓库中进行实体化，采用有效的增量维护算法计算实视图的精确变化，实现数据仓库视图自维护。     

基于时间戳的实化视图多版本维护

实化视图的一致性维护是数据仓库联机维护的关键问题.本文分析了基于三层数据仓库体系结构的3VWQ算法中潜在不一致性的原因,给出了三层结构的改进方法并引入时间戳作为中间版本实化视图的一致性维护标记;提出一种基于时间戳的补偿算法,实现了增量查询维护过程中不一致更新的本地补偿,从而在保证较好性能的同时解决了维护查询过程中的一致性问题.     

Web数据集成系统基于QC模型的物化视图选择

在Web数据集成系统中,物化视图能够有效地减少网络传输代价,提高系统的查询效率．如何选择查询进行物化,使得选中的查询满足集成层的空间限制,同时获取最大物化收益,成为集成系统中一个迫切需要解决的问题．传统方法没有考虑到海量XML查询之间的包含关系,其选择的物化视图中可能包含冗余的信息．针对上述问题,提出了①Web数据集成系统中海量查询集合的QC(query containment)模型,该模型能够捕捉查询之间最常见的包含关系;②基于QC模型的物化视图选择算法,算法考虑了物化视图选择相关的主要因素,包括查询提交的频率、空间代价、查询重写能力和查询结果的完备性,提出了查询位图的物化视图组织方式,从而获取更加合理的物化视图选择方案．实验结果证明了该方法的有效性．     

Blockchain Based Consensus Algorithm and Trustworthy Evaluation of Authenticated Subgraph Queries

Over the past era, subgraph mining from a large collection of graph database is a crucial problem. In addition, scalability is another big problem due to insufficient storage. There are several security challenges associated with subgraph mining in today’s on-demand system. To address this downside, our proposed work introduces a Blockchain-based Consensus algorithm for Authenticated query search in the Large-Scale Dynamic Graphs (BCCA-LSDG). The two-fold process is handled in the proposed BCCA-LSDG: graph indexing and authenticated query search (query processing). A blockchain-based reputation system is meant to maintain the trust blockchain and cloud server of the proposed architecture. To resolve the issues and provide safe big data transmission, the proposed technique also combines blockchain with a consensus algorithm architecture. Security of the big data is ensured by dividing the BC network into distinct networks, each with a restricted number of allowed entities, data kept in the cloud gate server, and data analysis in the blockchain. The consensus algorithm is crucial for maintaining the speed, performance and security of the blockchain. Then Dual Similarity based MapReduce helps in mapping and reducing the relevant subgraphs with the use of optimal feature sets. Finally, the graph index refinement process is undertaken to improve the query results. Concerning query error, fuzzy logic is used to refine the index of the graph dynamically. The proposed technique outperforms advanced methodologies in both blockchain and non-blockchain systems, and the combination of blockchain and subgraph provides a secure communication platform, according to the findings.     

基于Oracle物化视图日志的数据同步技术研究

在当今数据信息系统的开发中,分布式数据库和分布式应用系统间的数据同步问题是一个较为常见且较难解决的问题。现有的各种解决方案存在反映源数据频繁变化比较困难和数据同步效率低等问题。本文通过对Oracle数据库的物化视图日志机制的研究,简要介绍Oracle数据库物化视图日志的数据结构、对数据库记录操作的记录方式,提出了一种基于Oracle数据库物化视图日志的数据库同步技术,为分布式应用系统中数据表间的数据同步提供了一种新思路。     

一种空间数据仓库动态物化视图选择算法

物化视图能够有效地提高空间数据仓库的查询效率,但由于空间操作的复杂性,传统数据仓库中物化视图的选择算法不能很好地应用于空间数据仓库。为了在存储空间约束下选择查询进行物化,并动态调整物化视图集,以适应用户查询的时变性和即席查询,提出了空间物化视图选择算法SMVS。实验结果表明该算法是有效可行的,不仅能够提高查询性能,而且解决了查询响应性能随用户查询分布变化而下降的问题。     

Maintaining large update batches by restructuring and grouping

Materialized views defined over distributed data sources can be utilized by many applications to ensure better access, reliable performance, and high availability. Technology for maintaining materialized views is thus critical for providing up-to-date results since a stale view extent may not help or even mislead these applications. State-of-the-art incremental view maintenance requires O(n²)$\mathrm{O}(n^2)$ or more remote maintenance queries with n being the number of data sources in the view definition. In this work, we propose two novel maintenance strategies, namely adjacent grouping and conditional grouping, that dramatically reduce the number of maintenance queries required to maintain the materialized views. This reduction in the number of maintenance queries brings the basic trade-off between the complexity of each query and the total number of maintenance queries that can be exploited to improve maintenance performance. The proposed maintenance strategies have been implemented in a working prototype system called TxnWrap. Experimental studies illustrate that our proposed strategies are able to achieve about 400% performance improvement in terms of total processing time compared with existing batch algorithms in a majority of cases.     

Incremental Design of a Data Warehouse

A data warehouse (DW) can be seen as a set of materialized views defined over remote base relations. When a query is posed, it is evaluated locally, using the materialized views, without accessing the original information sources. The DWs are dynamic entities that evolve continuously over time. As time passes, new queries need to be answered by them. Some of these queries can be answered using exclusively the materialized views. In general though new views need to be added to the DW.In this paper we investigate the problem of incrementally designing a DW when new queries need to be answered and possibly extra space is allocated for view materialization. Based on an AND/OR dag representation of multiple queries, we model the problem as a state space search problem. We design incremental algorithms for selecting a set of new views to additionally materialize in the DW that: (a) fits in the extra space, (b) allows a complete rewriting of the new queries over the materialized views, and (c) minimizes the combined new query evaluation and new view maintenance cost. Finally, we discuss methods for pruning the search space so that efficiency is improved.