基于日志分析的增量数据捕获方法研究

通过扫描数据库日志文件可以捕获变化数据,但已有研究仅适应某种特定类型的数据库管理系统并且缺乏对冗余信息的消除。针对上述不足,提出一个基于日志分析的增量数据检测及其净效应处理通用模型,描述增量检测过程中的通用处理步骤,即日志抽取、日志分析和净效应处理3个模块。通过实验对净效应处理速度、冗余数据压缩率、网络传输速度等因素进行分析,结果表明,净效应处理可以有效地减少数据的网络传输时间和更新时间,提高运行效率。     

MS SQL Server 2000日志分析方法的研究与实现

介绍了MS SQL Server 2000的事务日志的工作原理及特点,详细描述了一种利用MS SQL Server2000数据库提供的DBCC命令作为日志读取的接口对数据库进行日志的读取和分析的方法,并根据此方法初步实现了一个MS SQL Server2000的日志分析器.此日志分析器能够把引起数据库状态变迁的数据库更新操作（Insert、Delete和Update）及相应数据分析出来,以便利于各种相关应用.     

融合注意力机制与孪生神经网络的更新日志主题学习模型

为进一步挖掘更新日志信息,提出了基于注意力机制的孪生双向LSTM网络模型,对更新日志进行分类以实现主题标注,并辅助定位代码缺陷位置。该模型提出了具有安全特色的分词工具实现日志预处理,借助双向LSTM网络学习更新日志语义信息,通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集,提升泛化能力。针对多语句组成的更新日志进行序列化训练,通过注意力机制对语句影响性进行区分。针对缺陷修复类的部分日志基于LLVM工具进行改进,生成映射表进行日志内容搜索,定位源码中缺陷模块的位置。大量实验结果表明,所提模型分类效果具有强泛化能力,且较其他文本分类通用方法在准确率、F₁值等指标提升近10%,具有理想的日志分类效果与主题学习效果。     

一种应用于闪存数据库的高效B+树索引机制

为解决现有闪存数据库索引机制无法同时具备高索引更新性能和高检索性能的问题,提出一种应用于闪存数据库的高效B+树索引机制。该机制采用日志方式更新索引,利用日志缓存区保证日志快速写入闪存。针对日志方式检索效率低的缺陷,设计节点日志映射表,通过哈希映射直接索引节点更新记录,避免全局搜索节点日志。将更新日志整合为B+树逻辑节点,使索引检索转化为B+树深度搜索,在此基础上设计节点缓存区,提高节点检索效率。实验结果表明,该机制相比日志型索引机制BFTL,更新效率提高了51%、检索效率提高了2.3倍,相比基于Nand闪存转换层的B+树索引机制,在保证与其相当的高检索效率的同时,更新效率提高了2.4倍。     

SQL Server的事务日志机制的研究与应用

本文主要研究SQL Server实现的三种事务模型及事务日志,并设计了一种处理SQL Server数据库事务日志检测数据库中数据更新的算法。该算法实现了对数据库中数据更新的检测,并应用到数据集成系统中。应用结果证明该算法是准确有效的。     

基于Delphi的DLL封装系统数据支撑模块技术的研究

动态链接库（DLL）是一种成熟的资源共享技术，而Delphi语言提供了完整的数据库解决方案。通过研究两者的特点，综合利用两者的长处，形成各种数据库通用的数据支撑模块，为基于数据库的软件的开发和运用提供稳定、快速和优质的数据服务。数据支撑模块有良好的通用性、维护方便、即时更新，已在大坝安全监测信息分析系统的开发过程中得到广泛应用并收到良好的效果。     

异构环境下数据库增量同步更新机制

分析企业数据集成中存在异构数据库的变化数据捕获与数据同步问题,对多种变更数据捕获方式进行比较,提出了一种将触发器和日志表相结合的变更数据捕获方法。设计了一种基于Web服务的分布式异构数据库增量同步更新机制,建立了中心数据库,通过事件驱动传输体系,将分布式数据库和中心数据库各自将捕获的增量数据进行同步,实现了分布式异构数据库增量同步更新系统原型。最后用实例对系统进行了测试,结果表明了该设计的可行性和合理性。     

一种查看Linux系统审计日志的图形工具

Linux系统提供了详细的系统审计日志。基于MySQL数据库和Kylix图形开发工具，开发了一个快速查询Linux系统审计日志的图形化工具，并可对查询的日志信息进行统计分析，提高了系统审计日志的实用性。     

基于变化数据捕获机制的分布式缓存一致性策略

分布式缓存被广泛应用于解决传统关系型数据库的性能瓶颈问题,但是当不能感知分布式缓存的第三方应用直接更新后台数据库时,缓存数据会获得不一致的状态,存在过时缓存问题.本文提出一种基于变化数据捕获机制的分布式缓存一致性策略,集成了基于触发器和基于日志的两种变化数据捕获机制实时捕获后台数据库更新,实现了数据模型自动转换方法和SQL翻译引擎,实时更新缓存,从而保障分布式缓存的一致性.实验模拟TPC-W测试基准中的关键操作,验证了基于日志的变化数据捕获机制相比基于触发器的变化数据捕获机制有更好的数据库性能和缓存一致性效果.     

Oracle数据库日志文件损坏时修复方法的实验研究

Oracle数据库日志文件记录了对数据库进行的所有操作,而日志文件又分为重做日志文件和归档日志文件.重做日志可用于进行实例恢复,但如果数据文件意外丢失或损坏,则必须要用到归档日志.针对归档或非归档日志文件损坏或丢失时,数据库发生故障的情况,用模拟故障的方法研究了不同情况下的修复方法.     

NVRC:一种面向NVM的写限制日志方案

非易失性内存(Non-Volatile Memory,NVM)具有支持按字节寻址、持久性、存储密度高、读写延迟低等特点,因此成为解决DRAM(Dynamic Random Access Memory)容量有限问题的首选技术。随着数据库系统中NVM的引入,传统的日志技术需要考虑如何适应NVM特性。首先总结了已有的面向NVM的日志技术研究,进而提出了一种尽可能限制NVM写操作的数据库日志方案NVRC(Non-Volatile Record-updating with Cacheline)。文中提出了结合异地更新和原地更新的日志管理方案。具体而言,NVRC在异地更新的“影子记录”的基础上,引入了“缓存行原地更新”策略,并通过代价分析选择合理的日志更新策略,从而减少对NVM的写操作。采用DRAM模拟NVM的方式在YCSB测试负载上进行了实验,并对比了NVRC与传统的WAL(Write Ahead Log)以及NVM感知的PCMLx(PCMLoggingx)方法。结果表明,NVRC的NVM写次数在修改均匀的情况下比WAL和PCMLx分别减少了54%和17%,同时更新性能分别提升了59%和10%。     

闪存数据库系统中一种高效的自适应存储模式

使用闪存作为存储介质成为提高数据库系统性能的一条新途径,为了解决闪存数据库系统存储管理技术中基于日志的更新策略存在查询效率低、日志区空间分配不合理、索引更新代价高等问题,提出了基于Bloom Filter的最新版本预测算法,引入记录定位器结构,提出日志概要结构和基于闪存更新查询代价评估模型的自适应机制。实验证明,该方法能够自适应地划分合理的日志区空间,有效提高查询性能,减少各种非聚集索引的更新代价。     

一种用户任务级别上的数据库入侵检测方法

通常，更新数据库中一个数据项之前可能读或者写一些数据项，更新一个数据项后，可能也有一些数据项被更新。依据数据之间的这种依赖关系，本文提出一种用户任务级别 的数据依赖挖掘算法，从数据库日志中挖掘出用户任务事务中存在的数据依赖关系。如果在检测阶段发现同一用户任务中有事务与挖掘出的数据依赖关系不符合，则可判断此
此用户任务中有异常活动出现。     

Design and Analysis of Techniques for Detection of Malicious Activities in Database Systems

Existing host-based Intrusion Detection Systems use the operating system log or the application log to detect misuse or anomaly activities. These methods are not sufficient for detecting intrusion in the database systems. In this paper, we describe a method for detecting malicious activities in a database management system by using data dependency relationships. Typically, before a data item is updated in the database, some other data items are read or written. And after the update, other data items may also be written. These data items read or written in the course of update of a data item construct the read set, prewrite set, and the postwrite set for this data item. The proposed method identifies malicious transactions by comparing these sets with data items read or written in user transactions. We have provided mechanisms for finding data dependency relationships among transactions and use Petri-Nets to model normal data update patterns at user task level. Using this method, we ascertain more hidden anomalies in the database log. Our simulation on synthetic data reveals that the proposed model can achieve desirable performance when both transaction and user task level intrusion detection methods are employed.Yi Hu is a PhD candidate in Computer Science and Computer Engineering Department at the University of Arkansas. His research interests are in Database Intrusion Detection, Database Damage Assessment, Data Mining, and Trust Management. Previously, he received the BS and MS degree in Computer Science from the Southwest Jiaotong University and the University of Arkansas, respectively.Brajendra Panda received his MS degree in mathematics from Utkal University, India, in 1985 and PhD degree in computer science from North Dakota State University in 1994. He is currently an associate professor with the Computer Science and Computer Engineering Department at the University of Arkansas. His research interests include database systems, computer security, digital forensics, and information assurance. He has published over 60 research papers in these areas.     

通用数据库操作模块的设计与实现

在分析常用的ＳＱＬ数据操作语句结构的基础上,介绍了一上通用数据库操作模块的设计与实现。该模块允许用户采填表的直观形式,实现的通用查询,插入,删除和修改,具有功能强大,操作简单等优点。     

DiffGram结合中间件的网络应用方法

文章利用XML DiffGram及中间件技术,通过网络实现了对SQL数据库表的删除、插入和更新等操作。与一般操作数据库方法不同,该方法直接使用XML文件对SQL Server2000的数据进行操作,是操作数据库的一种新方法。     

一种具有自适应机制的闪存数据库索引结构

针对闪存数据库系统索引技术中基于日志更新策略存在的检索效率低、日志空间分配不合理及合并带来的高昂更新代价等问题,提出一种具有自适应机制的索引结构LM-B+TREE。LM-B+TREE将索引的更新缓冲页映射于传统B+TREE的相应节点,并根据闪存索引的读写负载及读写代价差异,动态地分配缓冲更新区,自适应地调整索引架构。实验证明LM-B+TREE能够动态地调整索引架构来适应索引的读写负载代价,在减少索引更新代价的同时,有效地提高了索引的查询性能。     

Fast incremental mining of web sequential patterns with PLWAP tree

Point and click at web pages generate continuous data sequences, which flow into the web log data, causing the need to update previously mined web sequential patterns. Algorithms for mining web sequential patterns from scratch include WAP, PLWAP and Apriori-based GSP. Reusing old patterns with only recent additional data sequences in an incremental fashion, when updating patterns, would achieve fast response time with reasonable memory space usage. This paper proposes two algorithms, RePL4UP (Revised PLWAP For UPdate), and PL4UP (PLWAP For UPdate), which use the PLWAP tree structure to incrementally update web sequential patterns efficiently without scanning the whole database even when previous small items become frequent. The RePL4UP concisely stores the position codes of small items in the database sequences in its metadata during tree construction. During mining, RePL4UP scans only the new additional database sequences, revises the old PLWAP tree to restore information on previous small items that have become frequent, while it deletes previous frequent items that have become small using the small item position codes. PL4UP initially builds a bigger PLWAP tree that includes all sequences in the database using a tolerance support, t, that is lower than the regular minimum support, s. The position code features of the PLWAP tree are used to efficiently mine these trees to extract current frequent patterns when the database is updated. These approaches more quickly update old frequent patterns without the need to re-scan the entire updated database.     

面向更新密集型应用的内存数据库高效检查点技术

面向更新密集型应用的内存数据库系统,其检查点技术应符合几个关键的要求,包括检查点操作对正常事务处理的干扰尽可能小、能够处理存取倾斜状况、支持数据库系统的快速恢复、提供恢复过程中的系统可用性等.该文提出一种事务一致的分区检查点技术,采用基于元组的动态多版本并发控制机制,避免了读写事务的加锁冲突,提高系统吞吐能力;检查点操作以只读事务形式实现,存多版本并发控制下,避免检查点操作对正常事务处理的堵塞;由于检查点文件是事务一致的,只需要记录事务的Redo 日志信息,在系统恢复过程中,只需要对日志文件进行一遍扫描处理,加快恢复过程;基于优先级的数据分区装载和恢复,使得恢复过程中新事务的数据存取请求迅速得到满足,保证了恢复过程中的系统可用性.由于采用两级版本管理机制以及动态版本共享技术,多版本管理的空间开销降低到可以接受的水平.实验结果表明,文中提出的检查点技术方案获得比模糊检查点技术高27%的系统吞吐量,同时版本管理的空间开销在可接受的范围之内,满足高性能应用的要求.