基于日志分析的增量数据捕获方法研究

通过扫描数据库日志文件可以捕获变化数据,但已有研究仅适应某种特定类型的数据库管理系统并且缺乏对冗余信息的消除。针对上述不足,提出一个基于日志分析的增量数据检测及其净效应处理通用模型,描述增量检测过程中的通用处理步骤,即日志抽取、日志分析和净效应处理3个模块。通过实验对净效应处理速度、冗余数据压缩率、网络传输速度等因素进行分析,结果表明,净效应处理可以有效地减少数据的网络传输时间和更新时间,提高运行效率。     

增量式ETL工具的研究与实现

利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率.现有通用ETL工具在增量抽取方面存在…些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题.本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题.在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现.     

基于构造型神经网络的异常模式发现方法

数据流的异常模式检测中,有时受噪声等因素影响发生概念漂移,影响了检测效率。针对此问题,提出一种基于构造型神经网络增量学习的异常模式动态检测方法,以提取滑动窗口内数据的数据概要,修正全局数据概要,更新已有的学习模型。另外,数据流速、流量等因素也影响检测效率,采用粒度分析思想改进检测方法,设置合适的时间滑动窗口,根据数据量自适应选择分析粒度,进而更准确地发现异常模式。无线电通信信号监测数据异常模式检测实验验证了本方法的有效性。     

时间敏感数据流上的频繁项集挖掘算法

数据流中的数据分布随着时间动态变化,但传统基于事务的滑动窗口模型难以体现该特征,因此挖掘结果并不精确.首先提出时间敏感数据流处理中存在的问题,然后建立基于时间戳的滑动窗口模型,并转换为基于事务的可变滑动窗口进行处理,提出了频繁项集的挖掘算法FIMoTS.该算法引入了类型变化界限的概念,将项集进行动态分类,根据滑动窗口大小的变化对项集进行延迟处理,仅当项集的类型变化界限超出一定阈值的时候才进行支持度的重新计算,能够达到剪枝的目的.在4种不同密度的数据集上完成的实验结果显示,该算法能够在保证内存开销基本不变的情况下显著提高计算效率.     

基于JSON的离线数据同步策略及应用

针对智能移动应用的特殊性及其在离线情况下的数据同步问题,提出了一种数据同步方案,使用JSON技术设计数据交换协议,移动端离线数据存放在SQLite数据库中、使用基于时间戳的冲突检测算法提高同步的准确性,并采用增量同步方式保证同步的效率和准确性. 将该策略应用在智慧安防系统中,结果表明,基于JSON离线数据同步效率相比传统基于XML的方案提高约8%.     

异构环境下数据库增量同步更新机制

分析企业数据集成中存在异构数据库的变化数据捕获与数据同步问题,对多种变更数据捕获方式进行比较,提出了一种将触发器和日志表相结合的变更数据捕获方法。设计了一种基于Web服务的分布式异构数据库增量同步更新机制,建立了中心数据库,通过事件驱动传输体系,将分布式数据库和中心数据库各自将捕获的增量数据进行同步,实现了分布式异构数据库增量同步更新系统原型。最后用实例对系统进行了测试,结果表明了该设计的可行性和合理性。     

基于ADO.NET数据库系统的并发控制协议设计与测试

在数据库系统中,数据访问技术从连接模型发展到断开连接模型。在断开连接数据访问模型下,如何进行并发控制,保持数据库一致性,同时提高系统的运行效率,很少有相关的文献进行研究。断开连接访问模型技术自身的优点为有别于传统严格一致的可串行化并发控制协议提供了必要性和可能性。通过剖析断开连接数据访问模型ADO.NET基础上,提出了一种基于时间戳验证的两阶段封锁多版本并发控制协议。该协议解决了在断开连接访问模型下网络数据库系统的并发访问异常,保证了数据的一致性,提高了系统的性能和并发度。最后设计了测试系统,对该协议的性能进行了测试,并与其它协议进行了比较,分析了实验结果,结果表明该协议性能良好。     

基于关键属性比对的增量数据抽取方法

概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。     

数据库同步中差异数据捕获方案设计与实现

差异数据捕获是数据库同步的基础,对其它环节的影响也非常大。差异数据捕获不仅要获得复制对象的变化序列或当前映像,还要在对等式复制时提供尽可能详细的控制信息。该文在分析目前常用的差异数据捕获方法之后,提出了一种时间戳与触发器相结合的设计方案并加以实现。     

数据库同步中差异数据捕获方案设计与实现

差异数据捕获是数据库同步的基础,对其它环节的影响也非常大。差异数据捕获不仅要获得复制对象的变化序列或当前映像,还要在对等式复制时提供尽可能详细的控制信息。该文在分析目前常用的差异数据捕获方法之后,提出了一种时间戳与触发器相结合的设计方案并加以实现。     

Distributed Timestamp Mechanism Based on Verifiable Delay Functions

In the data communication system, the real-time information interaction of communication device increases the risk of privacy sensitive data being tampered with. Therefore, maintaining data security is one of the most important issues in network data communication. Because the timestamp is the most important way to authenticate data in information interaction, it is very necessary to provide timestamp service in the data communication system. However, the existing centralized timestamp mechanism is difficult to provide credible timestamp service, and users can conspire with timestamping servers to forge timestamps. Therefore, this paper designs a distributed timestamp mechanism based on continuous verifiable delay functions. It utilizes multiple independent timestamp servers to provide timestamp services in a distributed model and appends the timestamp to the data once the data is generated. Thus, it can prove that the data already exists at a certain time and ensure the accuracy of the timestamp. Moreover, a digital blind signature based on elliptic curve cryptography is utilized to solve the problem of timestamp forgery in timestamp service. Finally, the security analysis of the scheme ensures the data security of data communication system and the concurrency rate of timestamp. The experimental results also show that the scheme greatly improves the efficiency of digital signatures.     

采用增量时间戳安全技术的Mobile Agent系统

安全技术决定了Mobile Agent的实用性,其主要解决的问题是防范恶意Mobile Agent的重复攻击和越权攻击.在介绍了Mobile Agent的概念、特点及安全的重要性的基础上,提出了增量时间戳的概念及优点,并给出了具体例证.采用增量时间戳的Mobile Agent系统能够较好地避免执行系统受到恶意Mobile Agent的损害.增量时间戳技术已经在基于Lucent公司的Inferno系统上开发的Mobile Agent系统中得到了验证和实现.     

基于时间标签的以太无源光网络下行加密方案

为解决以太无源光网络下行数据传输的不安全性问题,提出一种基于时间标签函数的加密方案。将高级加密标准算法与时间标签相结合形成密钥,完成下行数据的加密,通过在光线路终端和光网络单元两端增加一个加/解密模块,避免密钥通过不安全的信道传输,并给出时间标签提取与同步以及密钥动态更新与同步问题的解决方案。实验结果表明,与传统加密方案相比,该方案具有延时低、吞吐量高、安全性高等优点。     

基于时间戳的实化视图多版本维护

实化视图的一致性维护是数据仓库联机维护的关键问题.本文分析了基于三层数据仓库体系结构的3VWQ算法中潜在不一致性的原因,给出了三层结构的改进方法并引入时间戳作为中间版本实化视图的一致性维护标记;提出一种基于时间戳的补偿算法,实现了增量查询维护过程中不一致更新的本地补偿,从而在保证较好性能的同时解决了维护查询过程中的一致性问题.     

易变数据流的系统资源配置方法

大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。     

Frequency domain data based model extraction for band‐limited digital predistortion of wideband RF power amplifiers

Bandwidth constraints pose significant challenges to linearization of wideband RF power amplifiers (PAs) with digital predistortion (DPD). A recently proposed band‐limited DPD scheme uses a band‐limited modeling technique to eliminate the bandwidth constraints and reduce DPD implementation cost. However, time consuming convolution operations are involved for model extraction in this time domain data based band‐limited modeling method. In this article, band‐limited model extraction is formulated as a generalized least squares problem and investigated from a frequency domain perspective. A frequency domain data based model extraction method is proposed, which greatly reduces the computational complexity for extracting band‐limited DPD model parameters. A 10 W GaN HEMT inverse class‐F PA excited by a 20 MHz four‐carrier WCDMA signal and a 40 MHz two‐carrier LTE signal is tested to validate the method. Experimental results show that the computationally efficient frequency domain data based model extraction method for band‐limited DPD provides as good linearization performance as the time domain data based method. © 2013 Wiley Periodicals, Inc. Int J RF and Microwave CAE 24:412–420, 2014.     

文本对象查询的相关性计算

本文把特征文件，符号对象模型及时间戳排序等概念引入到文本对象查询系统的设计之中，提出了基于索引调组集的用户查询和文本对象相关性计算，以词组标识解决词组同义词等价性判定问题以及借助于时间戳排序技术充分利用查询反馈信息以提高系统时空效率的算法和方法，并讨论了面向文本数据库管理系统的文本对象查询的优化策略及逻辑实现等问题。     

基于时间窗口的增量式关联规则更新技术

文章提出了基于时间窗口的增量式关联规则更新技术.该方法不仅可以利用在先前发现过程中已经获得的结果,而且利用时间窗口,还可以在最近的数据集中进行知识发现.     

Incremental partial least squares analysis of big streaming data

Incremental feature extraction is effective for facilitating the analysis of large-scale streaming data. However, most current incremental feature extraction methods are not suitable for processing streaming data with high feature dimensions because only a few methods have low time complexity, which is linear with both the number of samples and features. In addition, feature extraction methods need to improve the performance of further classification. Therefore, incremental feature extraction methods need to be more efficient and effective. Partial least squares (PLS) is known to be an effective dimension reduction technique for classification. However, the application of PLS to streaming data is still an open problem. In this study, we propose a highly efficient and powerful dimension reduction algorithm called incremental PLS (IPLS), which comprises a two-stage extraction process. In the first stage, the PLS target function is adapted so it is incremental by updating the historical mean to extract the leading projection direction. In the second stage, the other projection directions are calculated based on the equivalence between the PLS vectors and the Krylov sequence. We compared the performance of IPLS with other state-of-the-art incremental feature extraction methods such as incremental principal components analysis, incremental maximum margin criterion, and incremental inter-class scatter using real streaming datasets. Our empirical results showed that IPLS performed better than other methods in terms of its efficiency and further classification accuracy.     

Formal Verification Techniques Based on Boolean Satisfiability Problem

This paper exploits Boolean satisfiability problem in equivalence checking and model checking respectively. A combinational equivalence checking method based on incremental satisfiability is presented. This method chooses the candidate equivalent pairs with some new techniques, and uses incremental satisfiability algorithm to improve its performance.By substituting the internal equivalent pairs and converting the equivalence relations into conjunctive normal form (CNF)formulas, this approach can avoid the false negatives, and reduce the search space of SAT procedure. Experimental results on ISCAS‘85 benchmark circuits show that, the presented approach is faster and more robust than those existed in literature.This paper also presents an algorithm for extracting of unsatisfiable core, which has an important application in abstraction and refinement for model checking to alleviate the state space explosion bottleneck. The error of approximate extraction is analyzed by means of simulation. An analysis reveals that an interesting phenomenon occurs, with the increasing density of the formula, the average error of the extraction is decreasing. An exact extraction approach for MU subformula, referred to as pre-assignment algorithm, is proposed. Both theoretical analysis and experimental results show that it is more efficient.