支持混合事务和分析处理的数据库管理系统综述

数据库管理系统根据应用场景分为事务型(OLTP)系统和分析型(OLAP)系统. 随着实时数据分析需求增长, OLTP任务和OLAP任务混合的场景越来越普遍, 业界开始重视支持混合事务和分析处理(HTAP)的数据库管理系统. 这种HTAP数据库系统除了需要满足高性能的事务处理外, 还需要满足实时分析对数据新鲜度的要求. 因此, 对数据库系统的设计与实现提出了新的挑战. 近年来, 在工业界和学术界涌现了一批架构多样、技术各异的原型和产品. 综述HTAP数据库的背景和发展现状, 并且从存储和计算的角度对现阶段的HTAP数据库进行分类. 在此基础上, 按照从下往上的顺序分别总结HTAP系统在存储和计算方面采用的关键技术. 在此框架下介绍各类系统的设计思想、优劣势以及适用的场景. 此外, 结合HTAP数据库的评测基准和指标, 分析各类HTAP数据库的设计与其呈现出的性能与数据新鲜度的关联. 最后, 结合云计算、人工智能和新硬件技术为HTAP数据库的未来研究和发展提供思路.     

一种XML数据库的数据模型

数据模型是XML数据管理领域研究的核心问题之一.现有的数据模型在表达XML数据库复杂的数据结构和操作方面仍有不足.以映射为基础,提出了一种新的数据模型.该数据模型给出了XML数据库复杂的数据结构和语义的精确定义,并提供了数据结构上操作代数的定义,包括路径表达式操作和数据维护操作.该数据模型已应用于一个基于XML的信息集成系统中.事实表明,它能够有效地支持XML数据管理的应用.     

基于权重信息挖掘社会网络中的隐含社团

社团结构是一种普遍存在于各类真实网络中的结构特性.挖掘网络的社团结构对于理解网络的功能与行为有着重要作用.然而,现有的各种社团挖掘算法仅仅基于网络拓扑结构信息,而忽视了蕴涵于真实社会网络边权信息中丰富的语义信息.目前普遍使用的基于模块性最大化的社团挖掘算法倾向于将小社团合并,这使得语义上丰富的小社团容易湮灭于基于拓扑结构信息所挖掘出的大社团中.而挖掘出这些隐含于大社团中的有着丰富语义内涵的小社团对于加深社会网络语义层面的理解有着重要作用.为此,提出一个接近线性复杂度的有权网络社团挖掘算法.通过充分利用权重信息,算法可以将社会网络划分为富含语义信息的粒度较细且相对较小的隐含社团.通过对基于DBLP作者合作网络的实证分析,证实了新算法的有效性和高效性.     

基于扩展模式树匹配的XConquer算法

针对XQuery全文扩展中合取语义ftcontains表达式的计算问题,提出基于扩展模式树匹配的XConquer算法。树形结构索引DataSkeleton为查询节点静态过滤初始数据节点流,最小最低公共祖先动态阻止无效节点入栈,避免无用栈操作。实验结果表明,XConquer算法的查询性能优于DeweyPathStack算法。     

基于用户查询与样本间匹配度评估的分层抽样策略

在数据探索性分析场景下,用户倾向于借助抽样系统获取近似查询结果来换取更快的查询速度。现有的抽样系统通常假设用户的历史查询记录能很好地表征未来的查询情况,从而针对特定的查询特征生成特定的抽样策略。然而,在现实场景中,用户探索意图变化丰富,用户查询特征的稳定性假设通常无法得到保证。为解决上述问题,提出一种评估任意用户查询与样本间匹配度的方法。离线训练生成多份样本集,并在应对具体查询时自动选取最匹配样本集进行近似结果计算。离线样本集的生成是以在所有可能的用户查询上的预期匹配度损失总和最小作为训练目标。实验结果表明,在真实数据集上,该抽样系统与现有方法相比,将近似结果的精确度提高了26.3%。     

人身保险知识图谱的构建与应用

辅助投保人了解保险产品的条款是保险应用关注的热点问题之一, 借助知识图谱技术辅助人身保险业务开展是一种可行的方法. 本文首先从多源数据中提取并构建人身保险知识图谱LIKG. 具体而言, 构建BERT-IDCNN-BiLSTM-CRF模型提取非结构化文本数据的实体, 通过多种短文本相似度算法以及集成排序算法完成实体对齐; 设计并使用Bootstrapping和分类预测两阶段抽取方法对保险产品进行属性填充. 然后, 根据构建的LIKG, 设计开发原型系统, 该系统使用实体抽取和属性抽取算法提供知识获取功能、设计CF-IIF指标提供属性推荐功能以及实现可视化界面帮助用户快速掌握人身保险产品的信息, 展示LIKG的应用价值.     

基于广义后缀树结合过滤因子的正则表达式匹配算法

为了提高正则表达式在文本集合上的匹配效率,提出一种基于广义后缀树与过滤因子相结合的正则表达式匹配技术。根据给定的文本集合构建广义后缀树,通过在广义后缀树上定位过滤因子得到有效的候选匹配集合,利用过滤因子的序列信息进一步过滤候选集合,进而对候选集合中的字符串进行验证,得到匹配结果。通过在真实的数据集上进行实验,证明了该算法能够有效地提高正则表达式的匹配性能。     

面向司法大数据的文本主题OLAP系统

随着大数据技术的发展,加强司法大数据应用成为推进司法现代化建设的重要手段,如何处理司法大数据中的非结构化数据亟待解决.为此,本文提出了面向司法大数据的文本主题OLAP系统.在离线数据处理模块中,设计了Span数据模型,并定义了多种针对该模型的操作符;设计了基于规则的文本行政区划归类方法,并构建了主题立方体.在线上查询模块中,实现了基于倒排索引的关键词搜索方法和最大独特主题范围查询,提供了上卷、下钻、切片等功能.通过在大规模的真实数据集上对系统进行测试,实验结果证明了该系统的合理性和实用性.     

GCPR:一种在MapReduce平台上基于图划分的PageRank加速方法

随着应用的扩展,大规模图数据不断涌现,如何对拥有大量结点的图进行分析成为研究者关注的焦点问题之一.结点的海量性与分析的复杂性使得图分析任务需要借助MapReduce平台多机并行完成.在该平台上,现有的PageRank算法每轮迭代都须扫描、传输所有网页的完整状态,I/O和网络传输的开销严重影响了计算效率.为此,本文提出一种在MapReduce平台上基于图划分的PageRank加速方法:GCPR(Graph-clustering PageRank).GCPR利用图划分、数据两层压缩技术在MapReduce平台上进行PageRank迭代计算,不仅减少了Map到Reduce中间阶段I/O和网络传输的开销(MapReduce运算的主要瓶颈之一),而且平衡了计算资源.实验证明GCPR能极大提升MapReduce平台上的PageRank计算效率.     

面向大数据分析的智能交互向导系统

传统的大数据工具一般为专业数据分析人员打造,具有难以上手、操作交互性差以及不够智能化等特点.而智能交互向导系统是针对大数据交互式分析系统目前存在的问题而研制的一套大数据分析辅助工具.系统既研发了用户意图理解、数据抽样及列推荐、可视化推荐、分析方法推荐等核心关键技术,也拥有良好的图形化界面与人性化的智能交互体验.在满足用户多种交互式分析需求的同时,还具有极高的响应速度.不仅可以随时回溯到分析流程任意一步重新选择方法的执行流程,还可以通过接口与各种分析应用快速集成以部署应用于不同场景.经过实验测试,系统的平均交互时间均在3s以内,且与传统分析方法相比系统交互的执行时效加快了3倍左右.通过用户用例测试,系统的满意度相比传统工具更加优秀.智能交互向导系统通过在易用性、时效性、可交互性和智能性等方面的探索,让不同基础的用户群体都可以使用此系统完成所需的大数据分析目标.