|
|||||
|
|
| 基于Spark的近实时增量数据更新方法 | |
| 引用本文： | 朱宏志,任楚岚.基于Spark的近实时增量数据更新方法[J].网络安全技术与应用,2022(4):73-76. |
| 作者姓名： | 朱宏志 任楚岚 |
| 摘 要： | 增量数据更新是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键.随着大数据技术的发展,传统的增量更新算法已经无法适应时代的潮流.为此,本文基于Spark等成熟的大数据技术提出了一种近实时增量数据更新方法.本文采用OGG+kafka进行增量数据捕获,采用Spark对增量数据进行实时分析,... |
| 关 键 词： | 增量更新 ETL Spark 数据仓库 |
