一. 简介
二. 核心
1. 核心功能
-
实时采集
-
SQL开发
-
算子化
-
运维监控
2. 实时数仓的应用场景
-
实时olap分析
-
实时看板数据
-
实时特征
-
实时业务监控
3. 实时数仓的技术要求
1.高并发性
2.查询速度
3.处理速度
4. 实时数仓的演变
4.1 Lambda架构
在离线大数据架构基础上加了一个加速层,使用流处理技术完成实时性较高的计算
4.2 Kappa架构
实时事件处理为核心,统一数据处理
4.3 Lambda与kappa架构的区别
参考: https://www.weixiuzhan.cn/news/show-16460.html
参考:https://blog.csdn.net/yunqiinsight/article/details/91416045
5. 流式技术架构
目前流式计算框架相对成熟,以Storm、Spark Streaming、Flink为代表的开源组件也被广泛应用。流式数据处理,简单来讲,就是系统每产生一条数据,都会被立刻采