数据仓库
实时数仓


离线数仓

实时数仓和传统数仓的对比
实时数仓和传统数仓的对比主要可以从四个方面考虑:
- 第一个是分层方式,离线数仓为了考虑到效率问题,一般会采取空间换时间的方式,层级划分会比较多;则实时数仓考虑到实时性问题,一般分层会比较少,另外也减少了中间流程出错的可能性。
- 第二个是事实数据存储方面,离线数仓会基于 HDFS,实时数仓则会基于消息队列(如 Kafka)。
- 第三个是维度数据存储,实时数仓会将数据放在 KV 存储上面。
- 第四个是数据加工过程,离线数仓一般以 Hive、Spark 等批处理为主,而实时数仓则是基于实时计算引擎如 Storm、Flink 等,以流处理为主。
一站式解决方案


文档信息
- 本文作者:Jessica
- 本文链接:https://jessica0530.github.io/2020/11/01/%E6%95%B0%E4%BB%93/
- 版权声明:自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)