分布式数据库从入门到实战
15
15
1.0x
00:00/00:00
登录|注册

15|数据存储上如何选用合适的表存储类型?

你好,我是彭旭。
上节课我们探索了 StarRocks 的架构和数据分布,也介绍了 CDP 的几个表,了解了如何在 StarRocks 里面设计分区分桶键。
这节课我们再来看看,CDP 的数据模型,在 StarRocks 里面,该如何选用合适的存储引擎。

从数仓的建模分层说起

在数仓建模中,有一个比较通用的建模方法论,就是将数据分为 4 层:包括:ODS(Operational Data Store)、DWD(Data Warehouse Detail)、DWS(Data Warehouse Summary)和 ADS(Application Data Store)。
这里我们简单解释一下这 4 层数据模型的定义与作用。
ODS:直接存放从各个渠道收集的原始数据,比如业务系统收集的、前后端埋点收集的等等。有时候会考虑做一定程度的数据清洗,比如处理异常字段、规范字段命名、统一时间字段等。
DWD:以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细事实表,比如浏览明细表、交易明细表。DWD 也会清洗 ODS 层的数据(去除空值、脏数据、异常数据)、降维处理、脱敏等,并基于维度建模,将某些字段做适当冗余,做宽表化。
DWS:在 DWD 层的基础上进行数据聚合和汇总,比如用户交易汇总表、用户指标汇总宽表。一般会依据特定业务需求或报表要求进行数据汇总和预计算,提高数据查询效率和性能。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 数据仓库建模中的四层分层方法论:ODS、DWD、DWS和ADS,用于组织数据并分解大任务,提升灵活性和扩展性。 2. 明细模型适合保存明细数据的场景,数据不会更新,只会新增插入。 3. DWS层需要基于DWD明细数据进行数据汇总,可以使用聚合模型指定聚合列和指标列,提升查询效率。 4. StarRocks1.19版本推出了主键模型 (Primary Key Model) 以提升性能。 5. 主键模型采用Delete-and-Insert策略,提升了读性能并支持谓词下推,相比更新模型有更好的性能表现。 6. 主键模型能够替代更新模型,提升了查询效率和支持谓词下推。 7. 主键模型在StarRocks内部被重点支持和推荐使用。 8. 谓词下推是指将查询条件尽可能地下推到数据源的最底层,以减少需要处理的数据量,提升查询效率。 9. 在关系型数据库中,表连接的情况下,使用谓词下推可以提升查询效率。 10. 主键模型的目标是实现快速的实时更新,适用于有更新和实时分析的场景。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式数据库从入门到实战》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)