15|数据存储上如何选用合适的表存储类型?
彭旭
你好,我是彭旭。
上节课我们探索了 StarRocks 的架构和数据分布,也介绍了 CDP 的几个表,了解了如何在 StarRocks 里面设计分区分桶键。
这节课我们再来看看,CDP 的数据模型,在 StarRocks 里面,该如何选用合适的存储引擎。
从数仓的建模分层说起
在数仓建模中,有一个比较通用的建模方法论,就是将数据分为 4 层:包括:ODS(Operational Data Store)、DWD(Data Warehouse Detail)、DWS(Data Warehouse Summary)和 ADS(Application Data Store)。
这里我们简单解释一下这 4 层数据模型的定义与作用。
ODS:直接存放从各个渠道收集的原始数据,比如业务系统收集的、前后端埋点收集的等等。有时候会考虑做一定程度的数据清洗,比如处理异常字段、规范字段命名、统一时间字段等。
DWD:以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细事实表,比如浏览明细表、交易明细表。DWD 也会清洗 ODS 层的数据(去除空值、脏数据、异常数据)、降维处理、脱敏等,并基于维度建模,将某些字段做适当冗余,做宽表化。
DWS:在 DWD 层的基础上进行数据聚合和汇总,比如用户交易汇总表、用户指标汇总宽表。一般会依据特定业务需求或报表要求进行数据汇总和预计算,提高数据查询效率和性能。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 数据仓库建模中的四层分层方法论:ODS、DWD、DWS和ADS,用于组织数据并分解大任务,提升灵活性和扩展性。 2. 明细模型适合保存明细数据的场景,数据不会更新,只会新增插入。 3. DWS层需要基于DWD明细数据进行数据汇总,可以使用聚合模型指定聚合列和指标列,提升查询效率。 4. StarRocks1.19版本推出了主键模型 (Primary Key Model) 以提升性能。 5. 主键模型采用Delete-and-Insert策略,提升了读性能并支持谓词下推,相比更新模型有更好的性能表现。 6. 主键模型能够替代更新模型,提升了查询效率和支持谓词下推。 7. 主键模型在StarRocks内部被重点支持和推荐使用。 8. 谓词下推是指将查询条件尽可能地下推到数据源的最底层,以减少需要处理的数据量,提升查询效率。 9. 在关系型数据库中,表连接的情况下,使用谓词下推可以提升查询效率。 10. 主键模型的目标是实现快速的实时更新,适用于有更新和实时分析的场景。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式数据库从入门到实战》,新⼈⾸单¥59
《分布式数据库从入门到实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论