分布式数据库从入门到实战
15
15
1.0x
00:00/00:00
登录|注册

14|技术上,StarRocks如何应对CDP需求?

你好,我是彭旭。
上一讲我们分析了 CDP 的业务场景,CDP 从各个渠道收集用户业务数据、行为数据后,根据规则为用户生成标签画像。显然收集、清洗后的数据越多,就能产生更多的标签,对用户的画像也就越丰满。所以这节课,我们先来看一下 StarRocks 在技术架构上是怎样满足亿级数据的存储与快速分析的。
学完这一讲后,希望你能了解几个知识点。
StarRocks 集群包含哪些组件,每个组件的作用,组件之间如何协作。
为什么要存算分离,存算分离有什么优缺点。
StarRocks 如何分布数据。
首先来看一下 StarRocks 的系统架构。

StarRocks 系统架构

提到 StarRocks 就不得不说 Doris,Doris 最初是百度为解决凤巢广告系统,报表统计的需求而开发的,后来贡献给 Apache,成为开源社区的一员。2020 年百度 Doris 团队的一部分成员离职创业,他们基于 Apache Doris 开发了一款商业化闭源产品,命名为 DorisDB。这就是 StarRocks 的前身。
后来因为 DorisDB 和 Apache Doris 名字很像,为了避免版权纠纷,DorisDB 改名为 StarRocks。
StarRocks 在设计和架构上参考了 Impala、Presto 这类 MPP 分析引擎的思想,甚至在组件功能上也非常相似。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. StarRocks的系统架构包括FE(Frontend)和BE(Backend)组件,分别负责接收请求并处理,以及执行数据查询和计算。 2. StarRocks支持存算分离架构,通过移除BE的Storage Engine组件,将数据存储在对象存储系统或HDFS上,以降低成本和简化系统复杂度。 3. StarRocks的数据分布方面支持分区分桶,使用Tablet作为数据分布与均衡的最小单元,并自动进行数据迁移以保持均匀分布。 4. StarRocks在CDP需求场景中可以用于SQL生成、统计类和规则类标签的扫描和查询,通过分区分桶键和组合多个列分桶来优化查询和避免数据倾斜。 5. StarRocks是一个列式数据库,支持对数据进行压缩和存储优化,能够提供接近PB级别的数据存储能力。 6. StarRocks基于MPP架构,配合分区分桶的数据分布,使得单个查询请求可以充分利用所有执行节点的资源,从而提高查询性能。 7. StarRocks全新设计了基于代价的优化器 CBO(Cost Based Optimizer)、使用全面的向量化执行引擎、支持混合行列存储、优化了数据缓存,从而在单表或者多表的查询性能上提供较优的性能。 8. 部署StarRocks只需要部署FE、BE两个进程,一般是集群式部署,FE与BE分布在不同的节点,BE部署完成后需要手动通过SQL客户端执行命令连接到FE,然后将BE添加进集群。 9. 在存算分离架构下,BE被移除了Storage Engine组件,数据存储从本地存储升级为共享存储,CN(Compute Node)执行数据导入、查询计算、缓存数据管理等任务。 10. StarRocks支持分区分桶,推荐使用表达式分区,也支持Range、List、Hash分区,分区分桶键一般与查询条件强相关,如果可能存在数据倾斜,可以组合多个列。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式数据库从入门到实战》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)