20|如何用ClickHouse bitmap加速人群计算
彭旭
你好,我是彭旭。
上节课我们介绍了 ClickHouse 应该怎么配置集群,以及怎么用分布式表和集群的能力,并行处理数据的写入与查询。
通过利用分布式并行计算,ClickHouse 的性能与扩展性得到了进一步提升,之前我们也用 CDP 场景测试过了 StarRocks 的性能。
所以这节课,我们在相同的集群机器配置中,先来对比一下 ClickHouse 与 StarRocks 的性能。然后再给你介绍一个能够加速标签 AND、OR 计算的数据结构 bitmap。
CDP 在 ClickHouse 下的性能表现
首先,我们在一个与前面 StarRocks 相同配置的集群中,使用分布式表,将之前的 2 千万用户与 1 亿行为事件导入,看看在 CDP 的几个场景中,ClickHouse 的性能表现如何。
数据准备
ClickHouse 客户端工具 clickhouse-client 可以快速地将 csv 格式的数据导入表,下面这个命令就将文件 cdp_user_data.csv 的数据导入到了 cdp.cdp_user_all 表中。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. ClickHouse在多表Join的情况下性能表现 2. 使用Bitmap加速人群计算 3. 位图的作用和优势 4. RoaringBitmap的压缩位图实现 5. 如何在ClickHouse中使用bitmap加速人群计算 6. ClickHouse的数据写入、导入速度优势 7. 性能提升:使用bitmap后的圈人SQL逻辑简单,性能有了巨大提升 8. ClickHouse适合构建小型的在线实时CDP平台 9. 思考题:bitmap可以用来做字符串的计算吗?有什么限制? 10. 性能对比:ClickHouse在多表Join查询中落后于StarRocks
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《分布式数据库从入门到实战》,新⼈⾸单¥59
《分布式数据库从入门到实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论