当前播放: 快手万亿级别 Kafka 集群应用实践与技术演进之路
00:00 / 00:00
普清
  • 高清
  • 标清
  • 普清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
合辑:大数据平台架构
快手万亿级别 Kafka 集群应用实践与技术演进之路
苏宁 OLAP 引擎发展之路
Apache Hadoop 机器学习引擎 Submarine 及生态
ClickHouse 在头条的技术演进
美团点评常态、异地、多机房、单集群 Hadoop 架构实践
阿里巴巴新一代交互式分析引擎 Hologres

快手万亿级别 Kafka 集群应用实践与技术演进之路

赵健博 快手高级架构师、大数据架构团队负责人

赵健博,大数据领域专家,快手大数据架构团队的负责人,目前负责快手公司 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发,与在公司内的应用。2009 年毕业于中国科学院计算所,曾就职于百度、奇虎 360、58 集团。主要研究领域包括分布式计算、调度与存储系统等。

内容介绍

Kafka 系统在快手有着很广泛的应用,除作为消息队列服务于快手三大 Tab 页、上传、支付等在线核心服务之外,还作为数据交换中心支撑数据分析,模型训练等离线业务场景。随着快手业务的高速发展, Kafka 集群的规模也成指数增长,目前 Kafka 集群日消息处理总量达数万亿级别,峰值超过 1 亿 /s。与此同时我们也面临了很多新问题与技术挑战。本次分享将会介绍 Kafka 系统在快手的应用实践、我们遇到的问题以及相应的技术的演进过程。例如,我们如何解决 Kafka 扩展性、性能,如何做数据 Mirror 集群管理等等。

演讲大纲

  1. Kafka 系统在快手的应用场景以及业务规模;
  2. Kafka 系统在快手的技术演进过程;
  3. Kafka 系统在快手的未来规划。
展开
45
登录 后留言

精选留言(1)

  • Panda
    kafka 重器
    2019-07-02
收起评论
其他推荐
34:44
大规模 GPU 虚拟化技术在讯飞 AI 业务中的应用
徐瑞晨 科大讯飞虚拟化团队负责人
试看
45:34
中小互联网公司如何落地云安全
白嘎力 Rokid信息安全总监
试看
34:22
智能优化 & A/B 测试 - 实验驱动用户增长的理论与技术实践
陈冠诚 Testin云测CTO
试看