极客视点
极客时间编辑部
极客时间编辑部
113231 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:29
登录|注册

Apache Kafka饶军谈Kafka未来规划

讲述:杜力大小:1.13M时长:02:29
在即将举行的 QCon 北京大会上,Confluent 的联合创始人、Apache Kafka 项目委员会主席(PMC chair)饶军将分享《Apache Kafka 的过去、现在和未来》。近日,InfoQ 对饶军进行了采访,主要聊了 Kafka 的特点以及未来的规划。
最初,Kafka 被设计为一款高度可伸缩的消息系统。而今,它已经成为一个全特性的分布式流处理平台,支持流数据的发布订阅、存储和处理。目前已经有大量公司将 Apache Kafka 用到了关键业务中。
Kafka Streams 于 2015 年发布,这是一个基于 Kafka 的流处理平台。和其他开源流处理平台比起来,Kafka Streams 有如下几个特点:
它是 Apache Kafka 的一部分。因此,它和 Kafka 的订阅消息系统结合紧密, 能够更有效地利用 Kafka 的核心功能(例如 compacted topic)。它被设计为一个轻便的客户端库,很容易就嵌入在应用程序中,非常适合微服务的开发。它的设计里用到了本地存储,使流处理过程中的状态更新效率变得更高。
在去年,饶军团队发布了 KSQL。通过 KSQL,非程序员也可以开发流处理应用,未来他们将会在 KSQL 和 Kafka Streams 这两个方向继续发展。
据饶军介绍,Kafka Streams 主要面向 Java 开发者,而 KSQL 包括的面更广。对于那些不懂 Java、甚至不懂程序语言的技术工作者,也可以使用 KSQL 进行流处理开发。这可以解放更多的技术工作者,推进数据的民主化。
据了解,传统数据库在服务端不仅要做数据存储,而且还要做数据处理。在数据处理逐渐增加后,服务端往往会成为瓶颈。面对这种问题,Kafka 的解决方法是把存储和处理分开。具体表现为,Kafka 的订阅消息系统负责存储,KSQL 和 Kafka Streams 负责处理,这样的设计结构可以支持更大规模的实时数据处理。
饶军团队计划继续增强 Kafka 的在线扩展能力。当消费端成为瓶颈时,最简单的方法就是增加 topic 的分区数量,从而增加消费端的并行度。
另外,未来他们想支持超过百万级的分区数量,并且让用户可以自由增加分区,同时还计划增强 Kafka 在多数据中心的支持。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
22
沉浸
阅读
分享
手机端
快捷键
回顶部