Apache Kafka饶军谈Kafka未来规划
极客时间编辑部
讲述:杜力大小:1.13M时长:02:29
在即将举行的 QCon 北京大会上,Confluent 的联合创始人、Apache Kafka 项目委员会主席(PMC chair)饶军将分享《Apache Kafka 的过去、现在和未来》。近日,InfoQ 对饶军进行了采访,主要聊了 Kafka 的特点以及未来的规划。
最初,Kafka 被设计为一款高度可伸缩的消息系统。而今,它已经成为一个全特性的分布式流处理平台,支持流数据的发布订阅、存储和处理。目前已经有大量公司将 Apache Kafka 用到了关键业务中。
Kafka Streams 于 2015 年发布,这是一个基于 Kafka 的流处理平台。和其他开源流处理平台比起来,Kafka Streams 有如下几个特点:
它是 Apache Kafka 的一部分。因此,它和 Kafka 的订阅消息系统结合紧密, 能够更有效地利用 Kafka 的核心功能(例如 compacted topic)。它被设计为一个轻便的客户端库,很容易就嵌入在应用程序中,非常适合微服务的开发。它的设计里用到了本地存储,使流处理过程中的状态更新效率变得更高。
在去年,饶军团队发布了 KSQL。通过 KSQL,非程序员也可以开发流处理应用,未来他们将会在 KSQL 和 Kafka Streams 这两个方向继续发展。
据饶军介绍,Kafka Streams 主要面向 Java 开发者,而 KSQL 包括的面更广。对于那些不懂 Java、甚至不懂程序语言的技术工作者,也可以使用 KSQL 进行流处理开发。这可以解放更多的技术工作者,推进数据的民主化。
据了解,传统数据库在服务端不仅要做数据存储,而且还要做数据处理。在数据处理逐渐增加后,服务端往往会成为瓶颈。面对这种问题,Kafka 的解决方法是把存储和处理分开。具体表现为,Kafka 的订阅消息系统负责存储,KSQL 和 Kafka Streams 负责处理,这样的设计结构可以支持更大规模的实时数据处理。
饶军团队计划继续增强 Kafka 的在线扩展能力。当消费端成为瓶颈时,最简单的方法就是增加 topic 的分区数量,从而增加消费端的并行度。
另外,未来他们想支持超过百万级的分区数量,并且让用户可以自由增加分区,同时还计划增强 Kafka 在多数据中心的支持。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论