Kafka核心技术与实战
胡夕
人人贷计算平台部总监,Apache Kafka Contributor
立即订阅
8408 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么要学习Kafka?
免费
Kafka入门 (5讲)
01 | 消息引擎系统ABC
02 | 一篇文章带你快速搞定Kafka术语
03 | Kafka只是消息引擎系统吗?
04 | 我应该选择哪种Kafka?
05 | 聊聊Kafka的版本号
Kafka的基本使用 (3讲)
06 | Kafka线上集群部署方案怎么做?
07 | 最最最重要的集群参数配置(上)
08 | 最最最重要的集群参数配置(下)
客户端实践及原理剖析 (14讲)
09 | 生产者消息分区机制原理剖析
10 | 生产者压缩算法面面观
11 | 无消息丢失配置怎么实现?
12 | 客户端都有哪些不常见但是很高级的功能?
13 | Java生产者是如何管理TCP连接的?
14 | 幂等生产者和事务生产者是一回事吗?
15 | 消费者组到底是什么?
16 | 揭开神秘的“位移主题”面纱
17 | 消费者组重平衡能避免吗?
18 | Kafka中位移提交那些事儿
19 | CommitFailedException异常怎么处理?
20 | 多线程开发消费者实例
21 | Java 消费者是如何管理TCP连接的?
22 | 消费者组消费进度监控都怎么实现?
深入Kafka内核 (5讲)
23 | Kafka副本机制详解
24 | 请求是怎么被处理的?
25 | 消费者组重平衡全流程解析
26 | 你一定不能错过的Kafka控制器
27 | 关于高水位和Leader Epoch的讨论
管理与监控 (12讲)
28 | 主题管理知多少?
29 | Kafka动态配置了解下?
30 | 怎么重设消费者组位移?
31 | 常见工具脚本大汇总
32 | KafkaAdminClient:Kafka的运维利器
33 | Kafka认证机制用哪家?
34 | 云环境下的授权该怎么做?
35 | 跨集群备份解决方案MirrorMaker
36 | 你应该怎么监控Kafka?
37 | 主流的Kafka监控框架
38 | 调优Kafka,你做到了吗?
39 | 从0搭建基于Kafka的企业级实时日志流处理平台
高级Kafka应用之流处理 (3讲)
40 | Kafka Streams与其他流处理平台的差异在哪里?
41 | Kafka Streams DSL开发实例
42 | Kafka Streams在金融领域的应用
结束语 (1讲)
结束语 | 以梦为马,莫负韶华!
特别放送 (2讲)
加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘
用户故事 | 黄云:行百里者半九十
Kafka核心技术与实战
登录|注册

03 | Kafka只是消息引擎系统吗?

胡夕 2019-06-08
你好,我是胡夕。今天我们来聊一个老生常谈的话题:Kafka 只是消息引擎系统吗?
要搞清楚这个问题,我们不可避免地要了解一下 Apache Kafka 的发展历程。有的时候我们会觉得说了解一个系统或框架的前世今生似乎没什么必要,直接开始学具体的技术不是更快更好吗?其实,不论是学习哪种技术,直接扎到具体的细节中,亦或是从一个很小的点开始学习,你很快就会感到厌烦。为什么呢?因为你虽然快速地搞定了某个技术细节,但无法建立全局的认知观,这会导致你只是在单个的点上有所进展,却没法将其串联成一条线进而扩展成一个面,从而实现系统地学习。
我这么说是有依据的,因为这就是我当初学习 Kafka 的方式。你可能不会相信,我阅读 Kafka 源码就是从 utils 包开始的。显然,我们不用看源码也知道这玩意是干什么用的,对吧?就是个工具类包嘛,而且这种阅读源码的方式是极其低效的。就像我说的,我是在一个点一个点地学习,但全部学完之后压根没有任何感觉,依然不了解 Kafka,因为不知道这些包中的代码组合在一起能达成什么效果。所以我说它是很低效的学习方法。
后来我修改了学习的方法,转而从自上而下的角度去理解 Kafka,竟然发现了很多之前学习过程中忽略掉的东西。更特别地是,我发现这种学习方法能够帮助我维持较长时间的学习兴趣,不会阶段性地产生厌烦情绪。特别是在了解 Apache Kafka 整个发展历史的过程中我愉快地学到了很多运营大型开源软件社区的知识和经验,可谓是技术之外的一大收获。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心技术与实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(33)

  • Michael 🛡YZY
    学到了。刚接触, 对一次性处理语义的概念和背后的含义不太明确, 能否结合实例讲解比较一下…

    作者回复: 举个例子,如果我们使用Kafka计算某网页的PV——我们将每次网页访问都作为一个消息发送的Kafka。PV的计算就是我们统计Kafka总共接收了多少条这样的消息即可。精确一次处理语义表示每次网页访问都会产生且只会产生一条消息,否则有可能产生多条消息或压根不产生消息。

    2019-06-08
    33
  • 梁亮
    推荐大家去搜索一个Confluence的演讲,题目是ETL is dead,其中讲到了Kafka在流处理平台的来龙去脉
    2019-06-08
    3
    22
  • October
    对于kafka streams相对于其他大数据流式计算框架的优势的第一点不是特别理解。spark或者flink读取消息之后再写回kafka,可能会导致多次写入kafka,老师能不能解释一下什么情况下会多次写入kafka?

    作者回复: 不用拿Flink或Spark举例。我们就说一个普通的producer程序:producer需要接收到broker发送的response才能认为发送成功,如果response在传输过程中因为网络抖动丢失了或超时了(这种情况非常常见)而broker实际上已经写入了该消息,那么producer就会认为发送失败从而尝试重新发送,这就可能造成同一条消息被发送了多次。

    2019-06-17
    18
  • 清晨吼于林
    老师您好~~~
    我了解的:一个partition在一个group内,只能被一个消息者进程消费(一个jvm,启动了一个java进程)。
    问题前提:经过分区算法的匹配,A partition 被 B 消费者 消费。
    我的问题:在这个B的消费者里面,假如我用多线程消费(多个线程,每个线程维护了一个KafkaConsumer实例。 而不是一个KafkaConsumer然后多个worker线程消费的模式),那这多个线程都能从这个A partition里面取到消息嘛?

    作者回复: 同一个组下有多少消费者实例不是看进程数或线程数,而是看创建的KafkaConsumer实例数。所以在你的场景中,B消费者不是一个,而是多个,因为B进程启动了多个线程,而每个线程都维护了单独的KafkaConsumer实例。

    2019-06-12
    7
  • DarKnight
    胡老师您好!我对于第一点优势那个例子不是很懂,但又很感兴趣。我能否用一个这样的情形去理解呢:

    我在spark内部consume了一条数据并要进行有状态的计算,我可以通过roll back确保做到exactly once,当状态计算过程中可以通过捕捉exception从而roll back到初始状态,但状态计算过程中我可能已经将某些结果发送到kafka了(这些结果我并不想重复发送),虽然我可以roll back所有处于spark内部的数据状态,但发送到kafka的所有数据就已经收不回了。

    不知道这个例子算不算一种解读呢?谢谢!

    作者回复: 嗯嗯,在Spark看来,写入Kafka是一种side effect,它无法控制。所以它无法实现端到端的EOS。Flink 1.4借助了Kafka提供的事务机制来保证E2E EOS,但是没听说Spark也做了这样的改进。

    2019-06-27
    3
  • 平叔叔
    在这样的需求之下,搭建重量级的完整性平台实在是“杀鸡焉用牛刀,的意思中小企业使用Kafka 不用配套提供集群调度、弹性部署?

    作者回复: 你不要搭建多套这样重量级的系统,只需要一套Kafka集群就可以。并不是说Kafka集群不需要运维管理

    2019-09-22
    2
  • godtrue
    课前思考
    kafka除了可以作为一个消息引擎系统,还能用来干什么?这个还真不太清楚,它的核心功能不就是,将消息倒一道手嘛?
    课后思考
    1:kafka可以作为什么来使用?
    1-1:一个分布式消息引擎系统——广泛使用
    1-2:一个分布式流处理平台,可以和Storm/Spark/Flink相媲美——越来越多这么玩,根据老师的评论回复,感觉kafka更是一个分布式流处理库。
    1-3:一个分布式存储系统——很少使用,关键增删改查的效率好不?如果挺好,也可以这么玩吧!

    如果我是kafka的掌舵人,我会逐渐丰富kafka的生态圈,把kafka弄得和Spring全家桶类似,以后的ABC把kafka家族的程员作为标配。

    2:啥是流处理?
    是指实时处理无限数据集的数据的一种处理方式嘛?
    3:啥是批处理?
    是指一次处理一批数据,且此数据的集合是有限的?
    4:流处理和批处理,没理解,kafka作为分布式流处理平台的优势也没理解?看评论,流处理的数据集是无限数据集,那岂不是永远处理不完,直到天荒地老?
    5:数据正确性不足是什么意思?会丢数据?没明白和数据收集的方式的逻辑是什么?

    计算机我的理解,就是处理数据的,处理数据无非是针对数据的存储转发增删改查存分析统计,然后就是挖空心思加快速度。
    感觉不该如此难以理解😊,一图胜千言,希望后面看到老师有图有真相。

    作者回复: 嗯嗯,记下了您的建议

    2019-08-11
    2
  • 东方奇骥
    老师,请问一下,kafka相比于rabbitmq和activemq作为消息引擎系统的优势是什么呢。就是文中所说的消息正确性吗?

    作者回复: 如果和rabbitmq和activemq相比,Kafka还是以消息引擎的角色。目前Kafka消息引擎单方面只能提供at least once处理语义,无法实现精确一次的消息交付语义。

    另外,正确性一般用在数据计算领域。在消息引擎中我们更多的是谈它的消息交付语义(message delivery semantics)

    2019-06-16
    2
  • 霄嵩
    老师写的很用心,加油!
    2019-06-11
    2
  • 燕子上
    还是那句话:Apache Kafka 是消息引擎系统,也是一个分布式流处理平台!主:消息引擎,辅:流处理
    2019-06-09
    2
  • 赵鹏举
    夕哥的英文非常标准,听着语音很舒服
    2019-07-09
    1
  • 武塘
    请教下kafka和camel在流处理上的实际区别。理论上来说,kafka是一个有着一定流处理能力的消息引擎,camel是一个ETL的framework,但实际应用在结合一个消息引擎比如ActiveMQ也可以实现流处理,当然这里也可以采用Kafka做消息引擎。我的迷惑是有了kafka,在工程应用中是否可以完全取代camel,还是它们还是有自己适用的不同场景呢?

    作者回复: 对Camel不是特别熟悉,但我不认为这两者构成竞争关系。Camel有一些独到之处是Kafka没有的,至少它能汇聚各个中间件的消息,另外它也支持复杂的消息路由。就像Camel宣称的那样,它是一款企业级的数据整合方案。在设计立意上, 我感觉要比Kafka的层次要高。

    2019-06-24
    1
  • EricJones
    我又仔细意会了一下,流处理大概已经懂了,但是批处理的正确性到底体现在哪里。还是不知道。

    作者回复: 假设我们统计单词计数。如果不出现问题,对于相同的有限输入(bounded dataset)批处理是不是总是能够得到相同的输出?

    2019-06-22
    1
  • EricJones
    学到了,消息引擎系统、分布式流处理平台。
    kafka 流处理平台具有的优势:正确性,精确一次处理语义。对流式计算的定位。
    理解了精确一次处理语义,但是没get到这其中的点。为什么说正确性是批处理的强项。一批消息传给服务器A,A进行处理然后B服务器从A获取这批消息。这个过程不也是有可能出现消息获取失败,需要第二次去获取吗?该怎么理解框架内流处理与端与端?有大佬可以解释下吗? 谢谢

    作者回复: 每次执行批处理都能保证得到相同的值,但是流处理无法做到这一点。批处理一般采用fail-fast来保证即使中间出现错误也能实现正确性

    2019-06-22
    1
  • JoeyLi666
    flink支持kafka的端到端 exactly once,不过有一定局限性

    作者回复: 最近Flink Kafka Connector正式移除了Beta标签【Flink-12806】,应该会更加稳定了吧:)

    2019-06-19
    1
  • October
    看到老师评论区的回复有个问题,kafka目前到底能否实现exactly once的处理语义?

    作者回复: hmm...... 社区的确是宣称Kafka Streams可以做到EOS。但我个人的看法是:目前市面宣称做到EOS这件事更多的还是marketing,即营销的一种手段。我不觉得有哪个流处理框架100%地实现了EOS,否则如果流处理真的实现了正确性,同时还提供低延时,批处理为什么还活着呢?当然这是我一家之言了哈。至少从技术的角度探讨,Kafka Streams是能做到EOS的。

    2019-06-17
    1
  • Bitson
    请问confluence kafka要收费的吗,有没有免费版的?

    作者回复: 有。Confluent Kafka目前也分社区版和商业版本,前者是免费的

    2019-06-16
    1
  • Shane
    老师,能举个例子说明下流出来和批处理的区别吗?
    目前我的理解就是批处理是一次请求中包含多条消息?然后消费者取出这一整个请求内容进行处理消费。流处理就是每个请求每次只发送一条消息,所以消费者也只能每次消费一条?

    感觉自己理解的应该不怎么正确呢?网络上的解释也是非常虚,想看看老师有啥指导的吗?

    作者回复: 流处理和批处理的区别是前者主要用于处理无限数据集(unbound data set)

    2019-06-15
    1
  • demmm
    消息引擎系统,也是一个分布式流处理平台

    想问下这两个概念到底有什么区别呢

    作者回复: 严格来说这两个是完全不同领域内的东西。各自都有响当当的理论、框架。

    2019-06-13
    1
  • 趙衍
    关于【但是计算结果有可能多次写入到 Kafka,因为它们不能控制 Kafka的语义处理】。我想问老师,Kafka不是在0.11版本实现了exactly once,保证一条消息只会被消费一次吗,为什么说计算结果还有可能会被多次写入到Kafka呢?

    作者回复: 嗯嗯,这说的就是0.11之前的故事。事实上,Apache Flink从1.4开始推出了支持E2E Exactly-Once语义的两阶段SinkFunction。它用的就是Kafka 0.11的事务

    2019-06-12
    1
收起评论
33
返回
顶部