Kafka核心技术与实战
胡夕
人人贷计算平台部总监，Apache Kafka Contributor
立即订阅
8408 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么要学习Kafka？
免费
Kafka入门 (5讲)
01 | 消息引擎系统ABC
02 | 一篇文章带你快速搞定Kafka术语
03 | Kafka只是消息引擎系统吗？
04 | 我应该选择哪种Kafka？
05 | 聊聊Kafka的版本号
Kafka的基本使用 (3讲)
06 | Kafka线上集群部署方案怎么做？
07 | 最最最重要的集群参数配置（上）
08 | 最最最重要的集群参数配置（下）
客户端实践及原理剖析 (14讲)
09 | 生产者消息分区机制原理剖析
10 | 生产者压缩算法面面观
11 | 无消息丢失配置怎么实现？
12 | 客户端都有哪些不常见但是很高级的功能？
13 | Java生产者是如何管理TCP连接的？
14 | 幂等生产者和事务生产者是一回事吗？
15 | 消费者组到底是什么？
16 | 揭开神秘的“位移主题”面纱
17 | 消费者组重平衡能避免吗？
18 | Kafka中位移提交那些事儿
19 | CommitFailedException异常怎么处理？
20 | 多线程开发消费者实例
21 | Java 消费者是如何管理TCP连接的?
22 | 消费者组消费进度监控都怎么实现？
深入Kafka内核 (5讲)
23 | Kafka副本机制详解
24 | 请求是怎么被处理的？
25 | 消费者组重平衡全流程解析
26 | 你一定不能错过的Kafka控制器
27 | 关于高水位和Leader Epoch的讨论
管理与监控 (12讲)
28 | 主题管理知多少?
29 | Kafka动态配置了解下？
30 | 怎么重设消费者组位移？
31 | 常见工具脚本大汇总
32 | KafkaAdminClient：Kafka的运维利器
33 | Kafka认证机制用哪家？
34 | 云环境下的授权该怎么做？
35 | 跨集群备份解决方案MirrorMaker
36 | 你应该怎么监控Kafka？
37 | 主流的Kafka监控框架
38 | 调优Kafka，你做到了吗？
39 | 从0搭建基于Kafka的企业级实时日志流处理平台
高级Kafka应用之流处理 (3讲)
40 | Kafka Streams与其他流处理平台的差异在哪里？
41 | Kafka Streams DSL开发实例
42 | Kafka Streams在金融领域的应用
结束语 (1讲)
结束语 | 以梦为马，莫负韶华！
特别放送 (2讲)
加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘
用户故事 | 黄云：行百里者半九十
Kafka核心技术与实战
登录|注册
用户故事 | 黄云：行百里者半九十
黄云 2019-10-17
你好，我是黄云，目前是一名后端开发工程师，坐标苏州，已经工作三载有余了。在“Kafka 核心技术与实战”专栏刚刚上线的时候，我就第一时间订阅了。在学习专栏的几个月时间里，我有许多心得体会，想要跟你分享一下。
为什么要学习“Kafka 核心技术与实战”专栏？
众所周知，在当今时代，“大数据”已经成为了一个家喻户晓的概念。动辄 GB 级、TB 级，甚至是 PB 级的大数据，都需要服务器在短时间内进行处理。如何充分利用每台服务器的性能，削峰填谷，就成为了数据处理的关键。Kafka 作为一种主流的消息队列工具，已经被很多大公司使用。掌握 Kafka，成为了大数据时代必不可少的专项技能。
我们公司目前也在用 Kafka 对接实时流量数据，数据量约 20GB/ 天。作为一名开发工程师，我必须要尽快掌握 Kafka 的核心技术，修炼专项技能，才能使其更好地为我所用。一直以来，在工作之余，我都会主动地搜集 Kafka 的相关资料，看各位大佬的分享。但是，那些零散的碎片拼凑在一起，却始终很难形成一个系统的知识体系，这也是一直让我很头疼的事情。
“道”与“术”的平衡
作为一名程序员，我和很多人都一样，看到好的东西就想动手实践。在刚刚了解到 Kafka 的强大功能之后，我就迫不及待地参照 Kafka 官网的教程，着手搭建 Kafka 的服务器。除此之外，我还曾小试牛刀，在 1 万条 /s 的实时环境对接中，使用了 Kafka 作为消息队列。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心技术与实战》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(6)
小可👍🏻2019-10-17 2- Geek_72a3d3咦，回来一看，还有更新～，那我就不客气再请教个问题啦😄，胡夕老师或者黄云老师解答都可以～：
请问kafka中的事务和Rocket MQ中的事务根本区别是什么，能不能用简单的几句话总结作者回复: Rocket MQ的事务机制我不太了解，不敢妄言，哈哈~
2019-10-17 1 
时间是最真的答案请问同一个id的多条数据，发送到同一个主题的多个分区，怎么保证相同id的多条数据被同一个consumer消费？作者回复: 赋值消息的key为该id，这样能保证它们去到同一个分区。
2019-11-26 1
KK80/20原则，刻意练习。2019-11-10
Flee老师你好，我们项目线上的kafka碰到了一个很奇怪的问题，kafka集群已经正常运行了快两年了没有任何问题，就在前几天，我们的一直使用的消费者组突然就不消费数据了。换一个消费者组就能消费到数据，但是过12个小时左右这个新的消费者组又不能消费数据了。这几天下来已经有好几百万的数据积压了。目前还没有找到原因。。。作者回复: 有什么报错日志吗？
2019-11-08- 大力水手15
66,057,323
66,001,015
56,308
胡老师请教个问题、分区15不被发现、总是有消费积压、而且是一直递增、好像这个分区没有被发现一样？作者回复: 可能的原因有：1. 这个分区上有无法处理的消息或corrupted消息使得consumer无法跳过，你可以单独创建一个standalone consumer，只消费这个分区看看是否真的存在这样的消息；2. 你做过增加分区的操作，consumer需要一段时间才能发现这个新分区
最好还是查一下日志，看看日志中有没有什么发现2019-11-07 1
收起评论