Kafka核心技术与实战
胡夕
人人贷计算平台部总监,Apache Kafka Contributor
立即订阅
8408 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么要学习Kafka?
免费
Kafka入门 (5讲)
01 | 消息引擎系统ABC
02 | 一篇文章带你快速搞定Kafka术语
03 | Kafka只是消息引擎系统吗?
04 | 我应该选择哪种Kafka?
05 | 聊聊Kafka的版本号
Kafka的基本使用 (3讲)
06 | Kafka线上集群部署方案怎么做?
07 | 最最最重要的集群参数配置(上)
08 | 最最最重要的集群参数配置(下)
客户端实践及原理剖析 (14讲)
09 | 生产者消息分区机制原理剖析
10 | 生产者压缩算法面面观
11 | 无消息丢失配置怎么实现?
12 | 客户端都有哪些不常见但是很高级的功能?
13 | Java生产者是如何管理TCP连接的?
14 | 幂等生产者和事务生产者是一回事吗?
15 | 消费者组到底是什么?
16 | 揭开神秘的“位移主题”面纱
17 | 消费者组重平衡能避免吗?
18 | Kafka中位移提交那些事儿
19 | CommitFailedException异常怎么处理?
20 | 多线程开发消费者实例
21 | Java 消费者是如何管理TCP连接的?
22 | 消费者组消费进度监控都怎么实现?
深入Kafka内核 (5讲)
23 | Kafka副本机制详解
24 | 请求是怎么被处理的?
25 | 消费者组重平衡全流程解析
26 | 你一定不能错过的Kafka控制器
27 | 关于高水位和Leader Epoch的讨论
管理与监控 (12讲)
28 | 主题管理知多少?
29 | Kafka动态配置了解下?
30 | 怎么重设消费者组位移?
31 | 常见工具脚本大汇总
32 | KafkaAdminClient:Kafka的运维利器
33 | Kafka认证机制用哪家?
34 | 云环境下的授权该怎么做?
35 | 跨集群备份解决方案MirrorMaker
36 | 你应该怎么监控Kafka?
37 | 主流的Kafka监控框架
38 | 调优Kafka,你做到了吗?
39 | 从0搭建基于Kafka的企业级实时日志流处理平台
高级Kafka应用之流处理 (3讲)
40 | Kafka Streams与其他流处理平台的差异在哪里?
41 | Kafka Streams DSL开发实例
42 | Kafka Streams在金融领域的应用
结束语 (1讲)
结束语 | 以梦为马,莫负韶华!
特别放送 (2讲)
加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘
用户故事 | 黄云:行百里者半九十
Kafka核心技术与实战
登录|注册

用户故事 | 黄云:行百里者半九十

黄云 2019-10-17
你好,我是黄云,目前是一名后端开发工程师,坐标苏州,已经工作三载有余了。在“Kafka 核心技术与实战”专栏刚刚上线的时候,我就第一时间订阅了。在学习专栏的几个月时间里,我有许多心得体会,想要跟你分享一下。

为什么要学习“Kafka 核心技术与实战”专栏?

众所周知,在当今时代,“大数据”已经成为了一个家喻户晓的概念。动辄 GB 级、TB 级,甚至是 PB 级的大数据,都需要服务器在短时间内进行处理。如何充分利用每台服务器的性能,削峰填谷,就成为了数据处理的关键。Kafka 作为一种主流的消息队列工具,已经被很多大公司使用。掌握 Kafka,成为了大数据时代必不可少的专项技能。
我们公司目前也在用 Kafka 对接实时流量数据,数据量约 20GB/ 天。作为一名开发工程师,我必须要尽快掌握 Kafka 的核心技术,修炼专项技能,才能使其更好地为我所用。一直以来,在工作之余,我都会主动地搜集 Kafka 的相关资料,看各位大佬的分享。但是,那些零散的碎片拼凑在一起,却始终很难形成一个系统的知识体系,这也是一直让我很头疼的事情。

“道”与“术”的平衡

作为一名程序员,我和很多人都一样,看到好的东西就想动手实践。在刚刚了解到 Kafka 的强大功能之后,我就迫不及待地参照 Kafka 官网的教程,着手搭建 Kafka 的服务器。除此之外,我还曾小试牛刀,在 1 万条 /s 的实时环境对接中,使用了 Kafka 作为消息队列。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心技术与实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(6)

  • 小可
    👍🏻
    2019-10-17
    2
  • Geek_72a3d3
    咦,回来一看,还有更新~,那我就不客气再请教个问题啦😄,胡夕老师或者黄云老师解答都可以~:
    请问kafka中的事务和Rocket MQ中的事务根本区别是什么,能不能用简单的几句话总结

    作者回复: Rocket MQ的事务机制我不太了解,不敢妄言,哈哈~

    2019-10-17
    1
  • 时间是最真的答案
    请问同一个id的多条数据,发送到同一个主题的多个分区,怎么保证相同id的多条数据被同一个consumer消费?

    作者回复: 赋值消息的key为该id,这样能保证它们去到同一个分区。

    2019-11-26
    1
  • KK
    80/20原则,刻意练习。
    2019-11-10
  • Flee
    老师你好,我们项目线上的kafka碰到了一个很奇怪的问题,kafka集群已经正常运行了快两年了没有任何问题,就在前几天,我们的一直使用的消费者组突然就不消费数据了。换一个消费者组就能消费到数据,但是过12个小时左右这个新的消费者组又不能消费数据了。这几天下来已经有好几百万的数据积压了。目前还没有找到原因。。。

    作者回复: 有什么报错日志吗?

    2019-11-08
  • 大力水手
    15
    66,057,323
    66,001,015
    56,308
    胡老师请教个问题、分区15不被发现、总是有消费积压、而且是一直递增、好像这个分区没有被发现一样?

    作者回复: 可能的原因有:1. 这个分区上有无法处理的消息或corrupted消息使得consumer无法跳过,你可以单独创建一个standalone consumer,只消费这个分区看看是否真的存在这样的消息;2. 你做过增加分区的操作,consumer需要一段时间才能发现这个新分区

    最好还是查一下日志,看看日志中有没有什么发现

    2019-11-07
    1
收起评论
6
返回
顶部