Kafka核心技术与实战
胡夕
人人贷计算平台部总监,Apache Kafka Contributor
立即订阅
8408 人已学习
课程目录
已完结 46 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么要学习Kafka?
免费
Kafka入门 (5讲)
01 | 消息引擎系统ABC
02 | 一篇文章带你快速搞定Kafka术语
03 | Kafka只是消息引擎系统吗?
04 | 我应该选择哪种Kafka?
05 | 聊聊Kafka的版本号
Kafka的基本使用 (3讲)
06 | Kafka线上集群部署方案怎么做?
07 | 最最最重要的集群参数配置(上)
08 | 最最最重要的集群参数配置(下)
客户端实践及原理剖析 (14讲)
09 | 生产者消息分区机制原理剖析
10 | 生产者压缩算法面面观
11 | 无消息丢失配置怎么实现?
12 | 客户端都有哪些不常见但是很高级的功能?
13 | Java生产者是如何管理TCP连接的?
14 | 幂等生产者和事务生产者是一回事吗?
15 | 消费者组到底是什么?
16 | 揭开神秘的“位移主题”面纱
17 | 消费者组重平衡能避免吗?
18 | Kafka中位移提交那些事儿
19 | CommitFailedException异常怎么处理?
20 | 多线程开发消费者实例
21 | Java 消费者是如何管理TCP连接的?
22 | 消费者组消费进度监控都怎么实现?
深入Kafka内核 (5讲)
23 | Kafka副本机制详解
24 | 请求是怎么被处理的?
25 | 消费者组重平衡全流程解析
26 | 你一定不能错过的Kafka控制器
27 | 关于高水位和Leader Epoch的讨论
管理与监控 (12讲)
28 | 主题管理知多少?
29 | Kafka动态配置了解下?
30 | 怎么重设消费者组位移?
31 | 常见工具脚本大汇总
32 | KafkaAdminClient:Kafka的运维利器
33 | Kafka认证机制用哪家?
34 | 云环境下的授权该怎么做?
35 | 跨集群备份解决方案MirrorMaker
36 | 你应该怎么监控Kafka?
37 | 主流的Kafka监控框架
38 | 调优Kafka,你做到了吗?
39 | 从0搭建基于Kafka的企业级实时日志流处理平台
高级Kafka应用之流处理 (3讲)
40 | Kafka Streams与其他流处理平台的差异在哪里?
41 | Kafka Streams DSL开发实例
42 | Kafka Streams在金融领域的应用
结束语 (1讲)
结束语 | 以梦为马,莫负韶华!
特别放送 (2讲)
加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘
用户故事 | 黄云:行百里者半九十
Kafka核心技术与实战
登录|注册

加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘

胡夕 2019-08-31
你好,我是胡夕。
截止到现在,专栏已经更新了 38 讲,你掌握得怎么样了呢?如果暂时掌握得不是很好,也没有关系,慢慢来,有问题记得在留言区留言,我们一起讨论。
今天,我们来聊点儿不一样的。我总结了 3 个讨论热度很高的话题,现在一一来为你“揭秘”。
如何搭建 Kafka 开发环境?很多人对于编译和调试 Kafka 饶有兴致,却苦于无从下手。今天我就给你完整地演示一遍搭建 Kafka 开发环境的过程。
如何阅读 Kafka 源码?我曾经在专栏第 1 讲提到过我自己阅读 Kafka 源码的经历,后来我收到很多留言,问我是如何阅读的,今天,我就跟你分享一些阅读 Kafka 源代码的比较好的法则或者技巧。
Kafka 的学习资料。幸运的是,我在这方面还是有过一些总结的,今天我会毫无保留地把资料全部分享给你。

Kafka 开发环境搭建

现在,我先来回答第 1 个问题:如何搭建 Kafka 开发环境。我以 IDEA 为例进行说明,Eclipse 应该也是类似的。

第 1 步:安装 Java 和 Gradle

要搭建 Kafka 开发环境,你必须要安装好 Java 和 Gradle,同时在 IDEA 中安装 Scala 插件。你最好把 Java 和 Gradle 环境加入到环境变量中。

第 2 步:下载 Kafka 的源码

取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心技术与实战》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(20)

  • 每天晒白牙
    这篇加餐很及时,正好在读kafka的源码,感谢老师
    2019-08-31
    4
  • 姜戈
    收藏了,刚好消息中间件学习,阅读Kafka源码,太及时了
    2019-08-31
    1
  • 兔2🐰🍃
    按照上面步骤搭建,请问要安装ZooKeeper么?

    作者回复: Kafka自带了ZooKeeper,不过你依然需要首先启动ZooKeeper

    2019-11-13
  • 懒懒的龟
    kafka 启动报错,报请求偏移量2但是我们只有0到0范围内的日志段,这个可能是什么原因

    作者回复: 有具体的日志看看吗? 可能的原因是你的日志被截断了,之前保存的数据都删除了

    2019-11-12
    2
  • Geek_a6f5ee
    有没有好的python语言的kafka开源项目

    作者回复: https://github.com/confluentinc/confluent-kafka-python

    2019-11-04
  • james
    请问线上kafka数据可以迁移到线下kafka吗 也就是不同kafka直接数据迁移 复制文件的方式可否呢

    作者回复: 嗯,就我个人而言,这属于生僻的用法,但不是不能用,只是把它当做最后的选项吧。尽量还是按照Kafka推荐的方式来做迁移

    2019-09-26
  • 见哥哥
    输入gradle后,等了很久,然后报错了,有遇到的吗?

    作者回复: 可能是被墙了吧。。。

    2019-09-24
    1
  • dengy
    老师,最近发现由kafka topic+偏移量+分区组成的ID有重复,es使用这些重复ID的时候,会只保留最新的一条。请问如何使用kafka参数组成一个唯一的ID

    作者回复: 有重复说明是否存在重复消费的问题,本身就值得好好查一下。如果一定要唯一ID,引入UUID就可以了

    2019-09-20
  • sonald
    跑./gradlew clean releaseTarGz其实会自动下载gradle吧。之前安装gradle似乎没有必要?

    作者回复: 推荐还是使用Gradle的wrapper

    2019-09-15
  • godtrue
    课后思考及问题
    你觉得学习 Kafka 或者任何一种技术,最重要的是什么?
    学习是个持续的过程,经验和外部帮助固然重要,但最关键的,还是自己要付出努力,持之以恒。
    还是那句话:Stay focused and work hard!
    不怕不占先,就怕缠的粘。基础好脑子聪明这些条件有最好,否则除了Stay focused and work hard别无他法。
    2019-09-15
  • 墙角儿的花
    老师 对于im服务器集群,客户端的socket均布在各个服务器,目标socket不在同一个服务器上时,服务器间需要转发消息,这个场景需要低延迟无需持久化,服务器间用redis的发布订阅,因其走内存较快,即使断电还可以走库。im服务器和入库服务间用其他mq解耦,因为这个环节需要持久化,所以选rocketmq或kafka,但kafka会延迟批量发布消息 所以选rocketmq,这两个环节的mq选型可行吗。
    2019-09-11
  • 曾轼麟
    我觉得最重要的是两个,坚持和热情,老师还有一本书也挺好的《apache kafka源码剖析》
    2019-09-11
  • 每天晒白牙
    周六日写的Kafka服务端之网络层的源码分析
    https://mp.weixin.qq.com/s/-VzDU0V8J2guNXwhiBEEyg

    作者回复: 赞~

    2019-09-10
  • double
    老师,partition与replication是怎么分配到broker上的

    作者回复: 分区是个虚拟概念,分区下的副本才是broker实际分配的对象。默认情况下,你大致可以认为创建topic时副本是按照round-robin策略分配在不同broker上的。

    2019-09-10
    1
  • Allen Lei
    我觉得最重要的是要知道为什么这门技术会存在,解决了什么问题,最重要的是思想
    2019-09-02
  • 陈华应
    1.学习实现原理,经典实现的技术细节,编程思想,架构设计
    2.坚持住,形成体系
    3.实践,实践,实践
    2019-09-01
  • 开水
    太及时了,昨天刚留言,今天就分享了。赞一个👍
    2019-08-31
  • 许童童
    老师真是太牛了,向老师学习。
    2019-08-31
  • Scala语言需要学习到什么程度才能读懂源码呢?

    作者回复: 不需要了解太高深,就当是个better java就行。Kafka里面也没有用到Scala很高大上的语法特性

    2019-08-31
  • 北冥Master
    消息队列是分布式架构里面非常重要的一环,而kafka又是消息队列里面最重要的实现之一。
    2019-08-31
收起评论
20
返回
顶部