Kafka核心技术与实战
胡夕
人人贷计算平台部总监，Apache Kafka Contributor
立即订阅
8408 人已学习
课程目录
已完结 46 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 为什么要学习Kafka？
免费
Kafka入门 (5讲)
01 | 消息引擎系统ABC
02 | 一篇文章带你快速搞定Kafka术语
03 | Kafka只是消息引擎系统吗？
04 | 我应该选择哪种Kafka？
05 | 聊聊Kafka的版本号
Kafka的基本使用 (3讲)
06 | Kafka线上集群部署方案怎么做？
07 | 最最最重要的集群参数配置（上）
08 | 最最最重要的集群参数配置（下）
客户端实践及原理剖析 (14讲)
09 | 生产者消息分区机制原理剖析
10 | 生产者压缩算法面面观
11 | 无消息丢失配置怎么实现？
12 | 客户端都有哪些不常见但是很高级的功能？
13 | Java生产者是如何管理TCP连接的？
14 | 幂等生产者和事务生产者是一回事吗？
15 | 消费者组到底是什么？
16 | 揭开神秘的“位移主题”面纱
17 | 消费者组重平衡能避免吗？
18 | Kafka中位移提交那些事儿
19 | CommitFailedException异常怎么处理？
20 | 多线程开发消费者实例
21 | Java 消费者是如何管理TCP连接的?
22 | 消费者组消费进度监控都怎么实现？
深入Kafka内核 (5讲)
23 | Kafka副本机制详解
24 | 请求是怎么被处理的？
25 | 消费者组重平衡全流程解析
26 | 你一定不能错过的Kafka控制器
27 | 关于高水位和Leader Epoch的讨论
管理与监控 (12讲)
28 | 主题管理知多少?
29 | Kafka动态配置了解下？
30 | 怎么重设消费者组位移？
31 | 常见工具脚本大汇总
32 | KafkaAdminClient：Kafka的运维利器
33 | Kafka认证机制用哪家？
34 | 云环境下的授权该怎么做？
35 | 跨集群备份解决方案MirrorMaker
36 | 你应该怎么监控Kafka？
37 | 主流的Kafka监控框架
38 | 调优Kafka，你做到了吗？
39 | 从0搭建基于Kafka的企业级实时日志流处理平台
高级Kafka应用之流处理 (3讲)
40 | Kafka Streams与其他流处理平台的差异在哪里？
41 | Kafka Streams DSL开发实例
42 | Kafka Streams在金融领域的应用
结束语 (1讲)
结束语 | 以梦为马，莫负韶华！
特别放送 (2讲)
加餐 | 搭建开发环境、阅读源码方法、经典学习资料大揭秘
用户故事 | 黄云：行百里者半九十
Kafka核心技术与实战
登录|注册
34 | 云环境下的授权该怎么做？
胡夕 2019-08-20
你好，我是胡夕。今天我要分享的主题是：Kafka 的授权机制。
什么是授权机制？
我们在上一讲中花了不少时间讨论 Kafka 的认证机制，今天我们来看看 Kafka 的授权机制（Authorization）。所谓授权，一般是指对与信息安全或计算机安全相关的资源授予访问权限，特别是存取控制。
具体到权限模型，常见的有四种。
ACL：Access-Control List，访问控制列表。
RBAC：Role-Based Access Control，基于角色的权限控制。
ABAC：Attribute-Based Access Control，基于属性的权限控制。
PBAC：Policy-Based Access Control，基于策略的权限控制。
在典型的互联网场景中，前两种模型应用得多，后面这两种则比较少用。
ACL 模型很简单，它表征的是用户与权限的直接映射关系，如下图所示：
而 RBAC 模型则加入了角色的概念，支持对用户进行分组，如下图所示：
Kafka 没有使用 RBAC 模型，它用的是 ACL 模型。简单来说，这种模型就是规定了什么用户对什么资源有什么样的访问权限。我们可以借用官网的一句话来统一表示这种模型：“Principal P is [Allowed/Denied] Operation O From Host H On Resource R.” 这句话中出现了很多个主体，我来分别解释下它们的含义。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《Kafka核心技术与实战》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(7)
- 13761642169你好，胡夕老师，kafka_version=2.12.2.3.0，使用的授权方式是SASL_PLAINTEXT，在config/server.properties配置allow.everyone.if.no.acl.found=true，使用未设置权限的topic，发送消息，会有授权失败的日志。
日志如下：
SocketServer brokerId=0] Failed authentication with /10.192.0.1 (Unexpected Kafka request of type METADATA during SASL handshake.) (org.apache.kafka.common.network.Selector)作者回复: 需要赋值METADATA请求的权限
2019-08-26 1 2 
拈花微笑老师,我今天在idea下搭建kafka源码,准备研究一下,gradle编译过了,但在idea里编译不过,在client对应的项目报这个错:Error:(19, 39) java: 程序包org.apache.kafka.common.message不存在.
kafka源码版本是V2.3.0, scala的版本是2.12.7,源码缺失了mesage,怎么解决?
我试了V2.2.1版本,仍然是一样的问题.作者回复: 嗯嗯，新版kafka将request和response的格式类改成自动生成了。你可以运行在Kafka源码目录下运行./gradlew重新生成一遍，然后再导入到IDEA
2019-08-20 1 1- Geek_edc612不太懂最后这块的授权：
bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:"CN=Xi Hu,OU=YourDept,O=YourCompany,L=Beijing,ST=Beijing,C=CN" --consumer --topic 'test' --group '*'
为啥这个用户名这么长，这是授权的ssl的用户名吗？作者回复: 是的。这个是我用来演示的SSL用户
2019-08-20 1 
Mick让一个客户端能够查询消费者组的提交位移数据:
kafka-acls --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:"CN=Xi Hu,OU=YourDept,O=YourCompany,L=Beijing,ST=Beijing,C=CN" --OffsetCommit --operation Read --group "group_id"
老师不知道这么写对不对？作者回复: 需要赋予Group的READ权限，因为READ权限自动包含OffsetCommit：）
2019-10-09
godtrue打卡，记住：你授予的权限越少，你的 Kafka 集群就越安全。2019-09-23
许童童老师的小结很不错，跟着老师一起精进。2019-08-20- Geek_edc612我看之前sasl-plain就是user Wrter这样授权用户，ssl的咋这么复杂。。。2019-08-20
收起评论