Flink 核心技术与实战
张利兵
第四范式数据中台架构师，Apache Flink 贡献者
16166 人已学习
新⼈⾸单¥68
课程目录
已完结/共 91 讲
第一章：Apache Flink介绍 (5讲)
01 | 课程介绍
时长 07:02
02 | 内容综述
时长 02:47
03 | 流处理技术概览
时长 13:44
04 | Flink发展历史与应用场景
时长 06:24
05 | Flink核心特性
时长 07:59
第二章：Flink部署与应用 (13讲)
06 | Flink集群架构
时长 19:58
07 | Flink集群运行模式
时长 17:21
08 | Flink集群资源管理器支持
时长 07:28
09 | Standalone原理讲解与实操演示
时长 23:53
10 | Flink On Yarn部署讲解
时长 18:33
11 | Flink On Yarn实操演示
时长 21:08
12 | Flink On Kubernetes部署讲解
时长 30:09
13 | Flink On Kubernetes实操：Session模式
时长 09:32
14 | Flink On Kubernetes实操：Per-job模式
时长 10:09
15 | Flink On Kubernetes Native部署讲解
时长 12:12
16 | Flink On Kubernetes Native实操演示
时长 13:42
17 | Flink高可用配置原理讲解
时长 09:17
18 | Flink高可用配置实操演示
时长 07:11
第三章：Flink DataStream API实践原理 (19讲)
19 | 分布式流处理模型
时长 04:44
20 | DataStream API实践原理
时长 31:34
21 | Flink时间概念
时长 06:23
22 | Watermark实践原理
时长 12:50
23 | Watermark与Window的关系
时长 17:46
24 | Watermark Generator
时长 17:01
25 | Windows窗口计算
时长 10:10
26 | Window Assigner
时长 10:38
27 | Window Trigger
时长 14:17
28 | Window Evictors
时长 07:57
29 | Window Function
时长 24:20
30 | Windows多流合并
时长 18:15
31 | Process Function应用
时长 20:07
32 | SideOutput旁路输出
时长 10:53
33 | Asynchronous I/O异步操作
时长 20:51
34 | Pipeline与StreamGraph转换
时长 16:33
35 | Flink类型系统
时长 18:14
36 | 自定义SourceFunction
时长 17:57
37 | 项目实战：基于DataStream API实现PV，UV统计
时长 18:32
第四章：Flink状态管理和容错 (13讲)
38 | 有状态计算概念
时长 13:24
39 | 状态类型及应用
时长 10:03
40 | KeyedState介绍与使用
时长 09:54
41 | OperatorState介绍与使用
时长 19:34
42 | BroadcastState介绍与使用
时长 27:28
43 | Checkpoint实现原理
时长 20:24
44 | Savepoint与Checkpoint
时长 17:13
45 | StateBackends状态管理器
时长 16:09
46 | State Schema Evolution
时长 11:47
47 | State序列化与反序列化
时长 16:55
48 | Queryable State介绍与使用
时长 15:42
49｜项目实战：实时交易反欺诈项目介绍
时长 19:42
50｜项目实战：实时交易反欺诈项目演示
时长 12:23
第五章：Flink Table & SQL实践原理 (19讲)
51｜Flink Table API/SQL介绍与使用
时长 22:00
52｜Table API/SQL核心概念
时长 28:40
53｜DataStream & DataSet 与Table相互转换
时长 17:16
54｜Table Connector介绍与使用
时长 23:12
55｜Querying Dynamic Tables
时长 27:33
56｜TimeStamp与Watermark时间属性定义
时长 23:17
57｜Query With Temporal Condition
时长 17:55
58｜Join With Dynamic Table
时长 20:33
59｜Join With Temporal Function
时长 11:08
60｜Join With Temporal Tables
时长 12:04
61｜Catalog原理与使用
时长 14:43
62｜Apache Hive集成
时长 20:38
63｜SQL Client介绍与使用
时长 16:05
64｜Flink SQL Table数据类型
时长 19:55
65｜自定义Function
时长 21:04
66｜Table Connector使用
时长 13:37
67｜自定义Connector
时长 23:41
68｜new tablesource & tablesink api
时长 12:52
69｜项目实战：基于Flink SQL实现Top10商品统计
时长 17:30
第六章：Flink Runtime设计与实现 (11讲)
70｜Runtime整体架构
时长 15:57
71｜Flink Client实现原理
时长 19:54
72｜ResourceManager资源管理
时长 16:07
73｜Dispatcher任务分发器
时长 17:44
74｜JobGraph提交与运行（上）
时长 22:23
75｜JobGraph提交与运行（下）
时长 25:49
76｜Task执行与调度
时长 23:32
77｜Task重启和容错策略
时长 14:17
78｜集群组件RPC通信机制
时长 18:06
79｜NetworkStatck实现原理
时长 22:10
80｜Flink内存管理
时长 22:36
第七章：Flink监控与性能优化 (5讲)
81｜Metric指标分类与采集
时长 16:57
82｜Flink REST API介绍与使用
时长 10:25
83｜Checkpoint监控与调优
时长 28:00
84｜反压监控与原理
时长 18:48
85｜Flink内存配置与调优
时长 16:32
第八章：Flink组件栈介绍与使用 (4讲)
86｜PyFlink实践与应用
时长 20:33
87｜Flink复杂事件处理：Complex event process
时长 20:31
88｜Alink机器学习框架介绍与使用
时长 13:40
89｜Stateful Function介绍与使用
时长 18:18
第九章：项目实战-使用Flink构建推荐系统实时数据流 (2讲)
90｜实时推荐系统项目设计与实现
时长 13:54
91｜结束语
时长 06:17
Flink 核心技术与实战
登录|注册
留言
9
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 08 | Flink集群资源管理器支持
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程，可试看
01 | 课程介绍
02 | 内容综述
03 | 流处理技术概览
04 | Flink发展历史与应用场景
05 | Flink核心特性
06 | Flink集群架构
07 | Flink集群运行模式
08 | Flink集群资源管理器支持
09 | Standalone原理讲解与实操演示
10 | Flink On Yarn部署讲解
11 | Flink On Yarn实操演示
12 | Flink On Kubernetes部署讲解
13 | Flink On Kubernetes实操：Session模式
14 | Flink On Kubernetes实操：Per-job模式
15 | Flink On Kubernetes Native部署讲解
16 | Flink On Kubernetes Native实操演示
17 | Flink高可用配置原理讲解
18 | Flink高可用配置实操演示
19 | 分布式流处理模型
20 | DataStream API实践原理
21 | Flink时间概念
22 | Watermark实践原理
23 | Watermark与Window的关系
24 | Watermark Generator
25 | Windows窗口计算
26 | Window Assigner
27 | Window Trigger
28 | Window Evictors
29 | Window Function
30 | Windows多流合并
31 | Process Function应用
32 | SideOutput旁路输出
33 | Asynchronous I/O异步操作
34 | Pipeline与StreamGraph转换
35 | Flink类型系统
36 | 自定义SourceFunction
37 | 项目实战：基于DataStream API实现PV，UV统计
38 | 有状态计算概念
39 | 状态类型及应用
40 | KeyedState介绍与使用
41 | OperatorState介绍与使用
42 | BroadcastState介绍与使用
43 | Checkpoint实现原理
44 | Savepoint与Checkpoint
45 | StateBackends状态管理器
46 | State Schema Evolution
47 | State序列化与反序列化
48 | Queryable State介绍与使用
49｜项目实战：实时交易反欺诈项目介绍
50｜项目实战：实时交易反欺诈项目演示
51｜Flink Table API/SQL介绍与使用
52｜Table API/SQL核心概念
53｜DataStream & DataSet 与Table相互转换
54｜Table Connector介绍与使用
55｜Querying Dynamic Tables
56｜TimeStamp与Watermark时间属性定义
57｜Query With Temporal Condition
58｜Join With Dynamic Table
59｜Join With Temporal Function
60｜Join With Temporal Tables
61｜Catalog原理与使用
62｜Apache Hive集成
63｜SQL Client介绍与使用
64｜Flink SQL Table数据类型
65｜自定义Function
66｜Table Connector使用
67｜自定义Connector
68｜new tablesource & tablesink api
69｜项目实战：基于Flink SQL实现Top10商品统计
70｜Runtime整体架构
71｜Flink Client实现原理
72｜ResourceManager资源管理
73｜Dispatcher任务分发器
74｜JobGraph提交与运行（上）
75｜JobGraph提交与运行（下）
76｜Task执行与调度
77｜Task重启和容错策略
78｜集群组件RPC通信机制
79｜NetworkStatck实现原理
80｜Flink内存管理
81｜Metric指标分类与采集
82｜Flink REST API介绍与使用
83｜Checkpoint监控与调优
84｜反压监控与原理
85｜Flink内存配置与调优
86｜PyFlink实践与应用
87｜Flink复杂事件处理：Complex event process
88｜Alink机器学习框架介绍与使用
89｜Stateful Function介绍与使用
90｜实时推荐系统项目设计与实现
91｜结束语
本节摘要

课件和 Demo 地址
https://gitee.com/geektime-geekbang/geektime-Flink

登录 后留言

全部留言(9)

  • 最新
  • 精选
KoalaRun1024
老师，感觉您的语言组织上需要简练和准确一下。

作者回复: 好的，后面好很多，前面不太适应

2021-01-08
3
Geek_9e8288
老师，能不能考虑增加一些Python的示例呢？我们数据分析比较熟悉pyspark，jupyter，对java不太熟悉。

作者回复: 可以的，后面单独有一张讲PyFlink的使用，但是大部分学员还是以Java，Scala为主，语言不是难点，重点是能理解Flink的原理，接口基本上都差不多

2020-09-03
1
Geek_0a139e
想到了spark on yarn的两种提交作业模式，yarn client 和 yarn cluster，分别对应flink 的 per-job 和 Application Mode模式

作者回复: 嗯 不同的模式都有各自的优势，但是Flink相对比较灵活点，需要注意Yarn Client里面的Spark Driver还会和Executor之间进行通信，但是Flink里面Client不会，Job提交上去了之后会在Master节点中启动JobMaster来管理和协调Task的执行。

2020-08-29
1
张子涵
看下来，只记住了，yarn和k8s常用

作者回复: yarn和k8s确实比较常用，因此也是大部分公司的首选

2020-08-27
1
逃离舒适圈
大佬 平时咋学习的？

作者回复: 我们后面留一个番外篇，专门来讲讲如何更高效的学习Flink？

2020-08-27
1
Radar
- 单机/分布式多台物理主机部署，不支持高可用 - 依赖Java 8或Java 11JDK环境 - 支持Linux/MacOSX/WSL - 仅支持Session模式提交job - 部署流程： https://flink.apache.org/downloads.html - ./bin/start-cluster.sh - ./jps - ./bin/stop-cluster.sh - 监控 - http://9.134.76.111:8081/#/overview JobManager/Log - flink-1.11.2/log - 多机： - conf/flink-conf.yaml 修改 jobmanager.rpc.address - conf/master 配置ip地址 - conf/worker 配置worker - run: - ./bin/flink run ./examples/batch/WordCount.jar

作者回复: 整理的不做

2020-10-19
李锦武
这里讲到了 native 集群部署， 但是却缺乏什么是 native 的定义，native 对应的概念是非 native 吗？ 怎么区分的？
2022-08-14
2
bingoabin
native是啥
2022-10-30
双椒叔叔
Native模式跟Per Job模式有啥区别嘞，还是很模糊
2021-03-24
1
收起评论