12 | Flink On Kubernetes部署讲解

当前播放: 12 | Flink On Kubernetes部署讲解

00:00 / 00:00

高清

高清

1.0x

2.0x
1.5x
1.25x
1.0x
0.5x

网页全屏

全屏

00:00

付费课程，可试看

课程目录

第一章：Apache Flink介绍 (5讲)



01 | 课程介绍

免费

02 | 内容综述

免费

03 | 流处理技术概览

免费

04 | Flink发展历史与应用场景

免费

05 | Flink核心特性

第二章：Flink部署与应用 (13讲)



06 | Flink集群架构

07 | Flink集群运行模式

08 | Flink集群资源管理器支持

09 | Standalone原理讲解与实操演示

10 | Flink On Yarn部署讲解

11 | Flink On Yarn实操演示

12 | Flink On Kubernetes部署讲解

13 | Flink On Kubernetes实操：Session模式

14 | Flink On Kubernetes实操：Per-job模式

15 | Flink On Kubernetes Native部署讲解

16 | Flink On Kubernetes Native实操演示

17 | Flink高可用配置原理讲解

18 | Flink高可用配置实操演示

第三章：Flink DataStream API实践原理 (19讲)



19 | 分布式流处理模型

20 | DataStream API 实践原理

21 | Flink 时间概念

22 | Watermark实践原理

23 | Watermark与Window的关系

24 | Watermark Generator

25 | Windows窗口计算

26 | Window Assigner

27 | Window Trigger

28 | Window Evictors

29 | Window Function

30 | Windows多流合并

31 | Process Function应用

32 | SideOutput旁路输出

33 | Asynchronous I/O异步操作

34 | Pipeline与StreamGraph转换

35 | Flink类型系统

36 | 自定义SourceFunction

37 | 项目实战：基于DataStream API实现PV，UV统计

第四章：Flink状态管理和容错 (13讲)



38 | 有状态计算概念

39 | 状态类型及应用

40 | KeyedState介绍与使用

41 | OperatorState介绍与使用

42 | BroadcastState介绍与使用

43 | Checkpoint实现原理

44 | Savepoint与Checkpoint

45 | StateBackends状态管理器

46 | State Schema Evolution

47 | State序列化与反序列化

48 | Queryable State介绍与使用

49｜项目实战：实时交易反欺诈项目介绍

50｜项目实战：实时交易反欺诈项目演示

第五章：Flink Table & SQL实践原理 (19讲)



51｜Flink Table API/SQL介绍与使用

52｜Table API/SQL核心概念

53｜DataStream & DataSet 与Table相互转换

54｜Table Connector介绍与使用

55｜Querying Dynamic Tables

56｜TimeStamp与Watermark时间属性定义

57｜Query With Temporal Condition

58｜Join With Dynamic Table

59｜Join With Temporal Function

60｜Join With Temporal Tables

61｜Catalog原理与使用

62｜Apache Hive集成

63｜SQL Client介绍与使用

64｜Flink SQL Table数据类型

65｜自定义Function

66｜Table Connector使用

67｜自定义Connector

68｜new tablesource & tablesink api

69｜项目实战：基于Flink SQL实现Top10商品统计

第六章：Flink Runtime设计与实现 (11讲)



70｜Runtime整体架构

71｜Flink Client实现原理

72｜ResourceManager资源管理

73｜Dispatcher任务分发器

74｜JobGraph提交与运行（上）

75｜JobGraph提交与运行（下）

76｜Task执行与调度

77｜Task重启和容错策略

78｜集群组件RPC通信机制

79｜NetworkStatck实现原理

80｜Flink内存管理

第七章：Flink监控与性能优化 (5讲)



81｜Metric指标分类与采集

82｜Flink REST API介绍与使用

83｜Checkpoint监控与调优

84｜反压监控与原理

85｜Flink内存配置与调优

第八章：Flink组件栈介绍与使用 (4讲)



86｜PyFlink实践与应用

87｜Flink复杂事件处理：Complex event process

88｜Alink机器学习框架介绍与使用

89｜Stateful Function介绍与使用

第九章：项目实战-使用Flink构建推荐系统实时数据流 (2讲)



90｜实时推荐系统项目设计与实现

91｜结束语

12 | Flink On Kubernetes部署讲解

张利兵

第四范式数据中台架构师，Apache Flink 贡献者

已完结5996

新人首单 ¥68订阅价 ¥199







本节摘要

课件和 Demo 地址
https://gitee.com/geektime-geekbang/geektime-Flink

给内容提建议

登录后留言

精选留言(5)

Steven
一直不明白为啥官网说k8s不支持per-job模式？
2021-09-13


Geek_5c44aa
老师您好，我在k8s集群里部署了flink session模式，一开始没有用table和catalog的时候，使用异步访问数据库可以正常访问，换成catalog取数据库表的时候上传jar包提交就提示catalog找不到postgresql驱动，请问老师我应该如何调试？
2021-04-27


Tobias
老师这节课解释很多关键点，区别，豁然开朗，赞。
2021-03-19


~~等
老师，处理每秒百万次的流量数据，基于yarn的flink集群改如何搭建，在flink集群前面接的是kafka
2021-02-18


鱼
集群部署ConfigMap那块不需要指定每个am/tm core的数量吗？
2020-11-26

