Flink 核心技术与实战
张利兵
第四范式数据中台架构师,Apache Flink 贡献者
16166 人已学习
新⼈⾸单¥68
课程目录
已完结/共 91 讲
第一章:Apache Flink介绍 (5讲)
第七章:Flink监控与性能优化 (5讲)
第九章:项目实战-使用Flink构建推荐系统实时数据流 (2讲)
Flink 核心技术与实战
登录|注册
留言
11
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 07 | Flink集群运行模式
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 流处理技术概览
04 | Flink发展历史与应用场景
05 | Flink核心特性
06 | Flink集群架构
07 | Flink集群运行模式
08 | Flink集群资源管理器支持
09 | Standalone原理讲解与实操演示
10 | Flink On Yarn部署讲解
11 | Flink On Yarn实操演示
12 | Flink On Kubernetes部署讲解
13 | Flink On Kubernetes实操:Session模式
14 | Flink On Kubernetes实操:Per-job模式
15 | Flink On Kubernetes Native部署讲解
16 | Flink On Kubernetes Native实操演示
17 | Flink高可用配置原理讲解
18 | Flink高可用配置实操演示
19 | 分布式流处理模型
20 | DataStream API实践原理
21 | Flink时间概念
22 | Watermark实践原理
23 | Watermark与Window的关系
24 | Watermark Generator
25 | Windows窗口计算
26 | Window Assigner
27 | Window Trigger
28 | Window Evictors
29 | Window Function
30 | Windows多流合并
31 | Process Function应用
32 | SideOutput旁路输出
33 | Asynchronous I/O异步操作
34 | Pipeline与StreamGraph转换
35 | Flink类型系统
36 | 自定义SourceFunction
37 | 项目实战:基于DataStream API实现PV,UV统计
38 | 有状态计算概念
39 | 状态类型及应用
40 | KeyedState介绍与使用
41 | OperatorState介绍与使用
42 | BroadcastState介绍与使用
43 | Checkpoint实现原理
44 | Savepoint与Checkpoint
45 | StateBackends状态管理器
46 | State Schema Evolution
47 | State序列化与反序列化
48 | Queryable State介绍与使用
49|项目实战:实时交易反欺诈项目介绍
50|项目实战:实时交易反欺诈项目演示
51|Flink Table API/SQL介绍与使用
52|Table API/SQL核心概念
53|DataStream & DataSet 与Table相互转换
54|Table Connector介绍与使用
55|Querying Dynamic Tables
56|TimeStamp与Watermark时间属性定义
57|Query With Temporal Condition
58|Join With Dynamic Table
59|Join With Temporal Function
60|Join With Temporal Tables
61|Catalog原理与使用
62|Apache Hive集成
63|SQL Client介绍与使用
64|Flink SQL Table数据类型
65|自定义Function
66|Table Connector使用
67|自定义Connector
68|new tablesource & tablesink api
69|项目实战:基于Flink SQL实现Top10商品统计
70|Runtime整体架构
71|Flink Client实现原理
72|ResourceManager资源管理
73|Dispatcher任务分发器
74|JobGraph提交与运行(上)
75|JobGraph提交与运行(下)
76|Task执行与调度
77|Task重启和容错策略
78|集群组件RPC通信机制
79|NetworkStatck实现原理
80|Flink内存管理
81|Metric指标分类与采集
82|Flink REST API介绍与使用
83|Checkpoint监控与调优
84|反压监控与原理
85|Flink内存配置与调优
86|PyFlink实践与应用
87|Flink复杂事件处理:Complex event process
88|Alink机器学习框架介绍与使用
89|Stateful Function介绍与使用
90|实时推荐系统项目设计与实现
91|结束语
本节摘要
登录 后留言

全部留言(11)

  • 最新
  • 精选
布兰特
老师,在生产环境的话建议使用Session Mode 还是 Per-Job Mode啊? 那么如果从离线任务和实时7*24小时任务的角度来讲,应该使用哪种运行模式啊?

作者回复: 主要还是看资源隔离,生产环境任务如果要求比较高,建议使用 Per-Job Mode,资源隔离相对充分,如果是普通的流式任务,则建议Session Mode会更好点。 离线任务的话则建议Per-Job Mode,实时任务相对比较稳定根据资源隔离要求具体视情况选择即可。

2020-09-05
6
🎼 张ͮ子ͮ谋ͮ
通过Flink UI 直接提交Jar,应该是在JobManger的机器上执行吧,这样也能降低客服端负载吧?

作者回复: 可以这么理解,但是前提是每次需要上传Jar包,然后才能提交,上传Jar的过程实际就是Client做的事情,可以降低负载

2020-09-12
2
西南偏北
Application Mode的这种方式感觉和Spark on YARN cluster模式的原理差不多

作者回复: 对的 可以这么理解,就是Driver在哪里的问题

2020-09-14
kaka.
老师,如果是普通的流式任务,为了节省资源选择Session Mode,资源配置和slot数量怎么去配置呢,可以动态增加集群资源吗

作者回复: 关于资源配置,我们在后面章节有专门讲解的,可以关注下后面的章节,资源可以动态增加

2020-09-12
free zyq
上一节介绍了一些关键的组件:jm,tm,client,jg,job 这一节开篇提到的application,runtime,cluster分别对应的什么? 我理解是: application=包含一个main方法的job? runtime =tm+jm+client cluster = jm+很多tm?

作者回复: 对的

2020-09-10
2
小七
老师,不同的job,是根据什么规则划分为同一个 “Application“ 的?
2022-05-16
orangelin
图里提交多job只画了一个jobmanager ,但是一个application又只对应一个jobmanager,这里是怎么理解的?
2022-01-18
1
Geek_58a455
Application mode是每一个Applicaiton会生成一个jm和对应的tm吗?
2021-10-10
hadoop_admin
大佬,咨询下 现在flink 部署支持ipv6么,在jira上看到https://issues.apache.org/jira/browse/FLINK-9824和 https://issues.apache.org/jira/browse/FLINK-23206,是不是还不支持?社区有计划支持么?
2021-09-01
相遇太早~
一个main方法对应一个job,一个application包含多个job是指有多个类,每个类一个main方法入口吗?
2021-03-30
收起评论