Flink 核心技术与实战
张利兵
第四范式数据中台架构师,Apache Flink 贡献者
16166 人已学习
新⼈⾸单¥68
课程目录
已完结/共 91 讲
第一章:Apache Flink介绍 (5讲)
第七章:Flink监控与性能优化 (5讲)
第九章:项目实战-使用Flink构建推荐系统实时数据流 (2讲)
Flink 核心技术与实战
登录|注册
留言
9
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 42 | BroadcastState介绍与使用
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 流处理技术概览
04 | Flink发展历史与应用场景
05 | Flink核心特性
06 | Flink集群架构
07 | Flink集群运行模式
08 | Flink集群资源管理器支持
09 | Standalone原理讲解与实操演示
10 | Flink On Yarn部署讲解
11 | Flink On Yarn实操演示
12 | Flink On Kubernetes部署讲解
13 | Flink On Kubernetes实操:Session模式
14 | Flink On Kubernetes实操:Per-job模式
15 | Flink On Kubernetes Native部署讲解
16 | Flink On Kubernetes Native实操演示
17 | Flink高可用配置原理讲解
18 | Flink高可用配置实操演示
19 | 分布式流处理模型
20 | DataStream API实践原理
21 | Flink时间概念
22 | Watermark实践原理
23 | Watermark与Window的关系
24 | Watermark Generator
25 | Windows窗口计算
26 | Window Assigner
27 | Window Trigger
28 | Window Evictors
29 | Window Function
30 | Windows多流合并
31 | Process Function应用
32 | SideOutput旁路输出
33 | Asynchronous I/O异步操作
34 | Pipeline与StreamGraph转换
35 | Flink类型系统
36 | 自定义SourceFunction
37 | 项目实战:基于DataStream API实现PV,UV统计
38 | 有状态计算概念
39 | 状态类型及应用
40 | KeyedState介绍与使用
41 | OperatorState介绍与使用
42 | BroadcastState介绍与使用
43 | Checkpoint实现原理
44 | Savepoint与Checkpoint
45 | StateBackends状态管理器
46 | State Schema Evolution
47 | State序列化与反序列化
48 | Queryable State介绍与使用
49|项目实战:实时交易反欺诈项目介绍
50|项目实战:实时交易反欺诈项目演示
51|Flink Table API/SQL介绍与使用
52|Table API/SQL核心概念
53|DataStream & DataSet 与Table相互转换
54|Table Connector介绍与使用
55|Querying Dynamic Tables
56|TimeStamp与Watermark时间属性定义
57|Query With Temporal Condition
58|Join With Dynamic Table
59|Join With Temporal Function
60|Join With Temporal Tables
61|Catalog原理与使用
62|Apache Hive集成
63|SQL Client介绍与使用
64|Flink SQL Table数据类型
65|自定义Function
66|Table Connector使用
67|自定义Connector
68|new tablesource & tablesink api
69|项目实战:基于Flink SQL实现Top10商品统计
70|Runtime整体架构
71|Flink Client实现原理
72|ResourceManager资源管理
73|Dispatcher任务分发器
74|JobGraph提交与运行(上)
75|JobGraph提交与运行(下)
76|Task执行与调度
77|Task重启和容错策略
78|集群组件RPC通信机制
79|NetworkStatck实现原理
80|Flink内存管理
81|Metric指标分类与采集
82|Flink REST API介绍与使用
83|Checkpoint监控与调优
84|反压监控与原理
85|Flink内存配置与调优
86|PyFlink实践与应用
87|Flink复杂事件处理:Complex event process
88|Alink机器学习框架介绍与使用
89|Stateful Function介绍与使用
90|实时推荐系统项目设计与实现
91|结束语
本节摘要
登录 后留言

全部留言(9)

  • 最新
  • 精选
yang
老师, 各个task都对bc做快照, 防止恢复的时候从一个task做恢复,造成热点压力, 这个该怎么理解?

作者回复: 想象一下所有Task的状态数据恢复都要到一个实例里面取数据恢复,这样会对这个Task造成非常大的压力的,每个Task都要做快照这样就能从本地恢复。

2020-10-21
Geek9379
视频中给的例子,是不是可以理解为就是把配置数据进行广播?
2021-04-14
2
姜威
老师,我在实践的过程中发现connect broadcast流会出现主流和广播流的顺序性问题,导致主流无法关联到广播流中的数据,我在网上找到了两种解决这个问题的方案:1.配置流通过jdbc获取,使用fromCollection,然后再union之前CDC获取的实时流,这样测出的结果是肯定能关联到,但是我想不通为什么union这种预先获取的数据肯定会在connect的时候先流进来... 2.使用ListState的方式,关联不到配置的数据都缓存起来,等配置流加载完毕再进行关联处理,但是这种方式我无法知道何时配置流已经加载完毕,而且在某些情况下会缓存大量数据,清理的时机也不好把控
2021-01-27
1
牛年榴莲
单就这节课而言,保存Pattern使用 ValueState 就行了吧
2023-09-11
李新卫  
“更新state是不能依赖元素到达的顺序”是什么意思?
2022-12-06
小乙哥
CEP的实现是基于BroadcastState吗?
2021-09-12
学无止境
有个疑问,这里在外部定义的那个Map类型状态描述符是什么意义呢,实际是用的richfunction里面定义的键控状态
2021-09-06
Meow
老师,我有一个场景。是定时从mysql获取数据作为广播流。这里遇到两个问题:1,任务运行的时候主数据流会比广播流先到。2,读取广播流这个任务每天0点状态就会变成state。 问题一我在BroadcastProcessFunction中的open方法加了一个初始化加载数据的处理方法。 问题2现在还是没有头绪,怎么能保持这个广播流一直处于running状态啊
2021-04-18
Allan
通过接入广播流然后去匹配规则,符合规则则进行输出,不符合就等待下次符合输出?本次案例我产生如下疑点:1、我们的行为流是我们用户的实时的行为数据产生发送到我们的消息队列,那么我的规则流呢?规则流跟行为流是并行关系吗?这一点没搞明白,因为规则流消费消费完了kafka消费点更新完了就没了,那么这个规则是怎么触发产生呢? 2、不符合的要一直等待吗?一直没有结束呢?如何处理?
2021-03-14
1
收起评论