Flink 核心技术与实战
张利兵
第四范式数据中台架构师,Apache Flink 贡献者
16166 人已学习
新⼈⾸单¥68
课程目录
已完结/共 91 讲
第一章:Apache Flink介绍 (5讲)
第七章:Flink监控与性能优化 (5讲)
第九章:项目实战-使用Flink构建推荐系统实时数据流 (2讲)
Flink 核心技术与实战
登录|注册
留言
6
收藏
沉浸
阅读
分享
手机端
回顶部
当前播放: 55|Querying Dynamic Tables
00:00 / 00:00
高清
  • 高清
1.0x
  • 2.0x
  • 1.5x
  • 1.25x
  • 1.0x
  • 0.75x
  • 0.5x
网页全屏
全屏
00:00
付费课程,可试看
01 | 课程介绍
02 | 内容综述
03 | 流处理技术概览
04 | Flink发展历史与应用场景
05 | Flink核心特性
06 | Flink集群架构
07 | Flink集群运行模式
08 | Flink集群资源管理器支持
09 | Standalone原理讲解与实操演示
10 | Flink On Yarn部署讲解
11 | Flink On Yarn实操演示
12 | Flink On Kubernetes部署讲解
13 | Flink On Kubernetes实操:Session模式
14 | Flink On Kubernetes实操:Per-job模式
15 | Flink On Kubernetes Native部署讲解
16 | Flink On Kubernetes Native实操演示
17 | Flink高可用配置原理讲解
18 | Flink高可用配置实操演示
19 | 分布式流处理模型
20 | DataStream API实践原理
21 | Flink时间概念
22 | Watermark实践原理
23 | Watermark与Window的关系
24 | Watermark Generator
25 | Windows窗口计算
26 | Window Assigner
27 | Window Trigger
28 | Window Evictors
29 | Window Function
30 | Windows多流合并
31 | Process Function应用
32 | SideOutput旁路输出
33 | Asynchronous I/O异步操作
34 | Pipeline与StreamGraph转换
35 | Flink类型系统
36 | 自定义SourceFunction
37 | 项目实战:基于DataStream API实现PV,UV统计
38 | 有状态计算概念
39 | 状态类型及应用
40 | KeyedState介绍与使用
41 | OperatorState介绍与使用
42 | BroadcastState介绍与使用
43 | Checkpoint实现原理
44 | Savepoint与Checkpoint
45 | StateBackends状态管理器
46 | State Schema Evolution
47 | State序列化与反序列化
48 | Queryable State介绍与使用
49|项目实战:实时交易反欺诈项目介绍
50|项目实战:实时交易反欺诈项目演示
51|Flink Table API/SQL介绍与使用
52|Table API/SQL核心概念
53|DataStream & DataSet 与Table相互转换
54|Table Connector介绍与使用
55|Querying Dynamic Tables
56|TimeStamp与Watermark时间属性定义
57|Query With Temporal Condition
58|Join With Dynamic Table
59|Join With Temporal Function
60|Join With Temporal Tables
61|Catalog原理与使用
62|Apache Hive集成
63|SQL Client介绍与使用
64|Flink SQL Table数据类型
65|自定义Function
66|Table Connector使用
67|自定义Connector
68|new tablesource & tablesink api
69|项目实战:基于Flink SQL实现Top10商品统计
70|Runtime整体架构
71|Flink Client实现原理
72|ResourceManager资源管理
73|Dispatcher任务分发器
74|JobGraph提交与运行(上)
75|JobGraph提交与运行(下)
76|Task执行与调度
77|Task重启和容错策略
78|集群组件RPC通信机制
79|NetworkStatck实现原理
80|Flink内存管理
81|Metric指标分类与采集
82|Flink REST API介绍与使用
83|Checkpoint监控与调优
84|反压监控与原理
85|Flink内存配置与调优
86|PyFlink实践与应用
87|Flink复杂事件处理:Complex event process
88|Alink机器学习框架介绍与使用
89|Stateful Function介绍与使用
90|实时推荐系统项目设计与实现
91|结束语
本节摘要
登录 后留言

全部留言(6)

  • 最新
  • 精选
鬼谷阳明
插图真的非常萌

作者回复: 效果能达到就行

2020-11-07
2
hujihu33
视频主要内容: 1,基于Stream上实现关系查询 1),流是一个无限元组序列 2),流式查询在启动时不能访问所有数据,必须'等待'数据流入 3),流处理不断的根据接收到的记录更新其结果,并且始终不会结束 2,物化视图 有点像 3,动态表 & 连续查询 概念:相对于静态表来说,动态表时随着时间变化的 基于动态查询 1),查询动态表将生成一个连续查询 2),一个连续查询永远不会终止,结果会生成一个动态表 3), 查询不断更新其结果表,以反映其输入表上的更改 4), 动态表上的连续查询非常类似与查询物化视图 5), 连续查询的语义上总是等价于以批处理模式在输入表快照上执行的相同查询的结果 DataStream 和 dynamic table 支持相互转化 stream -> dynamic table -> continuous query -> dynamic table -> stream 4,基于stream 上定义 dynamic table 5,dynamic table 是否支持任何查询 1),状态结果不会无限制的增长,容易引发系统内存资源不足,因此必须定义State Clean-up timeout 2),输入数据只能触发结果表的部分计算逻辑 6,状态大小查询限制 1,需要划定一下时间范围。 7,Update Results 查询限制 有些查询需要重新计算和更新大量已输出的结果行 8,dynamic table 和 datastream的转换 a stream is the changelog of a dynamic table different changelog interpretations 1), append-only change messages 2), upsert change messages 3), add/retract change messages 9, dynamic table-> stream : insert append-only 流:仅通过insert 操作修改的动态表可以通过输出插入的行转换为流 insert 的 sink 可以是 mysql, hdfs, es , s3, kafka 10 , dynamic table-> stream : insert+delete retract流:retract流包含两种类型的message: add messages 和 retract messages retract 的sink 有 mysql es , gp 11 , dynamic table-> stream : upsert+delete
2021-12-23
3
小乙哥
upsert流为什么还需要配合delete,我理解只有upsert就可以了,没有插入,有更新。什么情况下会触发delete操作了?望老师解答一下
2021-09-14
Ki
我们生产刚好有rank计算,取最新一条订单数据做聚合计算,如何只保留近三天的状态呢,现在我们状态很大
2020-11-30
Ki
我们生产刚好就有rank这种计算,取当天最新一条订单做聚合。这种场景怎么处理状态呢
2020-11-30
geek
老师好,请问下,连续查询然后直接将结果写入mysql,可能大部分数据都需要先delete再insert,数据量多的话会造成数据库压力过大,实践中有什么优化方法吗?
2020-11-25
收起评论