21 | Flink 时间概念

开通超级会员可免费学习本课程，还可解锁海量内容免费学特权。

当前播放: 21 | Flink 时间概念

00:00 / 00:00

高清

高清

1.0x

2.0x
1.5x
1.25x
1.0x
0.5x

网页全屏

全屏

00:00

付费课程，可试看

课程目录

第一章：Apache Flink介绍 (5讲)



01 | 课程介绍

免费

02 | 内容综述

免费

03 | 流处理技术概览

免费

04 | Flink发展历史与应用场景

免费

05 | Flink核心特性

第二章：Flink部署与应用 (13讲)



06 | Flink集群架构

07 | Flink集群运行模式

08 | Flink集群资源管理器支持

09 | Standalone原理讲解与实操演示

10 | Flink On Yarn部署讲解

11 | Flink On Yarn实操演示

12 | Flink On Kubernetes部署讲解

13 | Flink On Kubernetes实操：Session模式

14 | Flink On Kubernetes实操：Per-job模式

15 | Flink On Kubernetes Native部署讲解

16 | Flink On Kubernetes Native实操演示

17 | Flink高可用配置原理讲解

18 | Flink高可用配置实操演示

第三章：Flink DataStream API实践原理 (19讲)



19 | 分布式流处理模型

20 | DataStream API 实践原理

21 | Flink 时间概念

22 | Watermark实践原理

23 | Watermark与Window的关系

24 | Watermark Generator

25 | Windows窗口计算

26 | Window Assigner

27 | Window Trigger

28 | Window Evictors

29 | Window Function

30 | Windows多流合并

31 | Process Function应用

32 | SideOutput旁路输出

33 | Asynchronous I/O异步操作

34 | Pipeline与StreamGraph转换

35 | Flink类型系统

36 | 自定义SourceFunction

37 | 项目实战：基于DataStream API实现PV，UV统计

第四章：Flink状态管理和容错 (13讲)



38 | 有状态计算概念

39 | 状态类型及应用

40 | KeyedState介绍与使用

41 | OperatorState介绍与使用

42 | BroadcastState介绍与使用

43 | Checkpoint实现原理

44 | Savepoint与Checkpoint

45 | StateBackends状态管理器

46 | State Schema Evolution

47 | State序列化与反序列化

48 | Queryable State介绍与使用

49｜项目实战：实时交易反欺诈项目介绍

50｜项目实战：实时交易反欺诈项目演示

第五章：Flink Table & SQL实践原理 (19讲)



51｜Flink Table API/SQL介绍与使用

52｜Table API/SQL核心概念

53｜DataStream & DataSet 与Table相互转换

54｜Table Connector介绍与使用

55｜Querying Dynamic Tables

56｜TimeStamp与Watermark时间属性定义

57｜Query With Temporal Condition

58｜Join With Dynamic Table

59｜Join With Temporal Function

60｜Join With Temporal Tables

61｜Catalog原理与使用

62｜Apache Hive集成

63｜SQL Client介绍与使用

64｜Flink SQL Table数据类型

65｜自定义Function

66｜Table Connector使用

67｜自定义Connector

68｜new tablesource & tablesink api

69｜项目实战：基于Flink SQL实现Top10商品统计

第六章：Flink Runtime设计与实现 (11讲)



70｜Runtime整体架构

71｜Flink Client实现原理

72｜ResourceManager资源管理

73｜Dispatcher任务分发器

74｜JobGraph提交与运行（上）

75｜JobGraph提交与运行（下）

76｜Task执行与调度

77｜Task重启和容错策略

78｜集群组件RPC通信机制

79｜NetworkStatck实现原理

80｜Flink内存管理

第七章：Flink监控与性能优化 (5讲)



81｜Metric指标分类与采集

82｜Flink REST API介绍与使用

83｜Checkpoint监控与调优

84｜反压监控与原理

85｜Flink内存配置与调优

第八章：Flink组件栈介绍与使用 (4讲)



86｜PyFlink实践与应用

87｜Flink复杂事件处理：Complex event process

88｜Alink机器学习框架介绍与使用

89｜Stateful Function介绍与使用

第九章：项目实战-使用Flink构建推荐系统实时数据流 (2讲)



90｜实时推荐系统项目设计与实现

91｜结束语

21 | Flink 时间概念

张利兵

第四范式数据中台架构师，Apache Flink 贡献者

已完结6208

立即订阅







本节摘要

课件和 Demo 地址
https://gitee.com/geektime-geekbang/geektime-Flink

给内容提建议

登录后留言

精选留言(4)

geek2020
老师，如果代码中没有使用env.setStreamTimeCharacteristic设置时间，那datastream还会有时间的概念么？比如是否会有个默认的时间类型
作者回复: 默认ProcessingTime
2020-09-25

1
Geek_5c44aa
老师，如果kafka服务器上的时间与我们本地系统的时间存在几小时的时间差的话，使用EventTime的话会不会有数据进不了timeWindow的情况？
2021-03-13


马来酸
老师请问可以通过assignTimestamps()将数据的eventTime设置为未来的时间吗?
我使用.flatMap()生成预测数据, 然后.assignTime（）指定eventTime是预测出的时间,
.flatMap() // 对于每条轨迹, 预测输出其后续10s的轨迹, 比如0秒来了一条轨迹数据, 预测输出1~10秒的轨迹
.assignTime() // 将后续10s轨迹的eventTime设置为刚才预测计算的时间
.window(1s) // 比较后续第11秒时, 12秒....20秒时时的轨迹点是否有距离过近的
但遇到了WARN AscendingTimestampExtractor [] - Timestamp monotony violated, 1614009701000 < 1614009730000
请问可以这样写吗, 不行的话要这个逻辑怎么实现好呢，网上找了好久也没有答案。感谢老师！
2021-02-23


东风第一枝
由于业务需要，我在flink算子中使用了wait方法，但是flink抛出了异常，原因是null不能传递给下一个算子。网上找了好久没找到答案，请问老师如何在flink算子中实现线程等待呢，感谢。
作者回复: 不太理解你说的null什么情况，以及你这种操作的意义，可以具体一点吗？基于StreamTask线程模型要通过控制信息才能控制线程的，可以往这个方面想想
2020-10-20
2
