• 最烦起名字
    2020-10-19
    12:05这条记录了,课程讲解中,没有更新watermark。请老师给回答下吧~

    作者回复: Watermark更新也要有周期的,所以叫period watermark,通常情况时延为0,Ppt里没有说明这点

    共 6 条评论
    2
  • Allan
    2020-09-19
    12:15的时候减去10i是12:05已经比之前的12:04大了,所以应该更新watermark了。如果进来的时间没有上次watermark的时间大,则不更新watermark并且按照这个eventtime的时间放到对应的时间区间窗口中。

    作者回复: 正解

    共 5 条评论
    2
  • 鱼
    2020-09-18
    假如有一个事件 12:01 cat 在12:02到达的话,这种情况下这条记录不会在12:05-12:15的窗口之内,那么最终的输出应该是什么样的呢?

    作者回复: 触发计算要需要两个条件: 1、Watermark是否大于窗口右边界,并触发窗口计算。 2、该事件的时间在窗口范围以内; 只要满足以上两个条件就能将该事件纳入到所在窗口中并触发计算,然后输出结果。

    
    1
  • 想
    2020-12-24
    老师,我想请教下,每个窗口都包含上个窗口的记录,会导致最后一个窗口的数据记录特别大吧!这个问题有什么机制控制下

    作者回复: 不理解,这种情况一般都是增量计算的,也就是结果值,另外窗口的原始数据只会记录当前窗口的,不属于的或者超时的都会丢弃

    
    
  • qiufang
    2020-09-23
    老师你好,我们这边有个场景,用flink消费一张表,每来一条数据,需要关联维表,进行数据转换。这个维表数据量比较大,更新不是频繁,flink 表可以直接关联关系型数据库中这张维表吗,或者有没有更好的实现方式。

    作者回复: 可以参考后面table接口中temporaral table的使用

    共 2 条评论
    
  • danvid
    2021-03-10
    12:15这个消息,没有触发watermark更新,老师你讲错了吧
    共 3 条评论
    15
  • 桂林
    2021-04-15
    看明白了,这个图中的watermark是每5分钟更新一次。12:15的数据进来时,没到更新时间,所以watermark不变,还是12:04。processingTime为12:20时,12:15-12:20这个processingTime时间窗口里因为进来了一条12:21,owl的数据,所以更新watermark为12:11。12:26,owl这条数据进来时要等到processingTime为12:25时,更新watermark,并计算12:05-12:15的窗口数据
    共 3 条评论
    5
  • 偶尔复活下
    2021-09-15
    看明白了,左右两个图要结合起来看。 右图中的watermark更新设定是每5分钟更新一次(ppt里没说明,是period wm)。 事件时间为12:15的数据进来时(处理时间大约是12:19分),还没到period wm的更新时间(更新时间是12:20),所以watermark不变,还是12:04。 processingTime为12:20时,12:15-12:20这个processingTime时间窗口里因为进来了一条事件时间为12:21,owl的数据,所以更新watermark为12:11。 12:26,owl这条数据进来时要等到processingTime为12:25时,才会更新watermark,并计算12:05-12:15的窗口数据
    共 1 条评论
    2
  • Geek_7825d4
    2022-11-11 来自中国香港
    老实讲的透彻, 似乎自己也没特别明白
    
    1
  • CycleGAN
    2021-07-10
    图中有几个问题 1.appen模式中,出现了事件时间大于处理时间的现象,说明时间没对齐,也是可能的,那么在最后一个曲线图中,曲线也可能在虚线以下的。 2.append模式中,看分析原来是水印5min更新,一直感觉在20时间点就能触发00-10的计算了,猜测是到了20,检测了水印,还是04不是11,所以没触发,等检测完不用计算后,才将水印更新为11吗
    共 1 条评论
    1