• 姚礼垚
    2022-01-06
    老师，我想问下Sliding Window的应用场景是啥，如果按照时间聚合的话，Tumbling Window界限好像更清晰一些

    作者回复: 比如说，过去一小时以内的交通流量（车流量、人流量），每10分钟统计一次，类似于这样的场景。简单的说，就是统计周期和统计频率不一致的场景~ 还有，比方说，过去一小时以内的平均温度、湿度，等等，每5分钟统计一起，诸如此类

    共 2 条评论
    4
  • Geek_63fe1e
    2022-02-27
    怎么觉得消息8也被丢弃，最大的watermark 是9：44，能容忍的最晚的消息不应该是9：34，而消息8已经早于这个时间了

    作者回复: 老弟可以动手跑下文中的示例，再结合Watermark的原理理解下哈~

    共 3 条评论
    1
  • 苏文进
    2022-05-21
    event time 水印 水位线 上沿 下沿 2021-10-01 09:30:00, Apache Spark 09:30:00 09:20:00 09:25:00 09:20:00 ok 2021-10-01 09:36:00, Structured Streaming 09:36:00 09:26:00 09:30:00 09:25:00 ok 2021-10-01 09:39:00, Spark Streaming 09:39:00 09:29:00 09:30:00 09:25:00 ok 2021-10-01 09:41:00, AMP Lab 09:41:00 09:31:00 09:35:00 09:30:00 ok 2021-10-01 09:44:00, Spark SQL 09:44:00 09:34:00 09:35:00 09:30:00 ok 2021-10-01 09:29:00, Test Test 09:44:00 09:34:00 09:35:00 09:30:00 no 2021-10-01 09:33:00, Spark is cool 09:44:00 09:33:00 09:35:00 09:30:00 ok
    
    6
  • PCZ
    2023-04-16 来自江苏
    为什么 scala下的spark element_at这个函数找不到，需要什么依赖吗
    
    