• 鬼谷阳明
    2020-11-07
    插图真的非常萌

    作者回复: 效果能达到就行

    
    2
  • hujihu33
    2021-12-23
    视频主要内容: 1,基于Stream上实现关系查询 1),流是一个无限元组序列 2),流式查询在启动时不能访问所有数据,必须'等待'数据流入 3),流处理不断的根据接收到的记录更新其结果,并且始终不会结束 2,物化视图 有点像 3,动态表 & 连续查询 概念:相对于静态表来说,动态表时随着时间变化的 基于动态查询 1),查询动态表将生成一个连续查询 2),一个连续查询永远不会终止,结果会生成一个动态表 3), 查询不断更新其结果表,以反映其输入表上的更改 4), 动态表上的连续查询非常类似与查询物化视图 5), 连续查询的语义上总是等价于以批处理模式在输入表快照上执行的相同查询的结果 DataStream 和 dynamic table 支持相互转化 stream -> dynamic table -> continuous query -> dynamic table -> stream 4,基于stream 上定义 dynamic table 5,dynamic table 是否支持任何查询 1),状态结果不会无限制的增长,容易引发系统内存资源不足,因此必须定义State Clean-up timeout 2),输入数据只能触发结果表的部分计算逻辑 6,状态大小查询限制 1,需要划定一下时间范围。 7,Update Results 查询限制 有些查询需要重新计算和更新大量已输出的结果行 8,dynamic table 和 datastream的转换 a stream is the changelog of a dynamic table different changelog interpretations 1), append-only change messages 2), upsert change messages 3), add/retract change messages 9, dynamic table-> stream : insert append-only 流:仅通过insert 操作修改的动态表可以通过输出插入的行转换为流 insert 的 sink 可以是 mysql, hdfs, es , s3, kafka 10 , dynamic table-> stream : insert+delete retract流:retract流包含两种类型的message: add messages 和 retract messages retract 的sink 有 mysql es , gp 11 , dynamic table-> stream : upsert+delete
    展开
    
    2
  • 小乙哥
    2021-09-14
    upsert流为什么还需要配合delete,我理解只有upsert就可以了,没有插入,有更新。什么情况下会触发delete操作了?望老师解答一下
    
    
  • Ki
    2020-11-30
    我们生产刚好有rank计算,取最新一条订单数据做聚合计算,如何只保留近三天的状态呢,现在我们状态很大
    
    
  • Ki
    2020-11-30
    我们生产刚好就有rank这种计算,取当天最新一条订单做聚合。这种场景怎么处理状态呢
    
    
  • geek
    2020-11-25
    老师好,请问下,连续查询然后直接将结果写入mysql,可能大部分数据都需要先delete再insert,数据量多的话会造成数据库压力过大,实践中有什么优化方法吗?
    
    