• 泊浮目
    2020-10-17
    想请教张老师两个问题： 1. 为什么有这么多种Graph？比如StreamExecutionEnvironment中的Transformmation会转换成StreamGraph，StreamGraph会转换成JobGraph，JobGraph会转换成ExecutionGraph，最后ExecutionGraph还会变成物理执行。我能想到的是：因为上层API是声明式的，故此框架会对实现做一定的优化。但想不明白为什么要有这么多层。 2. 为什么要有JobVertex？仅仅是作为把一对一StreamNode连起来的一个优化吗？

    作者回复: 1.Graph实现现在大数据框架中对计算拓扑的通用描述，可以想象SQL解析和这个过程非常相似，都是要有逻辑层，物理层的转换，否则耦合度会非常高，不易于拓展 2. JobVertex可以这么理解，会将可以在同一个Task中处理的Operator放在一起，运行的时间就可以不用跨网络传输，而是在同一个线程中处理即可。

    
    4
  • Shockang
    2020-10-19
    rescale，哈哈，这个reskill把我逗乐了😂

    作者回复: 哈哈 后面让字幕修正下

    
    
  • geek2020
    2020-10-12
    老师，假如我提交两个job，它们可以共享同一个slot吗？

    作者回复: 可以的，资源不足会共享的，后面会在优化的章节介绍

    
    
  • Allan
    2021-03-05
    pipeline转化stream图在转化job图，job提交作业后作业又转化成excute图。这节课就是图的转换过程
    
    1