Jackey
2019-11-01
我认为流式计算更关注最后的结果吧,中间结果都不会存储,数据也不能重复使用。流水线模式也会关注中间结果,根据每一步的结果不断优化计算方法,保证它能给出我们想要的数据
6
信xin_n
2019-11-16
流水线模式,是把一个问题分成不同的小段,必须按照严格的顺序处理,核心是错开了时间,提高了时间利用率,但最终结果是相同的东西,比如例子的生产一瓶矿泉水,是单一产品。
流计算模式,更侧重数据输入方式以及流动方向,处理时是可以多方向流动的,最终可以输出各式各样的结果。当然流式计算实际数据的处理会用到流水线模式,把一个大的处理流程拆分为小的流程,依次放入各个bolt处理。但是这些bolt可以组合,不同的数据类型,走不同的流水线。多产品,多流水线。类似物流分拣过程。
1
Geek_e986e3
2019-11-04
个人感觉。流水线实时性不用和流计算一样实时性这么高。流水线可以跑离线任务。而且感觉二者概念不同。流水线只是一种数据处理概念。实时也可以流水线,离线也可以流水线。而流计算和批处理是一种落地模式。不知道我这么理解对不对
1
xingoo
2019-11-01
流水线关注的是通过抽象子任务,子任务串联执行,通常用于自己学习模型训练前的数据预处理,其实内部一般都是批量化操作,数据也可以重复使用;流计算关注的是事件或者消息,通过一系列固定操作得到输出。
1
leslie
2019-11-01
流水线计算模式更像是整个流程而是其中的某个环节:就像老师课程所用的例子ETL,数据挖掘必做的事情。流计算只是处理当下的某件事情:一个是整个流程完整的事情,一个只是单一的事件。
流计算可以是流水线计算模式的一部分工作,反向则不可以。
1
花儿少年
2019-11-01
场景不同。
流计算是近乎实时计算,使用实时数据,关注计算结果,计算步骤有变动之前的数据就不能再重用了。
流水线计算模式,指的抽象子任务,分解步骤,从而提高并行度,提高执行效率,和原始输入数据没有关系;如果其中某一步计算有误,可以用前一步的结果再次计算;数据可以是静态的,并且可以反复计算。
最大的不同,个人觉得流计算是指实时计算的场景,流水线模式是分解任务,执行任务的方式?
我们在线,来聊聊吧
✕
您好,当前有专业客服人员在线,让我们来帮助您吧。
我们在线,来聊聊吧