在路上
2021-12-03
徐老师好,我认为可以通过修改Topology来提高Bolt的并行度,新流入的数据根据新版的Topology分发数据。Bolt节点分成两种,一种是无状态的,一种是有状态的。比如ParseTweetBolt是无状态的,很容易扩展,WordCountBolt是有状态的,需要把状态迁移到新节点上,可以采用一致性hash扩容、翻倍扩容等方式,减少需要迁移的数据。
共 2 条评论
6
核桃
2022-03-01
这样看来,了解storm了,那么flink也必须要看看
1
Defu Li
2022-05-19
老师,位运算这里应该是有问题的,如果第三步发送出去的是三个tuple,且这三个tuple异或完正好是0(01 xor 10 xor 11 = 00),那么AckerBolt最后结果也会是0了
共 1 条评论
CRT
2022-01-05
流量徒增的情况下,通过hash算法将多出来的数据均匀分布到新的计算节点就好了。