在路上
2021-12-10
徐老师好,在分布式系统中恰好一次的语义需要两阶段提交的支持,通过协调者记录正在处理哪一条数据,等各个节点确认数据可以被处理之后,在应用处理方案。这个方式最大的问题就是延迟高。如果还需要保持数据处理顺序的话,后面的数据还要排队,吞吐量也受到严重影响。
6
雨~雨~雨
2022-04-20
kafka的exactly once的实现,依赖于生产和消费两方面的幂等实现。具体方法有很多,可以依赖kafka自己的消息唯一id,可以自己对consumer的消费逻辑做幂等改造。
4
陈迪
2022-01-11
至少一次+消费幂等=正好一次。最最基本的分布式系统模型下,一方请求一方响应,请求方没有收到响应,无法分辨请求是否被处理,只能再发,即至少一次
共 1 条评论
4
CRT
2022-01-06
我自己实现的正好一次,就是在客户端保证的,只能说性能不好保证,而且要用到redis保存已经消费的消息。
2
二进制傻瓜
2021-12-10
说的是老版本的kafka吧,新版本kafka消费者不依赖zk
共 1 条评论
2
Eternal
2023-04-07
来自重庆
首先:消费端,偏移量提交通过自己控制 然后:业务逻辑加上幂等处理 表现为恰好处理了一次
Helios
2022-01-06
kappa架构如果新的storm重放的时候能够保证是正好一次么
Jialin
2021-12-11
Kafka 的 Exactly Once 机制可以依赖消费者实现:消费者处理程序保证消息的幂等性(比如说依赖数据库的唯一键或者消息本身的唯一性标示)