11｜从基础功能拆解RocketMQ的架构设计与实现

小建议：架构图中的Partition是不是换成MessageQueue好一点？虽然概念上是一致的～

pop模式优点 1.每个消费者都可以消费到所有queue的消息，消费者不用再关心重平衡。 2.消费者不与某个queue强绑定，不会因为某个消费者hang住导致某个queue堆积。 但是按照 "消息粒度负载均衡" 来消费数据不是也是同样的效果吗？为什么还要实现这个pop模式？

原来支持 gRPC 是为了简化多语言 SDK 的开发

首先在生产者开始生产消息，包括根据remoting协议序列化消息内容，然后尝试访问namesrv获取所有broker信息，然后根据自己发送消息topic消息决定将数据投递到具体哪个broker上。投递动作根据投递方式的不同分为同步发送，异步等发送方式的不同略有差异。消息在投递到broker之后，如果是发送到topic中，则需要在broker上完成生产分发的工作，决定消息最后投递到哪个queue上。如果是投递到queue则可以省略这一步。（这里不管是topic还是queue应该都是逻辑概念，通过索引所描述的在commitLog中的逻辑关系所决定的）。最后在consumer侧，则默认是使用pull模式来拉取消息，首先从namesrv中获取所有broker的信息，进而确定自己需要的数据坐标信息，在拉取消息之后还有提交消费位点等动作，另外在消费侧还有其他的消费模式POP/PUSH（这里问作者一个问题，POP模式是否可以避免因为消费者的rebalance？当然broker自身导致的rebalance是无法避免的。。。）

许老师 这个消息粒度负载均衡 的配图有点小疑惑 , R3 和 R5 的 不被消费吗 ？R2 R4 别同一个消费组的cosume1 消费两次？这图是不是有问题

Pull模型和Pop模型的区别是消费重平衡的工作在客户端完成和在服务端完成吗？

总结 协议网络模块 RocketMQ 5.0以前使用的是自定义的Remoting协议，5.0以后增加了gRPC协议的支持，Remoting基于四层的TCP协议通信，gRPC基于七层的HTTP2协议通信，不过底层也是基于TCP。 Remoting是私有协议，在多语言SDK开发时，一些基础的工作都需要重新开发，而且与第三方服务集成不便捷。 gRPC是公有协议，底层已经实现了网络通信、编解码等基础框架，提供了各个语言的开发库，非常轻便，并且有天然的生态集成能力，比如Service Mesh、Kubernetes等。 元数据存储 Broker中存储了元数据信息，在启动的时候会向所有NameServer上报自己负责的Topic有哪些，消息队列有哪些，之后生产者和消费者就可以通过NameServer获取Topic的路由信息。 NameServer一般是多节点部署，每个节点之间是对等的，没有主从之分。 消息数据存储 RocketMQ一般会将Topic划分为多个MessageQueue，不过在底层文件存储方面，所有MessageQueue都对应一个CommitLog，消息会被顺序写入CommitLog文件。单个CommitLog大小为1G，超出限定之后会新起一个文件。 ConsumeQueue是逻辑消息队列，因为CommitLog中存储的是所有消息，为了根据Topic进行检索，所以创建了ConsumeQueue，每个Topic都会有一个对应的ConsumeQueue目录，里面是该Topic下所有消息队列对应的ConsumeQueue文件，文件中记录了该消息队列里面每条消息在CommitLog中的偏移量。 消费者就是通过这个ConsumeQueue进行消息消费的。 IndexFile是为了便于根据Key对消息进行检索设计的。 ConsumeQueue和IndexFile存储的是索引数据，数据量一般不大，所以不需要分段存储。 生产者 生产者发送消息的时候，需要知道往哪个Topic上发，Topic信息可以从NameServer获取，之后会根据算法（轮询算法或者最小投递延迟算法）选取其中一个MessageQueue进行发送。 消费者 消费者支持Pull、Push、Pop 三种消费模型。 Pull模式：需要消费者主动调用poll方法获取消息，从表面上看消费者需要不断主动进行消息拉取，所以叫做拉模式。 Push模式：从名字上看起来是消息到达Broker后推送给消费者，实际上还是需要消费者向Broker发送拉取请求获取消息内容，获取之后触发回调函数进行消费，从表面上看就像是Broker主动推送给消费者一样，所以叫做推模式。 Pop模式：RocketMQ 5.0以后新增了Pop模式，它主要是将消费分区、分区分配关系、重平衡都移到了Broker端。

rocketmq是支持批量发送，详细查看MessageBatch 这个类

老师，消费端和生产端消费生产时是连接到整个NameServer集群吗，还是连接到某一个NameServer节点，如果只是连接到某一个NameServer节点，那么这个节点挂掉，生产端和消费端怎么获取其他NameServer节点信息。