26｜从集群角度拆解Pulsar的架构设计与实现

Pulsar是一种新兴的消息队列系统，其在集群构建、数据可靠性和安全控制方面具有独特的设计和实现。文章首先介绍了Pulsar集群构建和元数据存储的核心依然是ZooKeeper，但也支持了弱ZooKeeper化改造。Pulsar的数据可靠性通过Ledger和Entry的形式写入BookKeeper，实现了消息数据的可靠性。此外，Pulsar还在安全控制方面实现了传输加密、身份认证、资源鉴权等功能。其中，Pulsar支持端到端加密，通过动态生成的对称会话密钥来加密数据，以保证数据在Broker中保存的是经过加密后的数据。在身份认证方面，Pulsar支持多种认证方式，并提供了可插拔的身份认证框架，允许自定义实现身份认证机制。此外，Pulsar还提供了插件化的资源鉴权机制，支持对Broker、Tenant、Namespace、Topics等四个维度的鉴权。在可观测性方面，Pulsar主要围绕Prometheus和Grafana体系来搭建指标模块，通过在组件上支持HTTP接口/metrics来支持Prometheus的采集。总的来说，Pulsar在集群构建、数据可靠性、安全控制和可观测性方面具有独特的设计和实现，为开发者提供了丰富的功能和灵活的扩展性。