翟佳,Streamlio 核心创始成员之一。
实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing 和 Storage 三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。
本次演讲将介绍 Apache Pulsar,并展示 Apache Pulsar 怎样从这三个方面,提供一个端到端的实时数据解决方案。
Messaging:Pulsar 对 pub/sub 和 queue 两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。
Computing:Pulsar 内部的 Pulsar-Functions 提供了 Stream-native 的轻量级计算框架,保证了数据的即时流式处理。
Storage:Pulsar 借助 Apache BookKeeper 提供了以 segment 为中心的存储架构,保证了存储的性能,持久性和弹性。
Apache Pulsar 在 2016 年开源,是 Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准 OpenMessaging 的重要成员。希望通过这次分享,能够为大家带来对 Apache Pulsar 及其生态系统有更好的理解,和对 pub/sub 消息系统,实时处理系统的更多的认识。