Streamlio宣布推出Apache Pulsar 2.0
极客时间编辑部
讲述:杜力大小:1.17M时长:02:33
最新版本的开源分布式消息传递框架 Apache Pulsar,让企业能够实时处理数据,从而“超越了批次处理”。最近,Streamlio 宣布推出 Apache Pulsar 2.0.1 流式消息解决方案,该版本支持 Pulsar Function、模式注册表和主题压缩。
其中,Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可以直接对数据进行变换和分析,不需要借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。
而模式注册表可以为开发人员提供流经 Pulsar 数据的结构和完整性,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式,这些模式用于确定哪些数据类型对该主题是有效的。需要注意的是,模式注册表当前只适用于 Java 客户端。
另外,Pulsar 使用 Apache Bookkeeper 保存流式数据,提升了存储性能。主题压缩是一个运行在 Pulsar broker 上的进程,用于为主题中的每个键创造最新值的快照。主题压缩进程可以读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可以对用户提供使用。
此外,新版本还有一些其他特性,包括:
将 Apache BookKeeper 升级到 4.7 版本;
性能改进;
与 Pulsar 2.0 之前的版本兼容。
近日,InfoQ 采访了 Pulsar 架构师兼首席开发者马特奥·梅利(Matteo Merli),谈到了 Pulsar 架构及其产品路线图。
他表示,与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。它能够满足现代基于数据驱动的应用程序和数据分析的要求,而没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理,以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。
作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本将会很快发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力,以及更多受支持的模式格式。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论