Data Artisans推出支持ACID的流式处理框架
极客时间编辑部
讲述:丁婵大小:1.08M时长:02:21
最近,Data Artisans 宣布推出 Streaming Ledger,它扩展了 Apache Flink,提供了跨表、键和事件流执行可序列化 ACID 事务的功能。这项正在申请专利的技术是 Flink 的专有附加技术,打破了操作一次只能在一个键上实现一致性的标准。
在发布 Streaming Ledger 之前,流式处理框架(如 Flink 和 Spark)只能提供一次性语义,在单个键上实现一致性。然而,随着 data Artisans Streaming Ledger 的发布,Flink 现在允许跨越事件状态边界,同时仍然能够保证 ACID(事务系统关键组件)事务。
根据 ACID 原则实现的事务作为单个操作执行,要么全部完成要么全部失败,这确保了数据的一致性。ACID 事务的一个常用例子是将资金从一个银行账户,转移到另一个银行账户。虽然 Streaming Ledger 是流式处理框架中第一个实现 ACID 事务的,但是,ACID 事务已经在 SQL Server 和 Oracle 等关系数据库系统中存在了很长时间。
据了解。Artisans 公司由开源流式处理框架 Apache Flink 的原作者创建,提供了一个流式处理基础设施,其中包括数据 Artisans Platform,也称为 dA 平台。该平台由 Apache Flink、dA 应用程序管理器和 Streaming Ledger 组成,专注于流式处理领域,允许查询数据流并基于信息做出决策。
流式处理是一种大数据技术,它可以让用户能够在接收数据之后的一小段时间内,快速查询持续数据流并检测条件,检测时间段可以从几毫秒到几分钟不等。
另外,Data Artisans 还发布了一份白皮书,介绍了 Streaming Ledger 的细节和架构。例如,该架构由四个基本构建块组成,包括用于维护应用程序状态的表、用于更新表的事务函数、驱动事务的事务事件流,以及根据流处理成功或失败发出事件的可选结果流。因此,即使是跨多个流,也可以确保数据的一致性。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论