eBay开源数据处理框架Accelerator
极客时间编辑部
讲述:杜力大小:911.05K时长:01:57
近日,eBay 的团队开源了 Accelerator 框架。该框架可以用于处理像事物日志、事件日志和数据库转储这样的日志文件。
这个框架提供了并行执行和自动组织的源代码、输入数据以及计算结果的功能。它可以用于数据分析、算法开发,以及拥有多个 CPU 的实时推荐系统。它也有助于管理和记录数据文件、计算、计算结果和它们之间的相互关系。
据了解,Accelerator 是一个基于 C/S 的应用程序。它的架构包括了一个“runner”的客户端,以及两个名为“daemon”和“urd”的服务器。
其中,runner 客户端是运行在 daemon 服务器上执行作业的脚本(称为构建脚本,build scripts)。这个服务器将会对所有作业的信息和计算结果进行加载并存储下来。
同时,urd 服务器可以把所有的作业和它们的依赖项,一起存储到日志文件的数据库中,在构建脚本的过程中,所有发生的事情都可能会被记录到 urd 上。
值得注意的是,数据集是 Accelerator 的默认存储类型,它是专门为并行处理和高性能而设计的。由于数据集是构建于作业之上的,因此,数据集可以通过各种方法,创建并存储在作业目录中。
据了解,Accelerator 的关键特性是重用计算结果和数据流。如果一项作业已经存在,那么 Accelerator 将不会再次构建这项作业。这样做的好处是节省了执行的时间,并且可以方便地在用户之间共享计算结果。
另外,它还提供了可见性,并在此基础上确保了其正确性。数据流有助于处理连续的数据块,这比在数据库里执行查询更有效率。
Accelerator 的内存占用很小,可以在笔记本电脑或机架式服务器上运行。在开源之前,Safeway、星巴克这样的公司就已经把它运用到项目之中了。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论