Griffin正式成为Apache顶级项目
极客时间编辑部
讲述:杜力大小:2.21M时长:02:25
近日,Apache 软件基金会正式宣布 Griffin 成为其顶级项目。这是一个适用于各种规模分布式数据系统的开源大数据质量解决方案。它提供了一个统一的流程,以从不同角度度量数据数据质量,以及构建和验证在流式处理或批处理上下文中的可信数据资产。
Griffin 副主席郭威廉(William Guo)表示:“对于 Griffin 到达这一重要里程碑,我们感到非常自豪。通过积极提高大数据质量,Griffin 有助于构建可信数据资产,从而提升对业务的信心。”
Griffin 起源于 eBay,并于 2016 年 12 月进入 Apache 孵化器。Griffin 被广泛应用于网易、eBay、华为、京东、美图、PayPal、平安银行以及 VMWare 等具有大数据量和高需求的环境中 。
据了解,Griffin 通过以下方式帮助数据科学家和分析师处理数据质量问题:
定义——指明数据质量要求,如准确性、完整性、及时性和描述性等;
度量——摄取到 Griffin 计算集群的源数据,将根据用户定义的需求度量数据质量;
应用指标——数据质量报告作为指标,将被导出到指定位置。
此外,Griffin 允许用户将新的要求纳入平台,并编写全面的逻辑来进一步定义数据质量。
eBay、通用汽车中国卓越中心副总裁田燕冬(Vivian Tian)表示,2016 年,eBay 把 Griffin 贡献给 Apache 孵化器,以确保其未来以社区驱动的方式发展。Griffin 的想法始于 eBay 想要解决跨多个系统中(尤其是在流式数据上下文)的数据质量问题 。现在,Griffin 作为 Apache 顶级项目毕业了,希望它能够继续创新并和 Apache 社区继续合作。
VIPshop Finance 高级总监表示:“两年来,我们一直在使用 Griffin,用数据质量指标监控 1000 多张数据表。我们很高兴看到它成为顶级项目。Griffin 及其数据质量 DSL 有助于我们轻松地在大数据平台上即时识别数据质量问题。此外,Griffin 的架构具有高度可扩展性。我们期盼能够在实时数据质量管理系统中使用它,也希望为 Griffin 贡献一些力量,回馈社区。”
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论