加餐3 | 我该使用什么样的大数据系统？
徐文浩
你好，我是徐文浩。过去几年，不管你处在什么样的行业，收集数据并利用数据做决策已经成为了一个主流趋势。就从我自己的体会来说，2015 年之前，大数据系统在互联网技术团队非常火热，而在 2015~2020 年之间，AI 和机器学习超越了大数据成为最流行的前沿技术方向。
不过，到了最近一两年，大数据系统的需求一下子又激增了起来。这也是因为大数据不再是一个不够成熟的前沿技术，而是成为技术基建不可或缺的一部分了，使用大数据的公司不仅仅是互联网公司了。传统行业的 IT 团队、提供 SaaS 的软件公司，也都需要在自己的业务上使用上大数据系统了。
所以，最近一两年，周围会有很多朋友来咨询我关于大数据系统的各类问题。比如，“我们想要搭建一个大数据系统，应该选择 Hadoop 还是 Spark？”“现在 MySQL 性能不行了，我们想要搭建数据仓库，是 ClickHouse 更好还是 Apache Doris 更合适”。而在咱们的课程中，也有同学希望我来讲一讲，搭建大数据体系，从搭建数据湖、数据批处理、流式处理以及交互式分析，分别应该什么样的产品。
那么，今天这节课，我们就利用加餐来讲讲，对于大数据系统的选择方法问题。
以 TCO 和 ROI 为中心的决策方法
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文总结了选择大数据系统的方法和搭建数据产品和系统的核心经验。作者强调了在选择大数据产品时需要考虑总体拥有成本（TCO）和投资回报（ROI），并提供了实际经验作为指导。文章首先强调了在数据产品的选择和系统搭建初期，尽量让成本变成可变成本，避免一次性大额投入，以及重视数据处理流程管理和数据可视化的功能。其次，文章指出了数据处理流程管理和数据可视化对于数据系统的使用和价值体现的重要性。最后，文章强调了围绕TCO和ROI进行技术决策，并提供了一些思考题和推荐阅读。整体而言，本文提供了实用的技术决策指导，强调了在选择大数据产品和搭建系统时需要考虑的关键因素，为读者提供了有益的参考和思考。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大数据经典论文解读》，新⼈⾸单¥59
《大数据经典论文解读》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
在路上徐老师好，这篇加餐让我对大数据系统有了更全面的认识，现在的大数据产品都非常成熟，具体选择什么产品不是关键。更好的决策方法是从成本和收益的角度来考虑，需要考虑的成本包括：硬件成本、人力成本和锁定成本，开发人员总是痴迷先进的技术，不过也要考虑先进技术带来收益是否能覆盖成本。想提高收益，就要小步迭代，系统化的提升大系统系统的价值。方便的数据处理流程，是应对错误和复杂的利器。数据可视化，是和业务团队沟通的最佳界面。减少自己调整的阻力，得到他人的认可，就是降低成本，提高收益的核心方法。2022-01-042- daniel老师,文末提到:再加入一讲加餐，给出我自己使用过的产品之间的具体对比，以及实战案例;这篇文章没有呢2022-09-03归属地：四川
收起评论
