你好,我是蔡元楠。
今天我要分享的内容是“大规模数据处理实战”专栏的最后一讲。
我相信通过整个专栏的系统学习,你已经掌握了大规模数据处理的基础概念与设计模式。同时,我也相信,专栏中对现实世界中常见的大规模数据处理架构的深入探讨,可以在解决现实难题时为你提供一些思路。
但我更希望的是,通过模块六中对大规模数据处理在未来的应用与展望讲解,让你吃下一颗定心丸,那就是,大规模数据处理技术是在放眼未来的几十年中都依然会是炙手可热的一项技术,不会被淘汰。
你不难发现,我在专栏的后半部分,花了不少的篇幅来专门介绍 Apache Beam 的各种概念、底层思想以及实际应用的。我个人是十分认同 Google 所推崇的 Dataflow Model 的计算模型,也相信未来 Apache Beam 的发展前景是很好的。
所以在专栏的最后一讲,我想和你讲讲我对数据处理框架和对 Beam 的一些看法和展望。
技术迭代带来的烦恼
在专栏的后半部分,我们不断深入探讨了 Apache Beam。有同学曾经在留言中提过一个问题:“我已经掌握好 Spark 了,也觉得 Spark 的语法更简练,为什么还需要学习 Beam 呢?”
对于这个问题,我相信在你刚刚接触 Beam 的时候,多多少少都会有相同的疑问。