31 | 模块答疑：为什么大数据平台至关重要？

李智慧



该思维导图由 AI 生成，仅供参考

你好，我是李智慧。今天我来做模块四的答疑，主题是为什么大数据平台至关重要。
我前面说过，软件大体可以分为两种，一种是为最终用户开发的，实现用户需要的业务功能；另一种是为软件工程师开发的，供软件工程师使用。我在专栏前三个模块讲到的各种大数据产品，都属于后一种，最终用户不可能自己提交一个 Hadoop 程序去执行大数据计算，这是软件工程师的工作，因此大数据产品也是为软件工程师开发的。而如何让软件工程师能够便捷地提交各类大数据计算程序给大数据计算引擎去执行，如何将用户实时数据转化为大数据产品的数据源，如何利用好大数据的计算结果，这些都是大数据平台的职责范围。
大数据平台将互联网应用和大数据产品整合起来，构建成一个完整的系统，将实时数据和离线数据打通，使数据可以实现更大规模的关联计算，挖掘出数据更大的价值，从而实现数据驱动业务，通过数据统计发现业务规律（也就是机器学习模型）。而利用这个规律对未来的数据进行分类和预测，使系统呈现出智能的特性，也为互联网未来发展和人类的生产生活创造了无限可能。
大数据平台将互联网应用和大数据产品整合起来，一方面使互联网应用变得更加智能、强大；一方面也使得大数据产品实现技术落地。技术不同于科学，科学拓展人类的认知边界，而技术是人们改造世界的工具，科学的成果可以转化为技术；而技术真正能够改造世界，需要技术落地，真正应用到生产过程中。用我们熟知的 Hadoop 为例，即使它的技术再厉害，如果没有具体应用，没有被广泛使用，同样也很难说明它有多大的价值。所以技术落地使技术产品实现真正价值，也正是大数据平台使得大数据技术产品可以落地应用，实现了自身价值。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
中文繁体
法语
德语
日语
韩语
俄语
西班牙语
阿拉伯语
解释
总结

大数据平台在当今互联网应用和大数据产品整合中扮演着至关重要的角色。它通过构建完整系统，实现实时数据和离线数据的关联计算，挖掘数据的更大价值，从而推动数据驱动业务和机器学习模型的发展。此外，大数据平台也对大数据工程师的技术进阶至关重要，帮助他们从业务开发者逐步进阶成为软件架构设计者。软件架构师需要对业务和技术都有深入了解，能够设计出符合业务场景、便于开发维护的软件架构。因此，大数据平台的重要性不仅体现在应用和大数据技术产品上，也对技术工程师的职业发展有着深远影响。文章还提到了可视化编程的思路，通过可视化节点组成有向无环图，实现大数据可视化编程。这种技术成熟，只需根据图形生成描述文件，交给执行引擎执行即可。文章还提到了一些同学的留言，展示了对可视化编程的思考。整体而言，本文强调了大数据平台在互联网应用和大数据产品整合中的重要性，以及对技术工程师的影响，同时也提出了可视化编程的思路。

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《从 0 开始学大数据》，新⼈⾸单¥68

立即购买

登录后留言

全部留言(14)

最新
精选

蠟筆小噺
老师，目前基于容器的云平台越发大行其道，spark也对k8s支持越来越好。感觉正在蚕食hadoop平台，未来基于容器云的大数据、人工智能是否会成为新的标准？对于大数据开发者来说，我们是否需要自己尝试向云平台看齐？需要做怎样的努力？
作者回复: 不同容器只是多一种部署方案，对开发者多一种选择，能替代的只是yarn，存储计算才是大数据的核心。对于大数据运维环境，顺势而为即可。
2019-01-08

18
yang
是啊，正如楼上所说，我们好像没有从大数据平台中看到容器的身影…… 老师可否稍微提一下……
作者回复: yarn有自己的container，详情yarn一期专栏
2019-01-09

3
老男孩
授之于鱼不如授之于渔，思想比工具更重要。这也许就是专栏老师的用意所在。🤔
2019-01-08

34
杨锋
每个人看专栏的目的不一样吧。我觉得讲一些思想挺好的
2019-03-05

12
My dream
现在阿里出的flink是blink的改进版，老师都不讲一下怎么用，怎么搭建，唉😔，买了这套课程一点都不适合我
2019-01-12
4
9
纯洁的憎恶
大数据技术及其生态链的演进过程耐人寻味，与其说是技术进步，不如说是应用场景引导的互联网“基础设施变革”。进入新世纪，快速增长的互联网企业，积累了庞大的数据，以至于无法使用传统手段处理，它们开始探索新方法，大数据技术就这么诞生了。随后市场逐渐出现了开源平台，让更多的互联网企业可以参与进来，也吸引着越来越多的开发者加入到这个新鲜的领域。于是大量的新需求推动了大数据工具不断向上封装，使得大数据技术门槛大大降低、使用越来越方便。同时，摩尔定律、网络基础设施的完善与提速、数据获取日益简便，使得大数据技术应用成本也在大大下降。各行各业纷纷涌入，疯狂捆绑在大数据战车上为彼此赋能。大数据服务也随之快速商业化，朝着“飞入寻常百姓家”的方向飞奔。大数据就像是高深的掘井技术，一步步变成了只要打开水龙头就能获取的日常资源。也许未来大数据（人工智能）、IoT、区块链会成为智能社会的三驾马车。就像电力系统、自来水系统、燃气系统、公共交通系统之于工业化城市一样。
2019-01-08

5
观弈道人
陈述了现实困境，业务开发很难掌握底层技术，甚至找不到学习目标，但并没有良方解药
2019-01-08
1
5
杰之7
通过这一节的阅读学习，能进一步加深我对大数据平台的理解。在文章中老师讲到数据驱动业务，就是大数据产品和应用产品的结合，通过我们每一步的点击、浏览，重复使用之后，大数据产品通过统计，进行机器训练，然后得到有价值的信息反馈给我们。学习到这里，大数据产品和平台也就接近尾声了，后面两章节分析和算法部分，也需要我们认真学习。到这里，我希望老师开一个实战篇的专栏，期望实战的内容同这一个专栏一样对我们同学有价值。感谢老师。
2019-01-08

3
Roger
老师的讲课内容似乎没有揽盖数据倾斜问题，请问老师这方面有资料可循吗？
2019-01-08

3
kaizen
有道无术术尚可求，有术无道止于术，太多人只想拿着武器一顿乱扫了，殊不知扫完之后自己会极度空虚
2022-05-09

1

收起评论