阿里章剑锋：大数据发展趋势的8个要点（下）
阿里巴巴高级技术专家章剑锋
讲述：丁婵大小：2.39M时长：05:14
在上一篇文章中，我们分享了阿里巴巴高级技术专家章剑锋对于大数据领域未来趋势判断的前 4 个要点。简要来说就是，大数据已经经历了过高期望的峰值阶段和泡沫化的底谷阶段 ，现在正在稳步向前发展，接下来的挑战在于实时性，以及未来大数据基础设施往云上迁移势不可挡。那么，接下来继续分享大数据发展趋势的其余 4 个要点。
一、大数据产品全链路化
全链路化是指提供端到端的全链路解决方案，而不是简单的堆积一些大数据产品组件。以 Hadoop 为代表的大数据产品一直被人诟病的主要问题就是用户使用门槛过高，二次开发成本太高。全链路化就是为了解决这一问题，用户需要的并不是 Hadoop、Spark、Flink 等这些技术，而是要以这些技术为基础的能解决业务问题的产品。
Cloudera 的从 Edge 到 AI 是章剑锋比较认同的方案。大数据的价值并不是数据本身，而是数据背后所隐藏的对业务有影响的信息和知识。下面是一张摘自 wikipedia 的经典数据金字塔的图。
大数据技术就是对最原始的数据进行不断处理加工提炼，金字塔每上去一层，对应的数据量会越小，同时对业务的影响价值会更大更快。而要从数据（Data) 最终提炼出智慧（Wisdom），数据要经过一条很长的数据流链路，没有一套完整的系统保证整条链路的高效运转，就很难保证最终从数据中提炼出来有价值的东西，所以大数据未来产品全链路化是另外一个大的趋势。
二、大数据技术往下游数据消费和应用端转移
上面讲到了大数据的全链路发展趋势，那么这条长长的数据链路目前的状况如何？未来又会有什么样的趋势呢？
章剑锋的判断是未来大数据技术的创新和发力点会更多转移到下游数据消费和应用端。之前十多年大数据的发展主要集中在底层的框架，打好基础后，接下来要做的是如何利用这些技术为企业提供最佳用户体验的产品，以解决用户的实际业务问题，或者说未来大数据的侧重点将从底层走向上层。之前的大数据创新更偏向于 IaaS 和 PaaS ，未来你将看到更多 SaaS 类型的大数据产品和创新。
面对最终用户的大数据产品将是未来大数据竞争的重点，未来大数据领域的创新也将来源于此。
三、底层技术的集中化和上层应用的全面开花
学习过大数据的人都会感叹大数据领域的东西真多，特别是底层技术，感觉学都学不来。经过多年的厮杀和竞争，很多优秀的产品已经脱颖而出，也有很多产品慢慢走向消亡。
未来更大的创新将更多来自上层应用或者全链路的整合方面。在大数据的上层应用方面，未来将会迎来更多的创新和发展，比如基于大数据上的 BI 产品， AI 产品等，再比如某个垂直领域的大数据应用等，未来人们会看到更多这方面的创新和发展。
四、开源闭源并驾齐驱
大数据领域并不是只有 Hadoop，Spark，Flink 等这类人们耳熟能详的开源产品，还有很多优秀的闭源产品，比如 AWS 上的 Redshift ，阿里的 MaxCompute 等。这些产品虽然没有开源产品那么受开发者欢迎，但是它们对于很多非互联网企业来说是非常受欢迎的。
因为对于一个企业来说，采用哪种大数据产品有很多因素需要考虑，否开源并不是唯一标准。产品是否稳定、是否有商业公司支持、是否足够安全、是否能和现有系统整合等往往是某些企业更需要考虑的东西，而闭源产品往往在这类企业级产品特性上具有优势。
最近几年开源产品受公有云的影响非常大，公有云可以无偿享受开源的成果，抢走了开源产品背后的商业公司很多市场份额，所以最近很多开源产品背后的商业公司开始改变策略，有些甚至修改了 Licence 。不过公有云厂商不会杀死那些开源产品背后的商业公司，否则就是杀死开源产品本身。
开源界和公有云厂商最终会取得一个平衡，开源仍然会是一个主流，仍然会是创新的主力，一些优秀的闭源产品同样也会占据一定的市场空间。
以上就是今天的内容，希望对你有所帮助。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论