“数据中台”凭啥是大数据平台建设最热的方法
极客时间编辑部
讲述：初明明大小：5.08M时长：05:33
你好，欢迎收听极客视点。
随着中台概念的火爆，数据中台成了大数据平台建设中最新、最热的方法论。数据中台能够解决什么问题？为何与众不同？最近，拥有 14 年架构经验的架构师耿立超在他的中台系列文章中，解答了上述问题。
数据平台的发展史
回顾企业数据平台的发展史，我们可以梳理出三个重要阶段。
第一阶段：最初是以关系型数据库为基础的“数据仓库”，包括由此衍生出的商业智能（BI）和各类报表工具，这可以认为是第一代数据平台，它技术可靠、理论成熟，在数据体量不大、实时性要求不高的场景下有很好的适用性，多年发展积累下来的生态优势使得它直到今天依然在很多企业中广泛应用着。
第二阶段：后随着大数据技术的崛起，数据平台在技术上有了新的选择和发展空间，特别是在实时数据处理和人工智能方面有了质的突破，与之相对应的是理论上的更新换代，人们从数据仓库理论延伸出了“数据湖”的设想。数据湖以大数据技术为支撑，在数据仓库理论上做了一些适当的扩充，提倡保留数据的原始形态以便为未来的各种分析留下空间。同时它更加倾向于使用 Schema on Read 而不是关系型数据库使用的 Schema on Write 进行数据处理。从理论上看，数据湖不足以像数据仓库一样成为一个独立的理论体系，人们更多的时候将它与大数据放在一起讨论，用来指代使用大数据技术构建的数据平台。
第三阶段：再之后就是随着中台架构一起提出的“数据中台”了。今天企业的 IT 生态可以自然地分为应用和数据两大部分，前者指的是各类业务应用系统，后者指的是数据仓库、数据湖等中心化的数据平台。由于这两类系统的设计思想和实现技术都有很大的差异，所以中台架构顺势分成了业务中台和数据中台两部分，这就是数据中台产生的大背景。
目前数据中台的主流架构都是以大数据技术为基础搭建的，具体来说，它是以 Hadoop 生态圈内的各种工具和 Spark 作为主要的技术堆栈，有的企业还会基于自身情况再搭配使用 Elasticsearch、MongoDB、Cassandra、Kudo 等其他数据处理和存储引擎。从技术架构上看，多以 Lambda 架构为主，划分批处理和实时处理两条数据处理通道。同时数据中台还往往具备人工智能及机器学习相关的能力，它会涵盖数据仓库和数据湖的全部职能，会提供强大的数据服务供业务中台和前台应用使用。
数据中台所要解决的问题
在展开对数据中台的详实介绍之前，我们有必要对当前的企业数据生态做一些梳理，以便于我们能针对性地理解中台存在的意义。
目前，大多数企业特别是传统行业里的甲方企业，由于信息化水平的制约其数据生态还停留在较为落后的状态，存在着不少问题，以下是一些典型状况：
数据离散分布，信息孤岛的问题还没有完全得到解决；
依然在大量使用文件进行数据交互，没有实时 API，制约了上层业务流程的时效性；
企业数据处理平台依然依赖传统技术，负荷已经达到上限，无法进行水平伸缩；
大量数据离散于业务用户手工维护的文件中，难以自动化收集并处理；
同类型数据在多个业务系统中同步，数据冗余严重，一致性差，需要重复采集、核查、去重，成本高；
没有实时数据处理能力，无法快速及时地处理数据并反馈给业务用户；
没有健全的数据安全保障机制，面临数据泄露的风险；
缺乏完善的数据治理机制，数据质量参差不齐。
在过去，企业通过建立自己的数仓系统来统一存储和处理企业数据，这一过程要经历数年，并且会伴随着新数据源的产生持续进行。但是随着大数据时代的来临，传统数仓系统已经越来越难以支撑企业对数据处理的需求了，这体现在如下几个方面：
随着信息化的不断深入，企业产生的数据每年都在爆炸式的增长，传统数仓系统缺乏简单有效的水平伸缩能力，导致系统容量已经过饱和，系统性能遇到了“天花板”；
传统数仓系统只能处理关系型数据，很难处理非关系型数据；
企业对数据分析提出了更高的要求，在人工智能及机器学习等诸多新型领域都有迫切的需求，传统的数仓系统很难支撑这些新型的分析需求；
实时的数据分析越来越受到企业的重视，尤其是在一些大促等关键业务周期，传统数仓系统都是基于批量的离线处理，无法满足实时数据分析的需要。
这些因素都促使企业加大了对新一代数据平台的投入，通过构建基于大数据技术的新平台来应对新的挑战，数据中台就成了目前大数据平台建设中最新、最热的方法论。
以上就是今天的内容，希望对你有所帮助。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
Alison写的很好，想更系统的了解大数据平台构建方面的知识，有相关课程或者书籍推荐来入门吗？1
收起评论