数据中台实战课
郭忆
网易大数据专家
31971 人已学习
新⼈⾸单¥59
登录后,你可以任选2讲全文学习
课程目录
已完结/共 19 讲
数据中台实战课
15
15
1.0x
00:00/21:08
登录|注册

01 | 前因后果:为什么说数据中台是大数据的下一站?

讲述:郭忆大小:19.35M时长:21:08
大量的重复计算、开发
数据割裂
通过数据服务化,提高数据的共享能力
避免数据的重复计算
计算、资源调度和存储
覆盖数据研发的完整链路的数据工作台
面向数据研发场景
以原始格式存储数据的存储库或系统
弱化数据格式
完全分布式,易于扩展
数据类型变得异构化
数据规模前所未有
金博尔:自底向上
恩门:自顶向下
数据按时间分区存放
主题域
需要集成仓储系统的数据
需要集成交易系统的数据
企业已有的数据转化为知识
数据中台的下一站是什么?
数据无法共享导致的问题
数据中台的核心
阿里巴巴提出了“数据中台”的口号
大数据平台的底层基础设施
大数据平台的概念
数据开发的工作流程
数据湖的概念
Hadoop的优势
谷歌的三篇论文奠定了现代大数据的技术基础
互联网时代的两个重要变化
恩门和金博尔的数仓建模设计方法
数据仓库的四要素
数据分析需要聚合多个业务系统的数据
商业智能(Business Intelligence)诞生
思考时间
数据价值时代:数据中台崛起
数据工厂时代:大数据平台兴起
技术革命:从Hadoop 到数据湖
数据仓库的出现
数据中台是大数据的下一站

该思维导图由 AI 生成,仅供参考

你好,我是郭忆。
“数据中台”无疑是今年大数据圈最火的词,如果你关注数据相关的行业会议,但凡有数据中台相关的主题,人员都会爆满。去年 5 月,我作为演讲嘉宾参加了由 ITPUB 主办的中国数据库大会,一个 100 人的“数据中台”场次,最后涌进来 200 多人,前排地下、走廊、过道到处都挤满了人,还有很多人因为挤不进来在外面看直播,数据中台的火爆程度可见一斑。
除了支撑集团的大数据建设,我的团队还提供 To B 的企业服务,因此我也有机会接触到一些正在做数字化转型的传统企业。从 2018 年末开始,原先市场上各种关于大数据平台的招标突然不见了,取而代之的是数据中台项目,建设数据中台俨然成为传统企业数字化转型的首选,甚至不少大数据领域的专家都认为,数据中台是大数据的下一站。
那么为什么数据中台被认为是大数据的下一站呢?它与你之前遇到的数据仓库、数据湖、大数据平台又有什么区别?
今天这节课,我想带着这个问题,与你深入大数据的发展历史,先从数据仓库的出现讲起,途径数据湖,再到大数据平台,因为这样,你才能理解大数据发展的每个阶段遇到的问题,从而深入理解数据中台在大数据发展中的历史定位。

启蒙时代:数据仓库的出现

商业智能(Business Intelligence)诞生在上个世纪 90 年代,它是将企业已有的数据转化为知识,帮助企业做出经营分析决策。比如在零售行业的门店管理中,如何使得单个门店的利润最大化,我们就需要分析每个商品的销售数据和库存信息,为每个商品制定合理的销售采购计划,有的商品存在滞销,应该降价促销,有的商品比较畅销,需要根据对未来销售数据的预测,进行提前采购,这些都离不开大量的数据分析。
而数据分析需要聚合多个业务系统的数据,比如需要集成交易系统的数据,需要集成仓储系统的数据等等,同时需要保存历史数据,进行大数据量的范围查询。传统数据库面向单一业务系统,主要实现的是面向事务的增删改查,已经不能满足数据分析的场景,这促使数据仓库概念的出现。
在 1991 年出版的《Building the Data Warehouse》中,数据仓库之父比尔·恩门(Bill Inmon)首次给出了数据仓库的完整定义,他认为:
数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的,不可修改的数据集合。
为了帮你理解数据仓库的四要素,我举个电商的例子。
在电商场景中,有一个数据库专门存放订单的数据,另外一个数据库存放会员相关的数据。构建数据仓库,首先要把不同业务系统的数据同步到一个统一的数据仓库中,然后按照主题域方式组织数据。
主题域是业务过程的一个高层次的抽象,像商品、交易、用户、流量都能作为一个主题域,你可以把它理解为数据仓库的一个目录。数据仓库中的数据一般是按照时间进行分区存放,一般会保留 5 年以上,每个时间分区内的数据都是追加写的方式,对于某条记录是不可更新的。
除了这个概念之外,我还要提一下他和金博尔(Kimball) 共同开创的数仓建模的设计方法,这个方法对于后来基于数据湖的现代数据仓库的设计有重要的意义,所以你有必要了解。
恩门提出的建模方法自顶向下(这里的顶是指数据的来源,在传统数据仓库中,就是各个业务数据库),基于业务中各个实体以及实体之间的关系,构建数据仓库。
比如,在一个最简单的买家购买商品的场景中,按照恩门建模的思维模式,首先你要理清这个业务过程中涉及哪些实体。买家、商品是一个实体,买家购买商品是一个关系。所以,模型设计应该有买家表,商品表,和买家商品交易表三个模型。
买家表
商品表
买家商品交易表
金博尔建模与恩门正好相反,是一种自底向上的模型设计方法,从数据分析的需求出发,拆分维度和事实。那么用户、商品就是维度,库存、用户账户余额是事实。
用户维度表
商品维度表
账户余额事实表
商品库存事实表
这两种方法各有优劣,恩门建模因为是从数据源开始构建,构建成本比较高,适用于应用场景比较固定的业务,比如金融领域,冗余数据少是它的优势。金博尔建模由于是从分析场景出发,适用于变化速度比较快的业务,比如互联网业务。由于现在的业务变化都比较快,所以我更推荐金博尔的建模设计方法。
传统数据仓库,第一次明确了数据分析的应用场景应该用单独的解决方案去实现,不再依赖于业务的数据库。在模型设计上,提出了数据仓库模型设计的方法论,为后来数据分析的大规模应用奠定了基础。但是进入互联网时代后,传统数据仓库逐渐没落,一场由互联网巨头发起的技术革命催生了大数据时代的到来。

技术革命:从 Hadoop 到数据湖

进入互联网时代,有两个最重要的变化。
一个是数据规模前所未有,一个成功的互联网产品日活可以过亿,就像你熟知的头条、抖音、快手、网易云音乐,每天产生几千亿的用户行为。传统数据仓库难于扩展,根本无法承载如此规模的海量数据。
另一个是数据类型变得异构化,互联网时代的数据除了来自业务数据库的结构化数据,还有来自 App、Web 的前端埋点数据,或者业务服务器的后端埋点日志,这些数据一般都是半结构化,甚至无结构的。传统数据仓库对数据模型有严格的要求,在数据导入到数据仓库前,数据模型就必须事先定义好,数据必须按照模型设计存储。
所以,数据规模和数据类型的限制,导致传统数据仓库无法支撑互联网时代的商业智能。
而以谷歌和亚马逊为代表的互联网巨头率先开始了相关探索。从 2003 年开始,互联网巨头谷歌先后发表了 3 篇论文:《The Google File System》《MapReduce:Simplified Data Processing on Large Clusters》《Bigtable:A Distributed Storage System for Structed Data》,这三篇论文奠定了现代大数据的技术基础。它们提出了一种新的,面向数据分析的海量异构数据的统一计算、存储的方法。关于这三篇论文,在这里我们不做深入的解读,如果对实现技术感兴趣的话,也可以查看我在文末提供的链接。
但 2005 年 Hadoop 出现的时候,大数据技术才开始普及。你可以把 Hadoop 认为是前面三篇论文的一个开源实现,我认为 Hadoop 相比传统数据仓库主要有两个优势:
完全分布式,易于扩展,可以使用价格低廉的机器堆出一个计算、存储能力很强的集群,满足海量数据的处理要求;
弱化数据格式,数据被集成到 Hadoop 之后,可以不保留任何数据格式,数据模型与数据存储分离,数据在被使用的时候,可以按照不同的模型读取,满足异构数据灵活分析的需求。
随着 Hadoop 技术日趋成熟,2010 年,Pentaho 创始人兼 CTO James Dixon 在纽约 Hadoop World 大会上提出了数据湖的概念,他提到:
数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统。
数据湖概念的提出,我认为是 Hadoop 从开源技术走向商业化成熟的标志。企业可以基于 Hadoop 构建数据湖,将数据作为一种企业核心资产。
数据湖拉开了 Hadoop 商用化的大幕,但是一个商用的 Hadoop 包含 20 多种计算引擎, 数据研发涉及流程非常多,技术门槛限制了 Hadoop 的商用化进程。那么如何让数据的加工像工厂一样,直接在设备流水线上完成呢?

数据工厂时代:大数据平台兴起

对于一个数据开发,在完成一项需求时,常见的一个流程是首先要把数据导入到大数据平台中,然后按照需求进行数据开发。开发完成以后要进行数据验证比对,确认是否符合预期。接下来是把数据发布上线,提交调度。最后是日常的任务运维,确保任务每日能够正常产出数据。
如此繁杂的一个工作流程,如果没有一个高效的平台作为支撑,就跟写代码没有一个好用的 IDE, 用文本编辑器写代码一样,别人完成十个需求,你可能连一个需求都完成不了,效率异常低下,根本无法大规模的应用。
提出大数据平台的概念,就是为了提高数据研发的效率,降低数据研发的门槛,让数据能够在一个设备流水线上快速地完成加工。
大数据平台是面向数据研发场景的,覆盖数据研发的完整链路的数据工作台
大数据平台按照使用场景,分为数据集成、数据开发、数据测试……任务运维,大数据平台的使用对象是数据开发。大数据平台的底层是以 Hadoop 为代表的基础设施,分为计算、资源调度和存储。
Hive、Spark、Flink、Impala 提供了大数据计算引擎:
Hive、Spark 主要解决离线数据清洗、加工的场景,目前,Spark 用得越来越多,性能要比 Hive 高不少;
Flink 主要是解决实时计算的场景;
Impala 主要是解决交互式查询的场景。
这些计算引擎统一运行在一个称为 Yarn 的资源调度管理框架内,由 Yarn 来分配计算资源。目前最新的研究方向中也有基于 Kubernetes 实现资源调度的,例如在最新的 Spark 版本(2.4.4)中,Spark 已经能够运行在 Kubernetes 管理的集群上,这样的好处是可以实现在线和离线的资源混合部署,节省机器成本。
数据存储在 HDFS、Kudu 和 HBase 系统内。HDFS 不可更新,主要存全量数据,HBase 提供了一个可更新的 KV,主要存一些维度表,Kudu 提供了实时更新的能力,一般用在实时数仓的构建场景中。
大数据平台像一条设备流水线,经过大数据平台的加工,原始数据变成了指标,出现在各个报表或者数据产品中。随着数据需求的快速增长,报表、指标、数据模型越来越多,找不到数据,数据不好用,数据需求响应速度慢等问题日益尖锐,成为阻塞数据产生价值的绊脚石。

数据价值时代:数据中台崛起

时间到了 2016 年前后,互联网高速发展,背后对数据的需求越来越多,数据的应用场景也越来越多,有大量的数据产品进入到了我们运营的日常工作,成为运营工作中不可或缺的一部分。在电商业务中,有供应链系统,供应链系统会根据各个商品的毛利、库存、销售数据以及商品的舆情,产生商品的补货决策,然后推送给采购系统。
大规模数据的应用,也逐渐暴露出现一些问题。
业务发展前期,为了快速实现业务的需求,烟囱式的开发导致企业不同业务线,甚至相同业务线的不同应用之间,数据都是割裂的。两个数据应用的相同指标,展示的结果不一致,导致运营对数据的信任度下降。如果你是运营,当你想看一下商品的销售额,发现两个报表上,都叫销售额的指标出现了两个值,你的感受如何? 你第一反应肯定是数据算错了,你不敢继续使用这个数据了。
数据割裂的另外一个问题,就是大量的重复计算、开发,导致的研发效率的浪费,计算、存储资源的浪费,大数据的应用成本越来越高。
如果你是运营,当你想要一个数据的时候,开发告诉你至少需要一周,你肯定想是不是太慢了,能不能再快一点儿?
如果你是数据开发,当面对大量的需求的时候,你肯定是在抱怨,需求太多,人太少,活干不完。
如果你是一个企业的老板,当你看到每个月的账单成指数级增长的时候,你肯定觉得这也太贵了,能不能再省一点,要不吃不消了。
这些问题的根源在于,数据无法共享。2016 年,阿里巴巴率先提出了“数据中台”的口号。数据中台的核心,是避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能数据应用。之前,数据是要啥没啥,中间数据难于共享,无法积累。现在建设数据中台之后,要啥有啥,数据应用的研发速度不再受限于数据开发的速度,一夜之间,我们就可以根据场景,孵化出很多数据应用,这些应用让数据产生价值。

课堂总结

现在,回到我们本节课的题目:为什么说数据中台是大数据的下一站? 在我看来,有这样几个原因:
数据中台构建于数据湖之上,具备数据湖异构数据统一计算、存储的能力,同时让数据湖中杂乱的数据通过规范化的方式管理起来。
数据中台需要依赖大数据平台,大数据平台完成了数据研发的全流程覆盖,数据中台增加了数据治理和数据服务化的内容。
数据中台借鉴了传统数据仓库面向主题域的数据组织模式,基于维度建模的理论,构建统一的数据公共层。
总的来说,数据中台吸收了传统数据仓库、数据湖、大数据平台的优势,同时又解决了数据共享的难题,通过数据应用,实现数据价值的落地。
在文章的最后,为了帮你把数据中台诞生的大事件串联起来,我做了一张时间图,在这个时间线里,你可以很清晰地看到数据中台诞生的前期、中期,和后期的大事件,这样可以帮你更清晰的掌握数据中台背景。

思考时间

在这节课快要结束时,我给你留一个发散性的思考题:如果说数据中台是大数据的下一站,那数据中台的下一站是什么?这个话题很有趣,欢迎你大开“脑洞”,在留言区与我分享。
最后,感谢你的阅读,如果这篇文章让你有所收获,也欢迎你将它分享给更多的朋友。
论文链接:
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

数据中台作为大数据发展的下一站,是传统数据仓库、数据湖和大数据平台发展历程的延伸和升级。传统数据仓库在90年代诞生,解决了企业数据转化为知识的需求,但随着互联网时代的到来,数据规模和类型的变化使得传统数据仓库无法满足需求。Hadoop的出现为大数据技术普及奠定了基础,而数据湖的概念则标志着Hadoop商用化的开始。数据湖将数据作为企业核心资产,但Hadoop商用化进程受到技术门槛的限制。因此,数据中台作为大数据的下一站,将成为传统企业数字化转型的首选,其发展历程将延续并升级传统数据仓库、数据湖和大数据平台的技术特点,以满足不断变化的商业需求。 数据中台构建于数据湖之上,具备数据湖异构数据统一计算、存储的能力,同时让数据湖中杂乱的数据通过规范化的方式管理起来。数据中台需要依赖大数据平台,大数据平台完成了数据研发的全流程覆盖,数据中台增加了数据治理和数据服务化的内容。数据中台借鉴了传统数据仓库面向主题域的数据组织模式,基于维度建模的理论,构建统一的数据公共层。总的来说,数据中台吸收了传统数据仓库、数据湖、大数据平台的优势,同时又解决了数据共享的难题,通过数据应用,实现数据价值的落地。 在数据中台的发展过程中,大数据平台的兴起为数据研发提供了全流程覆盖的支持,数据中台则增加了数据治理和数据服务化的内容,使得数据能够在一个设备流水线上快速地完成加工。数据中台的核心在于避免数据的重复计算,通过数据服务化提高数据的共享能力,赋能数据应用,从而实现数据价值的落地。数据中台的出现解决了数据无法共享的难题,为企业数字化转型提供了更加高效和可靠的数据支持。 通过数据中台的发展历程,我们可以清晰地看到数据中台诞生的前期、中期和后期的大事件,这有助于更清晰地掌握数据中台的背景和发展脉络。最后,对于数据中台的下一站,我们可以进行发散性的思考,探讨数据中台的未来发展方向,以期为大数据技术的进一步发展提供新的思路和方向。

2020-03-3049人觉得很赞给文章提建议

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《数据中台实战课》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(68)

  • 最新
  • 精选
  • 西蒙
    置顶
    数据中台的下一站是AI中台。

    作者回复: 机器学习是数据中台之上一个重要的应用领域。不是有句话是这么说的,数据和特征决定了机器学习的上限,算法和模型只是在无限的逼近这个上限。 我来谈谈数据中台的下一站到底是什么吧 目前数据中台的主要应用领域还是数据智能领域,所以我们就先不延申到机器学习,深度学习,安全、推荐等领域。 1. 实时数据中台,实现批流一体。 2. 云上数据中台,全面拥抱K8S,实现在线、离线混合部署,进一步提高资源利用率。 3. 智能元数据管理+增强分析,降低数据分析的门槛,进一步释放数据智能 4. 自动化代码构建,通过拖拉拽,自动化生成ETL代码的构建,进一步释放数据研发的效能,甚至让我们的非技术人员都可以完成简单的数据加工。 5. 数据产品的时代,面向各种行业的数据产品全面涌现,并且和中台系统联动,比如基于指标的可分析维度,自动进行指标的业务诊断等等。 我会在我们专栏结束的最后一篇,为大家在详细的展开这些,这里先抛砖引玉,提供给大家思考。

    2020-03-31
    5
    47
  • 李跃爱学习
    老师讲得非常透彻,值回票价了 1. 传统数据仓库,第一次明确了数据分析的应用场景应该用单独的解决方案去实现,不再依赖于业务的数据库。在模型设计上,提出了数据仓库模型设计的方法论,为后来数据分析的大规模应用奠定了基础。 2. 互联网产品的新特性:数据多、数据类型异构。 3. Google论文指导下的开源项目Hadoop采用分布式、弱化数据格式,来应当面临的问题。 4. 数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统。 5. 大数据平台是面向数据研发场景的,覆盖数据研发的完整链路的数据工作台 6. 数据中台的核心,是避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能数据应用

    作者回复: 谢谢,前三篇主要还是从理论上来帮大家对齐概念,精华在实现篇中,有走过的坑,和避坑秘诀,继续看呦~ 欢迎多讨论。

    2020-03-30
    24
  • Stefan
    老师,金博尔的建模设计方法的例子里面没有提到商品交易的信息,只有用户余额和库存事实表,这是为什么呢?

    作者回复: 在kimball建模中,只有事实和维度, 交易过程中涉及账户余额和库存,这都属于事实,而维度就是商品。因为从分析的角度,我们只关心事实在不同维度下的结果。而在商品交易中,我们需要分析的交易金额和账户余额,这都呈现在用户账户余额事实表中,只要在这个表中再关联商品的维度,就可以按照商品来分析,一个商品的交易金额。 比如,我们的余额事实表中,再增加一列代表商品的ID,每一个交易,都占用一行,代表交易完成后,用户余额和交易金额的数据。这样你就能实现从商品维度来分析交易金额的需求了。

    2020-03-31
    4
    18
  • 闻人正卿
    郭老师您好,看了您的三篇文章受益匪浅,迫不及待地想看后面的文章。 我认为数据中台目前能看到的未来趋势有3点:流批统一、可视化建模与SQL建模、上云。 1)可视化建模与SQL建模,不管是在建设数据中台或者数据平台,这种做法都是一种抽象、流程化的体现,能大大降低数据开发的成本而且清晰。不过这其中的复杂度确实挺高,自己深有体会。 2)流批一体。降低大数据架构的整体运维成本 3)上云。节约成本,提高资源利用率 在这里有几个问题想请教您: 1.当数据中台发展到一定的程度时,数据中台或者数据平台会不会成为云上的基础服务?对于中小型企业而言,建设一套这样的平台成本太大,但是通过云服务提供平台基础设施与计算能力,企业就能把资源集中于对企业内部数据价值的挖掘上面? 2.如果上面这个问题说的是对的,那么到时候企业对于数据工程师的能力要求会侧重于哪里?是数据分析与数据挖掘的能力吗?还是说数据平台的建设与维护的能力也是很必要的一个技能? 3.我认为特征工程、ai都是数据中心比较上层的应用,通过特征工程与ai计算出来的模型,反馈作用于下层的ETL数据处理形成闭环,这样的做法是可行的吗?

    作者回复: 关于几个问题,谈谈我的看法: 1. 云上数据中台,我认为这一定是个趋势,所以我在数据中台下一站中,特意提到了云上数据中台的建设,目前数据中台是基于Hadoop体系的数据湖构建的,Hadoop是基于Yarn实现资源的调度,这与在线业务系统基于Kubernates实现的云原生是两套,我认为,后续在线和离线会统一,kubernates会成为事实的统一云,然后大数据基于kubernates实现资源调度,事实上,Spark新版本已经实现了。 但是话又要说回来,到底是公有云还是私有云,我倒是持不同的意见。因为数据中台中的数据,往往很多涉及企业的核心机密,比如一些毛利、营业额、供应商对于企业来说,都是核心资产,企业愿不愿意,敢不敢,把数据放在公有云上,这个在国内还不好说。我见到的很多情况,数据都是要求私有化部署的。 2. 未来,不管是私有化部署的云,还是公有云,我认为企业都不会关注在数据平台的建设和维护能力上,因为这部分容易被标准化,而且可能后续价格会很低廉,完全没必要企业自己去搞。我觉得后续企业,还是会更强调数据的应用能力,数据如何深入业务,解决业务的问题。 3. 首先机器学习是数据中台的一个上层应用场景,至于你提到的通过模型反馈于下层的ETL数据处理,这个究竟是怎么方式的反馈? 如果是从模型设计的角度,肯定是可以的,因为机器学习相当于需求方,数据模型的设计肯定要以满足需求方为目标的。 但是你说如何基于上层模型,自动构建下层的ETL任务,这个目前还不成熟,比较可行的方式是通过可视化的方式,降低开发的工作量。

    2020-04-01
    2
    13
  • leslie
    还是追溯本源吧:OLAP其实是在OLTP之后出现的,Big Data的概念又是再次之后,中台体现分析时还有共享,hadoop的资源损耗国内DB界一直饱有争议。举个例子:不同类型数据系统之间其实都是明显的有相互学习和继承的影子。 脑洞不用打开:中台体现的数据的集中、大数据体现的分散且快;那么下一步将是再次的分散。这就如同人的行走:不可能全是之路,曾经看到过一本资料中提出岛与海的概念-它的上一页就是Data laker。 中台的方式方法正在摸索和打造:不过和老师的DataSystem在中间件存储的选择上会不同;这就仿佛SRE和DevOps都是效率,可是何种是正解;每个企业应当都有自己的答案。为了中台而中台就失去了其原本的意义。 谢谢分享。

    作者回复: “为了中台而中台就失去了其原本的意义” 这句话说的好,数据中台要从解决问题的角度入手,不能解决问题,其实建中台意义不大。

    2020-03-31
    9
  • Geek_97e448
    请教老师,是否能再解释一下:弱化数据格式,数据被集成到 Hadoop 之后,可以不保留任何数据格式,数据模型与数据存储分离,数据在被使用的时候,可以按照不同的模型读取,满足异构数据灵活分析的需求。

    作者回复: 你好, 我们就拿Hive来举例吧。Hive 可以支持location到一个目录。也就是说,数据可以先存储在HDFS的一个目录下,然后再建立Hive表。这样其实Schema和底层的数据实际是分离的。然后我们在用Hive读这个数据的时候,其实是根据hive中定义的表结构去读的,如果有一部分的数据字段hive中没有定义,那其实是读不出来的。 通过Hive的例子,你明白了嘛?可以具体再用hive 实践一下。 感谢你的阅读~

    2020-04-28
    2
    8
  • 吴建中
    数据中台下一站,取决于数据中台本身存在什么瓶颈,缺陷,制约了快速响应需求。非常赞同老师的总结:流批统一,云上大数据平台,可视化开发,可视化的AI平台,但是感觉没有质的变化,只是在术上的变化,不像大数据技术出现对数据分析的冲击大。

    作者回复: 不管是实时数据中台还是自动化ETL,都可以说是数据中台的进一步发展。 但是说到质的变化,我想增强分析和智能元数据管理或许是一个,只是目前的时机还不够成熟。试想一下,如果以后,可以实现智能的分析,你问它,为什么销售额下降了,它可以直接告诉你原因,这个是不是足够牛逼?

    2020-04-01
    2
    8
  • 邢爱明
    请教老师一个问题,传统企业是数据容量和类型是比较固定的,以前也有了数据仓库的应用,在什么场景下需要演建设数据中台? 如果要建,是否必须基于hadoop类的大数据平台?

    作者回复: 数据中台一定是构建在数据湖之上的,这是与传统数据仓库,基于Oracle去构建,有本质的区别的。 原先数据仓库只能支持一些简单的报表,对数据的加工和处理能力都非常的有限,根本就没有办法支撑大规模的数据应用场景。如果你想实现数字化转型,真正让数据能够走入业务,让我们的业务人员每天看数据工作,那你就要构建数据中台了。 比如我们有一个零售的客户,他们构建了数据中台,然后在上面做了门店管家,数据应用,现在他们全国2W多家门店,每天都有大量的店员在看,有哪些商品卖的好,哪些卖的不好,哪些商品库存比较大,客户比较偏好买哪些商品,然后就会有针对性的推荐商品,或者调整商品的摆位。大幅度提高了门店的营业收入,这就是一个典型的数据中台的应用。

    2020-03-30
    4
    7
  • 西西弗与卡夫卡
    数据中台试图解决数据共享的问题,特别企业内部。再下一步,脑洞一下,我觉得数据要成为能在全社会共享的资源,像水和电那样,无处不在,按需索取。成为一种推动社会发展的信息能源。不妨叫数据能源?

    作者回复: 想法太超前,数据是企业的核心资产,微信可能共享数据给其他企业嘛?

    2020-03-30
    8
    7
  • 王芳
    数据中台的下一站是数据应用平价、爆发式的增长。数据中台仿佛是进化版的BI,传统BI采用传统的数仓设计方法,现在中台的数仓设计更加强调快速响应业务变化,数据研发更快速实现,更强调带来业务价值。 关于数据湖,有个疑问:数据湖与ods层数据具体区别啥啥?

    作者回复: 数据中台的下一站,我认为确实是数据产品的全面爆发。 至于“数据湖和ODS层数据具体区别?”这个问题, 数据湖与ODS层数据并没有什么关系,数据湖中,不仅有ODS数据,还有DWD,DWS,DM,ADS数据。数据湖是指数据不管存储格式,都统一存储在一起,然后根据数据格式,读取数据,例如Hadoop你可以看成是一个数据湖的实现。 至于ODS,它是数据分层的原始数据层,他和其他层数据一样,可以存储在HDFS构建的数据湖中。 感谢你的阅读,期待与你在留言区再次相遇~

    2020-04-17
    6
收起评论
大纲
固定大纲
启蒙时代:数据仓库的出现
技术革命:从 Hadoop 到数据湖
数据工厂时代:大数据平台兴起
数据价值时代:数据中台崛起
课堂总结
思考时间
显示
设置
留言
68
收藏
99+
沉浸
阅读
分享
手机端
快捷键
回顶部