数据中台实战课
郭忆
网易大数据专家
立即订阅
3759 人已学习
课程目录
已完结 19 讲
0/2登录后,你可以任选2讲全文学习。
开篇词 (1讲)
开篇词 | 数据中台,是陷阱?还是金钥匙?
免费
原理篇 (4讲)
01 | 前因后果:为什么说数据中台是大数据的下一站?
免费
02 | 关键抉择: 到底什么样的企业应该建数据中台?
03 | 数据中台建设三板斧:方法论、组织和技术
特别放送|史凯:建设数据中台到底有什么用?
实现篇 (12讲)
04 | 元数据中心的关键目标和技术实现方案
05 | 如何统一管理纷繁杂乱的数据指标?
06 | 数据模型无法复用,归根结底还是设计问题
07 | 同事老打脸说数据有问题,该怎么彻底解决?
08 | 交付速度和质量问题解决了,老板说还得“省”
09 | 数据服务到底解决了什么问题?
10 | 数据服务难道就是对外提供个API吗?
11 | 怎么一劳永逸地解决数据安全问题?
12 | 数据的台子搭完了,但你还得想好戏该怎么唱
13 | 数据研发就只是写代码吗?
14 | 数据被加工后,你还要学会使用和管理数据
15 | 数据中台在网易电商业务的最佳实践
结课测试 (1讲)
结课测试 | 建设数据中台的这些知识,你都掌握了吗?
结束语 (1讲)
结束语 | 数据中台从哪里来,要到哪里去?
数据中台实战课
15
15
1.0x
00:00/00:00
登录|注册

特别放送|史凯:建设数据中台到底有什么用?

史凯 2020-04-08
你好,我是史凯,是 ThoughtWorks 数据智能业务的负责人,你可以叫我凯哥。
我从 1999 年就开始做程序,在 IT 行业已经工作 20 个年头了。最开始,我是在 IBM 做 Websphere 研发,后来历经埃森哲、EMC,一直从事的是企业数字化转型咨询,做过很多系统,比如企业的 ERP、ESB 系统、SOA 架构以及很多领域的业务系统等等。
最近这五年,我专注在数据和人工智能领域,从数据仓库、商业智能、主数据管理到大数据平台的建设,经过很多项目的沉淀和总结,最后我和团队一起总结了精益数据创新的体系。可以说,这么多年我一直战斗在企业信息化的一线。
2019 年,我被数据领域权威咨询机构 DataIQ 评为 2019 数据赋能者 100 人之一,也是腾讯云最有价值专家 TVP 一员。
很荣幸给郭老师的数据中台课程写加餐文章,我想从我的角度和你聊聊企业为什么要建设数据中台,数据中台对于企业的价值到底是什么。今天的内容我不会在落地细节上进行拓展,主要是从概念和框架的角度,给你提供一个更全面的视角。因为我坚信,做好任何一件事情的前提就是弄清楚为什么。

数据中台火了,我们的诉求是什么?

我们先来看看百度搜索指数吧。
这张图告诉我们,数据中台的百度搜索指数最终超越了数字化转型和数据仓库。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《数据中台实战课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(12)

  • Terry郑💫
    记得在数据中台这个概念出来的时候,有很多的说法,什么妖魔鬼怪都齐上阵了。
    其实从不同层面去分析,会发现所有问题的根源都来自于“定位”这两个字。
    对于程序员来说,数据中台可能是解决数据规范和数据钻取问题的一个良方。
    对于产品经理来说,数据中台可能是解决业务与数据融合的关键定。
    对于中层管理者来说,数据中台带来的是打通部门之间数据共享的重要依据。
    对于企业家来说,紧跟行业趋势,顺势而为,是讲一个好故事必不可少的部分。
    但是有一点是大势所趋的,信息化->数字化->智能化。也就是老师您说的最后的“数智化”。
    就像 5G 的来临势必带动一些新独角兽的崛起。互联网中变化莫测的打法更像是古代的军事战争。
    谁能敏锐的察觉敌情,就能敏捷的做出最快的反应。
    又像是《三体》黑暗森林中所描述的那样。黑暗森林中的猎人,谁最先发现猎物,开枪。带来的是一系列的连锁效应。
    一点拙见。感谢分享。期待更多的内容。

    作者回复: 感觉你的脑洞大开,很有想法~

    期待下一次在留言区与你相遇,碰撞更多的思维火花。

    2020-04-08
    1
    9
  • haomiaohaiyang
    老师,你好!请教个问题,我们公司是做数据采集(从各信息系统的关系数据库、大数据组件等多样存储介质抽取、转换、共享数据)服务;其实属于功能性产品,不了解业务,那我们能够参与数据中台那部分工作?因为公司内部在讨论的时候,提到的更多观点也是,连数据模型定义都不清楚,怎么介入。

    作者回复: 严格来说,你所在公司主要做的是数据集成的工作,它位于整个数据研发链路中,研发阶段的第一环节。

    我把整个数据研发链路划分为4个阶段,分别是需求阶段,承载这个阶段的产品是指标系统,通过指标的定义,我们实现了业务需求的规范化定义。第二个阶段是数据开发阶段,秉持先设计后开发的理念,我们会经过模型设计,数据集成、数据开发、数据测试、配置稽核监控、任务发布上线多个步骤。第三阶段是数据交付阶段,是把数据中台中的数据导出到中间存储(DB,KV,MPP等),通过数据服务,发布成API,数据应用通过API 可以获取数据。最后一个阶段是运维阶段,承载这个场景的产品是任务运维中心。

    明白了你从事的工作在数据中台数据研发链路中的位置后,我们可以看看,你们如何来参与数据中台中。

    我认为数据集成产品,参与到数据中台的链路,其一,是在数据导入时,建立数据源到数据中台表的数据链路关系,这样我们可以把数据中台中表的血缘关系扩展到业务系统的数据源,当数据源发生变更时,我们可以第一时间获取到变更信息。其二,数据传输要与元数据中心打通,从元数据中心获取各种数据源信息。其三,数据集成,要注意既要支持批量数据的集成,也要支持实时数据的集成。其四,数据传输,要能够与数据开发任务,建立任务依赖关系,后续的数据清洗任务依赖于数据集成任务。

    至于你提到数据模型定义不清楚,其实我想说的是,数据传输必须接入元数据中心,在元数据中心中,对于每一张表,都有数据字典的定义,数据传输可以基于字段的格式,进行自动的适配。

    欢迎你继续跟我在留言区交流~

    2020-04-09
    1
    6
  • 胖子
    文中有几处都提及"拉通",请问怎样才能理解好这个概念?

    作者回复: 我来谈谈我的看法。

    数据中台中的拉通,更多体现在One-ID的概念上,最常见的场景就是用户数据的拉通。因为不同的业务系统,对用户的标识,可能是不一样的, 有的是用设备号,有的是用账户,建立中台级别的唯一用户ID是有必要的,否则就会导致数据计算有错误,同一个人在不同业务系统之间的行为无法进行关联分析等。

    感谢你的阅读,期待与你再次在留言区相遇~

    2020-04-10
    1
    5
  • XiangJiawei
    这篇文章对数据中台的价值总结非常到位,感谢老师分享。

    作者回复: 也感谢你的阅读,感谢凯哥,期待与你在留言区继续互动~

    2020-04-10
    1
  • 北野豪横
    我老师能有个加餐关于数据中台方向的职业规划问题,怎么样进入这个行业?需要怎么样的路径来来规划自己的学习历程?看了 一下boss上关于中台 运营或者建设的 职位,基本全是5年以上的专家,可是这个行业本身才火没几年。这本身是不是矛盾的啊

    作者回复: 对于职业规划来说,数据中台其实参与的人,主要包括数据开发、分析师、运营、数据产品等角色。对于数据开发来说,要能够熟练的使用数据中台支撑技术体系内的工具,熟悉数据中台模式下数据研发的流程,对指标定义、维度建模、数据质量稽核监控、成本的管理、数据安全、数据服务化等内容要有深入的掌握。

    我在后续的实践篇中会逐一为你介绍,你可以在这方面在深入看一下。

    至于你提到的5年以上的专家,一般都是指的数据架构师或者数据产品专家的角色。其实数据开发和在线业务系统的服务端开发,都有架构师角色,也有普通开发的角色,并不是说,数据中台,不需要普通的数据开发,都必须是5年以上的,这是一个误区。你可以搜索一些数据开发或者数据产品的职位。其实并不存在数据中台的职位。

    我只想强调的是,数据中台时代下,对数据开发有了新的技能和知识方面的要求,这些要求和技能我会在接下来的章节中为你详细介绍。

    感谢你在留言区与我互动,期待下次与你相见~

    2020-04-09
    1
  • 丁浩然(南京产品经理)
    说到配矿方案,那个是不是相当于找一个复杂的问题最优解?可以用蜂群算法,遗传算法,模拟退火算法去算解,BI系统里面也会有这些算法的实现是么?
    2020-06-20
  • snowqiang
    数据->信息->知识->智慧.....

    作者回复: 你好, 之前有一个说法:
    企业信息化-> 企业数据化 -> 企业智能化
    这三个阶段。

    感谢你的阅读~

    2020-04-22
  • Jxin
    1.太厉害了,根本不是一个段位。

    回答问题:

    1.技术能力应该都能列举。但就数智化转型得好不好,价值大不大来看。更多的应该是将精益和增长落地到运营模式,实现运营模式的转变。然后落地到智能技术层面,实现更快,更精准的精益、增长运营。

    作者回复: 拉新和促活是用户运营的核心场景,基于数据实现用户精益运营是很多公司都在尝试做的事情,结合人群圈选,多渠道触达,对运营效果是实时评估,不断优化人群范围,可以有效提升活动的效果。

    欢迎你继续与我在留言区互动~

    2020-04-09
  • 忘矢
    “优化现有业务”,感觉就是通过数据中台对业务结果的快速反馈和修正(甚至是自动反馈并修正),就像调参一样优化业务。所以第一课课后问题有人回答数据中台下一站是AI中台我是很赞同的,未来的业务应该就是AI为主+人工为辅的集合,好比人体的植物神经和动物神经,相辅相成,缺一不可。

    作者回复: 我也来谈谈我的看法。

    数据中台实现来了数据的复用,对于AI 来说,我认为也可以形成中台,它复用的是算法模型。我们知道,一般算法模型要经过训练,然后进行模型评估,发布为在线的预测服务。这个模型能不能被其他的场景复用,这个预测服务的接口能不能实现复用。我觉得在AI 全面爆发的时代,是可以的。

    但是目前,有多少企业做到了AI 驱动? 我觉得AI 是建立在数据的基础上的,现在能真正做到数据驱动的公司都凤毛麟角,更何况要做到AI驱动。如果不是大规模的AI应用场景,其实AI中台构建的意义没有这么大。

    我的观点是,AI 中台是具备可行的,但是目前整体行业还不成熟,至少也要到数据中台成熟以后,才可能具备AI中台成型的条件。

    2020-04-08
  • 攻城狮
    史老师,您好。听完您的课,我对数据智能有了新的认识。想请教一下,企业信息化过程中出现了甲骨文等数据库厂商,数字化过程中出现了腾讯,谷歌等企业,那在数智化浪潮下哪些企业或服务商或脱颖而出呢?在数智浪潮下对于我们职业选择您有哪些建议呀?谢谢

    作者回复: 我是老郭,我来谈谈我的看法。

    我认为数智化浪潮下脱颖而出的一定还是互联网企业,因为这些企业目前数据量大,数据智能场景目前最多,包括个性化推荐、风控、智能客服、精准营销等。

    在数智浪潮下,对于职业技能的改变,后续数据分析可能是一个基本的能力,各个行业都要具备数据的思维,基于数据思考业务驱动的意识。大家可能都要学会看数据,用数据,甚至还要一些基本的数据加工处理的技能。

    欢迎你继续阅读,也期待下一次在留言区与你相遇。

    2020-04-08
  • hello
    喜欢这篇不同视角的加餐文章,感谢郭老师,感谢凯哥!

    作者回复: 谢谢你,也谢谢凯哥。

    希望把我们的经验分享给你,期待下一次与你在留言区相遇~

    2020-04-08
  • leslie
    关于数据中台的作用的根源是什么?这个问题个人认为就是为何数据库的演化是从在线事务型数据库->数据仓库->分析型数据库,这条路的演化其实是在展现数据中台的作用。
    现实中对于数据的需求不断的在变化和细化:从业多年一直在反思,无论是在线数据库还是数据仓库都已经足够的强大且处理能力足够了,可是总觉得这是两端;中台应当是两端化多年的产物,是对现在模式的一种有效的补充,从而提升两端的效率。
    谢谢老师今天的分享:期待后续课程的分享。

    作者回复: 感谢你的阅读,期待下一次在留言区与你相遇。

    2020-04-08
收起评论
12
返回
顶部