数据中台实战课
郭忆
网易大数据专家
立即订阅
3936 人已学习
课程目录
已完结 19 讲
0/2登录后,你可以任选2讲全文学习。
开篇词 (1讲)
开篇词 | 数据中台,是陷阱?还是金钥匙?
免费
原理篇 (4讲)
01 | 前因后果:为什么说数据中台是大数据的下一站?
免费
02 | 关键抉择: 到底什么样的企业应该建数据中台?
03 | 数据中台建设三板斧:方法论、组织和技术
特别放送|史凯:建设数据中台到底有什么用?
实现篇 (12讲)
04 | 元数据中心的关键目标和技术实现方案
05 | 如何统一管理纷繁杂乱的数据指标?
06 | 数据模型无法复用,归根结底还是设计问题
07 | 同事老打脸说数据有问题,该怎么彻底解决?
08 | 交付速度和质量问题解决了,老板说还得“省”
09 | 数据服务到底解决了什么问题?
10 | 数据服务难道就是对外提供个API吗?
11 | 怎么一劳永逸地解决数据安全问题?
12 | 数据的台子搭完了,但你还得想好戏该怎么唱
13 | 数据研发就只是写代码吗?
14 | 数据被加工后,你还要学会使用和管理数据
15 | 数据中台在网易电商业务的最佳实践
结课测试 (1讲)
结课测试 | 建设数据中台的这些知识,你都掌握了吗?
结束语 (1讲)
结束语 | 数据中台从哪里来,要到哪里去?
数据中台实战课
15
15
1.0x
00:00/00:00
登录|注册

12 | 数据的台子搭完了,但你还得想好戏该怎么唱

郭忆 2020-04-29
你好,我是郭忆。
从第 4 节元数据管理开始,到第 10 节数据安全,我已经详细讲了如何建成快、准、省和安全的数据中台。现在,数据中台的台子已经全部搭完了,接下来,好戏就可以上演了,也就是说,我们要在数据中台的基础上,构建企业数据应用体系,用好数据中台的数据。
对企业来说,用好数据非常关键,从我多年的数据建设经验来看,我把数据在企业的应用划分成三个阶段。
初级阶段。一般企业的数据应用都是从数据报表开始的,分析师会为业务部门的负责人、运营制作一些 BI 报表,把数据通过可视化的方式呈现出来,这是数据应用的初始阶段。
发展阶段。只是可视化的展现数据已经不能满足业务的需求,业务需要根据数据持续监控业务过程,发现问题、诊断分析,并给出决策建议,最后需要一键执行,形成完成的业务过程闭环,这个时候就要借助数据产品来实现,网易也是在 2018 年才开始大规模构建数据产品体系。
高级阶段。无论是数据报表、还是数据产品,它们呈现的都是固化的分析思路,只能解决知道的业务问题,但是日常工作还有很多未知的业务问题,比如销售额指标突然下降了,需要基于数据进行探索分析。这个时候,如果都依赖分析师,肯定不现实,那么就要实现自助取数,让每个人都能基于数据去做分析和决策,实现普惠大数据。我认为这是数据应用的最高级阶段,网易在 2019 年开始开放越来越多的中台数据,让更多的非技术人员去使用数据。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《数据中台实战课》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(9)

  • 大熊喵
    老师,弱弱的问一句,可不可以搭建一个可以给我们学习者使用的中台系统给大家玩玩。
    我感觉很多东西讲得很好,但是我们很难把他们串起来,如果有一个东西给我们使用以下,
    我觉得进步飞速,哈哈哈

    作者回复: 你好,我们在公有云上,有一套对外的体验Demo系统,百度搜索网易大数据,猛犸,可以找到。

    这里面有我文中提到的工具,可以试用体验,不妨去试试看~

    2020-04-30
    11
  • 吴科🍀
    我们在互金行业分为,新客运营负责拉新,老客运营促进优质用户复贷,贷后运营对不同阶段的逾期用户进行分析。
    报表分离线报表与实时报表两大块,业务的发展越来越多实时的需求,除了报表展现还有实时指标计算,供贷前中后的决策引擎使用。但是实时计算目前还是依赖技术开发来做,研发成本较高。
    自助取数平台,我们是分析人员自己写SQL去拉数据,优点灵活性好。但由于SQL可控性比较差,经常出现拉数据逻辑复杂或者量大导致卡死的问题,界面化操作应该可以规避这类问题。
    期待,老师后面的课程。

    作者回复: 你好,吴科。

    实时报表这块,我们是基于kafka数据写kudu,然后在kudu上架impala来查询的,因为kudu可更新,所以不存在Merge的过程。BI 基于impala查询实时数据。

    自助取数平台你可以实验一下,对于非技术人员,或者不懂SQL的取数,还是有很大的帮助的,也可以避免SQL比较差的问题。

    2020-04-29
    1
    2
  • zhuxueyu
    老师,你好😊
    其实,我个人会觉得数据应用的四个阶段:
    初级阶段 — BI报表,此阶段就像您说的是为用户提供最基本的可视化固化分析报表;
    中级阶段 — 自主分析,可以灵活进行自助多维度分析系统/工具,获取更多分析结果的可能性。老师提到的自助分析工具便是,诸如powerBI、tableau等都属于此范畴;
    高级阶段 — 智能决策,到了这一阶段,不再需要人工分析决策,智能决策系统会通过后台分析建模,直接将决策的运营内容推送给目标人群(比如智能营销);
    顶级阶段 — 智能预测,前面三个阶段都是用已知数据做出分析决策,而这个阶段却是用已知数据对未来的态势、计划等进行预测。

    个人浅识,抱着多多交流多多学习的心态来的

    作者回复: 说的挺好的,但是其实,一般自助分析,这种产品,不太可能作为第二阶段,往往是数据产品,包括携带一些智能决策功能的数据产品,也就是你所指的第三个阶段,会更在前面,因为只要专业的人(分析师)把这个东西做好,然后给业务人员用就好,业务人员其实并不具备自助分析的能力。而要让每个业务人员都能做到自助分析,那要到第三个阶段。这是我看到的在实际企业落地的过程。

    如果你指的自助分析,是tableau,其实他是BI的范畴,属于第一个阶段。

    2020-05-30
    1
    1
  • 新新
    一路听下来,能感觉到郭老师真的是很用心的,每节课的内容都很充实,都有两三节课的量,良心课程,必须多刷几遍,点赞

    作者回复: 感谢、感谢~ 希望对你的工作有所帮助~

    2020-07-09
  • aof
    数据产品 里面要想实现对所有维度指标的监控分析,感觉还是挺有难度的。就像老师文章里面讲的因为天气原因导致的单车使用量下降的例子,因为这个原因在之前是没有遇到过没有考虑到过的,那在实际的分析设计当中,就要做全维度的分析对比,可能还需要加一些自动化的东西在里面吧?
    希望老师可以分享下具体的实现方式

    作者回复: 你好,aof,

    全维度钻取的前提,必须是数据中台的指标有这个对应的分析维度,但是一个指标的可分析维度是非常多的,对于一个有经验的分析师,他可以快速知道,但是对于一个新人,他其实并不清楚数据中台中,某个指标有哪些可分析的维度,全维度钻取,可以充分利用数据中台的能力。

    但是如果数据中台中,都没有这个指标对应的维度,那肯定是不行的。

    全维度钻取,要解决的问题是,数据中台的分析维度很多,单个分析师,针对某个指标,维度知道的不全,导致可能遗漏了某些关键信息。

    2020-05-02
  • leslie
    图形实现这方式其实挺不错的,简化了操作;同时降低了风险,勾选后面的操作能做到哪层其实更加不清楚-这就避免了直接对数据库或系统的强行操作导致重大安全隐患。
    互联网行业的场景其实最复杂最细化,严格的权限管理图形化操作其实是避免了一些致命的删除和修改产生巨大隐患。

    作者回复: 对的,图形化的取数,可以降低取数的门槛,同时也可以避免一些比较差的SQL 消耗大量的查询引擎资源,在取数平台层,把SQL优化好。

    感谢你的阅读~

    2020-05-02
  • hxb
    老师,您好,我想问下自助取数如何和指标系统结合呢?
    还有自主取数的模型是不是需要先设计然后再olap分析?

    作者回复: HI, 你好

    自助取数,用户是根据指标(度量)、维度去完成取数的。一个很典型的场景,就是用户根据指标,筛选一些维度,比如消费额大于50的会员,会员是维度,消费额是指标。自助取数为了方便取数的人,能够理解指标的计算口径,必须要展示指标系统中指标的口径定义。

    自助取数的模型,当然要现在模型设计中心中完成集市层模型的建模,然后才能配置在自助取数系统中。

    感谢你的提问,祝好~

    2020-05-01
  • gd
    可视化的图形查询界面怎么做的呀,是否可以多分享一些

    作者回复: 你好,你指的是EasyFetch 自助取数的可视化查询页面么,我在内容中有贴一个图,其实单纯界面来看,并不复杂,用户主要是通过勾选一些指标和维度,做查询。你可以具体参考一下文章中的图片。

    感谢你的阅读~

    2020-04-29
    1
  • nope
    老师好,有没有关于数据治理相关的内容分享呢?感觉数据质量很重要,但是从源头上治理就需要业务系统配合,成本巨大也没有经济成效,所以还得依赖于数仓的etl进行数据清洗,但是如何为了长远的企业数据质量来进行合适的治理工作推进呢?

    作者回复: 你好,你也感受到了数据质量问题的重要性了。

    其实,我在前面的留言中,也讲了我们解决业务系统数据库变更导致的数据中台数据质量问题,这个可以通过增加一个协作流程解决,在第12讲中,我会介绍数据中台的协作流程。在源系统数据库变更工单提交的时候,根据其影响的下游表,通知到对应表的负责人,由负责人确认后,才能完成变更。

    感谢你的阅读。

    2020-04-29
收起评论
9
返回
顶部